Denklem Olmasaydı Burada Olmazdın

Bu Shannon'un bilgi teorisidir ve veri sıkıştırmayı mümkün kılan denklemdir. O olmasaydı, şu anda bu makaleyi çevrimiçi olarak okuyamazdın.

Shannon denklemi, bir sayı veya karakter dizisinin gerçekte ne kadar bilgi içerdiğini kodlar. Shannon'a - ve daha sonra yazılım mühendislerine - mesajların içeriklerini kaybetmeden sıkıştırmanın yeni yollarını geliştirme olanağı sağladı.

Claude Shannon, analogun dijital tarafından yavaşça sahnelenmeye başladığı savaş sonrası dönemde Bell Laboratuvarlarında çalıştı. Analog devreler, 1930'larda mesaj göndermek için yaygın bir şekilde kullanılmıştı, çünkü, bilgi içeren sürekli değişen sinyaller sağlayan geniş bir çıktı aralığı oluşturabilen, kullanıma hazır bileşenlerle basit elektronikler oluşturmak yeterince kolaydı. Ancak uzun mesafelerde kablolara analog sinyallerden oluşan bir mesaj gönderirseniz, işler ters gidebilir. Sinyal mesafe ile zayıflar ve gürültü sinyale girebilir ve bir mesajı diğerinden ayırt etmeyi zorlaştırır.

Bunun yerine, dijital sistemler moda haline geliyordu. Artık hepimizin aşina olduğu bu sistemler basit bir açma veya kapama sinyali kullandı: 0 volt sıfır, diğeri ise daha yüksek voltaj, bir anlamına geliyordu. Yeterince bir ve sıfır bir araya getirin ve sayıları, harfleri, karakterleri ... her neyse temsil edebilirsiniz. Ve daha büyük voltajı yeterince yükseğe ayarlayarak, sinyalin zayıflaması ve bozulması hiçbir zaman bir sorun olmak zorunda değildir. (Öyle olsa bile, sinyali ölçmek ve yeni, temiz bir dijital sinyali herhangi bir gürültü olmadan yeniden üretmek için yol boyunca bir noktaya bir cihaz yerleştirebilirsiniz — analog bir sistemle yapamayacağınız bir şey.)

Shannon keskin bir dijitalistti. MIT'de 21 yaşında bir yüksek lisans öğrencisi olarak, dijital devrelerin karmaşık mantıksal ilişkiler oluşturmak için kullanılabileceğini göstermeye yardımcı olması için Boole cebri olarak bilinen dijital matematiği kullandı. Ama yirmili yaşlarının alacakaranlığında Bell Laboratuvarlarında otururken, o bir ve sıfır dizgilerinde bulunanların özünün biraz kaynatılıp aktarılamayacağını merak etmeye başladı.

Bir tür mesajı temsil eden ikili sayı dizisini ele alalım - örneğin 00100001. Bu, her biri 0 veya 1 değerini alabilen sekiz karakterlik bir dizeden oluşur. Bu karakterler ikili rakamlar veya bitler olarak bilinir. ve safça, her birinin tek bir bilgi parçasını temsil ettiğini varsayabiliriz: Dize boyunca her noktada, bir karakterin 1 veya 0 değerini alıp almadığına dair ekstra bir anlayış kazanırız.

Ancak Shannon'ın basit ama çarpıcı içgörüsü, böyle bir varsayımın hatalı olduğunu öne sürmekti. 1 veya 0'ın varlığının, ancak her basamağın hangi değeri alabileceğini bilmiyorsak ilginç olduğunu fark etti. Bunu bir yazı tura atma olarak düşünün. Adil bir jetonla, her attırma ilginçtir çünkü ne elde edeceğinizi asla bilemezsiniz; ağırlıklı olanla, her atış sıkıcıdır çünkü her zaman ne elde edeceğinizi biliyordunuz. Shannon'ın gözlemi, bilginin mesajınızın içeriğinin görünmesi beklenen olasılıkla ilişkili olduğuydu.

Shannon'ın ilk olarak 1949'da Warren Weaver ile birlikte yazdığı The Mathematical Theory of Communication kitabında yayınlanan bilgi teorisi, bunu cebirsel formda açıklıyor. Sayfanın üst kısmındaki denklem, Shannon'un entropisi olarak bilinen bir miktar H'yi tanımlar - esasen verilen bir mesajda bulunan bilgi miktarıdır.

Belirli bir sembolün (bir veya sıfır gibi) oluşma olasılığı p (x) olarak yazılır; burada x, bir veya sıfırı veya kullanılan başka bir sembolü temsil eder. Denklem daha sonra bir sembolün meydana gelme olasılığını, 1 / p (x) logaritması ile verilen, söz konusu sembolü temsil etmek için gereken bilgi bitlerinin sayısıyla çarpar. Bu sezgisel bir anlam ifade ediyor: Gerekli bilgi olasılıkla ters orantılıdır, böylece nadiren ortaya çıkan karakter daha fazla bilgi sağlar. Son olarak, denklem her x değeri için bilgi katkısını toplar - bu büyük E-şekilli sembolün, aslında büyük harfli bir Yunan sigmasının yaptığı şeydir.

Öyleyse, yazı tura atmayı daha önceki bir dijital yazı turasından yaptığınızı hayal edin, burada bir kafa sıfır, kuyruklar 1'dir ve her biri eşit olasılıktadır. Bu sayıları Shannon denklemine koyun ve tek bir dijital yazı tura atmanın 1 Shannon bilgi sağladığını görürsünüz.

(Evet, onun adını aldı. Aslında, teknik çevrelerde insanlar genellikle kısaca 1 Shannon "1 bit" diyorlar, ancak bitler hakkında konuşmaya başladığımız ve bu çok kafa karıştırıcı olabileceğine göre, Shannons.)

Bunun anlamı, belirli bir bilgi parçası veya mesajın tamamı için, içinde tam olarak ne kadar bilgi depolandığını hesaplayabilmenizdir. Eğer bizim dijital yazı tura atmamız durumunda, ağırlıklı bir dijital para kullandıysak, bir tane alma olasılığının 0 veya 1 olduğu durumlarda, mesajı gönderme zahmetine girmeyebiliriz: Alıcı her zaman ne olduğunu bilecektir. alacak, bu nedenle mesaj hiçbir bilgi içermiyor.

Ancak, farklı bir ve sıfır görünme olasılığına sahip daha uzun karakter zincirlerini düşünürseniz, işler biraz daha ilginç hale gelir. Uzun bir sıfırlar ve birler zinciri hayal edin: Eğer her birinin dizginin herhangi bir noktasında meydana gelme olasılığı eşitse, bilgiyi göndermenin olduğundan daha iyi bir yolu yoktur. Ancak, diyelim ki sıfırlar 10'da 9 kez ve birler 10'da sadece 1 kez meydana geliyorsa, o zaman birlerden çok daha fazla sıfır bekleyebilirsiniz. Buna karşılık dizede daha az bilgi vardır ve bu nedenle bir miktar fazlalık vardır. Akıllı olsaydık, karakterlerin başka, daha kısa tanımlamalarıyla görmeyi beklediğimiz uzun sıfır dizilerini temsil edebilirdik.

Aslında Shannon'ın teorisi, herhangi bir mesaj için, gönderilen karakter sayısı veya bit sayısı ile mesajda bulunan Shannon sayısı, aslında içerdiği bilgi bitlerinin sayısı arasındaki fark tarafından verilen bir miktar fazlalık olduğunu açıklar. Ve artıklığın olduğu yerde, iyileştirme için yer vardır.

Bu biraz soyut görünüyorsa - çünkü, öyle - İngiliz alfabesini düşünelim. Noktalama işaretleri olmadan yalnızca küçük harflerle yazabildiğimizi hayal edin, bu da bize 26 harf ve oynamak için boşluk verir. Her karakterin oluşma olasılığının eşit olduğunu varsayarak - yani 1/27 - bir karakter içinde tutulan bilgi miktarını yaklaşık 4,8 Shannon olarak hesaplayabilirsiniz. Ancak bekleyin: 'x' veya 'z' cümlelerde görünme olasılığı 'r' veya 'e' kadar değildir. Eğer ortaya çıkan ve kullanımı harflerin her birinin olasılıkları dışarı İngilizce dilini ve iş analiz Yani eğer o yerine Shannon denklemde, sadece üzerinde 1 Shannon her karakter bir bilgi içeriği ile bitirmek değil, çok daha fazlası atmak bile büyük harflerle ve noktalama işaretleriyle.

Şimdi, ASCII - tipik olarak metni birler ve sıfırlar olarak kodlamak için kullanılan yöntem - alfabedeki her bir karakteri, ayrıca noktalama işaretlerini ve benzeri şeyleri 8 bitlik bir kod olarak temsil eder. Yani 'a' '01100001', 'b' '01100010' vb. Ancak, az önce gördüğümüz gibi, ortalama olarak her bir karakter 1'den biraz fazla Shannon bilgisi içeriyor, yani telefon hatlarından, fiber optik kablolardan veya 4G aracılığıyla mesaj gönderirken kapasiteyi kaplayan sistemde büyük miktarda fazlalık var demektir. . En yaygın karakterlerin daha kısa dizelerle temsil edildiği ve daha nadir olanların daha uzun dizelerle temsil edildiği bazı fazlalıkları kaldırmak için kullanabileceğimiz basit bir kod olmalıdır.

Aslında, Shannon'ın içgörüsünü kullanarak, David Huffman 1952'de MIT'de doktora öğrencisiyken tam olarak bunu fark etti. Karakterlerin gerçekte görünme olasılığına dayalı olarak mesajları kodlamanın bir yolunu geliştirdi: En sık sembollere en kısa kodlar atanır ve daha seyrek olan sembollere en uzun kodlar atanır. Huffman'ın tekniğinin farklı uygulamaları vardır, ancak tipik olarak bir "e", "111" gibi kısa bir kodla temsil edilirken, "z" "1100010100" ile temsil edilir. Z'den daha fazla e'nin olduğu tüm bir cümlenin uzunluğu boyunca bu, toplanır. Ve teorik olarak, bir fiber optik kabloya veya bir radyo dalgasına daha fazla bilgi sığdırabileceğiniz anlamına gelir.

Ve ne var biliyor musun? Bu sadece teorik değil. Huffman Coding'in değiştirilmiş bir sürümü, faks makinesinin telefon hatlarını aşağı göndermek için kullandığı siyah beyaz bit eşlem görüntülerini sıkıştırmak için kullanıldı . PKZIP adlı bir kodlama formatı, Huffman'ın çalışmasına dayanır ve .ZIP dosyalarının temeli olarak kullanılır. Ama gerçek vurucu? Hem MP3'ler hem de JPEG'ler , zaten sıkıştırılmış dosyaları daha da sıkıştırmak için Huffman kodlamasına dayanan DEFLATE olarak bilinen bir kodlama paketi kullanır , böylece fiber veya havada ve bilgisayarınıza veya telefonunuza aksi halde mümkün olandan daha hızlı sıkıştırabilirler. . Ve bunun için Shannon'a teşekkür edebilirsiniz - gerçekte neyin bilgi olarak kabul edildiğini çözdüğü için.

Suggested posts

Şimdiye Kadar Gördüğümüz En İkna Edici İklim Değişikliği Görselleştirmelerinden Biri

Şimdiye Kadar Gördüğümüz En İkna Edici İklim Değişikliği Görselleştirmelerinden Biri

Ama bu kış çok kar yağdı! Ama sadece birkaç derece! Ama memleketimdeki sıcaklık iyi hissettiriyor! Her şeyi iklim değişikliğini inkar edenlerden duyduk. Bu zarif görselleştirme, rekoru düzeltiyor.

Valve'in İlk Buhar Makinesi 50 Dolar ve Bu Sonbaharda Geliyor

Valve'in İlk Buhar Makinesi 50 Dolar ve Bu Sonbaharda Geliyor

Resmi olarak onaylanmış bir Buhar Makinesi mi bekliyorsunuz? İşte burada, bir çeşit - Valve Steam Link. Bu, evde Steam üzerinden yayın yoluyla yerel bir ağ üzerinden PC oyunlarından başka hiçbir şey yapmayan 50 dolarlık küçük bir mikro bilgisayardır.

Related posts

Plazma Kesici Katı Çeliğin Tereyağı Gibi Erimesini Sağlar

Plazma Kesici Katı Çeliğin Tereyağı Gibi Erimesini Sağlar

GIF: YouTube Yüksek sıcaklıkta bir plazma torcu kullanarak çeliği kesen biri çıplak gözle kocaman bir kıvılcım yağmuruna benziyor. Ancak saniyede 480 kare hızla çekim yapan yüksek hızlı bir kameranın merceğinden, çelik, meşale kolayca içinden geçerken, eriyen tereyağı kadar güçlü görünüyor.

Yeni Senato Yasası, Veri İhlallerini Gizleyen Yöneticiler İçin Hapis Süresini İçeriyor

Yeni Senato Yasası, Veri İhlallerini Gizleyen Yöneticiler İçin Hapis Süresini İçeriyor

Senatör Bill Nelson (D-FL), Başkan seçilen Donald Trump tarafından ticaret sekreteri olarak görev yapmak üzere seçilen Wilbur Ross'un 18 Ocak 2017'de Capitol Hill'deki Senato Ticaret Komitesi'nin önünde seçtiği teyit duruşmasında bir soru sorar. Washington DC.

Çin, Gangster Kültürüyle İlişkili Olduğu İçin Sosyal Medyada Peppa Pig Videolarını Yasakladı

Çin, Gangster Kültürüyle İlişkili Olduğu İçin Sosyal Medyada Peppa Pig Videolarını Yasakladı

Çok az insan İngiliz çizgi film karakteri Peppa Pig'i yıkıcı bir simge olarak düşünebilir. Ama bunu Çin hükümetine söyleme.

Google'ın Yapay Zekası, Go Dünya Şampiyonu Lee Sedol'a Karşı İkinci Maçını Kazandı

Google'ın Yapay Zekası, Go Dünya Şampiyonu Lee Sedol'a Karşı İkinci Maçını Kazandı

Görüntü Linh Nguyen Bir dizi karşılaşmanın ikincisinde Google'ın yapay zekası Go'nun dünya şampiyonu Lee Sedol'u bir kez daha yendi. Beşin en iyisi turnuvası, artık yapay zekanın şampiyon olabilmesi için bir kez daha kazanmasını gerektiriyor.

MORE COOL STUFF

Duke Blue Devils Basketbol Antrenörü Mike Krzyzewski Evli mi?

Duke Blue Devils Basketbol Antrenörü Mike Krzyzewski Evli mi?

Mike Krzyzewski'nin bu sezonun sonunda Duke basketbolundan emekli olması, ona eşi ve ailesiyle daha fazla zaman kazandıracak.

Nicholas Braun'un 'Succession'dan Boyu Ne Kadar?

Nicholas Braun'un 'Succession'dan Boyu Ne Kadar?

'Succession' hayranları, Greg, diğer adıyla Nicholas Braun'un alışılmadık derecede uzun boyunu fark etmekten kendilerini alamıyorlar. Gerçekten oyuncu kadrosunun üzerinde mi yükseliyor?

2021 Tatil Sezonu için 'Öncü Kadın' Ree Drummond Şükran Günü Garnitürleri

2021 Tatil Sezonu için 'Öncü Kadın' Ree Drummond Şükran Günü Garnitürleri

Öncü Kadın Ree Drummond sizi Şükran Günü'ne hazırlamak için burada. İşte onun en iyi yan yemeklerinden bazıları.

'90 Day Fiancé': Mike Youngquist'in Yabancı Eşi Natalie'nin 'The Single Life'da Flört Ettiği İlişki Durumuna İlişkin Güncelleme

'90 Day Fiancé': Mike Youngquist'in Yabancı Eşi Natalie'nin 'The Single Life'da Flört Ettiği İlişki Durumuna İlişkin Güncelleme

Natalie '90 Day: The Single Life' dizisinde ama Mike Youngquist ne yapıyor? İşte Mike'ın şu anki ilişki durumu hakkında bildiklerimiz.

Mini Bulmacamızı Deneyin

Mini Bulmacamızı Deneyin

Her hafta güncellenen mini bulmacamız, en sevdiğimiz HowStuffWorks okumalarımızı zeki ipuçlarıyla birleştiriyor!

En İyi Hangisi Çalışır: Çamaşır Bölmeleri, Toz veya Sıvı Deterjanlar?

En İyi Hangisi Çalışır: Çamaşır Bölmeleri, Toz veya Sıvı Deterjanlar?

Doğru deterjanı seçme konusunda endişelenmenize gerek kalmadan çamaşır yıkamak yeterince kötü. Peki en iyisi hangisi? Yoksa önemli mi?

Kentucky'nin Mavi Halkının Gerçek Hikayesi

Kentucky'nin Mavi Halkının Gerçek Hikayesi

Kentucky kırsalındaki Fugates ve Combs aileleri, genetik piyangoyu kaybettiler ve her ikisi de, evlenirken tenlerinin mavi görünmesine neden olan nadir bir çekinik özelliği paylaştılar. Bunun nedeni neydi? Ve ailelere ne oldu?

California Condor 'Bakire Doğum' Türleri Kurtarabilir mi?

California Condor 'Bakire Doğum' Türleri Kurtarabilir mi?

İki babasız erkek civciv, California akbabasını yok olmaktan kurtarmak için bir programda yetiştiriliyor. Böyle 'bakire' doğumlar nasıl mümkün olabilir?

Cardi B ve Offset'in Kızı Kulture Instagram'da Güzel Yeni Örgüler Sergiliyor

Cardi B ve Offset'in Kızı Kulture Instagram'da Güzel Yeni Örgüler Sergiliyor

Cardi B ve Offset'in 3 yaşındaki kızı Kulture, yeni örgülü saç modelini Instagram'da sergiledi.

Selena Gomez, Knicks Oyununda Kiss Cam için Cara Delevingne'nin Yanağına Bir Öksürdü

Selena Gomez, Knicks Oyununda Kiss Cam için Cara Delevingne'nin Yanağına Bir Öksürdü

Selena Gomez daha önce arkadaşı Cara Delevingne için "Çok eğlenceli ve son derece maceracı" dedi.

Madonna Spor Salonundaki Şişeden Cin İçiyor: 'Bugünün Egzersizi'

Madonna Spor Salonundaki Şişeden Cin İçiyor: 'Bugünün Egzersizi'

Şarkıcı Perşembe günü fitness rutinini değiştirmeye karar verdi.

Jamie Dornan, Süpermen Rolünü Henry Cavill'e Kaybettiğini ve Bir Süper Kahraman Rolü için Marvel'e Yaklaştığını Söyledi

Jamie Dornan, Süpermen Rolünü Henry Cavill'e Kaybettiğini ve Bir Süper Kahraman Rolü için Marvel'e Yaklaştığını Söyledi

Jamie Dornan, Superman rolü için seçmelere katıldığını ancak Henry Cavill'e yenildiğini açıkladı; ve Marvel ile MCU'ya katılma hakkında konuştu.

Sigmoid Fonksiyonu nedir? Lojistik Regresyonda nasıl uygulanır?

Sigmoid Fonksiyonu nedir? Lojistik Regresyonda nasıl uygulanır?

Wikipedia'ya göre, bir düğümün aktivasyon işlevi, bir girdi veya girdi seti verilen bu düğümün çıktısını yapay bir sinir ağı cinsinden tanımlar. Standart bir entegre devre, girişe bağlı olarak "AÇIK" (1) veya "KAPALI" (0) olabilen bir dijital aktivasyon işlevleri ağı olarak görülebilir.

Mars ve İç Gücü Geliştirme

Mars ve İç Gücü Geliştirme

Ateşli gezegenin bize güç hakkında öğreteceği bir iki şey var. “Dünyada nezaketten daha güçlü bir şey yok” - Han Suyin Bu cümleyi ilk kez bir yıl önce okudum ve o zamandan beri çok düşünmeye başladım.

İngiltere'de uluslararası bir öğrenci olmak nasıl bir şey.

İngiltere'de uluslararası bir öğrenci olmak nasıl bir şey.

Bir şeyleri ayarlamak için - Şu anda ikinci yıl lisans bilgisayar bilimleri kursumun ortasındayım. Neden İngiltere'de okumayı düşündüm ki? 🤔 Birincisi hayatımda hep büyük şeyler yapmak istemişimdir ve kıyıya yüzebilmek için okyanusun ortasına atılmayı seviyorum.

Makine Öğreniminde Gradient Descent'i Anlama

Makine Öğreniminde Gradient Descent'i Anlama

Bu yazıda, makine öğrenimi modellerini eğitmek için kullanılan optimizasyon algoritması 'Gradient Descent'e daha yakından bakacağız. Sonunda adım büyüklüğünden bahsederken buna hem sezgisel hem de matematiksel olarak bakacağız.

Language