Sans cette équation, vous ne seriez pas ici

C'est la théorie de l'information de Shannon, et c'est l'équation qui rend possible la compression des données. Sans cela, vous ne seriez pas en train de lire cet article en ligne pour le moment.

L'équation de Shannon codifie exactement la quantité d'informations qu'une chaîne de nombres ou de caractères contient réellement. Cela a permis à Shannon - et, plus tard, aux ingénieurs logiciels - de développer de nouvelles façons de compresser les messages sans perdre aucun de leur contenu.

Claude Shannon a travaillé aux Bell Labs dans une période d'après-guerre où l'analogique était lentement éclipsé par le numérique. Les circuits analogiques avaient été largement utilisés dans les années 1930 pour envoyer des messages, car il était assez facile de créer des composants électroniques simples avec des composants prêts à l'emploi qui pouvaient créer une vaste gamme de sorties fournissant des signaux constamment variables contenant des informations. Mais si vous envoyez un message composé de signaux analogiques par des câbles sur de longues distances, les choses peuvent mal tourner. Le signal s'affaiblit avec la distance et du bruit peut s'infiltrer dans le signal, ce qui rend difficile la distinction entre un message et un autre.

Au lieu de cela, les systèmes numériques devenaient à la mode. Ces systèmes, que nous connaissons tous maintenant, utilisaient un simple signal marche ou arrêt : 0 volt signifiait zéro et un autre, une tension plus élevée, signifiait un. Enchaînez suffisamment de uns et de zéros et vous pouvez représenter des chiffres, des lettres, des caractères... peu importe. Et en réglant la tension la plus élevée à un niveau suffisamment élevé, l'affaiblissement et la dégradation du signal ne doivent jamais être un problème. (Et même si c'est le cas, vous pouvez placer un appareil à un moment donné le long du chemin pour mesurer le signal et reproduire un nouveau signal numérique propre sans aucun bruit, ce que vous ne pouvez pas faire avec un système analogique.)

Shannon était une passionnée du numérique. En tant qu'étudiant de troisième cycle au MIT, âgé de 21 ans, il avait utilisé les mathématiques numériques connues sous le nom d'algèbre booléenne pour montrer que les circuits numériques pouvaient être utilisés pour construire des relations logiques complexes. Mais alors qu'il était assis aux Bell Labs, au crépuscule de la vingtaine, il a commencé à se demander si l'essence même de ce qui était contenu dans ces chaînes de uns et de zéros ne pouvait pas être résumée un peu.

Prenez une chaîne binaire de nombres qui représente une sorte de message - disons, 00100001. Elle est composée d'une chaîne de huit caractères, chacun pouvant prendre la valeur 0 ou 1. Ces caractères sont appelés chiffres binaires ou bits. et, naïvement, nous pourrions supposer que chacun d'eux représente une seule information : à chaque point le long de la chaîne, nous comprenons mieux si un caractère prend la valeur 1 ou 0.

Mais la perspicacité simple mais étonnante de Shannon était de suggérer qu'une telle hypothèse était erronée. Il s'est rendu compte que la présence d'un 1 ou d'un 0 n'était intéressante que si l'on ne savait pas quelle valeur chaque chiffre pouvait prendre. Considérez-le comme un tirage au sort. Avec une pièce équitable, chaque lancer est intéressant parce que vous ne savez jamais ce que vous allez obtenir ; avec un lesté, chaque flip est ennuyeux parce que vous savez toujours ce que vous allez obtenir. L'observation de Shannon était que l'information est liée à la probabilité avec laquelle le contenu de votre message devrait apparaître.

La théorie de l'information de Shannon, publiée pour la première fois dans le livre de 1949 The Mathematical Theory of Communication , qu'il a co-écrit avec Warren Weaver, explique cela sous forme algébrique. L'équation, en haut de la page, définit une quantité, H, connue sous le nom d'entropie de Shannon - essentiellement la quantité d'informations contenues dans un message donné.

La probabilité qu'un symbole particulier, comme un un ou un zéro, se produise s'écrit p(x), où le x représente le un ou le zéro, ou un autre type de symbole utilisé. L'équation multiplie ensuite la probabilité qu'un symbole se produise par le nombre de bits d'information requis pour représenter ce symbole particulier, qui est donné par le logarithme de 1/p(x). Cela a un sens intuitif : les informations requises sont inversement proportionnelles à la probabilité, de sorte que les caractères qui apparaissent rarement fournissent plus d'informations. Enfin, l'équation additionne la contribution à l'information pour chaque valeur de x, ce que fait le grand symbole en forme de E, en fait un sigma grec majuscule.

Alors, imaginez que nous fassions notre tirage au sort à partir d'un tirage au sort numérique, où une face est un zéro, une face est un 1, et elles sont toutes aussi probables. Remplacez ces nombres dans l'équation de Shannon et vous constaterez qu'un seul tirage au sort numérique fournit 1 Shannon d'informations.

(Oui, il l'a nommé d'après lui. En fait, dans les cercles techniques, les gens appellent souvent 1 Shannon "1 bit" pour faire court, mais étant donné que nous avons déjà commencé à parler de bits et que cela pourrait devenir très déroutant, nous nous en tiendrons à Shannon.)

Cela signifie que pour une information donnée ou un message entier, vous pouvez déterminer exactement la quantité d'informations qui y est stockée. Si, dans le cas de notre tirage au sort numérique, nous utilisions une pièce numérique pondérée, où la probabilité d'en obtenir un est de 0 ou 1, nous pourrions aussi bien ne pas nous embêter à envoyer le message : le destinataire saura toujours ce qu'il est. va obtenir, donc le message ne contient aucune information.

Mais si vous pensez à des chaînes de caractères plus longues avec différentes probabilités d'apparition de uns et de zéros, les choses deviennent un peu plus intéressantes. Imaginez une longue chaîne de zéros et de uns : si chacun est également susceptible de se produire à n'importe quel point de la chaîne, il n'y a pas de meilleur moyen d'envoyer les informations que telles quelles. Mais si, disons, des zéros se produisent 9 fois sur 10 et des uns seulement 1 fois sur 10, alors vous pouvez vous attendre à beaucoup plus de zéros que de uns. À son tour, la chaîne a moins d'informations et, par conséquent, elle a une certaine redondance. Si nous étions intelligents, nous pourrions représenter les longues chaînes de zéros que nous nous attendons à voir par une autre description plus courte des caractères.

La théorie de Shannon explique en fait que pour tout message, il existe une certaine redondance donnée par la différence entre le nombre de caractères, ou de bits, envoyés et le nombre de Shannon contenus dans le message, le nombre de bits d'information qu'il contient réellement. Et là où il y a redondance, il y a place à amélioration.

Si cela semble un peu abstrait — parce que, eh bien, ça l'est — pensons à l'alphabet anglais. Imaginez que nous ne puissions écrire qu'en minuscules sans ponctuation, ce qui nous donne 26 lettres et de l'espace pour jouer. En supposant que la probabilité que chaque personnage se produise est égale - c'est-à-dire 1/27 - vous pouvez calculer la quantité d'informations détenues dans un personnage à environ 4,8 Shannons. Mais attendez : un « x » ou un « z » n’est pas aussi susceptible d’apparaître dans une phrase qu’un « r » ou un « e ». Donc, si vous analysez la langue anglaise et calculez les probabilités d'occurrence de chacune des lettres et utilisez plutôt celles de l'équation de Shannon, vous vous retrouvez avec un contenu d'information dans chaque caractère d'un peu plus de 1 Shannon, et pas beaucoup plus même si vous lancez en majuscules et en ponctuation.

Désormais, ASCII - la méthode généralement utilisée pour coder le texte sous forme de uns et de zéros - représente chaque caractère de l'alphabet, ainsi que les signes de ponctuation et d'autres éléments similaires, sous la forme d'un code à 8 bits. Donc 'a' est '01100001', 'b' est '01100010' et ainsi de suite. Mais, comme nous venons de le voir, en moyenne chaque caractère contient un peu plus de 1 Shannon d'informations, ce qui signifie qu'il y a une grande quantité de redondance intégrée dans le système qui prend de la capacité lorsque nous envoyons des messages sur des lignes téléphoniques, des câbles à fibre optique ou via 4G . Il doit y avoir un code simple que nous pouvons utiliser pour supprimer une certaine redondance, où les caractères les plus courants sont représentés par des chaînes plus courtes et les plus rares sont représentés par des chaînes plus longues.

En fait, en utilisant la perspicacité de Shannon, c'est exactement ce que David Huffman a réalisé alors qu'il était étudiant au doctorat au MIT en 1952. Il a développé un moyen de coder les messages basé sur la probabilité d'apparition réelle des caractères : les symboles les plus fréquents se voient attribuer les codes les plus courts et les symboles les moins fréquents se voient attribuer les codes les plus longs. Il existe différentes implémentations de la technique de Huffman, mais généralement un « e » peut être représenté par un code court comme « 111 », tandis qu'un « z » serait représenté par « 1100010100 ». Sur la longueur d'une phrase entière, où il y a plus de e que de z, cela s'additionne. Et, en théorie, cela signifie que vous pouvez faire passer plus d'informations sur un câble à fibre optique ou sur une onde radio.

Et tu sais quoi? Ce n'est pas que théorique. Une version modifiée de Huffman Coding a été utilisée pour compresser les images bitmap en noir et blanc que le télécopieur utilisait pour envoyer les lignes téléphoniques. Un format d'encodage appelé PKZIP est basé sur le travail de Huffman, et il est utilisé comme base pour les fichiers .ZIP. Mais le vrai kicker ? Les fichiers MP3 et JPEG utilisent tous deux un package d'encodage appelé DEFLATE , basé sur le codage Huffman, pour compresser encore plus les fichiers déjà compressés, afin qu'ils puissent passer à travers la fibre ou l'air et sur votre ordinateur ou votre téléphone plus rapidement que cela ne serait possible autrement. . Et pour cela, vous pouvez remercier Shannon – pour avoir déterminé ce qui comptait vraiment comme information.

Suggested posts

Une vidéo incroyable montre une baleine orque lançant un phoque à 80 pieds dans les airs

Une vidéo incroyable montre une baleine orque lançant un phoque à 80 pieds dans les airs

Une équipe de tournage travaillant au large de Victoria, en Colombie-Britannique, a capturé des images remarquables d'un épaulard transitoire utilisant sa queue pour lancer un phoque commun du Pacifique à quelque 80 pieds (20 mètres) dans les airs. Les images ont été capturées par Mike Walker, propriétaire de Roll.

L'héritage complexe des femmes scientifiques de la Première Guerre mondiale

L'héritage complexe des femmes scientifiques de la Première Guerre mondiale

Martha Whiteley à l'Imperial College. Pendant la Première Guerre mondiale, loin des lignes de bataille, le Royaume-Uni a été confronté à une crise différente.

Related posts

Le presse-agrumes de 700 $ pour maintenir la Silicon Valley régulière

Le presse-agrumes de 700 $ pour maintenir la Silicon Valley régulière

Juicero - présenté comme un Keurig pour le jus de fruits frais - est le discours de la vallée. La société a été lancée aujourd'hui après avoir levé 12o millions de dollars.

Une nouvelle araignée translucide découverte vivant dans la grotte boueuse de l'Indiana

Une nouvelle araignée translucide découverte vivant dans la grotte boueuse de l'Indiana

Islandiana lewisi n'occupe qu'une seule grotte dans le Midwest. Les scientifiques ont découvert une nouvelle espèce d'araignée tisseuse de feuilles, et elle ne vit que dans une grotte du sud de l'Indiana.

Les analystes de Goldman Sachs se demandent si la guérison des patients est bonne pour les affaires

Les analystes de Goldman Sachs se demandent si la guérison des patients est bonne pour les affaires

Les entreprises vont-elles faire obstacle à la thérapie génique? Les progrès récents de la science et de la médecine ont mis des remèdes à portée de main pour des maladies qui affectent depuis longtemps l'humanité. Dans un rapport récent, cependant, les analystes de Goldman Sachs ont posé une question inconfortable qui a rapidement suscité des critiques.

On dirait que Snap veut brûler plus d'argent à l'autel des caméras portables

On dirait que Snap veut brûler plus d'argent à l'autel des caméras portables

Eh bien, il semble que nous pourrions bientôt voir le retour des Spectacles surexcités de Snapchat. Comme Variety l'a rapporté pour la première fois, la FCC a publié mardi un dossier de Snap pour une «caméra vidéo portable», juste un mois après la rumeur selon laquelle la société pourrait publier non pas une, mais deux versions différentes de ses lunettes de soleil d'enregistrement vidéo.

MORE COOL STUFF

La marque de beauté agréable de Harry Styles connecte le chanteur de « Fine Line » avec les fans d'une nouvelle manière

La marque de beauté agréable de Harry Styles connecte le chanteur de « Fine Line » avec les fans d'une nouvelle manière

Harry Styles fait passer la fluidité du genre à un niveau supérieur avec sa nouvelle marque de bien-être, Pleeasing, qui comprend du vernis à ongles et des soins de la peau.

Stevie Nicks n'était "pas contente" d'être nue sur la pochette de son premier album avec Lindsey Buckingham ; Elle dit qu'elle a été « forcée » et « vraiment horrifiée »

Stevie Nicks n'était "pas contente" d'être nue sur la pochette de son premier album avec Lindsey Buckingham ; Elle dit qu'elle a été « forcée » et « vraiment horrifiée »

La chanteuse de Fleetwood Mac, Stevie Nicks, a révélé qu'elle se sentait "forcée" de poser nue sur la pochette de son premier album avec Lindsey Buckingham.

Stevie Nicks a donné ce conseil à Sheryl Crow

Stevie Nicks a donné ce conseil à Sheryl Crow

Stevie Nicks et Sheryl Crow ont collaboré plusieurs fois au fil des ans. Nicks a partagé le seul conseil qu'elle a donné à Crow.

Les fans de "Sister Wives" sont convaincus que Meri Brown ne reste avec Kody que par pur dépit

Les fans de "Sister Wives" sont convaincus que Meri Brown ne reste avec Kody que par pur dépit

Alors que les fans de "Sister Wives" discutent de la séparation de Christine et Kody, certains ont postulé qu'une autre épouse, Meri, pourrait être la prochaine à partir.

Essayez nos mini mots croisés

Essayez nos mini mots croisés

Mis à jour chaque semaine, nos mini mots croisés combinent nos lectures préférées de HowStuffWorks avec des indices intelligents !

Qu'est-ce qui fonctionne le mieux : dosettes de lessive, détergents en poudre ou liquides ?

Qu'est-ce qui fonctionne le mieux : dosettes de lessive, détergents en poudre ou liquides ?

Faire la lessive est déjà assez pénible sans avoir à se soucier de choisir le bon détergent. Alors, laquelle est la meilleure ? Ou est-ce même important?

La véritable histoire du peuple bleu du Kentucky

La véritable histoire du peuple bleu du Kentucky

Les familles Fugates et Combs du Kentucky rural ont perdu la loterie génétique, partageant toutes deux un trait récessif rare qui rendait leur peau bleue lorsqu'ils se mariaient entre eux. Quelle en était la cause ? Et qu'est-il arrivé aux familles?

Le Condor de Californie 'Virgin Birth' pourrait-il sauver l'espèce ?

Le Condor de Californie 'Virgin Birth' pourrait-il sauver l'espèce ?

Deux poussins mâles sans père sont élevés dans le cadre d'un programme visant à sauver le condor de Californie de l'extinction. Comment de telles naissances « vierges » sont-elles possibles ?

Toutes les tenues étonnantes de Cardi B des American Music Awards 2021

Toutes les tenues étonnantes de Cardi B des American Music Awards 2021

Cardi B a accueilli les American Music Awards 2021 dans une série de looks haute couture – voyez-les tous !

RHOP Reunion Partie 3: Nicki Minaj fait une apparition surprise à l'hôte invité - et elle prend parti

RHOP Reunion Partie 3: Nicki Minaj fait une apparition surprise à l'hôte invité - et elle prend parti

La quatrième et dernière partie de la réunion de la saison 6 de The Real Housewives of Potomac sera diffusée le 28 novembre

Kulture, la fille de Cardi B et Offset, montre de belles nouvelles tresses sur Instagram

Kulture, la fille de Cardi B et Offset, montre de belles nouvelles tresses sur Instagram

La fille de 3 ans de Cardi B et Offset, Kulture, a montré sa nouvelle coiffure tressée sur Instagram.

INVESTIR LA CONNAISSANCE et Silver Surfer

INVESTIR LA CONNAISSANCE et Silver Surfer

Comment le « Herald of Galactus » de Marvel contribue à améliorer l'expertise en investissement « J'ai connu l'exaltation grisante de la victoire. J'ai connu la douleur lancinante de la défaite.

9 façons de célébrer l'anniversaire de votre chien

9 façons de célébrer l'anniversaire de votre chien

L'anniversaire d'un chien est une occasion vraiment spéciale et il mérite une grande fête. Dans cet article, nous allons vous montrer 10 façons de faire de l'anniversaire de votre chien un super anniversaire ! 1.

Je suis blanc à l'extérieur, mais noir de part en part.

Je suis blanc à l'extérieur, mais noir de part en part.

Les « Oreos » sont ce que ma famille a appelé les Noirs qui ont trahi leur couleur de peau. Ils étaient ceux qui pouvaient sembler noirs à l'extérieur mais dont les actions montraient qu'ils étaient blancs à l'intérieur.

Comment Apple nous a aidés à prévenir la cécité grâce à une meilleure conception

Points à retenir de la conception d'un dispositif médical avec Apple

Comment Apple nous a aidés à prévenir la cécité grâce à une meilleure conception

« Je ne suis pas satisfait de votre appareil. » Je me suis souvenu du Dr.

Language