Entropija niza. Entropija kot merilo informacije

1.4 Entropija vira. Lastnosti količine in entropije informacije

Količina informacij, ki jih vsebuje eno osnovno sporočilo x i , ne označuje v celoti vira. Vir diskretnih sporočil je mogoče opredeliti povprečna količina informacij na osnovno sporočilo , ki se imenuje izvorna entropija

, i =1…k , (1.3)

kje k – glasnost abecede sporočila.

Tako je entropija povprečna statistična mera negotovosti znanja prejemnika informacije o stanju opazovanega predmeta.

V izrazu (1.3) je statistično povprečje (tj. določanje matematičnega pričakovanja diskretne naključne spremenljivke jaz (X i )) se izvaja nad celotnim nizom izvornih sporočil. V tem primeru je potrebno upoštevati vse verjetnostne povezave med sporočili. Večja kot je entropija vira, večja količina informacij je v povprečju vključena v posamezno sporočilo, težje si je takšno sporočilo zapomniti (posneti) ali posredovati po komunikacijskem kanalu. Tako je bistvo Shannonove entropije naslednje: Entropija diskretne naključne spremenljivke je najmanjše povprečno število bitov, ki jih je treba prenesti po komunikacijskem kanalu glede trenutne vrednosti dane naključne spremenljivke.

Energija, potrebna za prenos sporočila, je sorazmerna z entropijo (povprečna količina informacije na sporočilo). Iz tega sledi, da je količina informacij v zaporedju n sporočil določa število teh sporočil in entropija vira, tj.

jaz (n)=N.H.(X) .

Entropija kot kvantitativna mera informacijske vsebine vira ima naslednje lastnosti:

1) entropija je nič, če je vsaj eno od sporočil zanesljivo (tj. ima verjetnost p i = 1);

2) vrednost entropije je vedno večja ali enaka nič, realna in omejena;

3) entropija vira z dvema alternativnima dogodkoma se lahko spreminja od 0 do 1;

4) entropija je aditivna količina: entropija vira, katerega sporočila so sestavljena iz sporočil več statistično neodvisnih virov, je enaka vsoti entropij teh virov;

5) entropija bo največja, če so vsa sporočila enako verjetna

. (1.4)

Za neenaka sporočila x i entropija se zmanjša. V zvezi s tem je uvedena taka izvorna mera kot statistična redundanca izvorne abecede

, (1.5)

kje H (X ) – entropija realnega vira; H (X ) maks= dnevnik 2 k – največja dosegljiva entropija vira.

Redundanca vira informacij, določena s formulo (1.5), kaže informacijsko rezervo sporočil, katerih elementi so neenakomerno verjetni.

Obstaja tudi koncept pomenska redundanca , kar izhaja iz dejstva, da je vsako misel, ki jo vsebuje sporočilo iz stavkov človeškega jezika, mogoče formulirati krajše. Menijo, da če je katero koli sporočilo mogoče skrajšati, ne da bi pri tem izgubili semantično vsebino, potem ima semantično redundanco.

Razmislimo o diskretnih naključnih spremenljivkah (d.r.v.) X in Y , ki ga določajo distribucijski zakoni p (X = X i )= p i , p (Y = Yj )= q j in skupna distribucija p (X = X i , Y = Yj )= p ij . Potem količina informacij, ki jih vsebuje d.s. V. X glede na d.s. V. Y , se določi s formulo

. (1.6)

Za zvezne naključne spremenljivke (r.v.) X in Y , podana z gostoto porazdelitve verjetnosti r X (t 1 ) , r Y (t 2 ) in r XY (t 1 , t 2 ) , podobna formula ima obliko

To je očitno

torej

tiste. pridemo do izraza (1.3) za izračun entropije H (X ) .

Lastnosti količine in entropije informacije:

1) jaz (X , Y ) ≥ 0 ; jaz (X , Y ) =0 Û X in Y neodvisna (ena naključna spremenljivka ne opisuje druge);

2) jaz (X, Y ) =jaz(Y, X ) ;

3) NH =0 Û X=konst ;

4) jaz (X, Y) =HX+HY-H (X, Y) , kje ;

5) jaz (X, Y) ≤ I(X, X); I(X, Y)= I(X, X) Þ X=f(Y) .

TESTNA VPRAŠANJA

1 Katere vrste informacij obstajajo?

2 Kako neprekinjeno informacijo pretvoriti v diskretno (digitalno) obliko?

3 Kakšna je stopnja vzorčenja neprekinjenih informacij?

4 Kako je formuliran diskretizacijski izrek?

5 Kaj je informacija, kodiranje, komunikacijski kanal, šum?

6 Katere so glavne določbe Shannonovega verjetnostnega pristopa k določanju količine informacij?

7 Kako se določi količina informacij, ki jih vsebuje eno sporočilo iz ločenega vira?

8 Kako se določi količina informacij na sporočilo iz vira soodvisnih sporočil?

9 Kaj je izvorna entropija? Kakšne so njegove lastnosti?

10 Pod katerimi pogoji je entropija vira največja?

11 Kako se določi količina informacij? Kakšne so lastnosti količine informacij?

12 Kaj določa statistično redundanco vira informacij?

Koncept Entropija prvič uvedel leta 1865 R. Clausius v termodinamiki za določitev mere ireverzibilne disipacije energije. Entropija se uporablja v različnih vejah znanosti, tudi v teoriji informacij, kot merilo negotovosti katere koli izkušnje, testa, ki ima lahko različne rezultate. Te definicije entropije imajo globoko notranjo povezavo. Tako je na podlagi idej o informacijah mogoče izpeljati vse najpomembnejše določbe statistične fizike. [BES. Fizika. M: Velika ruska enciklopedija, 1998].

Ta količina se imenuje tudi povprečna entropija sporočila. Entropija v Shannonovi formuli je povprečna značilnost - matematično pričakovanje porazdelitve naključne spremenljivke.
Na primer, v zaporedju črk, ki sestavljajo stavek v ruščini, se različne črke pojavljajo z različnimi frekvencami, zato je negotovost pojavljanja nekaterih črk manjša kot pri drugih.
Leta 1948 je Claude Shannon, ki je raziskoval problem racionalnega prenosa informacij prek hrupnega komunikacijskega kanala, predlagal revolucionaren verjetnostni pristop k razumevanju komunikacij in ustvaril prvo resnično matematično teorijo entropije. Njegove senzacionalne ideje so hitro služile kot osnova za razvoj informacijske teorije, ki uporablja koncept verjetnosti. Koncept entropije kot merila naključnosti je uvedel Shannon v svojem članku "Matematična teorija komunikacije", objavljenem v dveh delih v Bell System Technical Journal leta 1948.

V primeru enako verjetnih dogodkov (poseben primer), ko so vse možnosti enako verjetne, ostane odvisnost le od števila obravnavanih možnosti in Shannonova formula je bistveno poenostavljena in sovpada s Hartleyjevo formulo, ki jo je prvi predlagal ameriški inženir. Ralph Hartley leta 1928 kot enega od znanstvenih pristopov k vrednotenju sporočil:

Naloga 1. Za enako verjetne dogodke.
V kompletu je 36 kart. Koliko informacij vsebuje sporočilo, da je bila karta s portretom "asa" vzeta iz kompleta; "pikov as"?

Verjetnost p1 = 4/36 = 1/9 in p2 = 1/36. Z uporabo Hartleyjeve formule imamo:

Odgovor: 3,17; 5,17 bit
Upoštevajte (iz drugega rezultata), da je za kodiranje vseh kartic potrebnih 6 bitov.
Iz rezultatov je tudi razvidno, da manjša kot je verjetnost dogodka, več informacij vsebuje. (Ta lastnost se imenuje monotonost)

Naloga 2. Za neenako verjetne dogodke
V kompletu je 36 kart. Od tega je 12 kart s »portreti«. Eno za drugo se ena od kart vzame iz krova in pokaže, da se ugotovi, ali prikazuje portret. Karta se vrne v špil. Določite količino informacij, ki se prenesejo vsakič, ko se prikaže ena kartica.

Claude Shannon je prvi interpretiral prenesena sporočila in hrup v komunikacijskih kanalih s statističnega vidika, pri čemer je upošteval tako končne kot zvezne nize sporočil. Imenuje se Claude Shannon "oče informacijske teorije".

Eno najbolj znanih znanstvenih del Clauda Shannona je njegov članek "Matematična teorija komunikacije", objavljeno leta 1948.

V tem delu je Shannon, ki je raziskoval problem racionalnega prenosa informacij prek hrupnega komunikacijskega kanala, predlagal verjetnostni pristop k razumevanju komunikacij, ustvaril prvo resnično matematično teorijo entropije kot merila naključnosti in uvedel merilo diskretne porazdelitve. str verjetnosti na nizu alternativnih stanj oddajnika in sprejemnika sporočil.

Shannon je postavil zahteve za merjenje entropije in izpeljal formulo, ki je postala osnova kvantitativne teorije informacij:

H(p).

Tukaj n- število znakov, iz katerih je lahko sestavljeno sporočilo (abeceda), H - informacijska binarna entropija .

V praksi so vrednosti verjetnosti p i v zgornji formuli so nadomeščene s statističnimi ocenami: p i - relativna frekvenca i znak v sporočilu, kjer n- število vseh znakov v sporočilu, N i- absolutna frekvenca i znak v sporočilu, tj. številka pojava i znak v sporočilu.

V uvodu svojega članka "Matematična teorija komunikacije" Shannon ugotavlja, da v tem članku širi teorijo komunikacije, katere glavne določbe so vsebovane v pomembnih delih. Nyquist in Hartley.

Nyquistovi zgodnji rezultati pri določanju širine frekvenčnega območja, potrebnega za prenos informacij, so postavili temelj za kasnejše uspehe Clauda Shannona pri razvoju informacijske teorije.

Leta 1928 je Hartley uvedel logaritemsko mero informacij H = K dnevnik 2 n, ki se pogosto imenuje Hartleyjeva količina informacij.

Hartley ima naslednji pomemben izrek o zahtevani količini informacij: če je v dani množici M, sestavljen iz n elementi, vsebuje element x, za katerega je znano le, da spada v ta sklop M, potem najti x, je potrebno pridobiti količino informacij o tem nizu, ki je enaka log 2 n bit.

Mimogrede, upoštevajte, da naslov BIT izhaja iz angleške kratice BIT - BINARNA ŠTEVKA. Ta izraz je prvi predlagal ameriški matematik John Tukey leta 1946. Hartley in Shannon sta uporabila bit kot informacijsko enoto.

Na splošno je Shannonova entropija entropija niza verjetnosti str 1 , str 2 ,…, p n.

Strogo gledano, če X str 1 , str 2 ,…, p n- verjetnost vseh možnih vrednosti, nato funkcija H (X)določa entropijo te naključne spremenljivke, v tem primeru, čeprav X in ni entropijski argument, lahko zapišemo H (X).

Prav tako, če Y je končna diskretna naključna spremenljivka in q 1 , q 2 ,…, q m je verjetnost vseh njegovih možnih vrednosti, potem lahko za to naključno spremenljivko zapišemo H (Y).

Shannon je poklicala funkcijo H(X)entropija po nasvetu John von Neumann.

Neumann je prepričan: to funkcijo bi morali imenovati entropija "iz dveh razlogov. Prvič, vaša funkcija negotovosti je bila uporabljena v statistični mehaniki pod tem imenom, tako da že ima ime. Drugič, kar je še pomembneje, nihče ne ve, kaj je pravzaprav entropija, tako da boste vedno imeli prednost v razpravi.".

Domnevati je treba, da ta Neumannov nasvet ni bil navadna šala. Najverjetneje sta tako John von Neumann kot Claude Shannon vedela za informacijsko interpretacijo Boltzmannove entropije kot količine, ki označuje nepopolnost informacij o sistemu.

Po Shannonovi definiciji entropija- to je količina informacij na eno osnovno sporočilo iz vira, ki generira statistično neodvisna sporočila.

7. Kolmogorova entropija

A.N. Kolmogorov Doseženi so bili temeljni rezultati na številnih področjih matematike, vključno s teorijo kompleksnosti algoritmov in teorijo informacij.

Zlasti je igral ključno vlogo pri preoblikovanju informacijske teorije, ki jo je oblikoval Claude Shannon kot tehnično disciplino, v strogo matematično znanost in pri gradnji informacijske teorije na bistveno drugačni podlagi od Shannonove.

V svojih delih o teoriji informacij in na področju teorije dinamičnih sistemov je A.N. Kolmogorov je posplošil koncept entropije na ergodične naključne procese prek mejne porazdelitve verjetnosti. Da bi razumeli pomen te posplošitve, je treba poznati osnovne definicije in koncepte teorije naključnih procesov.

Vrednost Kolmogorove entropije (imenovana tudi K-entropija) podaja oceno stopnje izgube informacij in se lahko razlaga kot merilo "pomnilnika" sistema ali merilo stopnje "pozabljanja" začetnih pogojev. Lahko se šteje tudi za merilo kaotičnosti sistema.

8. Renyijeva entropija

Predstavil Renyijev entropijski spekter z enim parametrom.

Po eni strani je Rényijeva entropija posplošitev Shannonove entropije. Po drugi strani pa hkrati predstavlja posplošitev distance (divergence) Kullback-Leibler. Upoštevajte tudi, da je bil Rényi odgovoren za popoln dokaz Hartleyjevega izreka o zahtevani količini informacij.

Kullback-Leiblerjeva razdalja(informacijska divergenca, relativna entropija) je asimetrična mera medsebojne oddaljenosti dveh verjetnostnih porazdelitev.

Običajno je ena od porazdelitev, ki se primerjajo, »prava« porazdelitev, druga porazdelitev pa je ocenjena (testirana) porazdelitev, ki je približek prve.

Naj X, Y- to so končne diskretne naključne spremenljivke, za katere razponi možnih vrednosti pripadajo danemu nizu in so znane verjetnostne funkcije: p (X = a i) = p i in p (Y = a i) = qi.

Nato se z uporabo formul izračuna DKL vrednost Kullback-Leiblerjeve razdalje

D KL (X, Y) =, D KL (Y, X) = .

V primeru absolutno zveznih naključnih spremenljivk X, Y, podane z gostoto porazdelitve, so v formulah za izračun vrednosti Kullback-Leiblerjeve razdalje vsote nadomeščene z ustreznimi integrali.

Kullback-Leiblerjeva razdalja je vedno nenegativno število in je enaka nič D KL(X, Y) = 0, če in samo če za dane naključne spremenljivke enakost velja skoraj povsod X = Y.

Leta 1960 je Alfred Rényi predlagal svojo posplošitev entropije.

Renyijeva entropija predstavlja družino funkcionalov za kvantitativno raznolikost naključnosti sistema. Rényi je svojo entropijo definiral kot trenutek reda α mere ε-particije (pokritja).

Naj bo α dano realno število, ki izpolnjuje zahteve α ≥ 0, α ≠ 1. Potem je Rényijeva entropija reda α podana s formulo H α = H α ( X), Kje p i = p (X = x i) je verjetnost dogodka, ki sestoji iz dejstva, da diskretna naključna spremenljivka X bo enaka ustrezni možni vrednosti, n- skupno število različnih možnih vrednosti naključne spremenljivke X.

Za enakomerno porazdelitev, ko str 1 = str 2 =…= p n =1/n, so vse Renyijeve entropije enake H α ( X) = dnevnik n.

V nasprotnem primeru se vrednosti Renyijevih entropij nekoliko zmanjšajo, ko se povečajo vrednosti parametra α. Entropije Rényi igrajo pomembno vlogo v ekologiji in statistiki kot indeksi raznolikosti.

Entropija Rényi je prav tako pomembna pri kvantnih informacijah in se lahko uporablja kot merilo kompleksnosti.

Oglejmo si nekaj posebnih primerov Rényijeve entropije za specifične vrednosti reda α:

1. Hartleyjeva entropija : H 0 = H 0 (X) = dnevnik n, Kje n- moč območja možnih vrednosti končne naključne spremenljivke X, tj. število različnih elementov, ki pripadajo nizu možnih vrednosti;

2. Shannonova informacijska entropija : H 1 = H 1 (X) = H 1 (str) (definirano kot meja kot α → 1, ki jo je enostavno najti, na primer z uporabo L'Hopitalovega pravila);

3. Korelacijska entropija oz entropijski trk: H 2 = H 2 (X)= - ln ( X = Y);

4. Min-entropija : H ∞ = H ∞ (X).

Upoštevajte, da za vsako nenegativno vrstno vrednost (α ≥ 0) neenakosti vedno veljajo: H ∞ (X) ≤ H α ( X). Poleg tega H 2 (X) ≤ H 1 (X) In H ∞ (X) ≤ H 2 (X) ≤ 2· H ∞ (X).

Alfred Rényi ni uvedel le svojih absolutnih entropij (1,15), definiral je tudi spekter divergenčnih mer, ki posplošujejo Kullback-Leibnerjeve divergence.

Naj bo α dano realno število, ki izpolnjuje zahteve α > 0, α ≠ 1. Potem je v zapisu, ki se uporablja za določitev vrednosti D KL Kullback-Leiblerjeve razdalje, vrednost Rényijeve divergence reda α je določena s formulami

D α ( X, Y), D α ( X, Y).

Renyijeva divergenca se imenuje tudi alfa-divergenca ali α-divergenca. Rényi je sam uporabil logaritem z osnovo 2, a kot vedno je vrednost osnove logaritma popolnoma nepomembna.

9. Tsallisova entropija

Leta 1988 je predlagal novo posplošitev entropije, ki je primerna za uporabo pri razvoju teorije nelinearne termodinamike.

Posplošitev entropije, ki jo je predlagal, bo morda v bližnji prihodnosti igrala pomembno vlogo v teoretični fiziki in astrofiziki.

Tsallisova entropija pl, ki se pogosto imenuje neekstenzivna (neaditivna) entropija, je definirana za n mikrostanja po naslednji formuli:

pl = pl (X) = pl (str) = K· , .

Tukaj K- dimenzijska konstanta, če ima dimenzija pomembno vlogo za razumevanje problema.

Tsallis in njegovi podporniki predlagajo razvoj "neobsežne statistične mehanike in termodinamike" kot posplošitev teh klasičnih disciplin na primer sistemov z dolgimi spomini in/ali silami velikega dosega.

Od vseh drugih vrst entropije, vklj. in od Renyijeve entropije se Tsallisova entropija razlikuje po tem, da ni aditivna. To je temeljna in pomembna razlika.

Tsallis in njegovi podporniki verjamejo, da ta značilnost omogoča izgradnjo nove termodinamike in nove statistične teorije, ki lahko preprosto in pravilno opiše sisteme z dolgimi spomini in sisteme, v katerih vsak element ne sodeluje samo s svojimi neposrednimi sosedi, temveč s celotnim sistemom. kot celoto ali njene velike dele.

Primer takšnih sistemov in zato možen predmet raziskovanja z uporabo nove teorije so kozmični gravitacijski sistemi: zvezdne kopice, meglice, galaksije, jate galaksij itd.

Od leta 1988, ko je Constantino Tsallis predlagal svojo entropijo, se je pojavilo precejšnje število aplikacij termodinamike anomalnih sistemov (s spominsko dolžino in/ali silami velikega dosega), tudi na področju termodinamike gravitacijskih sistemov.

10. Von Neumannova kvantna entropija

Von Neumannova entropija igra pomembno vlogo v kvantni fiziki in astrofizikalnih raziskavah.

John von Neumann je pomembno prispeval k razvoju vej znanosti, kot so kvantna fizika, kvantna logika, funkcionalna analiza, teorija množic, računalništvo in ekonomija.

Bil je član Manhattanskega projekta za razvoj jedrskega orožja, eden od tvorcev matematične teorije iger in koncepta celičnih avtomatov ter utemeljitelj sodobne računalniške arhitekture.

Von Neumannova entropija je, kot vsaka entropija, povezana z informacijo: v tem primeru z informacijo o kvantnem sistemu. In v zvezi s tem igra vlogo temeljnega parametra, ki kvantitativno označuje stanje in smer evolucije kvantnega sistema.

Trenutno se von Neumannova entropija široko uporablja v različnih oblikah (pogojna entropija, relativna entropija itd.) v okviru kvantne teorije informacij.

Različne mere zapletenosti so neposredno povezane z von Neumannovo entropijo. Vendar pa se je v zadnjem času pojavilo več del, posvečenih kritiki Shannonove entropije kot merila informacij in njene morebitne neustreznosti ter posledično neustreznosti von Neumannove entropije kot posplošitve Shannonove entropije.

Ta pregled (žal površen in včasih premalo matematično strog) razvoja znanstvenih pogledov na koncept entropije nam omogoča, da odgovorimo na pomembna vprašanja, povezana s pravim bistvom entropije in možnostmi uporabe entropijskega pristopa v znanstvenih in praktične raziskave. Omejimo se na preučitev odgovorov na dve taki vprašanji.

Prvo vprašanje: Ali imajo številne vrste entropije, obravnavane in neupoštevane zgoraj, še kaj skupnega razen istega imena?

To vprašanje se seveda pojavi, če upoštevamo raznolikost, ki je značilna za različne obstoječe ideje o entropiji.

Danes znanstvena skupnost ni razvila enotnega, splošno sprejetega odgovora na to vprašanje: nekateri znanstveniki na to vprašanje odgovorijo pritrdilno, drugi - negativno, tretji pa obravnavajo skupnost entropij različnih vrst z opazno mero dvoma. .

Clausius je bil očitno prvi znanstvenik, ki je bil prepričan v univerzalno naravo entropije in je verjel, da ima v vseh procesih, ki se dogajajo v vesolju, pomembno vlogo, zlasti pri določanju njihove smeri razvoja v času.

Mimogrede, Rudolf Clausius je prišel do ene od formulacij drugega zakona termodinamike: »Nemogoč je proces, katerega edini rezultat bi bil prenos toplote s hladnejšega telesa na bolj vroče«.

Ta formulacija drugega zakona termodinamike se imenuje Clausiusov postulat , nepovraten proces, obravnavan v tem postulatu, pa je Clausiusov proces .

Od odkritja drugega zakona termodinamike imajo ireverzibilni procesi edinstveno vlogo v fizični sliki sveta. Tako je slavni članek iz leta 1849 William Thompson, ki je vseboval eno od prvih formulacij drugega zakona termodinamike, se je imenoval "O univerzalni težnji narave po razpršitvi mehanske energije."

Upoštevajte tudi, da je bil Clausius prisiljen uporabiti kozmološki jezik: "Entropija vesolja teži k maksimumu".

Prišel do podobnih zaključkov Ilja Prigožin. Prigogine verjame, da je princip entropije odgovoren za ireverzibilnost časa v vesolju in morda igra pomembno vlogo pri razumevanju pomena časa kot fizikalnega pojava.

Do danes je bilo izvedenih veliko študij in posplošitev entropije, tudi z vidika stroge matematične teorije. Vendar pa opazna aktivnost matematikov na tem področju še ni povpraševana v aplikacijah, z izjemo morda del Kolmogorov, Renyi in Tsallis.

Nedvomno je entropija vedno mera (stopnja) kaosa, nereda. Prav raznolikost manifestacij pojava kaosa in nereda določa neizogibnost raznolikosti entropijskih modifikacij.

Drugo vprašanje: Ali se lahko šteje, da je obseg uporabe entropijskega pristopa obsežen ali so vse uporabe entropije in drugega zakona termodinamike omejene na samo termodinamiko in sorodna področja fizikalne znanosti?

Zgodovina znanstvenega preučevanja entropije kaže, da je entropija znanstveni pojav, ki so ga odkrili v termodinamiki, nato pa se je uspešno preselil v druge vede in predvsem v informacijsko teorijo.

Nedvomno ima entropija pomembno vlogo na skoraj vseh področjih sodobnega naravoslovja: v termofiziki, statistični fiziki, fizikalni in kemijski kinetiki, biofiziki, astrofiziki, kozmologiji in teoriji informacij.

Ko govorimo o uporabni matematiki, ne moremo mimo uporabe načela največje entropije.

Kot smo že omenili, so pomembna področja uporabe entropije kvantnomehanski in relativistični objekti. V kvantni fiziki in astrofiziki so takšne aplikacije entropije zelo zanimive.

Omenimo samo en izvirni rezultat termodinamike črnih lukenj: Entropija črne luknje je enaka četrtini njene površine (površina obzorja dogodkov).

V kozmologiji velja, da je entropija vesolja enaka številu kvantov reliktnega sevanja na nukleon.

Tako je obseg uporabe entropijskega pristopa zelo obsežen in vključuje najrazličnejše veje znanja, začenši od termodinamike, drugih področij fizikalnih znanosti, računalništva in konča na primer z zgodovino in ekonomijo.

A.V. Seagal, doktor ekonomije, Krimska univerza po imenu V.I. Vernadskega

Informacijska entropija- merilo negotovosti ali nepredvidljivosti nekega sistema (v statistični fiziki ali informacijski teoriji), zlasti negotovost pojava katerega koli simbola primarne abecede. V slednjem primeru je entropija v odsotnosti izgub informacij numerično enaka količini informacij na simbol poslanega sporočila.

Na primer, v zaporedju črk, ki sestavljajo stavek v ruščini, se različne črke pojavljajo z različnimi frekvencami, zato je negotovost pojavljanja nekaterih črk manjša kot pri drugih. Če upoštevamo, da nekatere kombinacije črk (v tem primeru govorimo o entropiji n (\displaystyle n) reda, glej) so zelo redke, potem se negotovost še bolj zmanjša.

Koncept informacijske entropije lahko ponazorimo z Maxwellovim demonom. Koncepta informacije in entropije sta med seboj globoko povezana [ kateri?], kljub temu pa je razvoj teorij v statistični mehaniki in informacijski teoriji trajal mnogo let, da sta postali skladni med seboj [ ] .

Entropija- to je količina informacij na eno osnovno sporočilo iz vira, ki generira statistično neodvisna sporočila.

Enciklopedični YouTube

1 / 5

✪ Koncept entropije

✪ Kaj je entropija?

✪ Informacijska entropija

✪ Entropija in drugi zakon termodinamike (video 3) | Energija| Biologija

✪ Kaj je entropija? Jeff Phillips #TED-Ed

Podnapisi

Podali smo torej dve definiciji entropije kot spremenljivke stanja. Temperatura obeh snovi bo postala približno enaka, to pomeni, da bo čaj dejansko oddal nekaj toplote ledu. In rečete - poglejte, kaj naredi klimatska naprava! V sobi je že hladno, zunaj pa je že vroče. Toda kaj počne klimatska naprava? To torej ni zelo dober primer. Zakon o ohranitvi energije. Kam vse je izginila? Ko torej rečemo, da svet postaja vse bolj neurejen, mislimo na vrstni red hitrosti ali energij molekul. Zato bo prišlo do širjenja in polnjenja posode.

Formalne definicije

Informacije binarna entropija za neodvisne naključne dogodke x (\displaystyle x) z n (\displaystyle n) možna stanja porazdeljena z verjetnostmi ( i = 1, ..

Ta količina se imenuje tudi , n (\displaystyle i=1,...,n)), izračunano po formuli H (x) = − ∑ i = 1 n p i log 2 ⁡ p i .(\displaystyle H(x)=-\sum _(i=1)^(n)p_(i)\log _(2)p_(i).) povprečna entropija sporočila. Magnituda H i = − log 2 ⁡ p i (\displaystyle H_(i)=-\log _(2)(p_(i))) klical

zasebna entropija x (\displaystyle x), ki označuje samo H i = − log 2 ⁡ p i (\displaystyle H_(i)=-\log _(2)(p_(i))) i (\displaystyle i)

-e stanje. Na splošno je lahko osnova logaritma v definiciji entropije karkoli večja od 1; njegova izbira določa enoto entropije. Zato je pogosto (na primer pri problemih matematične statistike) morda bolj priročno uporabiti naravni logaritem.

Opredelitev Shannonove entropije je povezana s konceptom termodinamične entropije. Boltzmann in Gibbs sta opravila veliko dela na področju statistične termodinamike, kar je prispevalo k sprejetju besede "entropija" v informacijski teoriji. Obstaja povezava med termodinamično in informacijsko entropijo. Na primer, Maxwellov demon prav tako primerja termodinamično entropijo z informacijo in pridobivanje kakršne koli količine informacij je enako izgubljeni entropiji.

Odločitev z uporabo lastnih informacij

Entropijo naključne spremenljivke lahko določite tudi tako, da najprej uvedete koncept porazdelitve naključne spremenljivke X (\displaystyle X), ki ima končno število vrednosti:

(\displaystyle I(X)=-\log P_(X)(X).)

H (X) = E (I (X)) = − ∑ i = 1 n p (i) log ⁡ p (i) .

(\displaystyle H(X)=E(I(X))=-\sum _(i=1)^(n)p(i)\log p(i).)

Merska enota količine informacije in entropije je odvisna od osnove logaritma: bit, nat, trit ali hartley.

možna stanja (pomeni) (»glave« in »repi«). Vir, ki generira niz, sestavljen samo iz črk »A«, ima entropijo nič: − 2 (1 2 log 2 ⁡ 1 2) = − log 2 ⁡ 1 2 = log 2 ⁡ 2 = 1 (\displaystyle -2\left((\frac (1)(2))\log _(2)( \frac (1)(2))\desno)=-\log _(2)(\frac (1)(2))=\log _(2)2=1) bitov na met (pod pogojem, da je neodvisen) in število − ∑ i = 1 ∞ log 2 ⁡ 1 = 0 (\displaystyle -\sum _(i=1)^(\infty )\log _(2)1=0) , in količino 2 0 = 1 (\displaystyle 2^(0)=1)
možno stanje (vrednost) ("A") in ni odvisna od osnove logaritma. Tudi to je podatek, ki ga je prav tako treba upoštevati. Primer pomnilniških naprav, ki uporabljajo bite z entropijo enako nič, vendar z količino informacij enako 1 , in količino.

Tako je na primer mogoče eksperimentalno ugotoviti, da je entropija angleškega besedila 1,5 bita na znak, kar se bo seveda razlikovalo za različna besedila. Stopnja entropije podatkovnega vira pomeni povprečno število bitov na podatkovni element, ki je potrebno za šifriranje brez izgube informacij z optimalnim kodiranjem.

1. Nekateri podatkovni biti morda ne prenašajo informacij. Na primer, podatkovne strukture pogosto shranjujejo odvečne informacije ali imajo enake razdelke ne glede na informacije v podatkovni strukturi.
2. Količina entropije ni vedno izražena kot celo število bitov.

Matematične lastnosti

1. Nenegativnost: H (X) ⩾ 0 (\displaystyle H(X)\geqslant 0).
2. Omejitev: H (X) = − E (log 2 ⁡ p i) = ∑ i = 1 n p i log 2 ⁡ 1 p i = ∑ i = 1 n p i f (g i) ⩽ f (∑ i = 1 n p i g i) = log 2 ⁡ n (\displaystyle H(X)=-E(\log _(2)p_(i))=\vsota _(i=1)^(n)p_(i)\log _(2)(\frac (1)(p_ (i)))=\sum _(i=1)^(n)p_(i)f(g_(i))\leqslant f\left(\sum _(i=1)^(n)p_(i )g_(i)\desno)=\log _(2)n), kar izhaja iz Jensenove neenakosti za konkavno funkcijo f (g i) = log 2 ⁡ g i (\displaystyle f(g_(i))=\log _(2)g_(i)) in g i = 1 p i (\displaystyle g_(i)=(\frac (1)(p_(i)))). Če vse n (\displaystyle n) elementi iz X (\displaystyle X) enako verjetno H (X) = log 2 ⁡ n (\displaystyle H(X)=\log _(2)n).
3. Če je neodvisen, potem H (X ⋅ Y) = H (X) + H (Y) (\displaystyle H(X\cdot Y)=H(X)+H(Y)).
4. Entropija je navzgor konveksna funkcija porazdelitve verjetnosti elementov.
5. če X , Y (\displaystyle X,\;Y) imajo torej enako verjetnostno porazdelitev elementov H (X) = H (Y) (\displaystyle H(X)=H(Y)).

Učinkovitost

Abeceda ima verjetnostno porazdelitev, ki še zdaleč ni enotna. Če izvirna abeceda vsebuje n (\displaystyle n) znakov, potem jo lahko primerjamo z »optimizirano abecedo«, katere porazdelitev verjetnosti je enotna. Razmerje med entropijo izvirne in optimizirane abecede je učinkovitost izvirne abecede, ki se lahko izrazi v odstotkih. Učinkovitost izvirne abecede z n (\displaystyle n) simbole lahko opredelimo tudi kot njene n (\displaystyle n)-arno entropijo.

Entropija omejuje največjo možno kompresijo brez izgub (ali skoraj brez izgub), ki jo je mogoče doseči z uporabo teoretično tipičnega niza ali v praksi Huffmanovega kodiranja, Lempel-Ziv-Welchovega kodiranja ali aritmetičnega kodiranja.

Variacije in posplošitve

b-arno entropijo

Na splošno b-arno entropijo(Kje b je enako 2, 3, ...) vir S = (S , P) (\displaystyle (\mathcal (S))=(S,\;P)) z originalno abecedo S = ( a 1 , … , a n ) (\displaystyle S=\(a_(1),\;\ldots ,\;a_(n)\)) in diskretna porazdelitev verjetnosti P = ( p 1 , … , p n ) , (\displaystyle P=\(p_(1),\;\ldots ,\;p_(n)\),) kje p i (\displaystyle p_(i)) je verjetnost ( p i = p (a i) (\displaystyle p_(i)=p(a_(i)))), se določi s formulo:

(\displaystyle H_(b)((\mathcal (S)))=-\sum _(i=1)^(n)p_(i)\log _(b)p_(i).) Še posebej, ko b = 2 (\displaystyle b=2) , dobimo običajno binarno entropijo, merjeno v bitih. pri b = 3 (\displaystyle b=3) , dobimo trinarno entropijo, merjeno v tritih (en trit ima vir informacije s tremi enako verjetnimi stanji). pri b = e (\displaystyle b=e)

, prejmemo informacije, izmerjene v Nats.

Pogojna entropija

Če zaporedje znakov abecede ni neodvisno (na primer v francoščini črki »q« skoraj vedno sledi »u«, besedi »uredništvo« v sovjetskih časopisih pa je običajno sledila beseda »proizvodnja« ali »delo«). «), je količina informacij, ki jih nosi zaporedje takih simbolov (in s tem entropija), očitno manjša. Za upoštevanje teh dejstev se uporablja pogojna entropija. Pogojna entropija

kje H i = − log 2 ⁡ p i (\displaystyle H_(i)=-\log _(2)(p_(i))) H 1 (S) = − ∑ i p i ∑ j p i (j) log 2 ⁡ p i (j) , (\displaystyle H_(1)((\mathcal (S)))=-\sum _(i)p_(i) \vsota _(j)p_(i)(j)\log _(2)p_(i)(j),) je stanje, odvisno od predhodnega znaka, in p i (j) (\displaystyle p_(i)(j)) - to je verjetnost j (\displaystyle j) H i = − log 2 ⁡ p i (\displaystyle H_(i)=-\log _(2)(p_(i))) pod pogojem, da

je bil prejšnji lik. Na primer, za ruski jezik brez črke "ё" .

H 0 = 5, H 1 = 4,358, H 2 = 3 , H 3 = 3 (\displaystyle H_(0)=5,\;H_(1)=4(,)358,\;H_(. 2)=3(,)52,\;H_(3)=3(,)01) Z delno in splošno pogojno entropijo so v celoti opisane izgube informacij pri prenosu podatkov v kanalu s šumom. V ta namen se uporablja t.i kanalske matrike . Za opis izgub na izvorni strani (tj. poslani signal je znan) se upošteva pogojna verjetnost, da sprejemnik sprejme simbol, pod pogojem, da je bil simbol poslan a i (\displaystyle a_(i))

Očitno verjetnosti, ki se nahajajo vzdolž diagonale, opisujejo verjetnost pravilnega sprejema, vsota vseh elementov katere koli vrstice pa daje 1. Izgube na oddani signal . Za opis izgub na izvorni strani (tj. poslani signal je znan) se upošteva pogojna verjetnost, da sprejemnik sprejme simbol, pod pogojem, da je bil simbol poslan, so opisani z delno pogojno entropijo:

(\displaystyle H(B\mid a_(i))=-\sum _(j=1)^(m)p(b_(j)\mid a_(i))\log _(2)p(b_( j)\sredi a_(i)).)

H (B ∣ A) = ∑ i p (a i) H (B ∣ a i) .(\displaystyle H(B\mid A)=\sum _(i)p(a_(i))H(B\mid a_(i)).) H (B ∣ A) (\displaystyle H(B\sredina A)) pomeni entropijo na izvorni strani, obravnavano podobno p (b j ∣ a i) (\displaystyle p(b_(j)\mid a_(i))) H (A ∣ B) (\displaystyle H(A\sredina B)) - entropija s strani sprejemnika: namesto naveden povsod p (a i ∣ b j) (\displaystyle p(a_(i)\mid b_(j)))(s seštevanjem elementov črte, ki jih lahko dobite

p (a i) (\displaystyle p(a_(i)))

, diagonalni elementi pa pomenijo verjetnost, da je bil poslan točno tisti znak, ki je bil prejet, torej verjetnost pravilnega prenosa). Medsebojna entropija Medsebojna entropija oz entropija unije, Kje je namenjeno izračunu entropije med seboj povezanih sistemov (entropija skupnega pojavljanja statistično odvisnih sporočil) in je označena z H (A B) (\displaystyle H(AB)) A (\displaystyle A) označuje oddajnik in

1. B (\displaystyle B)

2. - sprejemnik.

3. Meje evolucijske variabilnosti informacijskih sistemov.

4. Omejena prilagoditev bioloških vrst.

5. Faze razvoja entropijske teorije.

6. Metode za izračun količine strukturnih informacij in informacijske entropije besedil.

7. Informacijsko-entropijska razmerja med adaptacijskimi in razvojnimi procesi.

8. Informacije in energija.

9. Zaključek.

10. Reference.

UVOD

V drugi polovici 20. stoletja sta se zgodila dva dogodka, ki po našem mnenju v veliki meri določata prihodnje poti znanstvenega spoznavanja sveta. Govorimo o nastanku informacijske teorije in začetku raziskovanja mehanizmov antientropijskih procesov, za preučevanje katerih sinergija pritegne vse najnovejše dosežke neravnovesne termodinamike, teorije informacij in splošne teorije sistemov.

Bistvena razlika med to stopnjo razvoja znanosti in predhodnimi stopnjami je v tem, da je bila znanost pred nastankom naštetih področij raziskovanja sposobna razložiti le mehanizme procesov, ki vodijo v povečevanje kaosa in povečanje entropije. Biološki in evolucijski koncepti, razviti od časov Lamarcka in Darwina, še vedno nimajo strogih znanstvenih utemeljitev in so v nasprotju z drugim zakonom termodinamike, po katerem je povečanje entropije, ki spremlja vse procese, ki se dogajajo na svetu, nepogrešljivo. fizikalni zakon.

Zasluga neravnovesne termodinamike je, da je lahko identificirala mehanizme protientropijskih procesov, ki niso v nasprotju z drugim zakonom termodinamike, saj se lokalno zmanjšanje entropije znotraj samoorganizirajočega sistema vedno plača z velikim absolutnim povečanjem v entropiji zunanjega okolja.

Najpomembnejši korak k razumevanju narave in mehanizmov antientropijskih procesov je uvedba kvantitativne mere informacij. Sprva je bil ta ukrep namenjen le reševanju čisto uporabnih problemov komunikacijske tehnologije. Vendar pa so poznejše raziskave na področju fizike in biologije omogočile identifikacijo univerzalnih meril, ki jih je predlagal K. Shannon, ki omogočajo vzpostavitev razmerja med količino informacij in fizično entropijo ter na koncu določijo bistvo nove znanstvene interpretacije koncepta "informacije" kot merila strukturne urejenosti sistemov, ki so po naravi zelo raznoliki.

Če uporabimo metaforo, lahko rečemo, da se je pred uvedbo enotnega kvantitativnega informacijskega merila v znanost zdelo, da svet, predstavljen v naravoslovnih konceptih, »sloni na dveh stebrih«: energiji in materiji. "Tretji steber" se zdaj izkaže za informacije, ki so vključene v vse procese, ki se dogajajo v svetu, od mikrodelcev, atomov in molekul do delovanja najkompleksnejših bioloških in družbenih sistemov.

Seveda se postavlja vprašanje, ali najnovejši podatki sodobne znanosti potrjujejo ali ovržejo evolucijsko paradigmo o nastanku življenja in bioloških vrst?

Da bi odgovorili na to vprašanje, je treba najprej natančno razumeti, katere lastnosti in vidike večplastnega koncepta "informacije" odraža kvantitativno merilo, ki ga je K. Shannon uvedel v znanost.

Uporaba merila količine informacij nam omogoča analizo splošnih mehanizmov informacijsko-entropijskih interakcij, ki so osnova vseh procesov kopičenja informacij, ki se spontano pojavljajo v okoliškem svetu in vodijo do samoorganizacije strukture sistemov.

Hkrati informacijsko-entropijska analiza omogoča tudi odkrivanje vrzeli v evolucijskih konceptih, ki niso nič drugega kot nevzdržni poskusi zreduciranja problema izvora življenja in bioloških vrst na preproste mehanizme samoorganizacije brez upoštevanja dejstvo, da je sisteme te stopnje kompleksnosti mogoče ustvariti le na podlagi tistih informacij, ki so bile prvotno vključene v načrt pred njihovo izdelavo.

Študije o lastnostih informacijskih sistemov, ki jih izvaja sodobna znanost, dajejo vse razloge za trditev, da je vse sisteme mogoče oblikovati le v skladu s pravili, ki izvirajo iz zgornjih hierarhičnih ravni, sama pravila pa so obstajala pred samimi sistemi v obliki začetnega načrta. (ideja ustvarjanja).

KAJ JE IZMERIL CLAUDE SHANNON?

Teorija informacij temelji na metodi, ki jo je predlagal K. Shannon za izračun količine novih (nepredvidljivih) in odvečnih (predvidljivih) informacij v sporočilih, ki se prenašajo po tehničnih komunikacijskih kanalih.

Metoda, ki jo je predlagal Shannon za merjenje količine informacij, se je izkazala za tako univerzalno, da njena uporaba ni več omejena na ozek okvir čisto tehničnih aplikacij.

V nasprotju z mnenjem samega K. Shannona, ki je znanstvenike posvaril pred prenagljenim širjenjem metode, ki jo je predlagal onkraj meja uporabnih problemov komunikacijske tehnologije, se je ta metoda začela vedno bolj uporabljati v raziskavah fizičnih, bioloških in družbenih sistemov.

Ključ do novega razumevanja bistva fenomena informacije in mehanizma informacijskih procesov je bil odnos med informacijo in fizično entropijo, ki ga je vzpostavil L. Brillouin. To razmerje je bilo prvotno položeno v same temelje informacijske teorije, saj je Shannon za izračun količine informacij predlagal uporabo verjetne entropijske funkcije, izposojene iz statistične termodinamike.

Mnogi znanstveniki (začenši s samim K. Shannonom) so takšno izposojo običajno obravnavali kot čisto formalno tehniko. L. Brillouin je pokazal, da med količino informacije in fizično entropijo, izračunano po Shannonu, ne obstaja formalna, temveč smiselna povezava.

V statistični fiziki se z verjetnostno entropijsko funkcijo preučujejo procesi, ki vodijo do termodinamičnega ravnovesja, pri katerem se vsa stanja molekul (njihova energija, hitrost) približajo enako verjetnim, entropija pa teži k največji vrednosti.

Zahvaljujoč informacijski teoriji je postalo očitno, da je z isto funkcijo mogoče preučevati sisteme, ki so daleč od stanja največje entropije, kot je na primer pisno besedilo.

Druga pomembna ugotovitev je, da

Z uporabo verjetnostne entropijske funkcije je mogoče analizirati vse stopnje prehoda sistema iz stanja popolnega kaosa, ki ustreza enakim verjetnostim in največji vrednosti entropije, v stanje ekstremne urejenosti (toge determiniranosti), ki ustreza edinemu možnemu stanju njegovih elementov.

Ta sklep se izkaže za enako veljavnega za take sisteme, ki so si po naravi različni, kot so plini, kristali, pisna besedila, biološki organizmi ali skupnosti itd.

Poleg tega, če se za plin ali kristal pri izračunu entropije primerja samo mikrostanje (tj. stanje atomov in molekul) in makrostanje teh sistemov (tj. plin ali kristal kot celota), potem za sisteme a različne narave (biološke, intelektualne, socialne), lahko entropijo izračunamo na eni ali drugi poljubno izbrani ravni. V tem primeru bo izračunana vrednost entropije obravnavanega sistema in količina informacij, ki označujejo stopnjo urejenosti tega sistema in je enaka razliki med največjo in realno vrednostjo entropije, odvisna od verjetnostne porazdelitve stanj elementov osnovne ravni, tj. tiste elemente, ki skupaj tvorijo te sisteme.

Z drugimi besedami,

količina informacij, shranjenih v strukturi sistema, je sorazmerna s stopnjo odstopanja sistema od stanja ravnovesja, zaradi ohranjenega reda v strukturi sistema.

Ne da bi sumil, je Shannon oborožil znanost z univerzalnim merilom, ki je načeloma primerno (ob upoštevanju identifikacije vrednosti vseh verjetnosti) za oceno stopnje urejenosti vseh sistemov, ki obstajajo na svetu.

Definiranje mere informacij, ki jo je uvedel Shanon kot merilo urejenosti gibanja, lahko ugotovimo razmerje med informacijo in energijo, če upoštevamo energija kot merilo intenzivnosti prometa. V tem primeru je količina informacij, shranjenih v strukturi sistemov, sorazmerna s celotno energijo notranjih povezav teh sistemov.

Hkrati z identifikacijo splošnih lastnosti informacije kot pojava se odkrivajo tudi temeljne razlike, povezane z različnimi stopnjami kompleksnosti informacijskih sistemov.

Na primer, vsi fizični predmeti, za razliko od bioloških, nimajo posebnih spominskih organov, kodiranja signalov, ki prihajajo iz zunanjega sveta, ali informacijskih komunikacijskih kanalov. Informacije, shranjene v njih, so tako rekoč "razmazane" po njihovi celotni strukturi. Hkrati pa, če kristali ne bi mogli shranjevati informacij v notranjih povezavah, ki določajo njihov vrstni red, ne bi bilo mogoče ustvariti umetnega pomnilnika in tehničnih naprav, ki temeljijo na kristalnih strukturah, namenjenih obdelavi informacij.

Hkrati je treba upoštevati, da je ustvarjanje takšnih naprav postalo mogoče le zahvaljujoč umu osebe, ki je lahko uporabila osnovne informacijske lastnosti kristalov za izgradnjo kompleksnih informacijskih sistemov.

Najenostavnejši biološki sistem po kompleksnosti prekaša najnaprednejši informacijski sistem, ki ga je ustvaril človek. Že na ravni najpreprostejših enoceličnih organizmov je vključen najkompleksnejši informacijski genetski mehanizem, potreben za njihovo razmnoževanje. V večceličnih organizmih poleg informacijskega sistema dednosti obstajajo specializirani organi za shranjevanje informacij in njihovo obdelavo (na primer sistemi, ki rekodirajo vidne in slušne signale, ki prihajajo iz zunanjega sveta, preden jih pošljejo v možgane, sistemi za njihovo obdelavo signali v možganih). Kompleksna mreža informacijskih komunikacij (živčni sistem) prežema in spreminja celoten večcelični organizem v celoto.