struka(e): lingvistika i filologija | informatika

teorija informacija, znanstvena disciplina zasnovana na matematičkoj teoriji vjerojatnosti i statistici, koja se bavi brojčanim određivanjem količine informacija u sustavima. Razvila se zbog potrebe pronalaženja ograničenja u sažimanju podataka, te povećanja pouzdanosti komunikacije i prijenosa podataka među sustavima. Počiva na pretpostavci da je informacijski sadržaj (informativnost) u bilo kojoj poruci mjerljiva matematička veličina. Pritom se pojam sadržaja ne odnosi na razumijevanje poruke, nego na vjerojatnost da će upravo određena poruka biti primljena između cijeloga niza postojećih.

Začetnikom teorije informacija smatra se C. E. Shannon, koji je osnovne postavke dao 1948. u članku Matematička teorija komunikacija (A Mathematical Theory of Communications), a teoriju informacija kao matematičku teoriju dalje razradio s američkim matematičarom Norbertom Wienerom (1894–1964). Prema njima su osnovne informacijske veličine entropija i informacija, a mjerenje količine informacija izvodi se izračunavanjem njihove entropije. Entropija predstavlja prirodnu težnju nekoga sustava da dođe u stanje potpunoga kaosa, kao posljedica njegove potpune neorganiziranosti. Suprotno od entropije, informacija je mjera za red (organiziranost) sustava, tj. nešto što ukida ili smanjuje neodređenost sustava, odnosno smanjuje neizvjesnost promjena. Entropiju je Shannon opisao kao matematičku funkciju koja se zasniva na količini informacija, a brojčano određuje neizvjesnost sustava, tj. nedostatak informacija o njegovu stanju.

Danas je jedna od najvažnijih i najizravnijih primjena teorije informacija teorija kodiranja. Naime, za optimalno kodiranje informacije koja se šalje kroz komunikacijski kanal važno je opisati količinu informacije sadržane u pojedinim porukama koje se šalju. Zato je potrebno imati način mjerenja količine informacija u porukama. S pomoću statističkog opisa podataka, teorija informacija određuje broj bitova potrebnih za opis podataka, što je zapravo entropija informacija na izvoru. Također je učestalo područje primjene teorije informacija → kriptografija, grana znanosti koja proučava metode za slanje poruka u takvu obliku da ih može pročitati samo onaj kojemu su namijenjene. I u tom se području iskazao Shannon, koji je uz pomoć teorije informacija uspio definirati minimalnu duljinu kriptograma (šifrata) potrebnu da bi se izvršilo dešifriranje poruke. Osim toga, teorija informacija daje osnove za analizu pojava u informacijskim sustavima, a služi inženjerima koji se bave informacijskim tehnologijama kao pomagalo u rješavanju složenih problema. Teorija informacija danas se primjenjuje u različitim znanstvenim područjima, npr. lingvistici (→ obavijesna teorija), komunikacijskim mrežama, biologiji, medicini, ekonomiji, bioinformatici i dr.

Citiranje:

teorija informacija. Hrvatska enciklopedija, mrežno izdanje. Leksikografski zavod Miroslav Krleža, 2013. – 2024. Pristupljeno 3.12.2024. <https://www.enciklopedija.hr/clanak/teorija-informacija>.