Back

ⓘ Éntropi informasi. Entropi nyaéta konsép dina térmodinamika, mekanika statistika jeung tiori information. Konsép éntropi jeung informasi kacida pakait raket, sa ..



Éntropi informasi
                                     

ⓘ Éntropi informasi

Entropi nyaéta konsép dina térmodinamika, mekanika statistika jeung tiori information. Konsép éntropi jeung informasi kacida pakait raket, sanajan perlu sababaraha waktu keur ngawangun tiori mekanika statistika jeung tiori informasi sangkan jadi nyata. Artikel ieu ngeunaan éntropi informasi, formulasi tiori-informasi éntropi. Éntropi informasi leuwih ilahar disebut Éntropi Shannon keur ngahargaan ka Claude E. Shannon.

                                     

1. Bubuka

Konsép éntropi dina tiori informasi ngajelaskeun sabaraha loba tingkat acak atawa, kateupastian anu aya dina sinyal atawa kajadian acak. Cara lian pikeun nempo ngeunaan ieu nyaéta ku ngabahas ngeunaan sabaraha loba informasi anu dibawa ku hiji sinyal.

Contona, aya sababaraha téks dina basa Inggris, dikodekeun mangrupa runtuyan hurup, spasi, jeung tanda baca. Lantaran frékuénsi atawa lobana kajadian pikeun sababaraha hurup ngan saeutik conto, z, sedengkeun hurup-hurup lianna mah murudul conto e, runtuyan hurup téh henteu acak-acak teuing. Sanajan kitu, lantaran hurup nu nuturkeunana henteu bisa dikira-kira, bisa ogé disebut acak nepikeun ka tingkatan nu tangtu. Éntropi téh minangka nu jadi ukuran tingkat acak ieu, saperti anu diusulkeun ku Shannon dina makalah "A Mathematical Theory of Communication" nu medar dina taun 1948

Shannon nawarkeun hiji définisi éntropi anu nyumponan asumsi-asumsi, yén:

  • Lamun aya dua tahapan kajadian, harga éntropi ahir ogé kudu dihasilkeun tina pangjumlahan éntropi tina dua tahapan kajadian éta.
  • Ukuran ieu kudu proporsional kontinu atawa silisambung - contona, lamun probabilitasna ngaganti saeutik, éntropina ogé ngan kaganti saeutik.
  • Upama sakabéh kamungkinan contona hurup-hurup di luhur siga-siga rék sarua, mangka nambahan hurup anu kaluar ogé bakal naékkeun harga éntropi.

Catetan: Buku nu ditulis ku Shannon/Wéaver ngarujuk ka tulisan Tolman 1938 anu ngarujuk ogé ka Pauli 1933 anu nuliskeun définisi éntropi nu dipaké ku Shannon. Salian ti éta, mekanika statistika ngarujuk ogé ka von Neumann sanggeus manéhna nurunkeun éntropi dina taun 1927, anu bisa ngajelaskeun naha von Neumann resep pisan ngagunakeun istilah entropi anu geus aya)

                                     

2. Tumbu luar

  • Description of information entropy from "Tools for Thought" by Howard Rheingold
  • Im Confused: How Could Information Equal Entropy? - a similar discussion on the bionet.info-théory FAQ.
  • A cool little java applet representing Shannons Experiment to Calculate the Entropy of English
  • Information is not entropy, information is not uncertainty! - a discussion of the use of the terms "information" and "entropy".
  • Java "entropy pool" for cryptographically-secure unguessable random numbers
Free and no ads
no need to download or install

Pino - logical board game which is based on tactics and strategy. In general this is a remix of chess, checkers and corners. The game develops imagination, concentration, teaches how to solve tasks, plan their own actions and of course to think logically. It does not matter how much pieces you have, the main thing is how they are placement!

online intellectual game →