Entropi gwybodaeth
Oddi ar Wicipedia
Mewn damcaniaeth gwybodaeth, mesur o'r ansicrwydd a gysylltir â hapnewidyn yw entropi gwybodaeth.
Gellir dehongli'r entropi hwn fel yr hyd neges cyfartalog lleiaf posib (mewn didau) sy'n cyfleu allbwn yr hapnewidyn. Cynrychiola hyn derfan mathemategol ar y cywasgiad di-golled gorau posib o ddata: lleiafswm y nifer o ddidau a ellir eu danfon i gyfathrebu neges ydyw. Yn gyfwerth, gellir ei ystyried yn fesur o'r wybodaeth gyfartalog mae'r derbynydd yn ei golli wrth beidio gwybod gwerth yr hapnewidyn.
Cyflwynwyd y cysyniad gan Claude E. Shannon yn ei bapur "A Mathematical Theory of Communication" a gyhoeddwyd ym 1948.
Taflen Cynnwys |
[golygu] Diffiniad
yw entropi gwybodaeth hapnewidyn arwahanol X a all gymryd y gwerthoedd {x1...xn} lle mai
- I(X) yw cynnwys gwybodaeth X, sydd yn hapnewidyn ei hun; a
- p(xi) = P(X=xi) yw ffwythiant dwysedd tebygolrwydd X.
[gellir ymestyn y diffiniad hwm i hapnewidynnau di-dor]
[golygu] Entropi a cynnwys gwybodaeth
gw. Theorem codio ffynhonnell Shannon
[golygu] Cywasgu data
Mae entropi yn arffinio perfformiad cywasgiad di-golled o ddata, ac fe ellir cyflawni'r cywasgiad gorau posib trwy ddefnyddio'r set nodweddiadol (neu'n ymarferol, codio Huffman, Lempel-Ziv neu codio rhifyddol.
[golygu] Cyfyngiadau ar y dehongliad o entropi fel cynnwys gwybodaeth
Er fod entropi yn cael ei ddehongli'n aml fel mesur o gynnwys gwybodaeth ffynhonnell ddata, nid yw'r cynnwys gwybodaeth hwn yn absolìwt: mae'n dibynnu'n llwyr ar y model tebygoliaethol. Mae entropi o 0 gan ffynhonnell sy'n cynhyrchu un symbol yn unig, ond mae'r diffiniad o symbol yn dibynnu ar yr wyddor dan sylw. Ystyriwch ffynhonnell sy'n cynhyrchu'r dilyniant ABABABABAB... Os tybiwn fod llythrennau unigol yn annibynnol, mae cyfradd entropi o un did i bob llythyren. Ond os tybiwn mae deugraffiau yw'r symbolau yn y model, yna 0 yw'r cyfradd entropi. Fodd bynnag, os defnyddiwn blociau mawr, yna fe allem gael amcymgyfrifiad annaturiol o isel o'r gyfradd entropi.
