Lihat sumber Entropi (teori informasi)

Dalam [[teori informasi]], '''entropi''' [[variabel acak]] adalah tingkat rata-rata "informasi", "kejutan", atau "ketidakpastian" yang melekat pada kemungkinan hasil variabel. Diberikan variabel acak diskrit <math>X</math>, yang mengambil nilai dalam alfabet <math>\mathcal{X}</math> dan didistribusikan menurut <math>p: \mathcal{X}\to[0, 1]</math> :di mana <math>\Sigma</math> menunjukkan jumlah atas nilai-nilai variabel yang mungkin. Pilihan dasar untuk <math>\log</math>, [[logaritma]], bervariasi untuk aplikasi yang berbeda. Basis 2 memberikan satuan [[Bit (satuan)|bit]] (atau "[[Shannon (satuan)|shannon]]"), sedangkan basis [[E (konstanta matematika)|''e'']] memberikan "satuan alami" [[Nat (satuan)|nat]], dan basis 10 memberikan satuan "dit", "ban", atau "[[Hartley (satuan)|hartley]]". Definisi entropi yang setara adalah nilai yang [[Nilai harapan|diharapkan]] dari [[informasi diri]] suatu variabel.<ref>R. K. Pathria. [https://books.google.com/books?id=KdbJJAXQ-RsC Statistical Mechanics]. Academic Press. 2011. hlm. 51. ISBN 978-0123821881.</ref>

Konsep entropi informasi diperkenalkan oleh [[Claude Shannon]] dalam makalahnya tahun 1948 " [[Teori Matematika Komunikasi|Sebuah Teori Matematika Komunikasi]] ",<ref>Claude E. Shannon. ''A Mathematical Theory of Communication''. ''Bell System Technical Journal''. July 1948. Vol. 27 (3). hlm. 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x. ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf here])</ref><ref>Claude E. Shannon. ''A Mathematical Theory of Communication''. ''Bell System Technical Journal''. October 1948. Vol. 27 (4). hlm. 623–656. doi:10.1002/j.1538-7305.1948.tb00917.x. ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf here])</ref> dan juga disebut sebagai '''entropi Shannon'''. Teori Shannon mendefinisikan sistem [[Transmisi data|komunikasi data]] yang terdiri dari tiga elemen: sumber data, [[saluran komunikasi]], dan penerima. "Masalah mendasar komunikasi" - seperti yang diungkapkan oleh Shannon - adalah agar penerima dapat mengidentifikasi data apa yang dihasilkan oleh sumber, berdasarkan sinyal yang diterimanya melalui saluran.<ref>Claude E. Shannon. ''A Mathematical Theory of Communication''. ''Bell System Technical Journal''. July 1948. Vol. 27 (3). hlm. 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x. ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf here])</ref><ref>Claude E. Shannon. ''A Mathematical Theory of Communication''. ''Bell System Technical Journal''. October 1948. Vol. 27 (4). hlm. 623–656. doi:10.1002/j.1538-7305.1948.tb00917.x. ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf here])</ref> Shannon mempertimbangkan berbagai cara untuk mengkodekan, memampatkan, dan mengirimkan pesan dari sumber data, dan membuktikan dalam [[Teorema pengkodean sumber Shannon|teorema pengkodean sumbernya]] yang terkenal bahwa entropi mewakili batas matematis absolut tentang seberapa baik data dari sumber dapat dimampatkan [[pemampatan nirlesap|tanpa mengalami kehilangan]] ke saluran tanpa derau sama sekali. Shannon memperkuat hasil ini secara signifikan untuk saluran berderau dalam [[Teorema pengkodean saluran berderau|teorema pengkodean saluran berderaunya]].

Entropi dalam teori informasi secara langsung dianalogikan dengan [[Entropi (termodinamika statistik)|entropi]] dalam [[Mekanika statistika|termodinamika statistik]]. Hasil analogi ketika nilai-nilai variabel acak menunjukkan energi keadaan mikro, sehingga rumus Gibbs untuk entropi secara formal identik dengan rumus Shannon. Entropi memiliki relevansi dengan bidang matematika lainnya seperti [[kombinatorika]] dan [[pembelajaran mesin]]. Definisi tersebut dapat diturunkan dari serangkaian [[aksioma]] yang menetapkan bahwa entropi harus menjadi ukuran seberapa "mengejutkan" hasil rata-rata suatu variabel. Untuk variabel acak kontinu, [[entropi diferensial]] analog dengan entropi.

== Bacaan lebih lanjut ==
* Cover, T.M., Thomas, J.A. (2006), ''Elements of Information Theory - 2nd Ed.'', Wiley-Interscience, 
* MacKay, D.J.C. (2003), ''Information Theory, Inference and Learning Algorithms'' , Cambridge University Press, 
* Arndt, C. (2004), ''Information Measures: Information and its Description in Science and Engineering'', Springer, 
* Gray, R. M. (2011), ''Entropy and Information Theory'', Springer.
* 
* [[Claude Shannon|Shannon, C.E.]], Weaver, W. (1949) ''The Mathematical Theory of Communication'', Univ of Illinois Press. [[ISBN (identifier)|ISBN]]&nbsp;[[Special:BookSources/0-252-72548-4|0-252-72548-4]]
* Stone, J. V. (2014), Chapter 1 of [http://jim-stone.staff.shef.ac.uk/BookInfoTheory/InfoTheoryBookMain.html ''Information Theory: A Tutorial Introduction''], University of Sheffield, England. [[ISBN (identifier)|ISBN]]&nbsp;[[Special:BookSources/978-0956372857|978-0956372857]].

== Pranala luar ==
* 
* [http://rosettacode.org/wiki/Entropy "Entropy"] at Rosetta Code—repository of implementations of Shannon entropy in different programming languages.
* ''[http://www.mdpi.com/journal/entropy Entropy]'' an interdisciplinary journal on all aspects of the entropy concept. Open access.

== Referensi ==
<references />

== Sumber dan atribusi ==

Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Entropi+%28teori+informasi%29&oldid=29528773 Wikipedia bahasa Indonesia], revisi 29528773 (2026-08-05T10:38:56Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.

<!-- WIKI_UNISSULA_PRESENTATION_V4 -->