Entropi (teori informasi)

Dalam teori informasi, entropi variabel acak adalah tingkat rata-rata "informasi", "kejutan", atau "ketidakpastian" yang melekat pada kemungkinan hasil variabel. Diberikan variabel acak diskrit $X$, yang mengambil nilai dalam alfabet $𝒳$ dan didistribusikan menurut $p:𝒳\to [0,1]$ :di mana $\Sigma$ menunjukkan jumlah atas nilai-nilai variabel yang mungkin. Pilihan dasar untuk $\log$, logaritma, bervariasi untuk aplikasi yang berbeda. Basis 2 memberikan satuan bit (atau "shannon"), sedangkan basis e memberikan "satuan alami" nat, dan basis 10 memberikan satuan "dit", "ban", atau "hartley". Definisi entropi yang setara adalah nilai yang diharapkan dari informasi diri suatu variabel.

Konsep entropi informasi diperkenalkan oleh Claude Shannon dalam makalahnya tahun 1948 " Sebuah Teori Matematika Komunikasi ", dan juga disebut sebagai entropi Shannon. Teori Shannon mendefinisikan sistem komunikasi data yang terdiri dari tiga elemen: sumber data, saluran komunikasi, dan penerima. "Masalah mendasar komunikasi" - seperti yang diungkapkan oleh Shannon - adalah agar penerima dapat mengidentifikasi data apa yang dihasilkan oleh sumber, berdasarkan sinyal yang diterimanya melalui saluran. Shannon mempertimbangkan berbagai cara untuk mengkodekan, memampatkan, dan mengirimkan pesan dari sumber data, dan membuktikan dalam teorema pengkodean sumbernya yang terkenal bahwa entropi mewakili batas matematis absolut tentang seberapa baik data dari sumber dapat dimampatkan tanpa mengalami kehilangan ke saluran tanpa derau sama sekali. Shannon memperkuat hasil ini secara signifikan untuk saluran berderau dalam teorema pengkodean saluran berderaunya.

Entropi dalam teori informasi secara langsung dianalogikan dengan entropi dalam termodinamika statistik. Hasil analogi ketika nilai-nilai variabel acak menunjukkan energi keadaan mikro, sehingga rumus Gibbs untuk entropi secara formal identik dengan rumus Shannon. Entropi memiliki relevansi dengan bidang matematika lainnya seperti kombinatorika dan pembelajaran mesin. Definisi tersebut dapat diturunkan dari serangkaian aksioma yang menetapkan bahwa entropi harus menjadi ukuran seberapa "mengejutkan" hasil rata-rata suatu variabel. Untuk variabel acak kontinu, entropi diferensial analog dengan entropi.

Referensi

This article incorporates material from Shannon's entropy on PlanetMath, which is licensed under the Creative Commons Attribution/Share-Alike License.

Bacaan lebih lanjut

• Cover, T.M., Thomas, J.A. (2006), Elements of Information Theory - 2nd Ed., Wiley-Interscience,
• MacKay, D.J.C. (2003), Information Theory, Inference and Learning Algorithms , Cambridge University Press,
• Arndt, C. (2004), Information Measures: Information and its Description in Science and Engineering, Springer,
• Gray, R. M. (2011), Entropy and Information Theory, Springer.
• Shannon, C.E., Weaver, W. (1949) The Mathematical Theory of Communication, Univ of Illinois Press. ISBN 0-252-72548-4
• Stone, J. V. (2014), Chapter 1 of Information Theory: A Tutorial Introduction, University of Sheffield, England. ISBN 978-0956372857.

Pranala luar

• "Entropy" at Rosetta Code—repository of implementations of Shannon entropy in different programming languages.
• Entropy an interdisciplinary journal on all aspects of the entropy concept. Open access.

Sumber dan atribusi

Konten artikel ini diadaptasi dari Wikipedia bahasa Indonesia, revisi 29528773 (2026-08-05T10:38:56Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.