Entropi (teori informasi): Perbedaan antara revisi
Impor teks terkontrol dari Wikipedia bahasa Indonesia; revisi 29528773; atribusi sumber disertakan. |
Presentation V4: sitasi, referensi, Math, Wikimedia Commons, dan atribusi |
||
| Baris 1: | Baris 1: | ||
Dalam [[teori informasi]], '''entropi''' [[variabel acak]] adalah tingkat rata-rata "informasi", "kejutan", atau "ketidakpastian" yang melekat pada kemungkinan hasil variabel. Diberikan variabel acak diskrit <math>X</math>, yang mengambil nilai dalam alfabet <math>\mathcal{X}</math> dan didistribusikan menurut <math>p: \mathcal{X}\to[0, 1]</math> :di mana <math>\Sigma</math> menunjukkan jumlah atas nilai-nilai variabel yang mungkin. Pilihan dasar untuk <math>\log</math>, [[logaritma]], bervariasi untuk aplikasi yang berbeda. Basis 2 memberikan satuan [[Bit (satuan)|bit]] (atau "[[Shannon (satuan)|shannon]]"), sedangkan basis [[E (konstanta matematika)|''e'']] memberikan "satuan alami" [[Nat (satuan)|nat]], dan basis 10 memberikan satuan "dit", "ban", atau "[[Hartley (satuan)|hartley]]". Definisi entropi yang setara adalah nilai yang [[Nilai harapan|diharapkan]] dari [[informasi diri]] suatu variabel. | Dalam [[teori informasi]], '''entropi''' [[variabel acak]] adalah tingkat rata-rata "informasi", "kejutan", atau "ketidakpastian" yang melekat pada kemungkinan hasil variabel. Diberikan variabel acak diskrit <math>X</math>, yang mengambil nilai dalam alfabet <math>\mathcal{X}</math> dan didistribusikan menurut <math>p: \mathcal{X}\to[0, 1]</math> :di mana <math>\Sigma</math> menunjukkan jumlah atas nilai-nilai variabel yang mungkin. Pilihan dasar untuk <math>\log</math>, [[logaritma]], bervariasi untuk aplikasi yang berbeda. Basis 2 memberikan satuan [[Bit (satuan)|bit]] (atau "[[Shannon (satuan)|shannon]]"), sedangkan basis [[E (konstanta matematika)|''e'']] memberikan "satuan alami" [[Nat (satuan)|nat]], dan basis 10 memberikan satuan "dit", "ban", atau "[[Hartley (satuan)|hartley]]". Definisi entropi yang setara adalah nilai yang [[Nilai harapan|diharapkan]] dari [[informasi diri]] suatu variabel.<ref>R. K. Pathria. [https://books.google.com/books?id=KdbJJAXQ-RsC Statistical Mechanics]. Academic Press. 2011. hlm. 51. ISBN 978-0123821881.</ref> | ||
Konsep entropi informasi diperkenalkan oleh [[Claude Shannon]] dalam makalahnya tahun 1948 " [[Teori Matematika Komunikasi|Sebuah Teori Matematika Komunikasi]] ", dan juga disebut sebagai '''entropi Shannon'''. Teori Shannon mendefinisikan sistem [[Transmisi data|komunikasi data]] yang terdiri dari tiga elemen: sumber data, [[saluran komunikasi]], dan penerima. "Masalah mendasar komunikasi" - seperti yang diungkapkan oleh Shannon - adalah agar penerima dapat mengidentifikasi data apa yang dihasilkan oleh sumber, berdasarkan sinyal yang diterimanya melalui saluran. Shannon mempertimbangkan berbagai cara untuk mengkodekan, memampatkan, dan mengirimkan pesan dari sumber data, dan membuktikan dalam [[Teorema pengkodean sumber Shannon|teorema pengkodean sumbernya]] yang terkenal bahwa entropi mewakili batas matematis absolut tentang seberapa baik data dari sumber dapat dimampatkan [[pemampatan nirlesap|tanpa mengalami kehilangan]] ke saluran tanpa derau sama sekali. Shannon memperkuat hasil ini secara signifikan untuk saluran berderau dalam [[Teorema pengkodean saluran berderau|teorema pengkodean saluran berderaunya]]. | Konsep entropi informasi diperkenalkan oleh [[Claude Shannon]] dalam makalahnya tahun 1948 " [[Teori Matematika Komunikasi|Sebuah Teori Matematika Komunikasi]] ",<ref>Claude E. Shannon. ''A Mathematical Theory of Communication''. ''Bell System Technical Journal''. July 1948. Vol. 27 (3). hlm. 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x. ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf here])</ref><ref>Claude E. Shannon. ''A Mathematical Theory of Communication''. ''Bell System Technical Journal''. October 1948. Vol. 27 (4). hlm. 623–656. doi:10.1002/j.1538-7305.1948.tb00917.x. ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf here])</ref> dan juga disebut sebagai '''entropi Shannon'''. Teori Shannon mendefinisikan sistem [[Transmisi data|komunikasi data]] yang terdiri dari tiga elemen: sumber data, [[saluran komunikasi]], dan penerima. "Masalah mendasar komunikasi" - seperti yang diungkapkan oleh Shannon - adalah agar penerima dapat mengidentifikasi data apa yang dihasilkan oleh sumber, berdasarkan sinyal yang diterimanya melalui saluran.<ref>Claude E. Shannon. ''A Mathematical Theory of Communication''. ''Bell System Technical Journal''. July 1948. Vol. 27 (3). hlm. 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x. ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf here])</ref><ref>Claude E. Shannon. ''A Mathematical Theory of Communication''. ''Bell System Technical Journal''. October 1948. Vol. 27 (4). hlm. 623–656. doi:10.1002/j.1538-7305.1948.tb00917.x. ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf PDF], archived from [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-4-623.pdf here])</ref> Shannon mempertimbangkan berbagai cara untuk mengkodekan, memampatkan, dan mengirimkan pesan dari sumber data, dan membuktikan dalam [[Teorema pengkodean sumber Shannon|teorema pengkodean sumbernya]] yang terkenal bahwa entropi mewakili batas matematis absolut tentang seberapa baik data dari sumber dapat dimampatkan [[pemampatan nirlesap|tanpa mengalami kehilangan]] ke saluran tanpa derau sama sekali. Shannon memperkuat hasil ini secara signifikan untuk saluran berderau dalam [[Teorema pengkodean saluran berderau|teorema pengkodean saluran berderaunya]]. | ||
Entropi dalam teori informasi secara langsung dianalogikan dengan [[Entropi (termodinamika statistik)|entropi]] dalam [[Mekanika statistika|termodinamika statistik]]. Hasil analogi ketika nilai-nilai variabel acak menunjukkan energi keadaan mikro, sehingga rumus Gibbs untuk entropi secara formal identik dengan rumus Shannon. Entropi memiliki relevansi dengan bidang matematika lainnya seperti [[kombinatorika]] dan [[pembelajaran mesin]]. Definisi tersebut dapat diturunkan dari serangkaian [[aksioma]] yang menetapkan bahwa entropi harus menjadi ukuran seberapa "mengejutkan" hasil rata-rata suatu variabel. Untuk variabel acak kontinu, [[entropi diferensial]] analog dengan entropi. | Entropi dalam teori informasi secara langsung dianalogikan dengan [[Entropi (termodinamika statistik)|entropi]] dalam [[Mekanika statistika|termodinamika statistik]]. Hasil analogi ketika nilai-nilai variabel acak menunjukkan energi keadaan mikro, sehingga rumus Gibbs untuk entropi secara formal identik dengan rumus Shannon. Entropi memiliki relevansi dengan bidang matematika lainnya seperti [[kombinatorika]] dan [[pembelajaran mesin]]. Definisi tersebut dapat diturunkan dari serangkaian [[aksioma]] yang menetapkan bahwa entropi harus menjadi ukuran seberapa "mengejutkan" hasil rata-rata suatu variabel. Untuk variabel acak kontinu, [[entropi diferensial]] analog dengan entropi. | ||
== Bacaan lebih lanjut == | == Bacaan lebih lanjut == | ||
* Cover, T.M., Thomas, J.A. (2006), ''Elements of Information Theory - 2nd Ed.'', Wiley-Interscience, | * Cover, T.M., Thomas, J.A. (2006), ''Elements of Information Theory - 2nd Ed.'', Wiley-Interscience, | ||
* MacKay, D.J.C. (2003), ''Information Theory, Inference and Learning Algorithms'' , Cambridge University Press, | * MacKay, D.J.C. (2003), ''Information Theory, Inference and Learning Algorithms'' , Cambridge University Press, | ||
* Arndt, C. (2004), ''Information Measures: Information and its Description in Science and Engineering'', Springer, | * Arndt, C. (2004), ''Information Measures: Information and its Description in Science and Engineering'', Springer, | ||
* Gray, R. M. (2011), ''Entropy and Information Theory'', Springer. | * Gray, R. M. (2011), ''Entropy and Information Theory'', Springer. | ||
* | * | ||
* [[Claude Shannon|Shannon, C.E.]], Weaver, W. (1949) ''The Mathematical Theory of Communication'', Univ of Illinois Press. [[ISBN (identifier)|ISBN]] [[Special:BookSources/0-252-72548-4|0-252-72548-4]] | * [[Claude Shannon|Shannon, C.E.]], Weaver, W. (1949) ''The Mathematical Theory of Communication'', Univ of Illinois Press. [[ISBN (identifier)|ISBN]] [[Special:BookSources/0-252-72548-4|0-252-72548-4]] | ||
* Stone, J. V. (2014), Chapter 1 of [http://jim-stone.staff.shef.ac.uk/BookInfoTheory/InfoTheoryBookMain.html ''Information Theory: A Tutorial Introduction''], University of Sheffield, England. [[ISBN (identifier)|ISBN]] [[Special:BookSources/978-0956372857|978-0956372857]]. | * Stone, J. V. (2014), Chapter 1 of [http://jim-stone.staff.shef.ac.uk/BookInfoTheory/InfoTheoryBookMain.html ''Information Theory: A Tutorial Introduction''], University of Sheffield, England. [[ISBN (identifier)|ISBN]] [[Special:BookSources/978-0956372857|978-0956372857]]. | ||
== Pranala luar == | == Pranala luar == | ||
* | * | ||
* [http://rosettacode.org/wiki/Entropy "Entropy"] at Rosetta Code—repository of implementations of Shannon entropy in different programming languages. | * [http://rosettacode.org/wiki/Entropy "Entropy"] at Rosetta Code—repository of implementations of Shannon entropy in different programming languages. | ||
* ''[http://www.mdpi.com/journal/entropy Entropy]'' an interdisciplinary journal on all aspects of the entropy concept. Open access. | * ''[http://www.mdpi.com/journal/entropy Entropy]'' an interdisciplinary journal on all aspects of the entropy concept. Open access. | ||
== Referensi == | |||
<references /> | |||
== Sumber dan atribusi == | == Sumber dan atribusi == | ||
Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Entropi+%28teori+informasi%29&oldid=29528773 Wikipedia bahasa Indonesia], revisi 29528773 (2026-08-05T10:38:56Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku. | Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Entropi+%28teori+informasi%29&oldid=29528773 Wikipedia bahasa Indonesia], revisi 29528773 (2026-08-05T10:38:56Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku. | ||
<!-- WIKI_UNISSULA_PRESENTATION_V4 --> | |||
Revisi terkini sejak 24 Agustus 2026 14.08
Dalam teori informasi, entropi variabel acak adalah tingkat rata-rata "informasi", "kejutan", atau "ketidakpastian" yang melekat pada kemungkinan hasil variabel. Diberikan variabel acak diskrit , yang mengambil nilai dalam alfabet dan didistribusikan menurut :di mana menunjukkan jumlah atas nilai-nilai variabel yang mungkin. Pilihan dasar untuk , logaritma, bervariasi untuk aplikasi yang berbeda. Basis 2 memberikan satuan bit (atau "shannon"), sedangkan basis e memberikan "satuan alami" nat, dan basis 10 memberikan satuan "dit", "ban", atau "hartley". Definisi entropi yang setara adalah nilai yang diharapkan dari informasi diri suatu variabel.[1]
Konsep entropi informasi diperkenalkan oleh Claude Shannon dalam makalahnya tahun 1948 " Sebuah Teori Matematika Komunikasi ",[2][3] dan juga disebut sebagai entropi Shannon. Teori Shannon mendefinisikan sistem komunikasi data yang terdiri dari tiga elemen: sumber data, saluran komunikasi, dan penerima. "Masalah mendasar komunikasi" - seperti yang diungkapkan oleh Shannon - adalah agar penerima dapat mengidentifikasi data apa yang dihasilkan oleh sumber, berdasarkan sinyal yang diterimanya melalui saluran.[4][5] Shannon mempertimbangkan berbagai cara untuk mengkodekan, memampatkan, dan mengirimkan pesan dari sumber data, dan membuktikan dalam teorema pengkodean sumbernya yang terkenal bahwa entropi mewakili batas matematis absolut tentang seberapa baik data dari sumber dapat dimampatkan tanpa mengalami kehilangan ke saluran tanpa derau sama sekali. Shannon memperkuat hasil ini secara signifikan untuk saluran berderau dalam teorema pengkodean saluran berderaunya.
Entropi dalam teori informasi secara langsung dianalogikan dengan entropi dalam termodinamika statistik. Hasil analogi ketika nilai-nilai variabel acak menunjukkan energi keadaan mikro, sehingga rumus Gibbs untuk entropi secara formal identik dengan rumus Shannon. Entropi memiliki relevansi dengan bidang matematika lainnya seperti kombinatorika dan pembelajaran mesin. Definisi tersebut dapat diturunkan dari serangkaian aksioma yang menetapkan bahwa entropi harus menjadi ukuran seberapa "mengejutkan" hasil rata-rata suatu variabel. Untuk variabel acak kontinu, entropi diferensial analog dengan entropi.
Bacaan lebih lanjut
- Cover, T.M., Thomas, J.A. (2006), Elements of Information Theory - 2nd Ed., Wiley-Interscience,
- MacKay, D.J.C. (2003), Information Theory, Inference and Learning Algorithms , Cambridge University Press,
- Arndt, C. (2004), Information Measures: Information and its Description in Science and Engineering, Springer,
- Gray, R. M. (2011), Entropy and Information Theory, Springer.
- Shannon, C.E., Weaver, W. (1949) The Mathematical Theory of Communication, Univ of Illinois Press. ISBN 0-252-72548-4
- Stone, J. V. (2014), Chapter 1 of Information Theory: A Tutorial Introduction, University of Sheffield, England. ISBN 978-0956372857.
Pranala luar
- "Entropy" at Rosetta Code—repository of implementations of Shannon entropy in different programming languages.
- Entropy an interdisciplinary journal on all aspects of the entropy concept. Open access.
Referensi
- ↑ R. K. Pathria. Statistical Mechanics. Academic Press. 2011. hlm. 51. ISBN 978-0123821881.
- ↑ Claude E. Shannon. A Mathematical Theory of Communication. Bell System Technical Journal. July 1948. Vol. 27 (3). hlm. 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x. (PDF, archived from here)
- ↑ Claude E. Shannon. A Mathematical Theory of Communication. Bell System Technical Journal. October 1948. Vol. 27 (4). hlm. 623–656. doi:10.1002/j.1538-7305.1948.tb00917.x. (PDF, archived from here)
- ↑ Claude E. Shannon. A Mathematical Theory of Communication. Bell System Technical Journal. July 1948. Vol. 27 (3). hlm. 379–423. doi:10.1002/j.1538-7305.1948.tb01338.x. (PDF, archived from here)
- ↑ Claude E. Shannon. A Mathematical Theory of Communication. Bell System Technical Journal. October 1948. Vol. 27 (4). hlm. 623–656. doi:10.1002/j.1538-7305.1948.tb00917.x. (PDF, archived from here)
Sumber dan atribusi
Konten artikel ini diadaptasi dari Wikipedia bahasa Indonesia, revisi 29528773 (2026-08-05T10:38:56Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.