Boosting: Perbedaan antara revisi
Impor teks terkontrol dari Wikipedia bahasa Indonesia; revisi 28365352; atribusi sumber disertakan. |
Presentation V4: sitasi, referensi, Math, Wikimedia Commons, dan atribusi |
||
| Baris 1: | Baris 1: | ||
'''Boosting''' adalah pembelajaran ''metode ensemble'' meta algoritma untuk terutama mengurangi bias, dan juga varians. Berbeda halnya dengan '''bagging''' dan '''random forest''' yang mendapatkan hasil prediksi dari proses ''bootstrap'', '''Boosting''' mengacu pada kumpulan algoritma yang dapat mengkonversi ''weak learners'' untuk ''strong learners''. Prinsip utama dari '''boosting''' adalah menyesuaikan urutan ''weak learners'' hanya sedikit lebih baik daripada ''tebakan acak'', sementara ''strong learners'' dekat dengan kinerja sempurna seperti pohon keputusan kecil. Setiap kali pembuatan pohon, data yang digunakan tetap seperti semula tetapi memiliki sebaran bobot yang berbeda dalam tiap [[iterasi]]. Penggunaan bobot juga dilakukan pada saat proses penggabungan prediksi akhir dari banyak pohon yang dihasilkan melalui klasifikasi atau penjumlahan regresi. '''Boosting''' juga dikanal dengan sebutan '''AdaBoost'''. | '''Boosting''' adalah pembelajaran ''metode ensemble'' meta algoritma untuk terutama mengurangi bias, dan juga varians.<ref>https://web.archive.org/web/20150119081741/http://oz.berkeley.edu/~breiman/arcall96.pdf</ref> Berbeda halnya dengan '''bagging''' dan '''random forest''' yang mendapatkan hasil prediksi dari proses ''bootstrap'', '''Boosting''' mengacu pada kumpulan algoritma yang dapat mengkonversi ''weak learners'' untuk ''strong learners''. Prinsip utama dari '''boosting''' adalah menyesuaikan urutan ''weak learners'' hanya sedikit lebih baik daripada ''tebakan acak'', sementara ''strong learners'' dekat dengan kinerja sempurna seperti pohon keputusan kecil.<ref>http://www2.islab.ntua.gr/attachments/article/86/Ensemble%20methods%20-%20Zhou.pdf</ref> Setiap kali pembuatan pohon, data yang digunakan tetap seperti semula tetapi memiliki sebaran bobot yang berbeda dalam tiap [[iterasi]]. Penggunaan bobot juga dilakukan pada saat proses penggabungan prediksi akhir dari banyak pohon yang dihasilkan melalui klasifikasi atau penjumlahan regresi.<ref>[http://bagusco.staff.ipb.ac.id/files/2011/02/FSK-2010-Ensemble-Tree.pdf Salinan arsip].</ref> '''Boosting''' juga dikanal dengan sebutan '''AdaBoost'''. | ||
== Algoritma == | == Algoritma == | ||
'''Boosting''' tidak dibatasi dengan secara [[Algoritma|algoritme]]. prosedur '''Boosting''' cukup sederhana. Misalkan ''weak learners'' akan bekerja pada distribusi data apa pun yang diberikan, dan mengambil biner tugas klasifikasi sebagai contoh. sebagian besar algoritma '''Boosting''' terdiri dari iteratif learning pengklasifikasi lemah sehubungan dengan distribusi dan menambahkannya ke penggolong kuat akhir. Ketika mereka ditambahkan, mereka biasanya ditimbang dengan beberapa cara yang biasanya terkait dengan ketepatan ''weak learners''. Setelah ''weak learners'' ditambahkan, data akan ditulis ulang: contoh yang salah dikuatkan dan contoh yang diklasifikasi dengan benar menurunkan berat badan. Dengan demikian, ''weak learners'' nantinya lebih fokus pada contoh-contoh bahwa ''weak learners'' sebelumnya salah klasifikasi. '''AdaBoost''' sangat populer dikarnakan dapat beradaptasi dengan ''weak learners''. | '''Boosting''' tidak dibatasi dengan secara [[Algoritma|algoritme]]. prosedur '''Boosting''' cukup sederhana. Misalkan ''weak learners'' akan bekerja pada distribusi data apa pun yang diberikan, dan mengambil biner tugas klasifikasi sebagai contoh.<ref>http://www2.islab.ntua.gr/attachments/article/86/Ensemble%20methods%20-%20Zhou.pdf</ref> sebagian besar algoritma '''Boosting''' terdiri dari iteratif learning pengklasifikasi lemah sehubungan dengan distribusi dan menambahkannya ke penggolong kuat akhir. Ketika mereka ditambahkan, mereka biasanya ditimbang dengan beberapa cara yang biasanya terkait dengan ketepatan ''weak learners''. Setelah ''weak learners'' ditambahkan, data akan ditulis ulang: contoh yang salah dikuatkan dan contoh yang diklasifikasi dengan benar menurunkan berat badan. Dengan demikian, ''weak learners'' nantinya lebih fokus pada contoh-contoh bahwa ''weak learners'' sebelumnya salah klasifikasi. '''AdaBoost''' sangat populer dikarnakan dapat beradaptasi dengan ''weak learners''. | ||
''Freund dan Schapire (1996) dan Hastie et al. (2008)'' memaparkan algoritma '''AdaBoost'''.M1 dengan cara penulisan yang agak berbeda. Misalkan data yang kita miliki terdiri atas ''n'', dengan ''y'' sebagai peubah respon yang memiliki ''k'' kelas. Selanjutnya kita ingin membuat pohon gabungan menggunakan algoritma '''Boosting''' dari sebanyak ''M'' iterasi. Secara ringkas, tahapan algoritma tersebut dapat dituliskan sebagai berikut: | ''Freund dan Schapire (1996) dan Hastie et al. (2008)'' memaparkan algoritma '''AdaBoost'''.M1 dengan cara penulisan yang agak berbeda. Misalkan data yang kita miliki terdiri atas ''n'', dengan ''y'' sebagai peubah respon yang memiliki ''k'' kelas. Selanjutnya kita ingin membuat pohon gabungan menggunakan algoritma '''Boosting''' dari sebanyak ''M'' iterasi.<ref>[http://bagusco.staff.ipb.ac.id/files/2011/02/FSK-2010-Ensemble-Tree.pdf Salinan arsip].</ref> Secara ringkas, tahapan algoritma tersebut dapat dituliskan sebagai berikut: | ||
1. tentukan bobot awal setiap pengamatan, yaitu ''w[i]'' = 1/''n'' untuk semua i = 1, 2, …, ''n''. | 1. tentukan bobot awal setiap pengamatan, yaitu ''w[i]'' = 1/''n'' untuk semua i = 1, 2, …, ''n''. | ||
| Baris 14: | Baris 14: | ||
3. prediksi akhir adalah kelas ''k'' yang memiliki nilai terbesar. | 3. prediksi akhir adalah kelas ''k'' yang memiliki nilai terbesar. | ||
== | == Referensi == | ||
<references /> | |||
== Sumber dan atribusi == | == Sumber dan atribusi == | ||
Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Boosting&oldid=28365352 Wikipedia bahasa Indonesia], revisi 28365352 (2025-11-07T03:46:31Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku. | Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Boosting&oldid=28365352 Wikipedia bahasa Indonesia], revisi 28365352 (2025-11-07T03:46:31Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku. | ||
<!-- WIKI_UNISSULA_PRESENTATION_V4 --> | |||
Revisi terkini sejak 23 Agustus 2026 10.30
Boosting adalah pembelajaran metode ensemble meta algoritma untuk terutama mengurangi bias, dan juga varians.[1] Berbeda halnya dengan bagging dan random forest yang mendapatkan hasil prediksi dari proses bootstrap, Boosting mengacu pada kumpulan algoritma yang dapat mengkonversi weak learners untuk strong learners. Prinsip utama dari boosting adalah menyesuaikan urutan weak learners hanya sedikit lebih baik daripada tebakan acak, sementara strong learners dekat dengan kinerja sempurna seperti pohon keputusan kecil.[2] Setiap kali pembuatan pohon, data yang digunakan tetap seperti semula tetapi memiliki sebaran bobot yang berbeda dalam tiap iterasi. Penggunaan bobot juga dilakukan pada saat proses penggabungan prediksi akhir dari banyak pohon yang dihasilkan melalui klasifikasi atau penjumlahan regresi.[3] Boosting juga dikanal dengan sebutan AdaBoost.
Algoritma
Boosting tidak dibatasi dengan secara algoritme. prosedur Boosting cukup sederhana. Misalkan weak learners akan bekerja pada distribusi data apa pun yang diberikan, dan mengambil biner tugas klasifikasi sebagai contoh.[4] sebagian besar algoritma Boosting terdiri dari iteratif learning pengklasifikasi lemah sehubungan dengan distribusi dan menambahkannya ke penggolong kuat akhir. Ketika mereka ditambahkan, mereka biasanya ditimbang dengan beberapa cara yang biasanya terkait dengan ketepatan weak learners. Setelah weak learners ditambahkan, data akan ditulis ulang: contoh yang salah dikuatkan dan contoh yang diklasifikasi dengan benar menurunkan berat badan. Dengan demikian, weak learners nantinya lebih fokus pada contoh-contoh bahwa weak learners sebelumnya salah klasifikasi. AdaBoost sangat populer dikarnakan dapat beradaptasi dengan weak learners. Freund dan Schapire (1996) dan Hastie et al. (2008) memaparkan algoritma AdaBoost.M1 dengan cara penulisan yang agak berbeda. Misalkan data yang kita miliki terdiri atas n, dengan y sebagai peubah respon yang memiliki k kelas. Selanjutnya kita ingin membuat pohon gabungan menggunakan algoritma Boosting dari sebanyak M iterasi.[5] Secara ringkas, tahapan algoritma tersebut dapat dituliskan sebagai berikut:
1. tentukan bobot awal setiap pengamatan, yaitu w[i] = 1/n untuk semua i = 1, 2, …, n.
2. Andaikan m adalah nomor iterasi, maka untuk m = 1, 2, … M, lakukan proses berikut:
- susun pohon tunggal dengan memperhatikan bobot sebesar w[i]
- hitung tingkat kesalahan klasifikasi
- hitung nilai a[m]
- tentukan bobot yang baru untuk setiap pengamatan menjadi w[i] = w[i]a[m] untuk pengamatan yang salah klasifikasi, sedangkan untuk pengamatan yang diduga dengan tepat maka bobotnya tetap
3. prediksi akhir adalah kelas k yang memiliki nilai terbesar.
Referensi
Sumber dan atribusi
Konten artikel ini diadaptasi dari Wikipedia bahasa Indonesia, revisi 28365352 (2025-11-07T03:46:31Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.