Galat generalisasi: Perbedaan antara revisi

Revisi terkini sejak 23 Agustus 2026 04.20

Untuk aplikasi Pemelajaran terarah dalam pemelajaran mesin dan teori pemelajaran statistik, galat generalisasi atau kesalahan generalisasi^[1](bahasa Inggris: generalization error), juga dikenal sebagai galat luar sampel (out-off-sample error)^[2] atau risiko (risk) adalah suatu ukuran sejauh mana suatu algoritma mampu memprediksi nilai dengan akurat untuk data yang sebelumnya tidak terlihat. Karena algoritma pemelajaran dievaluasi pada data sampel yang terbatas, proses evaluasi algoritma pemelajaran dapat dipengaruhi oleh galat pengambilan sampel. Oleh karena itu, pengukuran kesalahan prediksi saat ini mungkin tidak memberikan banyak informasi tentang kemampuan prediksi pada data baru. Galat generalisasi dapat diminimalkan dengan menghindari overfitting dalam algoritma pemelajaran. Kinerja algoritma pemelajaran mesin direpresentasikan oleh grafik yang menunjukkan nilai estimasi galat generalisasi selama proses pemelajaran yang disebut sebagai kurva pembelajaran.

Definisi

Dalam masalah pembelajaran,tujuannya adalah mengembangkan fungsi $f_{n} (\vec{x})$ yang memprediksi nilai keluaran $y$ untuk setiap data masukan $\vec{x}$ . Subskrip $n$ menunjukkan bahwa fungsi $f_{n}$ dikembangkan berdasarkan kumpulan data sebanyak $n$ titik data. Galat generalisasi atau kerugian (expected loss) yang diharapkan atau risiko (risk) $I [f]$ dari suatu fungsi tertentu $f$ pada semua nilai mungkin dari $\vec{x}$ dan $y$ adalah nilai harapan dari fungsi kerugian $V (f)$ :^[3]

I [f] = \int_{X \times Y} V (f (\vec{x}), y) ρ (\vec{x}, y) d \vec{x} d y,

di mana $ρ (\vec{x}, y)$ adalah distribusi probabilitas bersama yang tidak diketahui untuk $\vec{x}$ dan $y$ .

Tanpa mengetahui distribusi probabilitas bersama $ρ$ , mustahil untuk menghitung $I [f]$ . Sebagai gantinya, kita dapat menghitung galat pada data sampel, yang disebut sebagai galat empiris (atau risiko empiris). Diberikan $n$ titik data, galat empiris dari suatu fungsi kandidat $f$ adalah:

P_{G} = P (I [f_{n}] - I_{n} [f_{n}] \leq ϵ) \geq 1 - δ_{n}

Sebuah algoritma dikatakan menggeneralisasi jika:

lim_{n \to \infty} I [f] - I_{n} [f] = 0

Yang sangat penting adalah galat generalisasi $I [f_{n}]$ dari fungsi yang tergantung pada data $f_{n}$ yang ditemukan oleh suatu algoritma pembelajaran berdasarkan sampel. Sekali lagi, untuk distribusi probabilitas yang tidak diketahui, $I [f_{n}]$ tidak dapat dihitung. Sebagai gantinya, tujuan dari banyak masalah dalam teori pembelajaran statistik adalah untuk membatasi atau menggambarkan perbedaan antara galat generalisasi dan galat empiris secara probabilitas:

I_{n} [f] = \frac{1}{n} \sum_{i = 1}^{n} V (f ({\vec{x}}_{i}), y_{i})

Artinya, tujuannya adalah untuk menggambarkan probabilitas $1 - δ_{n}$ bahwa galat generalisasi kurang dari galat empiris ditambah dengan batas galat $ϵ$ ((umumnya tergantung pada $δ$ dan $n$ ). Secara khusus, jika suatu algoritma bersifat simetris (urutan input tidak memengaruhi hasil), memiliki kerugian terbatas, dan memenuhi dua kondisi stabilitas, maka algoritma tersebut akan menggeneralisasi. Kondisi stabilitas pertama, stabilitas validasi silang tinggalkan satu (leave-one-out cross-validation), menyatakan bahwa untuk menjadi stabil, kesalahan prediksi untuk setiap titik data ketika validasi silang tinggalkan satu digunakan harus konvergen ke nol saat $n \to \infty$ . Kondisi kedua, stabilitas harapan kesalahan tinggalkan satu (juga dikenal sebagai stabilitas hipotesis jika beroperasi dalam norma $L_{1}$ terpenuhi jika prediksi pada titik data yang ditinggalkan tidak berubah ketika satu titik data dihapus dari himpunan data latih.^[4]

Kondisi ini dapat diformulasikan sebagai

Leave-one-out cross-validation Stability

Suatu algoritma $L$ dikatakan memiliki stabilitas $C V l o o$ , jikalau untuk setiap $n$ memiliki suatu $β_{C V}^{(n)}$ dan $δ_{C V}^{(n)}$ yang sedemikian sehingga:

\forall i \in {1, ..., n}, ℙ_{S} {| V (f_{S^{i}}, z_{i}) - V (f_{S}, z_{i}) | \leq β_{C V}^{(n)}} \geq 1 - δ_{C V}^{(n)}

dan $β_{C V}^{(n)}$ dan $δ_{C V}^{(n)}$ menuju nol sebagaimana $n$ menuju takhingga.^[5]

Expected-leave-one-out error Stability

Sebuah algoritma $L$ memiliki stabilitas $E l o o_{e r r}$ jikalau untuk setiao $n$ memiliki suatu $β_{E L}^{m}$ dan $δ_{E L}^{m}$ sedemikian sehingga:

\forall i \in {1, ..., n}, ℙ_{S} {| I [f_{S}] - \frac{1}{n} \sum_{i = 1}^{N} V (f_{S^{i}}, z_{i}) | \leq β_{E L}^{(n)}} \geq 1 - δ_{E L}^{(n)}

dengan $β_{E L}^{(n)}$ dan $δ_{E L}^{(n)}$ menuju nol untuk $n \to \infty$ .

Untuk leave-one-out stability di norma $L_{1}$ , hal ini sama dengan stabilitas hipotesis:

𝔼_{S, z} [| V (f_{S}, z) - V (f_{S^{i}}, z) |] \leq β_{H}^{(n)}

dengan $β_{H}^{(n)}$ menuju nol sebagaimana $n$ menuju takhingga.^[6]

Algoritma yang terbukti stabil

Sejumlah algoritma telah terbukti stabil dan sebagai hasilnya memiliki batasan pada galat generalisasinya. Daftar algoritma-algoritma ini dan makalah-makalah yang membuktikan stabilitasnya tersedia di sini.

Relasi terhadap overfitting

Konsep galat generalisasi dan overfitting saling berkaitan erat. Overfitting terjadi ketika fungsi yang dipelajari $f_{S}$ menjadi sensitif terhadap noise dalam sampel. Akibatnya, fungsi tersebut akan berperforma baik pada himpunan latih, tetapi tidak akan berperforma baik pada data lain dari distribusi probabilitas bersama $x$ dan $y$ . Oleh karena itu, semakin besar overfitting, semakin besar pula galat generalisasi.

Jumlah overfitting dapat diuji menggunakan metode validasi silang (cross-validation),yang membagi sampel menjadi simulasi sampel latih dan sampel uji. Model kemudian dilatih pada sampel latih dan dievaluasi pada sampel uji. Sampel uji sebelumnya tidak terlihat oleh algoritma dan mewakili sampel acak dari distribusi probabilitas bersamaf $x$ dan $y$ . Sampel uji ini memungkinkan kita untuk mendekati kesalahan yang diharapkan dan sebagai hasilnya mendekati suatu bentuk galat generalisasi tertentu.

Banyak algoritma yang ada untuk mencegah overfitting. Algoritma minimisasi dapat memberikan penalti pada fungsi yang lebih kompleks (dikenal sebagai regularisasi Tikhonov), atau ruang hipotesis dapat dibatasi, baik secara eksplisit dalam bentuk fungsi atau dengan menambahkan batasan pada fungsi minimisasi (regularisasi Ivanov).

Pendekatan untuk menemukan fungsi yang tidak overfit bertentangan dengan tujuan menemukan fungsi yang cukup kompleks untuk menangkap karakteristik khusus dari data. Ini dikenal sebagai bias-variance tradeoff. Menjaga fungsi untuk tetap sederhana untuk menghindari overfitting dapat memperkenalkan bias dalam prediksi yang dihasilkan, sementara memungkinkannya menjadi lebih kompleks dapat menyebabkan overfitting dan variasi yang lebih tinggi dalam prediksi. Tidak mungkin untuk meminimalkan keduanya secara bersamaan.

Bacaan lanjutan

Mohri, M., Rostamizadeh A., Talwakar A., (2018) Foundations of Machine learning, 2nd ed., Boston: MIT Press.
Moody, J.E. (1992), "The Effective Number of Parameters: An Analysis of Generalization and Regularization in Nonlinear Learning Systems", in Moody, J.E., Hanson, S.J., and Lippmann, R.P., Advances in Neural Information Processing Systems 4, 847–854.
White, H. (1992b), Artificial Neural Networks: Approximation and Learning Theory, Blackwell.

Referensi

↑ Mohri, M., Rostamizadeh A., Talwakar A., (2018) Foundations of Machine learning, 2nd ed., Boston: MIT Press
↑ Y S. Abu-Mostafa, M.Magdon-Ismail, and H.-T. Lin (2012) Learning from Data, AMLBook Press.
↑ Mohri, M., Rostamizadeh A., Talwakar A., (2018) Foundations of Machine learning, 2nd ed., Boston: MIT Press
↑ S. Mukherjee. Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization. Adv. Comput. Math. 2006. Vol. 25 (1–3). hlm. 161–193. doi:10.1007/s10444-004-7634-z.
↑ S. Mukherjee. Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization. Adv. Comput. Math. 2006. Vol. 25 (1–3). hlm. 161–193. doi:10.1007/s10444-004-7634-z.
↑ S. Mukherjee. Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization. Adv. Comput. Math. 2006. Vol. 25 (1–3). hlm. 161–193. doi:10.1007/s10444-004-7634-z.

Sumber dan atribusi

Konten artikel ini diadaptasi dari Wikipedia bahasa Indonesia, revisi 26753803 (2025-01-05T16:40:54Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.

[1] Mohri, M., Rostamizadeh A., Talwakar A., (2018) Foundations of Machine learning, 2nd ed., Boston: MIT Press

[2] Y S. Abu-Mostafa, M.Magdon-Ismail, and H.-T. Lin (2012) Learning from Data, AMLBook Press.

[3] Mohri, M., Rostamizadeh A., Talwakar A., (2018) Foundations of Machine learning, 2nd ed., Boston: MIT Press

[4] S. Mukherjee. Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization. Adv. Comput. Math. 2006. Vol. 25 (1–3). hlm. 161–193. doi:10.1007/s10444-004-7634-z.

[5] S. Mukherjee. Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization. Adv. Comput. Math. 2006. Vol. 25 (1–3). hlm. 161–193. doi:10.1007/s10444-004-7634-z.

[6] S. Mukherjee. Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization. Adv. Comput. Math. 2006. Vol. 25 (1–3). hlm. 161–193. doi:10.1007/s10444-004-7634-z.

[1]

[2]

[3]

[4]

[5]

[6]

@@ Baris 1: / Baris 1: @@
-Untuk aplikasi [[Pemelajaran terarah]] dalam [[pemelajaran mesin]] dan [[teori pemelajaran statistik]], '''galat generalisasi''' atau '''kesalahan generalisasi'''([[bahasa Inggris]]:  ''generalization error''), juga dikenal sebagai ''galat luar sampel'' (''out-off-sample error'') atau risiko (''risk'') adalah suatu ukuran sejauh mana suatu algoritma mampu memprediksi nilai dengan akurat untuk data yang sebelumnya tidak terlihat. Karena algoritma pemelajaran dievaluasi pada data sampel yang terbatas, proses evaluasi algoritma pemelajaran dapat dipengaruhi oleh [[:en:Sampling_error|galat pengambilan sampel]]. Oleh karena itu, pengukuran kesalahan prediksi  saat ini mungkin tidak memberikan banyak informasi tentang kemampuan prediksi pada data baru. Galat generalisasi dapat diminimalkan dengan menghindari ''[[overfitting]]'' dalam algoritma pemelajaran. Kinerja algoritma pemelajaran mesin direpresentasikan oleh grafik yang menunjukkan nilai estimasi galat generalisasi selama proses pemelajaran yang disebut sebagai [[Kurva pembelajaran (pembelajaran mesin)|kurva pembelajaran]].
+Untuk aplikasi [[Pemelajaran terarah]] dalam [[pemelajaran mesin]] dan [[teori pemelajaran statistik]], '''galat generalisasi''' atau '''kesalahan generalisasi'''<ref>Mohri, M., Rostamizadeh A., Talwakar A., (2018) ''Foundations of Machine learning'', 2nd ed., Boston: MIT Press</ref>([[bahasa Inggris]]:  ''generalization error''), juga dikenal sebagai ''galat luar sampel'' (''out-off-sample error'')<ref>Y S. Abu-Mostafa, M.Magdon-Ismail, and H.-T. Lin (2012) Learning from Data, AMLBook Press.</ref> atau risiko (''risk'') adalah suatu ukuran sejauh mana suatu algoritma mampu memprediksi nilai dengan akurat untuk data yang sebelumnya tidak terlihat. Karena algoritma pemelajaran dievaluasi pada data sampel yang terbatas, proses evaluasi algoritma pemelajaran dapat dipengaruhi oleh [[:en:Sampling_error|galat pengambilan sampel]]. Oleh karena itu, pengukuran kesalahan prediksi  saat ini mungkin tidak memberikan banyak informasi tentang kemampuan prediksi pada data baru. Galat generalisasi dapat diminimalkan dengan menghindari ''[[overfitting]]'' dalam algoritma pemelajaran. Kinerja algoritma pemelajaran mesin direpresentasikan oleh grafik yang menunjukkan nilai estimasi galat generalisasi selama proses pemelajaran yang disebut sebagai [[Kurva pembelajaran (pembelajaran mesin)|kurva pembelajaran]].
 == Definisi ==
-Dalam masalah pembelajaran,tujuannya adalah mengembangkan fungsi <math>f_n(\vec{x})</math> yang memprediksi nilai keluaran <math>y</math> untuk setiap data masukan <math>\vec{x}</math>. Subskrip <math>n</math> menunjukkan bahwa fungsi <math>f_n</math> dikembangkan berdasarkan kumpulan data sebanyak <math>n</math> titik data. '''Galat generalisasi''' atau '''kerugian''' (''expected loss'') yang diharapkan atau risiko  (''risk'') <math>I[f]</math> dari suatu fungsi tertentu <math>f</math> pada semua nilai mungkin dari <math>\vec{x}</math> dan <math>y</math> adalah [[nilai harapan]] dari [[fungsi kerugian]] <math>V(f)</math>:
+Dalam masalah pembelajaran,tujuannya adalah mengembangkan fungsi <math>f_n(\vec{x})</math> yang memprediksi nilai keluaran <math>y</math> untuk setiap data masukan <math>\vec{x}</math>. Subskrip <math>n</math> menunjukkan bahwa fungsi <math>f_n</math> dikembangkan berdasarkan kumpulan data sebanyak <math>n</math> titik data. '''Galat generalisasi''' atau '''kerugian''' (''expected loss'') yang diharapkan atau risiko  (''risk'') <math>I[f]</math> dari suatu fungsi tertentu <math>f</math> pada semua nilai mungkin dari <math>\vec{x}</math> dan <math>y</math> adalah [[nilai harapan]] dari [[fungsi kerugian]] <math>V(f)</math>:<ref>Mohri, M., Rostamizadeh A., Talwakar A., (2018) ''Foundations of Machine learning'', 2nd ed., Boston: MIT Press</ref>
 : <math> I[f] = \int_{X \times Y} V(f(\vec{x}),y) \rho(\vec{x},y) d\vec{x} dy, </math>
@@ Baris 11: / Baris 11: @@
 : <math>
 P_G = P(I[f_n] - I_n[f_n] \leq \epsilon) \geq 1 - \delta_n
 </math>
@@ Baris 23: / Baris 23: @@
 Artinya, tujuannya adalah untuk menggambarkan probabilitas <math>1 - \delta_n</math> bahwa galat generalisasi kurang dari galat empiris ditambah dengan batas galat <math>\epsilon</math> ((umumnya tergantung pada <math>\delta</math> dan <math>n</math>).
-Secara khusus, jika suatu algoritma bersifat simetris (urutan input tidak memengaruhi hasil), memiliki kerugian terbatas, dan memenuhi dua kondisi [[Stabilitas (teori pembelajaran)|stabilitas]], maka algoritma tersebut akan menggeneralisasi. Kondisi stabilitas pertama, stabilitas validasi silang tinggalkan satu (''leave-one-out cross-validation''), menyatakan bahwa untuk menjadi stabil, kesalahan prediksi untuk setiap titik data ketika validasi silang tinggalkan satu digunakan harus konvergen ke nol saat <math>n\rightarrow \infty</math>. Kondisi kedua, stabilitas harapan kesalahan tinggalkan satu (juga dikenal sebagai stabilitas [[hipotesis]] jika beroperasi dalam [[Norma (matematika)|norma <math>L_1</math>]] terpenuhi jika prediksi pada titik data yang ditinggalkan tidak berubah ketika satu titik data dihapus dari himpunan data latih.
+Secara khusus, jika suatu algoritma bersifat simetris (urutan input tidak memengaruhi hasil), memiliki kerugian terbatas, dan memenuhi dua kondisi [[Stabilitas (teori pembelajaran)|stabilitas]], maka algoritma tersebut akan menggeneralisasi. Kondisi stabilitas pertama, stabilitas validasi silang tinggalkan satu (''leave-one-out cross-validation''), menyatakan bahwa untuk menjadi stabil, kesalahan prediksi untuk setiap titik data ketika validasi silang tinggalkan satu digunakan harus konvergen ke nol saat <math>n\rightarrow \infty</math>. Kondisi kedua, stabilitas harapan kesalahan tinggalkan satu (juga dikenal sebagai stabilitas [[hipotesis]] jika beroperasi dalam [[Norma (matematika)|norma <math>L_1</math>]] terpenuhi jika prediksi pada titik data yang ditinggalkan tidak berubah ketika satu titik data dihapus dari himpunan data latih.<ref>S. Mukherjee. [http://cbcl.mit.edu/publications/ps/mukherjee-ACM-06.pdf Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization]. ''Adv. Comput. Math''. 2006. Vol. 25 (1–3). hlm. 161–193. doi:10.1007/s10444-004-7634-z.</ref>
 Kondisi ini dapat diformulasikan sebagai
@@ Baris 32: / Baris 32: @@
 : <math>\forall i\in\{1,...,n\}, \mathbb{P}_S\{|V(f_{S^i},z_i)-V(f_S,z_i)|\leq\beta_{CV}^{(n)}\}\geq1-\delta_{CV}^{(n)}</math>
-dan <math>\beta_{CV}^{(n)}</math> dan <math>\delta_{CV}^{(n)}</math> menuju nol sebagaimana <math>n</math> menuju takhingga.
+dan <math>\beta_{CV}^{(n)}</math> dan <math>\delta_{CV}^{(n)}</math> menuju nol sebagaimana <math>n</math> menuju takhingga.<ref>S. Mukherjee. [http://cbcl.mit.edu/publications/ps/mukherjee-ACM-06.pdf Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization]. ''Adv. Comput. Math''. 2006. Vol. 25 (1–3). hlm. 161–193. doi:10.1007/s10444-004-7634-z.</ref>
 === ''Expected-leave-one-out error Stability'' ===
@@ Baris 45: / Baris 45: @@
 : <math> \mathbb{E}_{S,z}[|V(f_S,z) - V(f_{S^i},z)|] \leq \beta_H^{(n)} </math>
-dengan <math>\beta_H^{(n)}</math> menuju nol sebagaimana <math>n</math> menuju takhingga.
+dengan <math>\beta_H^{(n)}</math> menuju nol sebagaimana <math>n</math> menuju takhingga.<ref>S. Mukherjee. [http://cbcl.mit.edu/publications/ps/mukherjee-ACM-06.pdf Learning theory: stability is sufficient for generalization and necessary and sufficient for consistency of empirical risk minimization]. ''Adv. Comput. Math''. 2006. Vol. 25 (1–3). hlm. 161–193. doi:10.1007/s10444-004-7634-z.</ref>
 === Algoritma yang terbukti stabil ===
@@ Baris 51: / Baris 51: @@
 == Relasi terhadap ''overfitting'' ==
 Konsep galat generalisasi dan ''overfitting'' saling berkaitan erat. ''Overfitting'' terjadi ketika fungsi yang dipelajari <math>f_S</math> menjadi sensitif terhadap noise dalam sampel. Akibatnya, fungsi tersebut akan berperforma baik pada himpunan latih, tetapi tidak akan berperforma baik pada data lain dari distribusi probabilitas bersama <math>x</math> dan <math>y</math>. Oleh karena itu, semakin besar ''overfitting'', semakin besar pula galat generalisasi.
@@ Baris 59: / Baris 58: @@
 Pendekatan untuk menemukan fungsi yang tidak ''overfit'' bertentangan dengan tujuan menemukan fungsi yang cukup kompleks untuk menangkap karakteristik khusus dari data. Ini dikenal sebagai ''[[:en:Bias–variance_tradeoff|bias-variance tradeoff]]''. Menjaga fungsi untuk tetap sederhana untuk menghindari ''overfitting'' dapat memperkenalkan bias dalam prediksi yang dihasilkan, sementara memungkinkannya menjadi lebih kompleks dapat menyebabkan ''overfitting'' dan variasi yang lebih tinggi dalam prediksi. Tidak mungkin untuk meminimalkan keduanya secara bersamaan.
-== Referensi ==
 == Bacaan lanjutan ==
+*
 *
-*
 * Mohri, M., Rostamizadeh A., Talwakar A., (2018) ''Foundations of Machine learning'', 2nd ed., Boston: MIT Press.
 * Moody, J.E. (1992), "[http://papers.nips.cc/paper/530-the-effective-number-of-parameters-an-analysis-of-generalization-and-regularization-in-nonlinear-learning-systems.pdf The Effective Number of Parameters: An Analysis of Generalization and Regularization in Nonlinear Learning Systems]", in Moody, J.E., Hanson, S.J., and Lippmann, R.P., ''Advances in Neural Information Processing Systems'' 4, 847–854.
 * White, H. (1992b), ''Artificial Neural Networks: Approximation and Learning Theory'', Blackwell.
+== Referensi ==
+<references />
 == Sumber dan atribusi ==
 Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Galat+generalisasi&oldid=26753803 Wikipedia bahasa Indonesia], revisi 26753803 (2025-01-05T16:40:54Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.
+<!-- WIKI_UNISSULA_PRESENTATION_V4 -->

Maintenance script (bicara | kontrib)