Early stopping (pemelajaran mesin) - Riwayat revisi

Maintenance script: Presentation V4: sitasi, referensi, Math, Wikimedia Commons, dan atribusi

2026-08-23T13:58:04Z

Presentation V4: sitasi, referensi, Math, Wikimedia Commons, dan atribusi

← Revisi sebelumnya		Revisi per 23 Agustus 2026 13.58
Baris 5:		Baris 5:

	=== ''Overfitting'' ===		=== ''Overfitting'' ===

	Algoritma [[pemelajaran mesin]] melatih model pada data pelatihan yang terbatas. Selama proses pelatihan ini, model dievaluasi berdasarkan seberapa baik model tersebut memprediksi pengamatan yang terdapat dalam set pelatihan. Namun, secara umum, tujuan pemelajaran mesin adalah untuk menghasilkan model yang digeneralisasi, yaitu memprediksi pengamatan yang belum pernah terlihat sebelumnya. ''Overfitting'' terjadi ketika suatu model memprediksi data dengan sangat baik dalam set pelatihan, sementara mengalami [[Galat generalisasi\|kesalahan generalisasi]] yang lebih besar.		Algoritma [[pemelajaran mesin]] melatih model pada data pelatihan yang terbatas. Selama proses pelatihan ini, model dievaluasi berdasarkan seberapa baik model tersebut memprediksi pengamatan yang terdapat dalam set pelatihan. Namun, secara umum, tujuan pemelajaran mesin adalah untuk menghasilkan model yang digeneralisasi, yaitu memprediksi pengamatan yang belum pernah terlihat sebelumnya. ''Overfitting'' terjadi ketika suatu model memprediksi data dengan sangat baik dalam set pelatihan, sementara mengalami [[Galat generalisasi\|kesalahan generalisasi]] yang lebih besar.

	=== Regularisasi ===		=== Regularisasi ===
	Dalam konteks pemelajaran mesin, regularisasi merujuk pada proses memodifikasi algoritma pemelajaran untuk mencegah ''overfitting''. Proses ini umumnya melibatkan penerapan semacam kendala kelancaran (''smoothness constraint'') pada model yang dipelajari. Kendala ini umumnya dapat diberlakukan secara eksplisit, misalnya dengan membatasi jumlah parameter dalam model, atau dengan menambah fungsi biaya seperti dalam regularisasi Tikhonov. Regularisasi Tikhonov, bersama dengan regresi komponen utama dan banyak skema regularisasi lainnya, termasuk dalam lingkup regularisasi spektral, yaitu regularisasi yang dicirikan oleh penerapan sebuah filter. ''Early stopping'' juga termasuk dalam metode ini.		Dalam konteks pemelajaran mesin, regularisasi merujuk pada proses memodifikasi algoritma pemelajaran untuk mencegah ''overfitting''. Proses ini umumnya melibatkan penerapan semacam kendala kelancaran (''smoothness constraint'') pada model yang dipelajari.<ref>Federico Girosi. ''Regularization Theory and Neural Networks Architectures''. ''Neural Computation''. 1995-03-01. Vol. 7 (2). hlm. 219–269. doi:10.1162/neco.1995.7.2.219.</ref> Kendala ini umumnya dapat diberlakukan secara eksplisit, misalnya dengan membatasi jumlah parameter dalam model, atau dengan menambah fungsi biaya seperti dalam regularisasi Tikhonov. Regularisasi Tikhonov, bersama dengan regresi komponen utama dan banyak skema regularisasi lainnya, termasuk dalam lingkup regularisasi spektral, yaitu regularisasi yang dicirikan oleh penerapan sebuah filter. ''Early stopping'' juga termasuk dalam metode ini.

	=== Metode penurunan gradien (''gradient descent'') ===		=== Metode penurunan gradien (''gradient descent'') ===
Baris 15:		Baris 14:

	== ''Early stopping'' berdasarkan hasil analisis ==		== ''Early stopping'' berdasarkan hasil analisis ==

	=== ''Early stopping'' dalam teori pembelajaran statistik ===		=== ''Early stopping'' dalam teori pembelajaran statistik ===
	''Early stopping'' dapat digunakan sebagai teknik regularisasi dalam masalah regresi non-parametrik yang sering ditemui dalam [[pemelajaran mesin]]. Untuk ruang masukan tertentu, <math>X</math>, ruang keluaran, <math>Y</math>, dan sampel yang diambil dari suatu distribusi probabilitas yang tidak diketahui, <math>\rho</math>, pada <math>Z = X \times Y</math>, tujuan dari masalah ini adalah untuk memperkirakan ''fungsi regresi'', <math>f_{\rho}</math>, yang diberikan oleh		''Early stopping'' dapat digunakan sebagai teknik regularisasi dalam masalah regresi non-parametrik yang sering ditemui dalam [[pemelajaran mesin]]. Untuk ruang masukan tertentu, <math>X</math>, ruang keluaran, <math>Y</math>, dan sampel yang diambil dari suatu distribusi probabilitas yang tidak diketahui, <math>\rho</math>, pada <math>Z = X \times Y</math>, tujuan dari masalah ini adalah untuk memperkirakan ''fungsi regresi'', <math>f_{\rho}</math>, yang diberikan oleh
Baris 21:		Baris 19:
	: <math> f_\rho(x) = \int_Y y \, d\rho(y\mid x),\, x \in X,</math>		: <math> f_\rho(x) = \int_Y y \, d\rho(y\mid x),\, x \in X,</math>

	Dengan <math>\rho(y\mid x)</math> adalah distribusi kondisional pada <math>x</math> yang diinduksi oleh <math>\rho</math> Salah satu pendekatan umum untuk memperkirakan fungsi regresi adalah menggunakan fungsi dari <nowiki><i>ruang Hilbert kernel reproducing</i></nowiki>. Ruang ini dapat berdimensi takhingga sehingga mampu menghasilkan solusi yang ''overfit'' pada himpunan data pelatihan dengan ukuran berapapun. Oleh karena itu, regularisasi menjadi sangat penting dalam metode ini. Salah satu cara untuk melakukan regularisasi pada masalah regresi nonparametrik adalah dengan menerapkan ''early stopping'' yang lebih awal pada metode iteratif, seperti penurunan gradien.		Dengan <math>\rho(y\mid x)</math> adalah distribusi kondisional pada <math>x</math> yang diinduksi oleh <math>\rho</math> <ref>Steve Smale. ''Learning Theory Estimates via Integral Operators and Their Approximations''. ''Constructive Approximation''. 2007-08-01. Vol. 26 (2). hlm. 153–172. doi:10.1007/s00365-006-0659-y.</ref> Salah satu pendekatan umum untuk memperkirakan fungsi regresi adalah menggunakan fungsi dari <nowiki><i>ruang Hilbert kernel reproducing</i></nowiki>.<ref>Steve Smale. ''Learning Theory Estimates via Integral Operators and Their Approximations''. ''Constructive Approximation''. 2007-08-01. Vol. 26 (2). hlm. 153–172. doi:10.1007/s00365-006-0659-y.</ref> Ruang ini dapat berdimensi takhingga sehingga mampu menghasilkan solusi yang ''overfit'' pada himpunan data pelatihan dengan ukuran berapapun. Oleh karena itu, regularisasi menjadi sangat penting dalam metode ini. Salah satu cara untuk melakukan regularisasi pada masalah regresi nonparametrik adalah dengan menerapkan ''early stopping'' yang lebih awal pada metode iteratif, seperti penurunan gradien.

	Aturan ''early stopping'' yang diusulkan untuk masalah seperti ini didasarkan pada analisis batas atas kesalahan generalisasi yang bergantung pada jumlah iterasi. Aturan ini memberikan rekomendasi tentang seberapa banyak iterasi yang harus dijalankan, yan dapat dihitung sebelum proses penyelesaian dimulai.		Aturan ''early stopping'' yang diusulkan untuk masalah seperti ini didasarkan pada analisis batas atas kesalahan generalisasi yang bergantung pada jumlah iterasi. Aturan ini memberikan rekomendasi tentang seberapa banyak iterasi yang harus dijalankan, yan dapat dihitung sebelum proses penyelesaian dimulai.<ref>Yuan Yao. ''On Early Stopping in Gradient Descent Learning''. ''Constructive Approximation''. 2007-08-01. Vol. 26 (2). hlm. 289–315. doi:10.1007/s00365-006-0663-2.</ref><ref>Raskutti, G.; M.J. Wainwright; Bin Yu (2011). "Early stopping for non-parametric regression: An optimal data-dependent stopping rule". ''2011 49th Annual Allerton Conference on Communication, Control, and Computing (Allerton)''. 2011 49th Annual Allerton Conference on Communication, Control, and Computing (Allerton). pp. 1318–1325. doi:10.1109/Allerton.2011.6120320.</ref>

	==== Contoh: Kerugian kuadrat terkecil ====		==== Contoh: Kerugian kuadrat terkecil ====
	(Diadaptasi dari Yao, Rosasco dan Caponnetto, 2007)		(Diadaptasi dari Yao, Rosasco dan Caponnetto, 2007<ref>Yuan Yao. ''On Early Stopping in Gradient Descent Learning''. ''Constructive Approximation''. 2007-08-01. Vol. 26 (2). hlm. 289–315. doi:10.1007/s00365-006-0663-2.</ref>)

	Misal<math>X\subseteq\mathbb{R}^n</math> dan <math>Y=\mathbb{R}.</math> Diberikan satu himpunan sampel		Misal<math>X\subseteq\mathbb{R}^n</math> dan <math>Y=\mathbb{R}.</math> Diberikan satu himpunan sampel
Baris 38:		Baris 36:
	</math>		</math>

	dengan <math>f</math> adalah anggota [[ruang Hilbert]] kernel reproduksi <math>\mathcal{H}</math>. Artinya, meminimalkan risiko ekspektasi untuk fungsi kerugian kuadrat terkecil. Karena <math>\mathcal{E}</math> bergantung pada ukuran probabilitas yang tidak diketahui <math>\rho</math>, maka <math>\mathcal{E}</math> tidak dapat digunakan dalam perhitungan. Seagai gantinya, pertimbangkan risiko empiris berikut.		dengan <math>f</math> adalah anggota [[ruang Hilbert]] kernel reproduksi <math>\mathcal{H}</math>. Artinya, meminimalkan risiko ekspektasi untuk fungsi kerugian kuadrat terkecil. Karena <math>\mathcal{E}</math> bergantung pada ukuran probabilitas yang tidak diketahui <math>\rho</math>, maka <math>\mathcal{E}</math> tidak dapat digunakan dalam perhitungan. Seagai gantinya, pertimbangkan risiko empiris berikut.

	: <math>		: <math>
Baris 52:		Baris 50:
	Selisih ini dapat ditulis ulang sebagai jumlah dari dua suku: selisih risiko ekspektasi antara iterasi sampel dan iterasi populasi, serta antara iterasi populasi dan fungsi regresi:		Selisih ini dapat ditulis ulang sebagai jumlah dari dua suku: selisih risiko ekspektasi antara iterasi sampel dan iterasi populasi, serta antara iterasi populasi dan fungsi regresi:

	Persamaan ini menggambarkan tradeoff bias-varians, yang kemudian diselesaikan untuk memberikan aturan penghentian optimal yang mungkin bergantung pada distribusi probabilitas yang tidak diketahui. Aturan tersebut memiliki batas probabilistik terkait dengan kesalahan generalisasi. Untuk analisis yang mengarah pada aturan penghentian dini (''early stopping'') dan batas-batasnya, pembaca dapat merujuk ke artikel asli. Dalam praktiknya, metode berbasis data, misalnya validasi silang (''cross-validation'') dapat digunakan untuk memperoleh aturan penghentian adaptif.		Persamaan ini menggambarkan tradeoff bias-varians, yang kemudian diselesaikan untuk memberikan aturan penghentian optimal yang mungkin bergantung pada distribusi probabilitas yang tidak diketahui. Aturan tersebut memiliki batas probabilistik terkait dengan kesalahan generalisasi. Untuk analisis yang mengarah pada aturan penghentian dini (''early stopping'') dan batas-batasnya, pembaca dapat merujuk ke artikel asli.<ref>Yuan Yao. ''On Early Stopping in Gradient Descent Learning''. ''Constructive Approximation''. 2007-08-01. Vol. 26 (2). hlm. 289–315. doi:10.1007/s00365-006-0663-2.</ref> Dalam praktiknya, metode berbasis data, misalnya validasi silang (''cross-validation'') dapat digunakan untuk memperoleh aturan penghentian adaptif.

	=== ''Early stopping'' dalam ''boosting'' ===		=== ''Early stopping'' dalam ''boosting'' ===
	''[[Boosting]]'' mengacu pada keluarga algoritma yang terdiri atas sejumlah ''weak learner'' atau '''pembelajar lemah''' (yang hanya sedikit berkorelasi dengan proses atau distribusi yang mendasari data) dan digabungkan untuk menghasilkan ''strong learner'' ('''pembelajar yang lebih kuat'''). Telah dibuktikan, untuk beberapa algoritma ''boosting'' (termasuk AdaBoost ), bahwa regularisasi melalui ''early stopping'' dapat memberikan jaminan konsistensi, yaitu bahwa hasil algoritma menghampiri solusi sebenarnya ketika jumlah sampel mendekati tak terhingga.		''[[Boosting]]'' mengacu pada keluarga algoritma yang terdiri atas sejumlah ''weak learner'' atau '''pembelajar lemah''' (yang hanya sedikit berkorelasi dengan proses atau distribusi yang mendasari data) dan digabungkan untuk menghasilkan ''strong learner'' ('''pembelajar yang lebih kuat'''). Telah dibuktikan, untuk beberapa algoritma ''boosting'' (termasuk AdaBoost ), bahwa regularisasi melalui ''early stopping'' dapat memberikan jaminan konsistensi, yaitu bahwa hasil algoritma menghampiri solusi sebenarnya ketika jumlah sampel mendekati tak terhingga.<ref>Wenxin Jiang. ''Process consistency for AdaBoost''. ''The Annals of Statistics''. February 2004. Vol. 32 (1). hlm. 13–29. doi:10.1214/aos/1079120128.</ref><ref>Peter Bühlmann. ''Boosting with the L₂ Loss: Regression and Classification''. ''Journal of the American Statistical Association''. 2003-06-01. Vol. 98 (462). hlm. 324–339. doi:10.1198/016214503000125.</ref><ref>Tong Zhang. ''Boosting with Early Stopping: Convergence and Consistency''. ''The Annals of Statistics''. 2005-08-01. Vol. 33 (4). hlm. 1538–1579. doi:10.1214/009053605000000255.</ref><ref>Bernhard Stankewitz. ''Early stopping for L2-boosting in high-dimensional linear models''. ''The Annals of Statistics''. 2024-04-01. Vol. 52 (2). hlm. 491–518. doi:10.1214/24-AOS2356.</ref>

	==== L -''boosting'' ====		==== L -''boosting'' ====
	Metode boosting memiliki hubungan erat dengan metode ''gradient descent'' yang dijelaskan di atas dapat dianggap sebagai metode boosting berdasarkan kerugian <math>L_{2}</math> =: Boosting ''L ''.		Metode boosting memiliki hubungan erat dengan metode ''gradient descent'' yang dijelaskan di atas dapat dianggap sebagai metode boosting berdasarkan kerugian <math>L_{2}</math> =: Boosting ''L ''. <ref>Yuan Yao. ''On Early Stopping in Gradient Descent Learning''. ''Constructive Approximation''. 2007-08-01. Vol. 26 (2). hlm. 289–315. doi:10.1007/s00365-006-0663-2.</ref>

	== ''Early boosting'' berbasis validasi ==		== ''Early boosting'' berbasis validasi ==
	Aturan ''early stopping'' ini bekerja dengan membagi set pelatihan asli menjadi satu data pelatihan baru dan satu data validasi. Kesalahan pada data validasi digunakan sebagai proksi untuk [[Galat generalisasi\|kesalahan generalisasi]] dalam menentukan kapan ''overfitting'' telah dimulai. Metode ini digunakan dalam pelatihan banyak algoritma pemelajaran mesin berbasis iteratif, termasuk [[Jaringan saraf tiruan\|jaringan saraf]] (berbasis ''epoch''). Prechelt memberikan ringkasan berikut ini mengenai implementasi naif dari ''early stopping'' berbasis [[Validasi silang\|''holdout'']] sebagai berikut:		Aturan ''early stopping'' ini bekerja dengan membagi set pelatihan asli menjadi satu data pelatihan baru dan satu data validasi. Kesalahan pada data validasi digunakan sebagai proksi untuk [[Galat generalisasi\|kesalahan generalisasi]] dalam menentukan kapan ''overfitting'' telah dimulai. Metode ini digunakan dalam pelatihan banyak algoritma pemelajaran mesin berbasis iteratif, termasuk [[Jaringan saraf tiruan\|jaringan saraf]] (berbasis ''epoch''). Prechelt memberikan ringkasan berikut ini mengenai implementasi naif dari ''early stopping'' berbasis [[Validasi silang\|''holdout'']] sebagai berikut:<ref>Lutz Prechelt. ''Neural Networks: Tricks of the Trade''. Springer Berlin Heidelberg. 2012-01-01. hlm. 53–67. doi:10.1007/978-3-642-35289-8_5. ISBN 978-3-642-35289-8.</ref>


	[[Validasi silang]] adalah alternatif yang dapat digunakan untuk masalah non-deret waktu. Validasi silang terdiri atas pemisahan data menjadi beberapa partisi yang masing-masing dibagi menjadi data pelatihan dan data validasi–alih-alih partisi tunggal yang hanya terdiri dari satu data pelatihan dan satu data validasi. Meskipun prosedur ini terlihat sederhana, dalam praktiknya menjadi lebih rumit karena kesalahan validasi bisa berfluktuasi selama pelatihan, yang menghasilkan beberapa titik minimum lokal. Komplikasi ini telah mendorong terciptanya berbagai aturan [[ad hoc]] untuk memutuskan kapan overfitting benar-benar dimulai.		[[Validasi silang]] adalah alternatif yang dapat digunakan untuk masalah non-deret waktu. Validasi silang terdiri atas pemisahan data menjadi beberapa partisi yang masing-masing dibagi menjadi data pelatihan dan data validasi–alih-alih partisi tunggal yang hanya terdiri dari satu data pelatihan dan satu data validasi. Meskipun prosedur ini terlihat sederhana, dalam praktiknya menjadi lebih rumit karena kesalahan validasi bisa berfluktuasi selama pelatihan, yang menghasilkan beberapa titik minimum lokal. Komplikasi ini telah mendorong terciptanya berbagai aturan [[ad hoc]] untuk memutuskan kapan overfitting benar-benar dimulai.<ref>Lutz Prechelt. ''Neural Networks: Tricks of the Trade''. Springer Berlin Heidelberg. 2012-01-01. hlm. 53–67. doi:10.1007/978-3-642-35289-8_5. ISBN 978-3-642-35289-8.</ref>

	== Lihat juga ==		== Lihat juga ==

	* [[Overfitting]], ''early stopping'' adalah salah satu metode yang digunakan untuk mencegah ''overfitting''		* [[Overfitting]], ''early stopping'' adalah salah satu metode yang digunakan untuk mencegah ''overfitting''
	* [[Galat generalisasi\|Kesalahan generalisasi]]		* [[Galat generalisasi\|Kesalahan generalisasi]]
Baris 77:		Baris 73:

	== Referensi ==		== Referensi ==
			<references />


	== Sumber dan atribusi ==		== Sumber dan atribusi ==

	Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Early+stopping+%28pemelajaran+mesin%29&oldid=29303083 Wikipedia bahasa Indonesia], revisi 29303083 (2026-06-01T10:42:04Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.		Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Early+stopping+%28pemelajaran+mesin%29&oldid=29303083 Wikipedia bahasa Indonesia], revisi 29303083 (2026-06-01T10:42:04Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.

			<!-- WIKI_UNISSULA_PRESENTATION_V4 -->

Maintenance script: Impor teks terkontrol dari Wikipedia bahasa Indonesia; revisi 29303083; atribusi sumber disertakan.

2026-08-23T13:23:24Z

Impor teks terkontrol dari Wikipedia bahasa Indonesia; revisi 29303083; atribusi sumber disertakan.

Halaman baru

Dalam [[pemelajaran mesin]], '''''early stopping''''' ([[Literal|lit]]: penghentian dini) adalah salah satu bentuk regularisasi yang digunakan untuk menghindari ''[[overfitting]]'' ketika melatih model menggunakan metode iteratif, seperti [[penurunan gradien]]. Metode iteratif memperbarui model agar semakin cocok dengan data latih pada setiap iterasi. Metode ini dapat meningkatkan kinerja model pada data di luar data pelatihan (misalnya, data validasi) sampai batasan tertentu. Namun, ketika telah melampaui batasan tersebut, peningkatan kecocokan model terhadap data pelatihan akan mengorbankan kemampuan [[Galat generalisasi|generalisasi model]]. Dengan menggunakan ''early stopping,'' jumlah iterasi yang dapat dijalankan sebelum model pemelajaran mulai mengalami ''overfitting'' dapat diketahui''.'' Teknik ini juga telah digunakan dalam banyak metode pemelajaran mesin yang berbeda dengan landasan teoretis yang beragam.

== Latar belakang ==
Bagian ini menyajikan beberapa konsep dasar pemelajaran mesin yang diperlukan untuk memahami ''early stopping.''

=== ''Overfitting'' ===

Algoritma [[pemelajaran mesin]] melatih model pada data pelatihan yang terbatas. Selama proses pelatihan ini, model dievaluasi berdasarkan seberapa baik model tersebut memprediksi pengamatan yang terdapat dalam set pelatihan. Namun, secara umum, tujuan pemelajaran mesin adalah untuk menghasilkan model yang digeneralisasi, yaitu memprediksi pengamatan yang belum pernah terlihat sebelumnya. ''Overfitting'' terjadi ketika suatu model memprediksi data dengan sangat baik dalam set pelatihan, sementara mengalami [[Galat generalisasi|kesalahan generalisasi]] yang lebih besar.

=== Regularisasi ===
Dalam konteks pemelajaran mesin, regularisasi merujuk pada proses memodifikasi algoritma pemelajaran untuk mencegah ''overfitting''. Proses ini umumnya melibatkan penerapan semacam kendala kelancaran (''smoothness constraint'') pada model yang dipelajari. Kendala ini umumnya dapat diberlakukan secara eksplisit, misalnya dengan membatasi jumlah parameter dalam model, atau dengan menambah fungsi biaya seperti dalam regularisasi Tikhonov. Regularisasi Tikhonov, bersama dengan regresi komponen utama dan banyak skema regularisasi lainnya, termasuk dalam lingkup regularisasi spektral, yaitu regularisasi yang dicirikan oleh penerapan sebuah filter. ''Early stopping'' juga termasuk dalam metode ini.

=== Metode penurunan gradien (''gradient descent'') ===
Metode penurunan gradien merupakan metode optimasi orde pertama yang bersifat iteratif. Setiap iterasi memperbarui solusi perkiraan dari masalah optimasi dengan mengambil langkah ke arah negatif gradien dari fungsi objektif. Dengan memilih ukuran langkah (''step size'') yang tepat, metode ini dapat dibuat konvergen ke minimum lokal dari fungsi objektif. Dalam pemelajaran mesin, penurunan gradien digunakan dengan mendefinisikan ''[[fungsi kerugian]]'' (''loss function'') yang mencerminkan kesalahan model pada data pelatihan, lalu meminimalkan fungsi tersebut.

== ''Early stopping'' berdasarkan hasil analisis ==

=== ''Early stopping'' dalam teori pembelajaran statistik ===
''Early stopping'' dapat digunakan sebagai teknik regularisasi dalam masalah regresi non-parametrik yang sering ditemui dalam [[pemelajaran mesin]]. Untuk ruang masukan tertentu, <math>X</math>, ruang keluaran, <math>Y</math>, dan sampel yang diambil dari suatu distribusi probabilitas yang tidak diketahui, <math>\rho</math>, pada <math>Z = X \times Y</math>, tujuan dari masalah ini adalah untuk memperkirakan ''fungsi regresi'', <math>f_{\rho}</math>, yang diberikan oleh

: <math> f_\rho(x) = \int_Y y \, d\rho(y\mid x),\, x \in X,</math>

Dengan <math>\rho(y\mid x)</math> adalah distribusi kondisional pada <math>x</math> yang diinduksi oleh <math>\rho</math> Salah satu pendekatan umum untuk memperkirakan fungsi regresi adalah menggunakan fungsi dari <nowiki><i>ruang Hilbert kernel reproducing</i></nowiki>. Ruang ini dapat berdimensi takhingga sehingga mampu menghasilkan solusi yang ''overfit'' pada himpunan data pelatihan dengan ukuran berapapun. Oleh karena itu, regularisasi menjadi sangat penting dalam metode ini. Salah satu cara untuk melakukan regularisasi pada masalah regresi nonparametrik adalah dengan menerapkan ''early stopping'' yang lebih awal pada metode iteratif, seperti penurunan gradien.

Aturan ''early stopping'' yang diusulkan untuk masalah seperti ini didasarkan pada analisis batas atas kesalahan generalisasi yang bergantung pada jumlah iterasi. Aturan ini memberikan rekomendasi tentang seberapa banyak iterasi yang harus dijalankan, yan dapat dihitung sebelum proses penyelesaian dimulai.

==== Contoh: Kerugian kuadrat terkecil ====
(Diadaptasi dari Yao, Rosasco dan Caponnetto, 2007)

Misal<math>X\subseteq\mathbb{R}^n</math> dan <math>Y=\mathbb{R}.</math> Diberikan satu himpunan sampel

: <math>\mathbf{z} = \left \{(x_i,y_i) \in X \times Y: i = 1, \dots, m\right\} \in Z^m,</math>

diambil secara independen dari <math>\rho</math>, meminimalkan fungsi berikut.

: <math>
\mathcal{E}(f) = \int_{X\times Y} (f(x) - y)^2 \, d\rho
</math>

dengan <math>f</math> adalah anggota [[ruang Hilbert]] kernel reproduksi <math>\mathcal{H}</math>. Artinya, meminimalkan risiko ekspektasi untuk fungsi kerugian kuadrat terkecil. Karena <math>\mathcal{E}</math> bergantung pada ukuran probabilitas yang tidak diketahui <math>\rho</math>, maka <math>\mathcal{E}</math> tidak dapat digunakan dalam perhitungan. Seagai gantinya, pertimbangkan risiko empiris berikut.

: <math>
\mathcal{E}_{\mathbf{z}}(f) = \frac{1}{m} \sum_{i=1}^m \left(f(x_i) - y_{i}\right)^2.
</math>

Misal,<math>f_{t}</math> dan <math>f_t^{\mathbf{z}}</math> adalah iterasi ke- ''t'' dari metode penurunan gradien yang diterapkan pada risiko ekspektasi dan risiko empiris yang keduanya diinisialisasi di titik asal, dan menggunakan ukuran langkah <math>\gamma_{t}</math>. Iterasi <math>f_{t}</math> lalu membentuk ''iterasi populasi'' yang konvergen ke <math>f_{\rho}</math>, tetapi tidak dapat digunakan dalam perhitungan, sementara <math>f_t^{\mathbf{z}}</math> membentuk ''iterasi sampel'' yang biasanya konvergen ke solusi ''overfitting''.

Kita ingin mengontrol selisih antara risiko ekspektasi dari iterasi sampel dan risiko ekspektasi minimum, yaitu risiko ekspektasi dari fungsi regresi:

: <math>\mathcal{E}(f_t^{\mathbf{z}}) - \mathcal{E}(f_\rho)</math>

Selisih ini dapat ditulis ulang sebagai jumlah dari dua suku: selisih risiko ekspektasi antara iterasi sampel dan iterasi populasi, serta antara iterasi populasi dan fungsi regresi:

Persamaan ini menggambarkan tradeoff bias-varians, yang kemudian diselesaikan untuk memberikan aturan penghentian optimal yang mungkin bergantung pada distribusi probabilitas yang tidak diketahui. Aturan tersebut memiliki batas probabilistik terkait dengan kesalahan generalisasi. Untuk analisis yang mengarah pada aturan penghentian dini (''early stopping'') dan batas-batasnya, pembaca dapat merujuk ke artikel asli. Dalam praktiknya, metode berbasis data, misalnya validasi silang (''cross-validation'') dapat digunakan untuk memperoleh aturan penghentian adaptif.

=== ''Early stopping'' dalam ''boosting'' ===
''[[Boosting]]'' mengacu pada keluarga algoritma yang terdiri atas sejumlah ''weak learner'' atau '''pembelajar lemah''' (yang hanya sedikit berkorelasi dengan proses atau distribusi yang mendasari data) dan digabungkan untuk menghasilkan ''strong learner'' ('''pembelajar yang lebih kuat'''). Telah dibuktikan, untuk beberapa algoritma ''boosting'' (termasuk AdaBoost ), bahwa regularisasi melalui ''early stopping'' dapat memberikan jaminan konsistensi, yaitu bahwa hasil algoritma menghampiri solusi sebenarnya ketika jumlah sampel mendekati tak terhingga.

==== L -''boosting'' ====
Metode boosting memiliki hubungan erat dengan metode ''gradient descent'' yang dijelaskan di atas dapat dianggap sebagai metode boosting berdasarkan kerugian <math>L_{2}</math> =: Boosting ''L ''.

== ''Early boosting'' berbasis validasi ==
Aturan ''early stopping'' ini bekerja dengan membagi set pelatihan asli menjadi satu data pelatihan baru dan satu data validasi. Kesalahan pada data validasi digunakan sebagai proksi untuk [[Galat generalisasi|kesalahan generalisasi]] dalam menentukan kapan ''overfitting'' telah dimulai. Metode ini digunakan dalam pelatihan banyak algoritma pemelajaran mesin berbasis iteratif, termasuk [[Jaringan saraf tiruan|jaringan saraf]] (berbasis ''epoch''). Prechelt memberikan ringkasan berikut ini mengenai implementasi naif dari ''early stopping'' berbasis [[Validasi silang|''holdout'']] sebagai berikut:

[[Validasi silang]] adalah alternatif yang dapat digunakan untuk masalah non-deret waktu. Validasi silang terdiri atas pemisahan data menjadi beberapa partisi yang masing-masing dibagi menjadi data pelatihan dan data validasi–alih-alih partisi tunggal yang hanya terdiri dari satu data pelatihan dan satu data validasi. Meskipun prosedur ini terlihat sederhana, dalam praktiknya menjadi lebih rumit karena kesalahan validasi bisa berfluktuasi selama pelatihan, yang menghasilkan beberapa titik minimum lokal. Komplikasi ini telah mendorong terciptanya berbagai aturan [[ad hoc]] untuk memutuskan kapan overfitting benar-benar dimulai.

== Lihat juga ==

* [[Overfitting]], ''early stopping'' adalah salah satu metode yang digunakan untuk mencegah ''overfitting''
* [[Galat generalisasi|Kesalahan generalisasi]]
* Regularisasi (matematika)
* Teori pembelajaran statistik
* [[Boosting|Boosting (pemelajaran mesin)]]
* [[Validasi silang]], khususnya menggunakan "set validasi"
* [[Jaringan saraf tiruan|Jaringan saraf]]

== Referensi ==

== Sumber dan atribusi ==

Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Early+stopping+%28pemelajaran+mesin%29&oldid=29303083 Wikipedia bahasa Indonesia], revisi 29303083 (2026-06-01T10:42:04Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.