Lihat sumber Terjemahan mesin statistik

'''Terjemahan mesin statistik''' ('''SMT''') adalah pendekatan [[terjemahan mesin]], yang menggantikan pendekatan berbasis aturan sebelumnya karena pendekatan ini membutuhkan deskripsi eksplisit dari setiap aturan linguistik, yang memakan banyak biaya, dan sering kali tidak dapat digeneralisasi ke bahasa lain. Sejak tahun 2003, pendekatan statistik itu sendiri secara bertahap digantikan oleh pendekatan [[Pembelajaran dalam|pembelajaran mendalam]] berbasis jaringan saraf.

Gagasan pertama penerjemahan mesin statistik diperkenalkan oleh [[Warren Weaver]] pada tahun 1949, termasuk ide-ide untuk menerapkan [[teori informasi]] [[Claude Shannon]]. Penerjemahan mesin statistik diperkenalkan kembali pada akhir tahun 1980-an dan awal tahun 1990-an oleh para peneliti di [[IBM]] [[Pusat Penelitian Thomas J. Watson]].
==Basis==

Ide di balik penerjemahan mesin statistik berasal dari [[teori informasi]]. Sebuah dokumen diterjemahkan menurut [[sebaran probabilitas]] <math>p(e|f)</math> bahwa string <math>e</math> dalam bahasa target (misalnya, [[bahasa Inggris]]) adalah terjemahan dari sebuah string <math>f</math> dalam bahasa sumber (misalnya, [[Prancis]]).

Masalah pemodelan sebaran probabilitas <math>p(e|f)</math>  telah didekati dengan beberapa cara. Salah satu pendekatan yang cocok untuk implementasi komputer adalah dengan menerapkan [[Teorema Bayes]], yaitu <math>p(e|f) \propto p(f|e) p(e)</math>, di mana model terjemahannya <math>p(f|e)</math> adalah probabilitas bahwa string sumber adalah terjemahan dari string target, dan [[model bahasa]] <math>p(e)</math> adalah probabilitas untuk melihat string bahasa target tersebut. [[Pembusukan|Dekomposisi]] ini menarik karena membagi masalah menjadi dua submasalah. Menemukan terjemahan terbaik <math>\tilde{e}</math> dilakukan dengan mengambil salah satu yang memberikan probabilitas tertinggi:
:<math> \tilde{e} = arg \max_{e \in e^*} p(e|f) = arg \max_{e\in e^*} p(f|e) p(e) </math>.

Untuk implementasi yang ketat, kita harus melakukan pencarian yang menyeluruh dengan menelusuri semua string <math>e^*</math> dalam bahasa asli. Melakukan pencarian secara efisien adalah pekerjaan [[Pencarian balok#Penggunaan|decoder terjemahan mesin]] yang menggunakan string asing, [[Heuristika|heuristik]], dan metode lain untuk membatasi ruang pencarian dan pada saat yang sama menjaga kualitas yang dapat diterima. Pertukaran antara kualitas dan penggunaan waktu ini juga dapat ditemukan dalam [[pengenalan suara]].

Karena sistem penerjemahan tidak dapat menyimpan semua string asli dan terjemahannya, sebuah dokumen biasanya diterjemahkan kalimat demi kalimat, tetapi ini pun tidak cukup. Model bahasa biasanya didekati dengan [[model bahasa kata n-gram#Teknik penghalusan|model n-gram yang dihaluskan]], dan pendekatan serupa telah diterapkan pada model penerjemahan, tetapi ada kerumitan tambahan karena panjang kalimat dan [[urutan kata]] yang berbeda dalam bahasa.

Model penerjemahan statistik pada awalnya berbasis [[kata]] (Model 1-5 dari [[IBM]] [[Model Markov Tersembunyi]] dari Stephan Vogel dan Model 6 dari Franz-Joseph Och), tetapi kemajuan yang signifikan dibuat dengan diperkenalkannya model berbasis [[frasa]].  Pekerjaan selanjutnya menggabungkan [[sintaksis]] atau struktur kuasi-sintaksis.
==Kelemahan==

* Pembuatan korpus bisa jadi mahal.
* Kesalahan spesifik sulit diprediksi dan diperbaiki.
* Hasil mungkin memiliki kefasihan dangkal yang menutupi masalah terjemahan.
* Terjemahan mesin statistik biasanya bekerja kurang baik untuk pasangan bahasa dengan urutan kata yang sangat berbeda.
* Manfaat yang diperoleh untuk terjemahan antara bahasa-bahasa [[Eropa Barat]] tidak dapat mewakili hasil untuk pasangan bahasa lain, karena korpus pelatihan yang lebih kecil dan perbedaan tata bahasa yang lebih besar.
==Terjemahan berbasis frasa==

Dalam terjemahan berbasis frasa, tujuannya adalah untuk mengurangi batasan penerjemahan berbasis kata dengan menerjemahkan seluruh rangkaian kata, yang panjangnya mungkin berbeda. Urutan kata disebut blok atau frasa, tetapi, biasanya bukan [[frasa]] linguistik, tetapi [[frasa]] yang ditemukan menggunakan metode statistik dari korpora. Telah terbukti bahwa membatasi frasa pada frasa linguistik (kelompok kata yang termotivasi secara sintaksis, lihat [[kategori sintaksis]]) menurunkan kualitas terjemahan.

Frasa yang dipilih selanjutnya dipetakan satu-ke-satu berdasarkan tabel terjemahan frasa, dan dapat disusun ulang. Tabel ini dapat dipelajari berdasarkan penjajaran kata, atau langsung dari korpus paralel. Model kedua dilatih menggunakan [[algoritma ekspektasi-maksimisasi]], mirip dengan [[Model penyelarasan IBM|Model IBM]] berbasis kata..
==Terjemahan berbasis sintaks==

Penerjemahan berbasis sintaksis didasarkan pada gagasan untuk menerjemahkan unit [[sintaksis]], bukan kata tunggal atau rangkaian kata (seperti pada MT berbasis frasa), yaitu [[pohon urai]] (parsial) dari kalimat/ucapan. Hingga tahun 1990-an, dengan munculnya [[penguraian stokastik|pengurai stokastik]] yang kuat, mitra statistik dari ide lama penerjemahan berbasis sintaksis tidak berkembang. Contoh dari pendekatan ini termasuk [[Penguraian berorientasi data|DOP]] berbasis MT dan kemudian [[tata bahasa bebas konteks sinkron]].
==Terjemahan berbasis frasa hierarkis==
Penerjemahan berbasis frasa hirarkis menggabungkan pendekatan berbasis frasa dan berbasis sintaksis dalam penerjemahan. Sistem ini menggunakan aturan [[tata bahasa bebas konteks sinkron]], tetapi tata bahasa dapat dibangun dengan perluasan metode untuk penerjemahan berbasis frasa tanpa mengacu pada konstituen sintaksis yang termotivasi secara linguistik. Ide ini pertama kali diperkenalkan dalam sistem Hiero Chiang (2005).
==Tantangan dengan terjemahan mesin statistik==

Masalah yang tidak dapat diselesaikan oleh penerjemahan mesin statistik antara lain:

=== Penyelarasan kalimat ===
Dalam korpora paralel, kalimat tunggal dalam satu bahasa dapat ditemukan diterjemahkan ke dalam beberapa kalimat dalam bahasa lain dan begitu sebaliknya. Kalimat yang panjang dapat dipecah, kalimat yang pendek dapat digabungkan. Bahkan ada beberapa bahasa yang menggunakan sistem penulisan tanpa indikasi yang jelas tentang akhir kalimat (misalnya, [[Bahasa Thai|bahasa Thailand]]). Penyelarasan kalimat dapat dilakukan melalui [[algoritma penyelarasan Gale-Church]]. Melalui ini dan [[model matematika]] lainnya, pencarian dan pengambilan yang efisien dari perataan kalimat dengan nilai tertinggi dapat dilakukan.

=== Penyelarasan kata===
Penyelarasan kalimat biasanya disediakan oleh korpus atau diperoleh dengan [[algoritma penjajaran Gale-Church]]. Namun, untuk mempelajari model penerjemahan, kita perlu mengetahui kata-kata mana yang sejajar dalam pasangan kalimat sumber-target. [[Penyelasan model IBM|IBM-Models]] atau [[Penjajaran kata Bitext#HMM|pendekatan HMM]] adalah upaya untuk memecahkan tantangan ini.

Kata-kata fungsi yang tidak memiliki padanan yang jelas dalam bahasa target merupakan tantangan lain bagi model statistik. Misalnya, saat menerjemahkan dari bahasa Inggris ke [[bahasa Jerman]], kalimat "John does not live here," kata "does" tidak memiliki keselarasan yang jelas dalam kalimat yang diterjemahkan "John wohnt hier nicht." Melalui penalaran logis, hal ini dapat diselaraskan dengan kata-kata "wohnt" (seperti dalam bahasa Inggris, ini berisi informasi tata bahasa untuk kata "live") atau "nicht" (karena hanya muncul dalam kalimat karena dinegasikan) atau mungkin tidak selaras.

=== Anomali statistik ===
Contoh dari anomali tersebut adalah "I took the train to Berlin" salah diterjemahkan menjadi "I took the train to Paris" karena banyaknya statistik "train to Paris" dalam set pelatihan.

=== Idiom ===

Tergantung pada korpus yang digunakan, idiom tidak dapat diterjemahkan secara "idiomatis". Misalnya, dengan menggunakan Hansard Kanada sebagai korpus dua bahasa, "hear" hampir selalu diterjemahkan menjadi "Bravo!" karena di Parlemen "Hear, Hear!" menjadi "Bravo!".


Masalah ini terkait dengan penyelarasan kata, karena dalam konteks yang sangat spesifik, ekspresi idiomatik disejajarkan dengan kata-kata yang menghasilkan ekspresi idiomatik dengan makna yang sama dalam bahasa target. Namun, hal ini tidak mungkin terjadi, karena penyelarasan biasanya tidak berfungsi dalam konteks lain. Oleh karena itu, idiom hanya dapat disejajarkan dengan frasa, karena idiom tidak dapat diuraikan lebih lanjut tanpa kehilangan maknanya. Masalah ini khusus untuk penerjemahan berbasis kata.

=== Susunan kata yang berbeda ===

Urutan kata dalam bahasa berbeda-beda. Beberapa klasifikasi dapat dilakukan dengan menyebutkan urutan khas subjek (S), kata kerja (V), dan objek (O) dalam sebuah kalimat dan seseorang dapat berbicara, misalnya, tentang bahasa SVO atau VSO. Ada juga perbedaan tambahan dalam urutan kata, misalnya, di mana pengubah untuk kata benda berada, atau di mana kata-kata yang sama digunakan sebagai pertanyaan atau pernyataan.

Dalam [[pengenalan ucapan]], sinyal ucapan dan representasi tekstual yang sesuai dapat dipetakan satu sama lain dalam blok-blok secara berurutan. Hal ini tidak selalu terjadi pada teks yang sama dalam dua bahasa. Untuk SMT, penerjemah mesin hanya dapat mengelola urutan kata yang kecil, dan urutan kata harus dipikirkan oleh perancang program. Upaya untuk mencari solusi telah mencakup model pengurutan ulang, di mana distribusi perubahan lokasi untuk setiap item terjemahan ditebak dari dua teks yang disejajarkan. Perubahan lokasi yang berbeda dapat diurutkan dengan bantuan model bahasa dan yang terbaik dapat dipilih.

=== Kata-kata di luar kosakata (OOV) ===

Sistem SMT biasanya menyimpan bentuk kata yang berbeda sebagai simbol yang terpisah tanpa hubungan satu sama lain dan bentuk kata
atau frasa yang tidak ada dalam data pelatihan tidak dapat diterjemahkan. Hal ini mungkin disebabkan oleh kurangnya data pelatihan, perubahan dalam domain manusia di mana sistem digunakan, atau perbedaan dalam morfologi.
== Catatan dan referensi ==

==Pranala luar==
* [http://www-nlp.stanford.edu/links/statnlp.html Annotated list of statistical natural language processing resources] &mdash; Termasuk tautan ke perangkat lunak penerjemahan mesin statistik yang tersedia secara gratis



== Sumber dan atribusi ==

Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Terjemahan+mesin+statistik&oldid=29587805 Wikipedia bahasa Indonesia], revisi 29587805 (2026-08-16T10:01:18Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.