Riffusiion

Riffusion adalah jaringan saraf yang dirancang oleh Seth Forsgren dan Hayk Martiros untuk menghasilkan musik menggunakan gambar suara, bukan audio langsung Musik yang dihasilkan digambarkan sebagai “de otro mundo” (dari dunia lain), meskipun dinilai kecil kemungkinannya untuk menggantikan musik buatan manusia. Model ini dirilis pada 15 Desember 2022, dan kode sumbernya tersedia secara bebas di GitHub.

Versi pertama Riffusion merupakan hasil fine-tuning dari Stable Diffusion—model open-source yang digunakan untuk menghasilkan gambar dari prompt teks—pada spectrogram. Proses ini menghasilkan model yang menggunakan prompt teks untuk mengubahnya menjadi berkas gambar, kemudian diproses melalui transformasi-balik-Fourier dan dikonversi menjadi berkas audio. Berkas audio yang dihasilkan hanya berdurasi beberapa detik, tetapi model ini dapat memanfaatkan ruang laten di antara keluaran suara untuk menginterpolasi beberapa berkas secara berkelanjutan (melalui kemampuan img2img pada Stable Diffusion). Riffusion menjadi salah satu dari banyak model turunan Stable Diffusion.

Pada Desember 2022, Mubert juga memanfaatkan Stable Diffusion untuk mengubah deskripsi teks menjadi loop musik. Pada Januari 2023, Google mempublikasikan makalah tentang generator musik dari teks bernama MusicLM.

Forsgren dan Martiros kemudian membentuk perusahaan rintisan dengan nama Riffusion, dan memperoleh pendanaan modal ventura sebesar 4 juta dolar pada Oktober 2023.

Sumber dan atribusi

Konten artikel ini diadaptasi dari Wikipedia bahasa Indonesia, revisi 29619596 (2026-08-23T06:47:46Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.