Lompat ke isi

EleutherAI: Perbedaan antara revisi

Ensiklopedia Pengetahuan Universitas Islam Sultan Agung

Maintenance script (bicara | kontrib)

37.956 suntingan
Maintenance script (bicara | kontrib)
37.956 suntingan
Impor teks terkontrol dari Wikipedia bahasa Indonesia; revisi 29528153; atribusi sumber disertakan.
 
Maintenance script (bicara | kontrib)
37.956 suntingan
Presentation V4: sitasi, referensi, Math, Wikimedia Commons, dan atribusi
 
Baris 1: Baris 1:
'''EleutherAI''' () adalah sebuah lembaga penelitian [[kecerdasan buatan]] nirlaba. Kelompok yang dianggap sebagai versi sumber terbuka dari [[OpenAI]] ini, terbentuk dalam sebuah [[peladen]] [[Discord]] untuk memulai program replikasi GPT-3. Pada awal 2023, kelompok ini secara formal berdiri sebagai EleutherAI Foundation, sebuah lembaga penelitian nirlaba.
[[File:EleutherAI_logo.svg|thumb|right|280px|EleutherAI logo]]
 
'''EleutherAI''' (<ref>[https://www.youtube.com/watch?v=SpiXLeLkpcw&list=WL&index=4&ab_channel=TheInferencePodcast Talk with Stella Biderman on The Pile, GPT-Neo and MTG]. The Interference Podcast. 2021-04-02.</ref>) adalah sebuah lembaga penelitian [[kecerdasan buatan]] nirlaba. Kelompok yang dianggap sebagai versi sumber terbuka dari [[OpenAI]] ini,<ref>Craig Smith. [https://spectrum.ieee.org/eleutherai-openai-not-open-enough EleutherAI: When OpenAI Isn't Open Enough]. ''IEEE Spectrum''. IEEE. 2022-03-21.</ref> terbentuk dalam sebuah [[peladen]] [[Discord]] untuk memulai program replikasi GPT-3. Pada awal 2023, kelompok ini secara formal berdiri sebagai EleutherAI Foundation, sebuah lembaga penelitian nirlaba.<ref>Kyle Wiggers. [https://techcrunch.com/2023/03/02/stability-ai-hugging-face-and-canva-back-new-ai-research-nonprofit/ Stability AI, Hugging Face and Canva back new AI research nonprofit]. ''TechCrunch''. 2023-03-02.</ref>


== Sejarah ==
== Sejarah ==
EleutherAI berawal dari sebuah peladen di [[Discord]] pada Juli 2020 dengan nama tentatif "LibreAI" sebelum melakukan penjenamaan ulang menjadi "EleutherAI" pada akhir bulan tersebut, nama ini merujuk pada eleutheria, sebuah istilah [[bahasa Yunani]] kuno untuk [[libertas]].
EleutherAI berawal dari sebuah peladen di [[Discord]] pada Juli 2020 dengan nama tentatif "LibreAI" sebelum melakukan penjenamaan ulang menjadi "EleutherAI" pada akhir bulan tersebut,<ref>Connor Leahy. [https://blog.eleuther.ai/year-one/ What A Long, Strange Trip It's Been: EleutherAI One Year Retrospective]. ''EleutherAI Blog''. 2021-07-07.</ref> nama ini merujuk pada eleutheria, sebuah istilah [[bahasa Yunani]] kuno untuk [[libertas]].<ref>Craig Smith. [https://spectrum.ieee.org/eleutherai-openai-not-open-enough EleutherAI: When OpenAI Isn't Open Enough]. ''IEEE Spectrum''. IEEE. 2022-03-21. Smith, Craig (21 March 2022). [https://spectrum.ieee.org/eleutherai-openai-not-open-enough "EleutherAI: When OpenAI Isn't Open Enough"]. ''IEEE Spectrum''. IEEE . Retrieved 8 August 2023 .</ref>


Pada 30 Desember 2020, EleutherAI merilis The Pile, sebuah kumpulan data yang berisikan teks untuk melatih [[model bahasa besar]]. Walaupun artikel akademis terkait mereferensikan keberadaan model GPT-Neo, model tersebut tidak dirilis hingga 21 Maret 2021. Menurut sebuah artikel kilas balik yang ditulis beberapa bulan kemudian, penulis tidak menyangka bahwa "orang-orang akan sangat peduli terhadap model kecil kami." Pada 9 Juni 2021, EleutherAI merilis GPT-J-6B, sebuah model bahasa dengan enam miliar parameter yang juga merupakan model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia. Kumpulan model bahasa tersebut dirilis di bawah [[Lisensi Apache|lisensi Apache 2.0]] dan dianggap telah "menyalakan gelombang [[perusahaan rintisan]] yang benar-benar baru".
Pada 30 Desember 2020, EleutherAI merilis The Pile, sebuah kumpulan data yang berisikan teks untuk melatih [[model bahasa besar]]. Walaupun artikel akademis terkait mereferensikan keberadaan model GPT-Neo, model tersebut tidak dirilis hingga 21 Maret 2021.<ref>[https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/ GPT-3's free alternative GPT-Neo is something to be excited about]. ''VentureBeat''. 2021-05-15.</ref> Menurut sebuah artikel kilas balik yang ditulis beberapa bulan kemudian, penulis tidak menyangka bahwa "orang-orang akan sangat peduli terhadap model kecil kami."<ref>Connor Leahy. [https://blog.eleuther.ai/year-one/ What A Long, Strange Trip It's Been: EleutherAI One Year Retrospective]. 2021-07-07.</ref> Pada 9 Juni 2021, EleutherAI merilis GPT-J-6B, sebuah model bahasa dengan enam miliar parameter yang juga merupakan model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia.<ref>[https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model GPT-J-6B: An Introduction to the Largest Open Source GPT Model Forefront]. ''www.forefront.ai''.</ref> Kumpulan model bahasa tersebut dirilis di bawah [[Lisensi Apache|lisensi Apache 2.0]] dan dianggap telah "menyalakan gelombang [[perusahaan rintisan]] yang benar-benar baru".<ref>Kyle Wiggers. [https://techcrunch.com/2023/03/02/stability-ai-hugging-face-and-canva-back-new-ai-research-nonprofit/ Stability AI, Hugging Face and Canva back new AI research nonprofit]. ''TechCrunch''. 2023-03-02. Wiggers, Kyle (2 March 2023). [https://techcrunch.com/2023/03/02/stability-ai-hugging-face-and-canva-back-new-ai-research-nonprofit/ "Stability AI, Hugging Face and Canva back new AI research nonprofit"]. ''TechCrunch'' . Retrieved 8 August 2023 .</ref>


 
Setelah dirilisnya [[DALL-E]] oleh OpenAI pada Januari 2021, EleutherAI mulai bekerja pada model [[Seni kecerdasan buatan|sintesis teks-ke-gambar]]. Ketika OpenAI tidak merilis DALL-E secara luas, Katherine Crowson dari EleutherAI dan [[seniman]] digital Ryan Murdock mengembangkan sebuah teknik untuk menggunakan CLIP (model lain yang dikembangkan oleh OpenAI) untuk menkonversi model generatif gambar biasa menjadi model sintesis teks-ke-gambar.<ref>LJ MIRANDA. [https://ljvmiranda921.github.io/notebook/2021/08/08/clip-vqgan/ The Illustrated VQGAN]. ''ljvmiranda921.github.io''.</ref><ref>[https://www.nylon.com/life/images-ai-art-twitter-machine-learning Inside The World of Uncanny AI Twitter Art]. ''Nylon''.</ref><ref>[https://www.yahoo.com/lifestyle/ai-turns-movie-text-descriptions-152546287.html This AI Turns Movie Text Descriptions Into Abstract Posters]. ''Yahoo Life''.</ref><ref>Katyanna Quach. [https://www.theregister.com/2021/08/22/in_brief_ai/ A man spent a year in jail on a murder charge involving disputed AI evidence. Now the case has been dropped]. ''www.theregister.com''.</ref> Dengan pijakan ide dari Google [[DeepDream]],<ref>[https://ml.berkeley.edu/blog/posts/clip-art/ Alien Dreams: An Emerging Art Scene - ML@B Blog]. ''Alien Dreams: An Emerging Art Scene - ML@B Blog''.</ref> mereka menemukan kesuksesan menggabungkan CLIP dengan model lainnya yang tersedia secara luas yang disebut VQGAN, hasilnya dikenal sebagai VQGAN-CLIP.<ref>[https://www.eleuther.ai/artifacts/vqgan-clip VQGAN-CLIP]. ''EleutherAI''.</ref> Crowson merilis teknologi ini dengan mengirimkan tweet berupa notebook Jupyter yang mendemonstrasikan teknik di mana khalayak umum dapat menggunakannya secara gratis tanpa peralatan khusus.<ref>[https://www.abc.net.au/news/science/2021-07-15/ai-art-tool-makes-paintings-of-australia/100288386 We asked an AI tool to 'paint' images of Australia. Critics say they're good enough to sell]. 14 July 2021.</ref><ref>Poornima Nataraj. [https://analyticsindiamag.com/online-tools-to-create-mind-blowing-ai-art/ Online tools to create mind-blowing AI art]. ''Analytics India Magazine''. 28 February 2022.</ref><ref>[https://www.vice.com/en/article/qjbb3w/woman-making-viral-portraits-of-mental-health-on-tiktok Meet the Woman Making Viral Portraits of Mental Health on TikTok]. ''www.vice.com''.</ref> Karya ini dianggap oleh [[Direktur utama|Direktur Utama]] [[Stable Diffusion|Stability AI]] Emad Mostaque sebagai salah satu motivasi dalam pendirian Stability AI.
Setelah dirilisnya [[DALL-E]] oleh OpenAI pada Januari 2021, EleutherAI mulai bekerja pada model [[Seni kecerdasan buatan|sintesis teks-ke-gambar]]. Ketika OpenAI tidak merilis DALL-E secara luas, Katherine Crowson dari EleutherAI dan [[seniman]] digital Ryan Murdock mengembangkan sebuah teknik untuk menggunakan CLIP (model lain yang dikembangkan oleh OpenAI) untuk menkonversi model generatif gambar biasa menjadi model sintesis teks-ke-gambar. Dengan pijakan ide dari Google [[DeepDream]], mereka menemukan kesuksesan menggabungkan CLIP dengan model lainnya yang tersedia secara luas yang disebut VQGAN, hasilnya dikenal sebagai VQGAN-CLIP. Crowson merilis teknologi ini dengan mengirimkan tweet berupa notebook Jupyter yang mendemonstrasikan teknik di mana khalayak umum dapat menggunakannya secara gratis tanpa peralatan khusus. Karya ini dianggap oleh [[Direktur utama|Direktur Utama]] [[Stable Diffusion|Stability AI]] Emad Mostaque sebagai salah satu motivasi dalam pendirian Stability AI.


== Penelitian ==
== Penelitian ==
Menurut situs web mereka, EleutherAI adalah sebuah perkumpulan kolektif yang terdiri dari peneliti sukarelawan, insinyur, dan pengembang yang berfokus pada [[Masalah pengendalian kecerdasan buatan|pengendalian kecerdasan buatan]], penskalaan, dan penelitian [[kecerdasan buatan]] dengan [[sumber terbuka]]". Walaupun mereka tidak menjual teknologi mereka sebagai produk, mereka memublikasikan hasil penelitian mereka dalam ranah akademis, menulis postingan [[blog]] mengenai ide dan metodologi mereka, dan menyediakan model terlatih untuk siapapun secara gratis.
Menurut situs web mereka, EleutherAI adalah sebuah perkumpulan kolektif yang terdiri dari peneliti sukarelawan, insinyur, dan pengembang yang berfokus pada [[Masalah pengendalian kecerdasan buatan|pengendalian kecerdasan buatan]], penskalaan, dan penelitian [[kecerdasan buatan]] dengan [[sumber terbuka]]".<ref>[https://eleuther.ai/ EleutherAI Website]. EleutherAI.</ref> Walaupun mereka tidak menjual teknologi mereka sebagai produk, mereka memublikasikan hasil penelitian mereka dalam ranah akademis, menulis postingan [[blog]] mengenai ide dan metodologi mereka, dan menyediakan model terlatih untuk siapapun secara gratis.


=== The Pile ===
=== The Pile ===
The Pile adalah sebuah kumpulan data berukuran 886 GB yang dirancang untuk melatih model bahasa besar. Awalnya dikembangkan oleh EleutherAI untuk melatih model GPT-Neo tetapi kumpulan data juga digunakan untuk melatih model lainnya, seperti [[Microsoft]] Megatron-Turing Natural Language Generation, [[Meta Platforms|Meta AI]] Open
The Pile adalah sebuah kumpulan data berukuran 886 GB yang dirancang untuk melatih model bahasa besar. Awalnya dikembangkan oleh EleutherAI untuk melatih model GPT-Neo tetapi kumpulan data juga digunakan untuk melatih model lainnya, seperti [[Microsoft]] Megatron-Turing Natural Language Generation,<ref>[https://venturebeat.com/ai/microsoft-and-nvidia-team-up-to-train-one-of-the-worlds-largest-language-models/ Microsoft and Nvidia team up to train one of the world's largest language models]. 11 October 2021.</ref><ref>[https://lifearchitect.ai/megatron/ AI: Megatron the Transformer, and its related language models]. 24 September 2021.</ref> [[Meta Platforms|Meta AI]] Open
Pre-trained Transformers, LLaMA, dan Galactica, [[Universitas Stanford|Stanford University]] BioMedLM 2.7B, Beijing Academy of Artificial Intelligence
Pre-trained Transformers, LLaMA, dan Galactica, [[Universitas Stanford|Stanford University]] BioMedLM 2.7B,<ref>[https://huggingface.co/stanford-crfm/BioMedLM Model Card for BioMedLM 2.7B]. ''huggingface.co''.</ref> Beijing Academy of Artificial Intelligence
Chinese-Transformer-XL, dan [[Yandex]] YaLM 100B. Ketimbang kumpulan data lainnya, fitur yang membedakan The Pile adalah seleksi data yang dilakukan oleh para peneliti di EleutherAI untuk memastikan bahwa informasi yang digunakan layak untuk pelatihan dan merupakan satu-satunya kumpulan data yang didokumentasikan secara lengkap oleh peneliti yang mengembangkannya.
Chinese-Transformer-XL,<ref>Sha Yuan. [https://www.sciencedirect.com/science/article/pii/S2666651021000152 WuDaoCorpora: A super large-scale Chinese corpora for pre-training language models]. ''AI Open''. 1 January 2021. Vol. 2. hlm. 65–68. doi:10.1016/j.aiopen.2021.06.001.</ref> dan [[Yandex]] YaLM 100B.<ref>Grabovskiy. Yandex.</ref> Ketimbang kumpulan data lainnya, fitur yang membedakan The Pile adalah seleksi data yang dilakukan oleh para peneliti di EleutherAI untuk memastikan bahwa informasi yang digunakan layak untuk pelatihan dan merupakan satu-satunya kumpulan data yang didokumentasikan secara lengkap oleh peneliti yang mengembangkannya.<ref>Mehtab Khan. [https://papers.ssrn.com/abstract=4217148 The Subjects and Stages of AI Dataset Development: A Framework for Dataset Accountability]. 13 September 2022.</ref>


=== Model-model GPT ===
=== Model-model GPT ===
Penelitian yang paling terkenal dari EleutherAI berhubungan dengan model bahasa besar yang terinspirasi dari OpenAI GPT-3. Seri model GPT-Neo terdiri dari model dengan parameter sejumlah 125 juta, 1.3 miliar, 2.7 miliar, 6 miliar, dan 20 miliar.
Penelitian yang paling terkenal dari EleutherAI berhubungan dengan model bahasa besar yang terinspirasi dari OpenAI GPT-3.<ref>[https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/ GPT-3's free alternative GPT-Neo is something to be excited about]. 15 May 2021.</ref> Seri model GPT-Neo terdiri dari model dengan parameter sejumlah 125 juta, 1.3 miliar, 2.7 miliar, 6 miliar, dan 20 miliar.


* GPT-Neo (125JT, 1.3M, 2.7M):  dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.
* GPT-Neo (125JT, 1.3M, 2.7M):<ref>Alex Andonian. [https://www.github.com/eleutherai/gpt-neox GPT-NeoX: Large Scale Autoregressive Language Modeling in PyTorch]. 13 August 2021.</ref> dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.
* GPT-J (6M): dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.
* GPT-J (6M):<ref>[https://huggingface.co/EleutherAI/gpt-j-6B EleutherAI/gpt-j-6B · Hugging Face]. ''huggingface.co''.</ref><ref>[https://chatgpt-demo.com ChatGPT Demo].</ref> dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.<ref>[https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model GPT-J-6B: An Introduction to the Largest Open Source GPT Model | Forefront]. ''www.forefront.ai''.</ref>
* GPT-NeoX (20M): dirilis pada Februari 2022, model ini adalah model bahasa dengan sumber terbuka terbesar di dunia saat dirilis.
* GPT-NeoX (20M): dirilis pada Februari 2022, model ini adalah model bahasa dengan sumber terbuka terbesar di dunia saat dirilis.


Walaupun mayoritas dari model bahasa besar dilatih dalam [[bahasa Inggris]] ataupun bahasa Tionghoa, EleutherAI juga melatih model bahasa dalam bahasa lainnya, seperti Polyglot-Ko dalam bahasa Korea.
Walaupun mayoritas dari model bahasa besar dilatih dalam [[bahasa Inggris]] ataupun bahasa Tionghoa, EleutherAI juga melatih model bahasa dalam bahasa lainnya, seperti Polyglot-Ko dalam bahasa Korea.<ref>[https://www.mk.co.kr/news/it/10509517 "한국어기반 AI소스 공개합니다 마음껏 쓰세요"]. ''매일경제''. 31 October 2022.</ref>


== Tanggapan publik ==
== Tanggapan publik ==
=== Pujian ===
=== Pujian ===
Pekerjaan EleutherAI untuk mendemokratisasi GPT-3 telah mendapatkan banyak pujian dari sejumlah pegiat sumber terbuka. Mereka memenangi [[Organisasi Pendidikan, Keilmuan, dan Kebudayaan Perserikatan Bangsa-Bangsa|UNESCO]] Netexplo Global Innovation Award pada 2021, InfoWorld Best of Open Source Software Award pada 2021 pada 2022, dan dinominasikan untuk [[VentureBeat]] AI Innovation Award pada 2021.
Pekerjaan EleutherAI untuk mendemokratisasi GPT-3 telah mendapatkan banyak pujian dari sejumlah pegiat sumber terbuka. Mereka memenangi [[Organisasi Pendidikan, Keilmuan, dan Kebudayaan Perserikatan Bangsa-Bangsa|UNESCO]] Netexplo Global Innovation Award pada 2021,<ref>[https://www.unesco.org/en/articles/unesco-netexplo-forum-2021 Request Rejected].</ref> InfoWorld Best of Open Source Software Award pada 2021<ref>James R. Borck, Martin Heller, Andrew C. Oliver, Ian Pointer, Matthew Tyson and Serdar Yegulalp. [https://www.infoworld.com/article/3637038/the-best-open-source-software-of-2021.html The best open source software of 2021]. ''InfoWorld''. 18 October 2021.</ref> pada 2022,<ref>James R. Borck, Martin Heller, Andrew C. Oliver, Ian Pointer, Isaac Sacolick, Matthew Tyson and Serdar Yegulalp. [https://www.infoworld.com/article/3676829/the-best-open-source-software-of-2022.html The best open source software of 2022]. ''InfoWorld''. 17 October 2022.</ref> dan dinominasikan untuk [[VentureBeat]] AI Innovation Award pada 2021.<ref>[https://venturebeat.com/business/venturebeat-presents-ai-innovation-awards-nominees-at-transform-2021/ VentureBeat presents AI Innovation Awards nominees at Transform 2021]. 16 July 2021.</ref>


Gary Marcus, seorang peneliti kognitif dan pengkritik badan usaha [[pemelajaran dalam]] seperti OpenAI dan [[DeepMind]], berulang kali memuji dedikasi EleutherAI terhadap penelitian sumber terbuka dan transparan.
Gary Marcus, seorang peneliti kognitif dan pengkritik badan usaha [[pemelajaran dalam]] seperti OpenAI dan [[DeepMind]],<ref>[https://www.zdnet.com/article/the-next-decade-in-ai-gary-marcus-four-steps-towards-robust-artificial-intelligence/ What's next for AI: Gary Marcus talks about the journey toward robust artificial intelligence]. ''ZDNET''.</ref> berulang kali memuji dedikasi EleutherAI terhadap penelitian sumber terbuka dan transparan.


Maximilian Gahntz, seorang peneliti kebijakan senior di [[Mozilla Foundation]], memuji upaya EleutherAI dalam memberikan kemampuan bagi para peneliti untuk melakukan audit dan mengukur teknologi kecerdasan buatan. "Jika model-model bersifat terbuka dan jika kumpulan data bersifat terbuka, ini akan memungkinkan lebih banyak penelitian kritis yang menunjukan banyaknya kekurangan dan kekacauan yang berkaitan dengan [[kecerdasan buatan generatif]] dan itu sering kali lebih sulit untuk dilakukan."
Maximilian Gahntz, seorang peneliti kebijakan senior di [[Mozilla Foundation]], memuji upaya EleutherAI dalam memberikan kemampuan bagi para peneliti untuk melakukan audit dan mengukur teknologi kecerdasan buatan. "Jika model-model bersifat terbuka dan jika kumpulan data bersifat terbuka, ini akan memungkinkan lebih banyak penelitian kritis yang menunjukan banyaknya kekurangan dan kekacauan yang berkaitan dengan [[kecerdasan buatan generatif]] dan itu sering kali lebih sulit untuk dilakukan."<ref>Meghmala Chowdhury. [https://www.analyticsinsight.net/will-powerful-ai-disrupt-industries-once-thought-to-be-safe-in-2023/ Will Powerful AI Disrupt Industries Once Thought to be Safe in 2023?]. ''Analytics Insight''. 2022-12-29.</ref>


=== Kritikan ===
=== Kritikan ===
Jurnalis teknologi Kyle Wiggers menyampaikan kekhawatiran mengenai apakah EleutherAI benar-benar independen seperti klaim mereka, atau "keterlibatan ventura komersil seperti [[Stable Diffusion|Stability AI]] dan Hugging Face — keduanya dibekingi oleh [[modal ventura]] yang cukup besar — mungkin memengaruhi penelitian EleutherAI."
Jurnalis teknologi Kyle Wiggers menyampaikan kekhawatiran mengenai apakah EleutherAI benar-benar independen seperti klaim mereka, atau "keterlibatan ventura komersil seperti [[Stable Diffusion|Stability AI]] dan Hugging Face — keduanya dibekingi oleh [[modal ventura]] yang cukup besar — mungkin memengaruhi penelitian EleutherAI."<ref>Kyle Wiggers. [https://techcrunch.com/2023/03/02/stability-ai-hugging-face-and-canva-back-new-ai-research-nonprofit/ Stability AI, Hugging Face and Canva back new AI research nonprofit]. 2 March 2023.</ref>


== Referensi ==
== Referensi ==
<references />


== Sumber dan atribusi ==


Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=EleutherAI&oldid=29528153 Wikipedia bahasa Indonesia], revisi 29528153 (2026-08-05T08:05:57Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Gambar pada artikel ini bersumber dari Wikimedia Commons dan mengikuti ketentuan lisensi masing-masing berkas. Mohon gunakan konten dan media secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.


== Sumber dan atribusi ==
<!-- WIKI_UNISSULA_PRESENTATION_V4 -->
 
Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=EleutherAI&oldid=29528153 Wikipedia bahasa Indonesia], revisi 29528153 (2026-08-05T08:05:57Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.

Revisi terkini sejak 23 Agustus 2026 04.18

EleutherAI logo

EleutherAI ([1]) adalah sebuah lembaga penelitian kecerdasan buatan nirlaba. Kelompok yang dianggap sebagai versi sumber terbuka dari OpenAI ini,[2] terbentuk dalam sebuah peladen Discord untuk memulai program replikasi GPT-3. Pada awal 2023, kelompok ini secara formal berdiri sebagai EleutherAI Foundation, sebuah lembaga penelitian nirlaba.[3]

Sejarah

EleutherAI berawal dari sebuah peladen di Discord pada Juli 2020 dengan nama tentatif "LibreAI" sebelum melakukan penjenamaan ulang menjadi "EleutherAI" pada akhir bulan tersebut,[4] nama ini merujuk pada eleutheria, sebuah istilah bahasa Yunani kuno untuk libertas.[5]

Pada 30 Desember 2020, EleutherAI merilis The Pile, sebuah kumpulan data yang berisikan teks untuk melatih model bahasa besar. Walaupun artikel akademis terkait mereferensikan keberadaan model GPT-Neo, model tersebut tidak dirilis hingga 21 Maret 2021.[6] Menurut sebuah artikel kilas balik yang ditulis beberapa bulan kemudian, penulis tidak menyangka bahwa "orang-orang akan sangat peduli terhadap model kecil kami."[7] Pada 9 Juni 2021, EleutherAI merilis GPT-J-6B, sebuah model bahasa dengan enam miliar parameter yang juga merupakan model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia.[8] Kumpulan model bahasa tersebut dirilis di bawah lisensi Apache 2.0 dan dianggap telah "menyalakan gelombang perusahaan rintisan yang benar-benar baru".[9]

Setelah dirilisnya DALL-E oleh OpenAI pada Januari 2021, EleutherAI mulai bekerja pada model sintesis teks-ke-gambar. Ketika OpenAI tidak merilis DALL-E secara luas, Katherine Crowson dari EleutherAI dan seniman digital Ryan Murdock mengembangkan sebuah teknik untuk menggunakan CLIP (model lain yang dikembangkan oleh OpenAI) untuk menkonversi model generatif gambar biasa menjadi model sintesis teks-ke-gambar.[10][11][12][13] Dengan pijakan ide dari Google DeepDream,[14] mereka menemukan kesuksesan menggabungkan CLIP dengan model lainnya yang tersedia secara luas yang disebut VQGAN, hasilnya dikenal sebagai VQGAN-CLIP.[15] Crowson merilis teknologi ini dengan mengirimkan tweet berupa notebook Jupyter yang mendemonstrasikan teknik di mana khalayak umum dapat menggunakannya secara gratis tanpa peralatan khusus.[16][17][18] Karya ini dianggap oleh Direktur Utama Stability AI Emad Mostaque sebagai salah satu motivasi dalam pendirian Stability AI.

Penelitian

Menurut situs web mereka, EleutherAI adalah sebuah perkumpulan kolektif yang terdiri dari peneliti sukarelawan, insinyur, dan pengembang yang berfokus pada pengendalian kecerdasan buatan, penskalaan, dan penelitian kecerdasan buatan dengan sumber terbuka".[19] Walaupun mereka tidak menjual teknologi mereka sebagai produk, mereka memublikasikan hasil penelitian mereka dalam ranah akademis, menulis postingan blog mengenai ide dan metodologi mereka, dan menyediakan model terlatih untuk siapapun secara gratis.

The Pile

The Pile adalah sebuah kumpulan data berukuran 886 GB yang dirancang untuk melatih model bahasa besar. Awalnya dikembangkan oleh EleutherAI untuk melatih model GPT-Neo tetapi kumpulan data juga digunakan untuk melatih model lainnya, seperti Microsoft Megatron-Turing Natural Language Generation,[20][21] Meta AI Open Pre-trained Transformers, LLaMA, dan Galactica, Stanford University BioMedLM 2.7B,[22] Beijing Academy of Artificial Intelligence Chinese-Transformer-XL,[23] dan Yandex YaLM 100B.[24] Ketimbang kumpulan data lainnya, fitur yang membedakan The Pile adalah seleksi data yang dilakukan oleh para peneliti di EleutherAI untuk memastikan bahwa informasi yang digunakan layak untuk pelatihan dan merupakan satu-satunya kumpulan data yang didokumentasikan secara lengkap oleh peneliti yang mengembangkannya.[25]

Model-model GPT

Penelitian yang paling terkenal dari EleutherAI berhubungan dengan model bahasa besar yang terinspirasi dari OpenAI GPT-3.[26] Seri model GPT-Neo terdiri dari model dengan parameter sejumlah 125 juta, 1.3 miliar, 2.7 miliar, 6 miliar, dan 20 miliar.

  • GPT-Neo (125JT, 1.3M, 2.7M):[27] dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.
  • GPT-J (6M):[28][29] dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.[30]
  • GPT-NeoX (20M): dirilis pada Februari 2022, model ini adalah model bahasa dengan sumber terbuka terbesar di dunia saat dirilis.

Walaupun mayoritas dari model bahasa besar dilatih dalam bahasa Inggris ataupun bahasa Tionghoa, EleutherAI juga melatih model bahasa dalam bahasa lainnya, seperti Polyglot-Ko dalam bahasa Korea.[31]

Tanggapan publik

Pujian

Pekerjaan EleutherAI untuk mendemokratisasi GPT-3 telah mendapatkan banyak pujian dari sejumlah pegiat sumber terbuka. Mereka memenangi UNESCO Netexplo Global Innovation Award pada 2021,[32] InfoWorld Best of Open Source Software Award pada 2021[33] pada 2022,[34] dan dinominasikan untuk VentureBeat AI Innovation Award pada 2021.[35]

Gary Marcus, seorang peneliti kognitif dan pengkritik badan usaha pemelajaran dalam seperti OpenAI dan DeepMind,[36] berulang kali memuji dedikasi EleutherAI terhadap penelitian sumber terbuka dan transparan.

Maximilian Gahntz, seorang peneliti kebijakan senior di Mozilla Foundation, memuji upaya EleutherAI dalam memberikan kemampuan bagi para peneliti untuk melakukan audit dan mengukur teknologi kecerdasan buatan. "Jika model-model bersifat terbuka dan jika kumpulan data bersifat terbuka, ini akan memungkinkan lebih banyak penelitian kritis yang menunjukan banyaknya kekurangan dan kekacauan yang berkaitan dengan kecerdasan buatan generatif dan itu sering kali lebih sulit untuk dilakukan."[37]

Kritikan

Jurnalis teknologi Kyle Wiggers menyampaikan kekhawatiran mengenai apakah EleutherAI benar-benar independen seperti klaim mereka, atau "keterlibatan ventura komersil seperti Stability AI dan Hugging Face — keduanya dibekingi oleh modal ventura yang cukup besar — mungkin memengaruhi penelitian EleutherAI."[38]

Referensi

  1. ↑ Talk with Stella Biderman on The Pile, GPT-Neo and MTG. The Interference Podcast. 2021-04-02.
  2. ↑ Craig Smith. EleutherAI: When OpenAI Isn't Open Enough. IEEE Spectrum. IEEE. 2022-03-21.
  3. ↑ Kyle Wiggers. Stability AI, Hugging Face and Canva back new AI research nonprofit. TechCrunch. 2023-03-02.
  4. ↑ Connor Leahy. What A Long, Strange Trip It's Been: EleutherAI One Year Retrospective. EleutherAI Blog. 2021-07-07.
  5. ↑ Craig Smith. EleutherAI: When OpenAI Isn't Open Enough. IEEE Spectrum. IEEE. 2022-03-21. Smith, Craig (21 March 2022). "EleutherAI: When OpenAI Isn't Open Enough". IEEE Spectrum. IEEE . Retrieved 8 August 2023 .
  6. ↑ GPT-3's free alternative GPT-Neo is something to be excited about. VentureBeat. 2021-05-15.
  7. ↑ Connor Leahy. What A Long, Strange Trip It's Been: EleutherAI One Year Retrospective. 2021-07-07.
  8. ↑ GPT-J-6B: An Introduction to the Largest Open Source GPT Model Forefront. www.forefront.ai.
  9. ↑ Kyle Wiggers. Stability AI, Hugging Face and Canva back new AI research nonprofit. TechCrunch. 2023-03-02. Wiggers, Kyle (2 March 2023). "Stability AI, Hugging Face and Canva back new AI research nonprofit". TechCrunch . Retrieved 8 August 2023 .
  10. ↑ LJ MIRANDA. The Illustrated VQGAN. ljvmiranda921.github.io.
  11. ↑ Inside The World of Uncanny AI Twitter Art. Nylon.
  12. ↑ This AI Turns Movie Text Descriptions Into Abstract Posters. Yahoo Life.
  13. ↑ Katyanna Quach. A man spent a year in jail on a murder charge involving disputed AI evidence. Now the case has been dropped. www.theregister.com.
  14. ↑ Alien Dreams: An Emerging Art Scene - ML@B Blog. Alien Dreams: An Emerging Art Scene - ML@B Blog.
  15. ↑ VQGAN-CLIP. EleutherAI.
  16. ↑ We asked an AI tool to 'paint' images of Australia. Critics say they're good enough to sell. 14 July 2021.
  17. ↑ Poornima Nataraj. Online tools to create mind-blowing AI art. Analytics India Magazine. 28 February 2022.
  18. ↑ Meet the Woman Making Viral Portraits of Mental Health on TikTok. www.vice.com.
  19. ↑ EleutherAI Website. EleutherAI.
  20. ↑ Microsoft and Nvidia team up to train one of the world's largest language models. 11 October 2021.
  21. ↑ AI: Megatron the Transformer, and its related language models. 24 September 2021.
  22. ↑ Model Card for BioMedLM 2.7B. huggingface.co.
  23. ↑ Sha Yuan. WuDaoCorpora: A super large-scale Chinese corpora for pre-training language models. AI Open. 1 January 2021. Vol. 2. hlm. 65–68. doi:10.1016/j.aiopen.2021.06.001.
  24. ↑ Grabovskiy. Yandex.
  25. ↑ Mehtab Khan. The Subjects and Stages of AI Dataset Development: A Framework for Dataset Accountability. 13 September 2022.
  26. ↑ GPT-3's free alternative GPT-Neo is something to be excited about. 15 May 2021.
  27. ↑ Alex Andonian. GPT-NeoX: Large Scale Autoregressive Language Modeling in PyTorch. 13 August 2021.
  28. ↑ EleutherAI/gpt-j-6B · Hugging Face. huggingface.co.
  29. ↑ ChatGPT Demo.
  30. ↑ GPT-J-6B: An Introduction to the Largest Open Source GPT Model | Forefront. www.forefront.ai.
  31. ↑ "한국어기반 AI소스 공개합니다 마음껏 쓰세요". 매일경제. 31 October 2022.
  32. ↑ Request Rejected.
  33. ↑ James R. Borck, Martin Heller, Andrew C. Oliver, Ian Pointer, Matthew Tyson and Serdar Yegulalp. The best open source software of 2021. InfoWorld. 18 October 2021.
  34. ↑ James R. Borck, Martin Heller, Andrew C. Oliver, Ian Pointer, Isaac Sacolick, Matthew Tyson and Serdar Yegulalp. The best open source software of 2022. InfoWorld. 17 October 2022.
  35. ↑ VentureBeat presents AI Innovation Awards nominees at Transform 2021. 16 July 2021.
  36. ↑ What's next for AI: Gary Marcus talks about the journey toward robust artificial intelligence. ZDNET.
  37. ↑ Meghmala Chowdhury. Will Powerful AI Disrupt Industries Once Thought to be Safe in 2023?. Analytics Insight. 2022-12-29.
  38. ↑ Kyle Wiggers. Stability AI, Hugging Face and Canva back new AI research nonprofit. 2 March 2023.

Sumber dan atribusi

Konten artikel ini diadaptasi dari Wikipedia bahasa Indonesia, revisi 29528153 (2026-08-05T08:05:57Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Gambar pada artikel ini bersumber dari Wikimedia Commons dan mengikuti ketentuan lisensi masing-masing berkas. Mohon gunakan konten dan media secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.


Diperoleh dari "https://wiki.unissula.ac.id/index.php?title=EleutherAI&oldid=1228"