Lihat sumber EleutherAI

[[File:EleutherAI_logo.svg|thumb|right|280px|EleutherAI logo]]

'''EleutherAI''' (<ref>[https://www.youtube.com/watch?v=SpiXLeLkpcw&list=WL&index=4&ab_channel=TheInferencePodcast Talk with Stella Biderman on The Pile, GPT-Neo and MTG]. The Interference Podcast. 2021-04-02.</ref>) adalah sebuah lembaga penelitian [[kecerdasan buatan]] nirlaba. Kelompok yang dianggap sebagai versi sumber terbuka dari [[OpenAI]] ini,<ref>Craig Smith. [https://spectrum.ieee.org/eleutherai-openai-not-open-enough EleutherAI: When OpenAI Isn't Open Enough]. ''IEEE Spectrum''. IEEE. 2022-03-21.</ref> terbentuk dalam sebuah [[peladen]] [[Discord]] untuk memulai program replikasi GPT-3. Pada awal 2023, kelompok ini secara formal berdiri sebagai EleutherAI Foundation, sebuah lembaga penelitian nirlaba.<ref>Kyle Wiggers. [https://techcrunch.com/2023/03/02/stability-ai-hugging-face-and-canva-back-new-ai-research-nonprofit/ Stability AI, Hugging Face and Canva back new AI research nonprofit]. ''TechCrunch''. 2023-03-02.</ref>

== Sejarah ==
EleutherAI berawal dari sebuah peladen di [[Discord]] pada Juli 2020 dengan nama tentatif "LibreAI" sebelum melakukan penjenamaan ulang menjadi "EleutherAI" pada akhir bulan tersebut,<ref>Connor Leahy. [https://blog.eleuther.ai/year-one/ What A Long, Strange Trip It's Been: EleutherAI One Year Retrospective]. ''EleutherAI Blog''. 2021-07-07.</ref> nama ini merujuk pada eleutheria, sebuah istilah [[bahasa Yunani]] kuno untuk [[libertas]].<ref>Craig Smith. [https://spectrum.ieee.org/eleutherai-openai-not-open-enough EleutherAI: When OpenAI Isn't Open Enough]. ''IEEE Spectrum''. IEEE. 2022-03-21. Smith, Craig (21 March 2022). [https://spectrum.ieee.org/eleutherai-openai-not-open-enough "EleutherAI: When OpenAI Isn't Open Enough"]. ''IEEE Spectrum''. IEEE . Retrieved 8 August 2023 .</ref>

Pada 30 Desember 2020, EleutherAI merilis The Pile, sebuah kumpulan data yang berisikan teks untuk melatih [[model bahasa besar]]. Walaupun artikel akademis terkait mereferensikan keberadaan model GPT-Neo, model tersebut tidak dirilis hingga 21 Maret 2021.<ref>[https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/ GPT-3's free alternative GPT-Neo is something to be excited about]. ''VentureBeat''. 2021-05-15.</ref> Menurut sebuah artikel kilas balik yang ditulis beberapa bulan kemudian, penulis tidak menyangka bahwa "orang-orang akan sangat peduli terhadap model kecil kami."<ref>Connor Leahy. [https://blog.eleuther.ai/year-one/ What A Long, Strange Trip It's Been: EleutherAI One Year Retrospective]. 2021-07-07.</ref> Pada 9 Juni 2021, EleutherAI merilis GPT-J-6B, sebuah model bahasa dengan enam miliar parameter yang juga merupakan model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia.<ref>[https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model GPT-J-6B: An Introduction to the Largest Open Source GPT Model Forefront]. ''www.forefront.ai''.</ref> Kumpulan model bahasa tersebut dirilis di bawah [[Lisensi Apache|lisensi Apache 2.0]] dan dianggap telah "menyalakan gelombang [[perusahaan rintisan]] yang benar-benar baru".<ref>Kyle Wiggers. [https://techcrunch.com/2023/03/02/stability-ai-hugging-face-and-canva-back-new-ai-research-nonprofit/ Stability AI, Hugging Face and Canva back new AI research nonprofit]. ''TechCrunch''. 2023-03-02. Wiggers, Kyle (2 March 2023). [https://techcrunch.com/2023/03/02/stability-ai-hugging-face-and-canva-back-new-ai-research-nonprofit/ "Stability AI, Hugging Face and Canva back new AI research nonprofit"]. ''TechCrunch'' . Retrieved 8 August 2023 .</ref>

Setelah dirilisnya [[DALL-E]] oleh OpenAI pada Januari 2021, EleutherAI mulai bekerja pada model [[Seni kecerdasan buatan|sintesis teks-ke-gambar]]. Ketika OpenAI tidak merilis DALL-E secara luas, Katherine Crowson dari EleutherAI dan [[seniman]] digital Ryan Murdock mengembangkan sebuah teknik untuk menggunakan CLIP (model lain yang dikembangkan oleh OpenAI) untuk menkonversi model generatif gambar biasa menjadi model sintesis teks-ke-gambar.<ref>LJ MIRANDA. [https://ljvmiranda921.github.io/notebook/2021/08/08/clip-vqgan/ The Illustrated VQGAN]. ''ljvmiranda921.github.io''.</ref><ref>[https://www.nylon.com/life/images-ai-art-twitter-machine-learning Inside The World of Uncanny AI Twitter Art]. ''Nylon''.</ref><ref>[https://www.yahoo.com/lifestyle/ai-turns-movie-text-descriptions-152546287.html This AI Turns Movie Text Descriptions Into Abstract Posters]. ''Yahoo Life''.</ref><ref>Katyanna Quach. [https://www.theregister.com/2021/08/22/in_brief_ai/ A man spent a year in jail on a murder charge involving disputed AI evidence. Now the case has been dropped]. ''www.theregister.com''.</ref> Dengan pijakan ide dari Google [[DeepDream]],<ref>[https://ml.berkeley.edu/blog/posts/clip-art/ Alien Dreams: An Emerging Art Scene - ML@B Blog]. ''Alien Dreams: An Emerging Art Scene - ML@B Blog''.</ref> mereka menemukan kesuksesan menggabungkan CLIP dengan model lainnya yang tersedia secara luas yang disebut VQGAN, hasilnya dikenal sebagai VQGAN-CLIP.<ref>[https://www.eleuther.ai/artifacts/vqgan-clip VQGAN-CLIP]. ''EleutherAI''.</ref> Crowson merilis teknologi ini dengan mengirimkan tweet berupa notebook Jupyter yang mendemonstrasikan teknik di mana khalayak umum dapat menggunakannya secara gratis tanpa peralatan khusus.<ref>[https://www.abc.net.au/news/science/2021-07-15/ai-art-tool-makes-paintings-of-australia/100288386 We asked an AI tool to 'paint' images of Australia. Critics say they're good enough to sell]. 14 July 2021.</ref><ref>Poornima Nataraj. [https://analyticsindiamag.com/online-tools-to-create-mind-blowing-ai-art/ Online tools to create mind-blowing AI art]. ''Analytics India Magazine''. 28 February 2022.</ref><ref>[https://www.vice.com/en/article/qjbb3w/woman-making-viral-portraits-of-mental-health-on-tiktok Meet the Woman Making Viral Portraits of Mental Health on TikTok]. ''www.vice.com''.</ref> Karya ini dianggap oleh [[Direktur utama|Direktur Utama]] [[Stable Diffusion|Stability AI]] Emad Mostaque sebagai salah satu motivasi dalam pendirian Stability AI.

== Penelitian ==
Menurut situs web mereka, EleutherAI adalah sebuah perkumpulan kolektif yang terdiri dari peneliti sukarelawan, insinyur, dan pengembang yang berfokus pada [[Masalah pengendalian kecerdasan buatan|pengendalian kecerdasan buatan]], penskalaan, dan penelitian [[kecerdasan buatan]] dengan [[sumber terbuka]]".<ref>[https://eleuther.ai/ EleutherAI Website]. EleutherAI.</ref> Walaupun mereka tidak menjual teknologi mereka sebagai produk, mereka memublikasikan hasil penelitian mereka dalam ranah akademis, menulis postingan [[blog]] mengenai ide dan metodologi mereka, dan menyediakan model terlatih untuk siapapun secara gratis.

=== The Pile ===
The Pile adalah sebuah kumpulan data berukuran 886 GB yang dirancang untuk melatih model bahasa besar. Awalnya dikembangkan oleh EleutherAI untuk melatih model GPT-Neo tetapi kumpulan data juga digunakan untuk melatih model lainnya, seperti [[Microsoft]] Megatron-Turing Natural Language Generation,<ref>[https://venturebeat.com/ai/microsoft-and-nvidia-team-up-to-train-one-of-the-worlds-largest-language-models/ Microsoft and Nvidia team up to train one of the world's largest language models]. 11 October 2021.</ref><ref>[https://lifearchitect.ai/megatron/ AI: Megatron the Transformer, and its related language models]. 24 September 2021.</ref> [[Meta Platforms|Meta AI]] Open
Pre-trained Transformers, LLaMA, dan Galactica, [[Universitas Stanford|Stanford University]] BioMedLM 2.7B,<ref>[https://huggingface.co/stanford-crfm/BioMedLM Model Card for BioMedLM 2.7B]. ''huggingface.co''.</ref> Beijing Academy of Artificial Intelligence
Chinese-Transformer-XL,<ref>Sha Yuan. [https://www.sciencedirect.com/science/article/pii/S2666651021000152 WuDaoCorpora: A super large-scale Chinese corpora for pre-training language models]. ''AI Open''. 1 January 2021. Vol. 2. hlm. 65–68. doi:10.1016/j.aiopen.2021.06.001.</ref> dan [[Yandex]] YaLM 100B.<ref>Grabovskiy. Yandex.</ref> Ketimbang kumpulan data lainnya, fitur yang membedakan The Pile adalah seleksi data yang dilakukan oleh para peneliti di EleutherAI untuk memastikan bahwa informasi yang digunakan layak untuk pelatihan dan merupakan satu-satunya kumpulan data yang didokumentasikan secara lengkap oleh peneliti yang mengembangkannya.<ref>Mehtab Khan. [https://papers.ssrn.com/abstract=4217148 The Subjects and Stages of AI Dataset Development: A Framework for Dataset Accountability]. 13 September 2022.</ref>

=== Model-model GPT ===
Penelitian yang paling terkenal dari EleutherAI berhubungan dengan model bahasa besar yang terinspirasi dari OpenAI GPT-3.<ref>[https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/ GPT-3's free alternative GPT-Neo is something to be excited about]. 15 May 2021.</ref> Seri model GPT-Neo terdiri dari model dengan parameter sejumlah 125 juta, 1.3 miliar, 2.7 miliar, 6 miliar, dan 20 miliar.

* GPT-Neo (125JT, 1.3M, 2.7M):<ref>Alex Andonian. [https://www.github.com/eleutherai/gpt-neox GPT-NeoX: Large Scale Autoregressive Language Modeling in PyTorch]. 13 August 2021.</ref>  dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.
* GPT-J (6M):<ref>[https://huggingface.co/EleutherAI/gpt-j-6B EleutherAI/gpt-j-6B · Hugging Face]. ''huggingface.co''.</ref><ref>[https://chatgpt-demo.com ChatGPT Demo].</ref> dirilis pada Maret 2021, model ini adalah model bahasa mirip GPT-3 dengan sumber terbuka terbesar di dunia saat dirilis.<ref>[https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model GPT-J-6B: An Introduction to the Largest Open Source GPT Model | Forefront]. ''www.forefront.ai''.</ref>
* GPT-NeoX (20M): dirilis pada Februari 2022, model ini adalah model bahasa dengan sumber terbuka terbesar di dunia saat dirilis.

Walaupun mayoritas dari model bahasa besar dilatih dalam [[bahasa Inggris]] ataupun bahasa Tionghoa, EleutherAI juga melatih model bahasa dalam bahasa lainnya, seperti Polyglot-Ko dalam bahasa Korea.<ref>[https://www.mk.co.kr/news/it/10509517 "한국어기반 AI소스 공개합니다 마음껏 쓰세요"]. ''매일경제''. 31 October 2022.</ref>

== Tanggapan publik ==
=== Pujian ===
Pekerjaan EleutherAI untuk mendemokratisasi GPT-3 telah mendapatkan banyak pujian dari sejumlah pegiat sumber terbuka. Mereka memenangi [[Organisasi Pendidikan, Keilmuan, dan Kebudayaan Perserikatan Bangsa-Bangsa|UNESCO]] Netexplo Global Innovation Award pada 2021,<ref>[https://www.unesco.org/en/articles/unesco-netexplo-forum-2021 Request Rejected].</ref> InfoWorld Best of Open Source Software Award pada 2021<ref>James R. Borck, Martin Heller, Andrew C. Oliver, Ian Pointer, Matthew Tyson and Serdar Yegulalp. [https://www.infoworld.com/article/3637038/the-best-open-source-software-of-2021.html The best open source software of 2021]. ''InfoWorld''. 18 October 2021.</ref> pada 2022,<ref>James R. Borck, Martin Heller, Andrew C. Oliver, Ian Pointer, Isaac Sacolick, Matthew Tyson and Serdar Yegulalp. [https://www.infoworld.com/article/3676829/the-best-open-source-software-of-2022.html The best open source software of 2022]. ''InfoWorld''. 17 October 2022.</ref> dan dinominasikan untuk [[VentureBeat]] AI Innovation Award pada 2021.<ref>[https://venturebeat.com/business/venturebeat-presents-ai-innovation-awards-nominees-at-transform-2021/ VentureBeat presents AI Innovation Awards nominees at Transform 2021]. 16 July 2021.</ref>

Gary Marcus, seorang peneliti kognitif dan pengkritik badan usaha [[pemelajaran dalam]] seperti OpenAI dan [[DeepMind]],<ref>[https://www.zdnet.com/article/the-next-decade-in-ai-gary-marcus-four-steps-towards-robust-artificial-intelligence/ What's next for AI: Gary Marcus talks about the journey toward robust artificial intelligence]. ''ZDNET''.</ref> berulang kali memuji dedikasi EleutherAI terhadap penelitian sumber terbuka dan transparan.

Maximilian Gahntz, seorang peneliti kebijakan senior di [[Mozilla Foundation]], memuji upaya EleutherAI dalam memberikan kemampuan bagi para peneliti untuk melakukan audit dan mengukur teknologi kecerdasan buatan. "Jika model-model bersifat terbuka dan jika kumpulan data bersifat terbuka, ini akan memungkinkan lebih banyak penelitian kritis yang menunjukan banyaknya kekurangan dan kekacauan yang berkaitan dengan [[kecerdasan buatan generatif]] dan itu sering kali lebih sulit untuk dilakukan."<ref>Meghmala Chowdhury. [https://www.analyticsinsight.net/will-powerful-ai-disrupt-industries-once-thought-to-be-safe-in-2023/ Will Powerful AI Disrupt Industries Once Thought to be Safe in 2023?]. ''Analytics Insight''. 2022-12-29.</ref>

=== Kritikan ===
Jurnalis teknologi Kyle Wiggers menyampaikan kekhawatiran mengenai apakah EleutherAI benar-benar independen seperti klaim mereka, atau "keterlibatan ventura komersil seperti [[Stable Diffusion|Stability AI]] dan Hugging Face — keduanya dibekingi oleh [[modal ventura]] yang cukup besar — mungkin memengaruhi penelitian EleutherAI."<ref>Kyle Wiggers. [https://techcrunch.com/2023/03/02/stability-ai-hugging-face-and-canva-back-new-ai-research-nonprofit/ Stability AI, Hugging Face and Canva back new AI research nonprofit]. 2 March 2023.</ref>

== Referensi ==
<references />

== Sumber dan atribusi ==

Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=EleutherAI&oldid=29528153 Wikipedia bahasa Indonesia], revisi 29528153 (2026-08-05T08:05:57Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Gambar pada artikel ini bersumber dari Wikimedia Commons dan mengikuti ketentuan lisensi masing-masing berkas. Mohon gunakan konten dan media secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.

<!-- WIKI_UNISSULA_PRESENTATION_V4 -->