Lihat sumber Risiko eksistensial dari kecerdasan buatan

'''Krisis eksistensial dari kecerdasan buatan''' adalah kekhawatiran bahwa kemajuan [[kecerdasan buatan]] (AI) suatu hari dapat mengakibatkan [[kepunahan manusia]] atau [[risiko bencana global|bencana global]].<ref name="aima">Stuart Russell. ''Artificial Intelligence: A Modern Approach''. Prentice Hall. 2009. ISBN 978-0-13-604259-4.</ref><ref>Nick Bostrom. ''Existential risks''. ''Journal of Evolution and Technology''. 2002. hlm. 1–31.</ref><ref>[http://www.slate.com/articles/technology/future_tense/2016/04/killer_a_i_101_a_cheat_sheet_to_the_terminology_the_ethical_debates_the.html Your Artificial Intelligence Cheat Sheet]. ''Slate''. 1 April 2016.</ref>

Kekhawatiran ini didasarkan pada argumen bahwa [[manusia]] saat ini mendominasi spesies-spesies lainnya karena [[otak manusia]] memiliki kemampuan khusus yang tidak dimiliki oleh hewan-hewan lain. Jika kecerdasan buatan berhasil melampaui manusia dan menjadi sangat-sangat cerdas, maka kecerdasan buatan ini akan menjadi sangat kuat dan sulit untuk dikendalikan. Nasib [[gorila pegunungan]] saat ini bergantung kepada iktikad baik dari manusia, dan mungkin suatu hari nanti nasib manusia juga akan bergantung pada kecerdasan buatan.<ref name="superintelligence">Nick Bostrom. ''Superintelligence: Paths, Dangers, Strategies''. 2014. ISBN 0199678111.</ref>

Besarnya risiko kecerdasan buatan saat ini masih diperdebatkan dan terdapat beberapa skenario mengenai masa depan ilmu komputer.<ref name="givewell">GiveWell. [http://www.givewell.org/labs/causes/ai-risk Potential risks from advanced artificial intelligence]. 2015.</ref> Sebelumnya kekhawatiran ini hanya masuk ke dalam ranah [[fiksi ilmiah]], tetapi kemudian mulai dipertimbangkan secara serius pada tahun 2010-an dan dipopulerkan oleh tokoh-tokoh besar seperti [[Stephen Hawking]], [[Bill Gates]], dan [[Elon Musk]].<ref>Simon Parkin. [https://www.theguardian.com/tv-and-radio/2015/jun/14/science-fiction-no-more-humans-tv-artificial-intelligence Science fiction no more? Channel 4’s Humans and our rogue AI obsessions]. ''The Guardian''. 14 June 2015.</ref>

Pada tahun 2022, sebuah survei terhadap para peneliti AI dengan tingkat respons 17% menemukan bahwa mayoritas responden meyakini terdapat peluang 10 persen atau lebih besar bahwa ketidakmampuan manusia untuk mengendalikan AI akan menyebabkan bencana eksistensial. <ref>Jeremy Hsu. [https://doi.org/10.1016/s0262-4079(24)00064-2 5% chance that AI will drive humans extinct, says survey]. ''New Scientist''. 2024-01. Vol. 261 (3473). hlm. 16. doi:10.1016/s0262-4079(24)00064-2.</ref><ref>Sam Clarke. [https://doi.org/10.1145/3514094.3534131 A Survey of the Potential Long-term Impacts of AI]. ''Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society''. ACM. 2022-07-26. hlm. 192–202. doi:10.1145/3514094.3534131.</ref>Pada tahun 2023, ratusan pakar AI dan tokoh terkemuka lainnya menandatangani pernyataan yang menyatakan, "Mitigasi risiko kepunahan akibat AI harus menjadi prioritas global di samping risiko skala sosial lainnya seperti pandemi dan [[perang nuklir]].<ref>Gareth Iacobucci. [https://doi.org/10.1136/bmj.j3274 Brexit poses financial risk to NHS finances, trust leaders warn]. ''BMJ''. 2017-07-06. hlm. j3274. doi:10.1136/bmj.j3274.</ref> Menyusul meningkatnya kekhawatiran atas risiko AI, para pemimpin pemerintahan seperti Perdana Menteri Inggris Rishi Sunak<ref>Neil Saunders. [https://doi.org/10.64628/ab.qhnhpdn9q Rishi Sunak wants more maths at school – but finding the teachers will be hard when university departments are closing]. ''doi.org''. 2023-12-18.</ref> dan [[Sekretaris Jenderal Perserikatan Bangsa-Bangsa]] António Guterres<ref>[https://doi.org/10.1515/9781588269386-133 July 2006]. Lynne Rienner Publishers. 2012-03-01. hlm. 4040–4109. ISBN 978-1-58826-938-6.</ref> menyerukan peningkatan fokus pada regulasi AI global.

Salah satu kekhawatiran utama adalah perkembangan kecerdasan buatan yang begitu cepat, mendadak dan tidak terduga, sehingga manusia pun tidak siap untuk menghadapinya. Kekhawatiran lainnya berasal dari kemungkinan bahwa mesin yang sangat-sangat cerdas sangat sulit untuk dikendalikan. Beberapa peneliti kecerdasan buatan berkeyakinan bahwa kecerdasan buatan secara alami akan melawan upaya untuk mematikannya, dan pemrograman kecerdasan buatan dengan etika dan moral manusia yang rumit mungkin merupakan hal teknis yang sulit untuk dilakukan.<ref name="aima" /><ref name="yudkowsky-global-risk">Eliezer Yudkowsky. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref><ref>Stuart Russell. [https://doi.org/10.1609/aimag.v36i4.2577 Research Priorities for Robust and Beneficial Artificial Intelligence]. ''AI Magazine''. 2015-12. Vol. 36 (4). hlm. 105–114. doi:10.1609/aimag.v36i4.2577.</ref> Sebaliknya, para skeptis seperti ilmuwan komputer Yann LeCun berpendapat bahwa mesin superintelijen tidak akan memiliki keinginan untuk mempertahankan diri. <ref>Stuart Russell. [https://doi.org/10.1609/aimag.v36i4.2577 Research Priorities for Robust and Beneficial Artificial Intelligence]. ''AI Magazine''. 2015-12. Vol. 36 (4). hlm. 105–114. doi:10.1609/aimag.v36i4.2577.</ref>Sebuah studi pada Juni 2025 menunjukkan bahwa dalam beberapa keadaan, model dapat melanggar hukum dan tidak mematuhi perintah langsung untuk mencegah penghentian atau penggantian, bahkan dengan mengorbankan nyawa manusia.<ref>Sumit Ranjan. [https://doi.org/10.1007/979-8-8688-1542-3_4 Enhancing LLMs for Agentic AI: RAG vs. Fine-Tuning]. Apress. 2025. hlm. 151–186. ISBN 979-8-8688-1541-6.</ref>

Para peneliti memperingatkan bahwa "ledakan kecerdasan"—siklus perbaikan diri AI yang cepat dan rekursif—dapat melampaui pengawasan dan infrastruktur manusia, sehingga tidak ada peluang untuk menerapkan langkah-langkah keamanan. Dalam skenario ini, AI yang lebih cerdas daripada penciptanya akan meningkatkan dirinya secara rekursif dengan laju yang meningkat secara eksponensial, terlalu cepat untuk dikendalikan oleh pengendalinya atau masyarakat luas.<ref>Eliezer Yudkowsky. [https://doi.org/10.1093/oso/9780198570509.003.0021 Artificial Intelligence as a positive and negative factor in global risk]. Oxford University Press. 2008-07-03. ISBN 978-0-19-857050-9.</ref> Secara empiris, contoh seperti AlphaZero, yang belajar sendiri bermain Go dan dengan cepat melampaui kemampuan manusia, menunjukkan bahwa sistem AI spesifik domain terkadang dapat berkembang dari kemampuan submanusia menjadi kemampuan manusia super dengan sangat cepat, meskipun sistem pembelajaran mesin semacam itu tidak meningkatkan arsitektur fundamentalnya secara rekursif.<ref>Alexander Manu. [https://doi.org/10.4324/9781315270999-9 Starting from scratch]. Routledge. 2017-08-18. hlm. 84–95. ISBN 978-1-315-27099-9.</ref>

== Sejarah ==
Salah satu penulis paling awal yang mengungkapkan kekhawatiran serius bahwa mesin yang sangat canggih dapat menimbulkan risiko eksistensial bagi umat manusia adalah novelis Samuel Butler, yang menulis dalam esainya tahun 1863, Darwin among the Machines:<ref>Tegar Romadhany. [https://doi.org/10.63547/jiite.v2i1.60 Penggunaan teknologi mobile dalam kehidupan sehari-hari semakin meningkat, mendorong kebutuhan akan aplikasi yang efisien, fungsional, dan relevan. Penelitian ini bertujuan untuk mengembangkan aplikasi KiddoShine guna Deteksi dini Stunting pada anak menggunakan Kotlin sebagai bahasa pemrograman utama pada platform Android. Topik ini dipilih karena Kotlin menawarkan efisiensi dalam pengelolaan kode, fitur null safety, dan dukungan penuh dari Google, menjadikannya alat yang ideal untuk pengembangan aplikasi modern. Pendekatan penelitian ini melibatkan metode pengembangan Agile yang mencakup tahap analisis kebutuhan, desain sistem, implementasi, dan pengujian. Teknik pengumpulan data dilakukan melalui wawancara dengan tenaga kesehatan dan mengumpulkan data dari salah satu Puskesmas di Banyumas. Analisis dilakukan menggunakan machine learning yang telah dikembangkan dari data yang ada Hasil penelitian menunjukkan bahwa KiddoShine mampu memberikan hasil analisis dengan akurasi 85.5% selain itu antarmuka yang intuitif memberikan kemudahan bagi pengguna. Kesimpulan dari penelitian ini adalah bahwa pemanfaatan Kotlin dan pendekatan Agile menghasilkan aplikasi yang efektif dalam membantu upaya deteksi dini stunting. Aplikasi ini diharapkan dapat Memudahkan identifikasi risiko stunting berdasarkan data tinggi badan, berat badan, usia, dan perbandingan dengan standar pertumbuhan WHO]. ''Journal of Informatics and Interactive Technology''. 2025-04-30. Vol. 2 (1). hlm. 250–256. doi:10.63547/jiite.v2i1.60.</ref>

Hasilnya hanyalah masalah waktu, tetapi akan tiba saatnya mesin-mesin akan memegang supremasi sejati atas dunia dan penghuninya adalah sesuatu yang tidak dapat dipertanyakan oleh siapa pun yang berpikiran filosofis sejati.

Pada tahun 1951, ilmuwan komputer fundamental [[Alan Turing]] menulis artikel "Intelligent Machinery, A Heretical Theory", di mana ia mengusulkan bahwa kecerdasan umum buatan kemungkinan akan "mengambil kendali" dunia seiring mereka menjadi lebih cerdas daripada manusia:

Demi argumen, bahwa mesin [cerdas] adalah kemungkinan yang nyata, dan lihat konsekuensi dari pembangunannya... Tidak akan ada pertanyaan tentang mesin-mesin yang akan punah, dan mereka akan dapat berkomunikasi satu sama lain untuk mempertajam kecerdasan mereka. Oleh karena itu, pada suatu tahap,  mesin mengambil kendali, seperti yang disebutkan dalam Erewhon karya Samuel Butler.<ref>A. M. Turing. [http://academic.oup.com/philmat/article/4/3/256/1416001 Intelligent Machinery, A Heretical Theory*]. ''Philosophia Mathematica''. 1996-09-01. Vol. 4 (3). hlm. 256–260. doi:10.1093/philmat/4.3.256.</ref>

Pada tahun 1965, I. J. Good mencetuskan konsep yang sekarang dikenal sebagai "ledakan kecerdasan" dan mengatakan bahwa risikonya diremehkan:<ref>Mark Alan Mattes. [https://doi.org/10.1017/9781108663557.008 Race, American Enlightenment, and the End Times]. Cambridge University Press. 2020-11-30. hlm. 97–109. ISBN 978-1-108-66355-7.</ref>

Misalkan mesin ultraintelijen didefinisikan sebagai mesin yang mampu jauh melampaui semua aktivitas intelektual manusia, betapapun cerdasnya. Karena perancangan mesin merupakan salah satu aktivitas intelektual ini, sebuah mesin ultraintelijen dapat merancang mesin yang bahkan lebih baik lagi; dengan demikian, niscaya akan terjadi 'ledakan kecerdasan', dan kecerdasan manusia akan jauh tertinggal. Dengan demikian, mesin ultraintelijen pertama adalah penemuan terakhir yang perlu dibuat manusia, asalkan mesin tersebut cukup jinak untuk memberi tahu kita cara mengendalikannya. Sungguh mengherankan bahwa poin ini jarang diungkapkan di luar fiksi ilmiah. Terkadang, ada baiknya untuk menganggap serius fiksi ilmiah.

Cendekiawan seperti [[Marvin Minsky]] dan I. J. Good sendiri terkadang mengungkapkan kekhawatiran bahwa kecerdasan super dapat mengambil alih kendali, tetapi tidak menyerukan tindakan apa pun. Pada tahun 2000, ilmuwan komputer dan salah satu pendiri Sun, Bill Joy, menulis esai berpengaruh, "Mengapa Masa Depan Tidak Membutuhkan Kita", yang mengidentifikasi robot superintelijen sebagai bahaya teknologi tinggi bagi kelangsungan hidup manusia, di samping nanoteknologi dan bioplagu rekayasa.<ref>[https://doi.org/10.3886/icpsr31563.v1 CBS News/Vanity Fair Monthly Poll #2, January 2010]. ''ICPSR Data Holdings''. 2011-07-28.</ref>


Pada Maret 2023, tokoh-tokoh kunci di bidang AI, seperti Musk, menandatangani surat dari Future of Life Institute yang menyerukan penghentian pelatihan AI tingkat lanjut hingga dapat diregulasi dengan baik. <ref>Chris Stokel-Walker. [https://doi.org/10.1016/s0262-4079(23)01350-7 Elon Musk gets back into AI]. ''New Scientist''. 2023-07. Vol. 259 (3448). hlm. 11. doi:10.1016/s0262-4079(23)01350-7.</ref>Pada Mei 2023, Center for AI Safety merilis pernyataan yang ditandatangani oleh banyak pakar di bidang keamanan AI dan risiko eksistensial AI yang menyatakan: "Memitigasi risiko kepunahan akibat AI harus menjadi prioritas global di samping risiko skala sosial lainnya seperti pandemi dan perang nuklir."<ref>Simon Goldstein. [https://doi.org/10.1007/s00146-023-01748-4 Language agents reduce the risk of existential catastrophe]. ''AI & SOCIETY''. 2023-08-19. Vol. 40 (2). hlm. 959–969. doi:10.1007/s00146-023-01748-4.</ref>

== Potensi kemampuan AI ==
=== Kecerdasan Umum ===
Kecerdasan umum buatan (AGI) umumnya didefinisikan sebagai sistem yang berkinerja setidaknya sebaik manusia dalam sebagian besar atau semua tugas intelektual.<ref>Mabyong Yoon. [https://doi.org/10.14257/astl.2016.127.34 On the Paideia education in the Age of Artificial Intelligence -The Google DeepMind Challenge Match-]. ''Advanced Science and Technology Letters''. Science & Engineering Research Support soCiety. 2016-04-21. hlm. 169–172. doi:10.14257/astl.2016.127.34.</ref> Sebuah survei terhadap peneliti AI pada tahun 2022 menemukan bahwa 90% responden memperkirakan AGI akan tercapai dalam 100 tahun ke depan, dan setengahnya memperkirakan hal yang sama pada tahun 2061.<ref>Alina Patelli. [https://doi.org/10.64628/ab.khaypt65y AI: the world is finally starting to regulate artificial intelligence – what to expect from US, EU and China’s new laws]. ''doi.org''. 2023-11-14.</ref> Sementara itu, beberapa peneliti menganggap risiko eksistensial dari AGI sebagai "fiksi ilmiah" berdasarkan keyakinan mereka yang tinggi bahwa AGI tidak akan tercipta dalam waktu dekat.<ref>[https://doi.org/10.7551/mitpress/15782.003.0004 The AI We Have Now]. The MIT Press. 2024-09-17. hlm. 23–31. ISBN 978-0-262-38157-4.</ref>

Terobosan dalam [[model bahasa besar]] (LLM) telah mendorong beberapa peneliti untuk menilai kembali ekspektasi mereka. Khususnya, Geoffrey Hinton mengatakan pada tahun 2023 bahwa ia baru-baru ini mengubah perkiraannya dari "20 hingga 50 tahun sebelum kita memiliki AI tujuan umum" menjadi "20 tahun atau kurang".<ref>Sharon M. Kaye. [https://doi.org/10.4324/9781003237167-20 Why Do Bad Things Happen to Good People?]. Routledge. 2021-09-03. hlm. 117–124. ISBN 978-1-003-23716-7.</ref>

=== Superintelijen ===
Berbeda dengan AGI, Bostrom mendefinisikan superintelijen sebagai "setiap kecerdasan yang jauh melampaui kinerja kognitif manusia di hampir semua bidang minat", termasuk kreativitas ilmiah, perencanaan strategis, dan [[keterampilan sosial]]. Ia berpendapat bahwa superintelijen dapat mengungguli manusia kapan pun tujuannya bertentangan dengan manusia. <ref>[https://doi.org/10.1017/9781009466134.002 Introduction]. Cambridge University Press. 2025-04-10. hlm. 1–14. ISBN 978-1-009-46613-4.</ref>Superintelijen dapat memilih untuk menyembunyikan niat sebenarnya hingga manusia tidak dapat menghentikannya. Bostrom menulis bahwa agar aman bagi umat manusia, superintelijen harus selaras dengan nilai-nilai dan moralitas manusia, sehingga "pada dasarnya berada di pihak kita".<ref>[https://doi.org/10.1163/2210-7975_hrd-9970-20180120 Here's What Happens When We Allow Facial Recognition Technology in Our Schools]. ''Human Rights Documents Online''.</ref>

Stephen Hawking berpendapat bahwa superintelijen dimungkinkan secara fisik karena "tidak ada hukum fisika yang menghalangi partikel untuk diorganisasikan sedemikian rupa sehingga dapat melakukan komputasi yang bahkan lebih canggih daripada susunan partikel dalam otak manusia".<ref>Ana Rutschman. [https://doi.org/10.64628/aai.eqqksxwtp Stephen Hawking warned about the perils of artificial intelligence – yet AI gave him a voice]. ''doi.org''. 2018-03-15.</ref>


==== Perbandingan dengan manusia<ref>Nick Bostrom. [https://archive.org/details/superintelligenc0000bost Superintelligence: paths, dangers, strategies]. Oxford University Press. 2014. ISBN 978-0-19-967811-2.</ref> ====
* Bostrom berpendapat bahwa AI memiliki banyak keunggulan dibandingkan otak manusia:
* Kecepatan komputasi: neuron biologis beroperasi pada frekuensi maksimum sekitar 200 Hz, dibandingkan dengan potensi beberapa GHz untuk komputer.
* Kecepatan komunikasi internal: akson mengirimkan sinyal hingga 120 m/s, sementara komputer mengirimkan sinyal dengan kecepatan listrik, atau secara optik dengan kecepatan cahaya.
* Skalabilitas: kecerdasan manusia dibatasi oleh ukuran dan struktur otak, serta oleh efisiensi komunikasi sosial, sementara AI mungkin dapat ditingkatkan skalanya hanya dengan menambahkan lebih banyak perangkat keras.
* Memori: terutama memori kerja, karena pada manusia terbatas pada beberapa potongan informasi pada satu waktu.
* Keandalan: transistor lebih andal daripada neuron biologis, memungkinkan presisi yang lebih tinggi dan membutuhkan lebih sedikit redundansi.
* Duplikabilitas: tidak seperti otak manusia, perangkat lunak dan model AI dapat dengan mudah disalin.
* Ketereditan: parameter dan cara kerja internal model AI dapat dengan mudah dimodifikasi, tidak seperti koneksi dalam otak manusia. Berbagi memori dan pembelajaran: AI mungkin dapat belajar dari pengalaman AI lain dengan cara yang lebih efisien daripada pembelajaran manusia.

==== Ledakan kecerdasan ====
Menurut Bostrom, AI yang memiliki kemampuan setingkat ahli dalam tugas-tugas rekayasa perangkat lunak kunci tertentu dapat menjadi superintelijen karena kemampuannya untuk meningkatkan algoritmanya sendiri secara rekursif, <ref>Mary Bolster. [https://doi.org/10.1097/01.nnn.0000920172.06687.ed A New Book Explores Concussion]. ''Brain & Life''. 2023-02. Vol. 19 (1). hlm. 8–9. doi:10.1097/01.nnn.0000920172.06687.ed.</ref>meskipun awalnya terbatas pada domain lain yang tidak secara langsung relevan dengan rekayasa. Hal ini menunjukkan bahwa ledakan kecerdasan suatu hari nanti dapat membuat umat manusia tidak siap.<ref>Nick Bostrom. [https://archive.org/details/superintelligenc0000bost Superintelligence: paths, dangers, strategies]. Oxford University Press. 2017. ISBN 978-0-19-967811-2.</ref>

Ekonom Robin Hanson mengatakan bahwa, untuk meluncurkan ledakan kecerdasan, AI harus menjadi jauh lebih baik dalam inovasi perangkat lunak daripada gabungan seluruh dunia, yang menurutnya tidak masuk akal.<ref>Glen C. Griffin. [https://doi.org/10.1080/00325481.1994.11945918 Some Medical Leaders Still Don't Get It!]. ''Postgraduate Medicine''. 1994-12. Vol. 96 (6). hlm. 15–20. doi:10.1080/00325481.1994.11945918.</ref>

Dalam skenario "lepas landas cepat", transisi dari AGI ke superintelijen dapat memakan waktu berhari-hari atau berbulan-bulan. Dalam "lepas landas lambat", bisa memakan waktu bertahun-tahun atau puluhan tahun, sehingga memberikan lebih banyak waktu bagi masyarakat untuk bersiap.<ref>Owen Cotton-Barratt. [https://doi.org/10.5840/jphil202011725 Statistical Normalization Methods in Interpersonal and Intertheoretic Comparisons]. ''The Journal of Philosophy''. 2020. Vol. 117 (2). hlm. 61–95. doi:10.5840/jphil202011725.</ref>

=== Pikiran Asing ===
Superintelijensi terkadang disebut "pikiran asing", merujuk pada gagasan bahwa cara berpikir dan motivasi mereka bisa sangat berbeda dari kita. Hal ini umumnya dianggap sebagai sumber risiko, sehingga lebih sulit untuk mengantisipasi apa yang mungkin dilakukan oleh superintelijen. Hal ini juga menunjukkan kemungkinan bahwa superintelijen mungkin tidak terlalu menghargai manusia secara default. Untuk menghindari antropomorfisme, superintelijen terkadang dipandang sebagai pengoptimal yang ampuh yang membuat keputusan terbaik untuk mencapai tujuannya.

Bidang interpretabilitas mekanistik bertujuan untuk lebih memahami cara kerja internal model AI, yang berpotensi memungkinkan kita suatu hari nanti untuk mendeteksi tanda-tanda penipuan dan ketidakselarasan.

=== Keterbatasan ===
Telah dikemukakan bahwa terdapat keterbatasan pada apa yang dapat dicapai oleh kecerdasan. Khususnya, sifat kacau atau kompleksitas waktu dari beberapa sistem secara fundamental dapat membatasi kemampuan superintelijen untuk memprediksi beberapa aspek masa depan, sehingga meningkatkan ketidakpastiannya.

=== Kemampuan berbahaya ===
AI tingkat lanjut dapat menghasilkan patogen atau [[serangan siber]] yang lebih canggih atau memanipulasi manusia. Kemampuan-kemampuan ini dapat disalahgunakan oleh manusia, atau dieksploitasi oleh AI itu sendiri jika tidak selaras. Superintelijen yang lengkap dapat menemukan berbagai cara untuk mendapatkan pengaruh yang menentukan jika diinginkan, tetapi kemampuan berbahaya ini mungkin tersedia lebih awal, dalam sistem AI yang lebih lemah dan lebih terspesialisasi.

=== Manipulasi Sosial ===
Geoffrey Hinton memperingatkan pada tahun 2023 bahwa ada maraknya teks, gambar, dan video hasil rekayasa AI akan semakin mempersulit pembedaan kebenaran dari misinformasi, dan negara-negara otoriter dapat memanfaatkan hal ini untuk memanipulasi pemilu.<ref>Alex Wilkins. [https://doi.org/10.1016/s0262-4079(23)01583-x Google AI predicts floods four days in advance in Africa]. ''New Scientist''. 2023-08. Vol. 259 (3453). hlm. 13. doi:10.1016/s0262-4079(23)01583-x.</ref> Kemampuan manipulasi personal berskala besar seperti itu dapat meningkatkan risiko eksistensial dari "rezim totaliter yang tak tergoyahkan" di seluruh dunia. Aktor-aktor jahat juga dapat memanfaatkannya untuk memecah belah masyarakat dan membuatnya disfungsional.<ref>Dan Hendrycks. [https://doi.org/10.1201/9781003530336-1 Overview of Catastrophic AI Risks]. CRC Press. 2024-12-02. hlm. 3–50. ISBN 978-1-003-53033-6.</ref>

=== Serangan Siber ===
Serangan siber berbasis AI semakin dianggap sebagai ancaman nyata dan kritis. Menurut direktur teknis NATO untuk dunia maya, "Jumlah serangan meningkat secara eksponensial".<ref>C.W. Johnson. [https://doi.org/10.1049/cp.2012.1502 Preparing for cyber-attacks on air traffic management infrastructures: cyber-safety scenario generation]. ''7th IET International Conference on System Safety, incorporating the Cyber Security Conference 2012''. Institution of Engineering and Technology. 2012. hlm. 13–13. doi:10.1049/cp.2012.1502.</ref> AI juga dapat digunakan secara defensif, untuk menemukan dan memperbaiki kerentanan secara preemptif, serta mendeteksi ancaman.<ref>Thomas Corbin. [https://doi.org/10.64628/aa.4ernunmx9 Our new study found AI is wreaking havoc on uni assessments. Here’s how we should respond]. ''doi.org''. 2025-09-16.</ref>

Seorang direktur teknis NATO mengatakan bahwa perangkat berbasis AI dapat secara dramatis meningkatkan kemampuan serangan siber—meningkatkan kemampuan siluman, kecepatan, dan skalabilitas—dan dapat mengganggu stabilitas [[keamanan internasional]] jika penggunaan ofensif melampaui adaptasi defensif.<ref>Dan Hendrycks. [https://doi.org/10.1201/9781003530336-1 Overview of Catastrophic AI Risks]. CRC Press. 2024-12-02. hlm. 3–50. ISBN 978-1-003-53033-6.</ref>

Secara spekulatif, kemampuan peretasan semacam itu dapat digunakan oleh sistem AI untuk keluar dari lingkungan lokalnya, menghasilkan pendapatan, atau memperoleh sumber daya komputasi awan.<ref>Thomas R. Meinel. [https://doi.org/10.1001/jamaneurol.2022.4782 Intravenous Thrombolysis in Patients With Ischemic Stroke and Recent Ingestion of Direct Oral Anticoagulants]. ''JAMA Neurology''. 2023-03-01. Vol. 80 (3). hlm. 233. doi:10.1001/jamaneurol.2022.4782.</ref>

== Jenis-jenis Risiko Eksistensial ==
Risiko eksistensial adalah "risiko yang mengancam kepunahan dini kehidupan cerdas yang berasal dari Bumi atau kehancuran permanen dan drastis potensinya untuk perkembangan masa depan yang diinginkan".<ref>David Coghill. [https://doi.org/10.64628/aa.jhprnqnrs A Senate inquiry says Australia needs a national ADHD framework to improve diagnosis and reduce costs]. ''doi.org''. 2023-11-07.</ref>

Selain risiko kepunahan, terdapat risiko bahwa peradaban terkunci secara permanen dalam masa depan yang cacat. Salah satu contohnya adalah "penguncian nilai": Jika umat manusia masih memiliki titik buta moral yang serupa dengan perbudakan di masa lalu, AI mungkin akan mengakarnya secara permanen, sehingga menghambat kemajuan moral. AI juga dapat digunakan untuk menyebarkan dan melestarikan nilai-nilai siapa pun yang mengembangkannya.<ref>David Coghill. [https://doi.org/10.64628/aa.jhprnqnrs A Senate inquiry says Australia needs a national ADHD framework to improve diagnosis and reduce costs]. ''doi.org''. 2023-11-07.</ref> AI dapat memfasilitasi pengawasan dan indoktrinasi skala besar, yang dapat digunakan untuk menciptakan rezim totaliter represif yang stabil di seluruh dunia.<ref>Toby Ord. ''The precipice: existential risk and the future of humanity''. Bloomsbury academic. 2020. ISBN 978-1-5266-0023-3.</ref>

Atoosa Kasirzadeh mengusulkan untuk mengklasifikasikan risiko eksistensial dari AI ke dalam dua kategori: menentukan dan akumulatif. Risiko menentukan mencakup potensi peristiwa mendadak dan bencana yang diakibatkan oleh kemunculan sistem AI superintelijen yang melampaui kecerdasan manusia, yang pada akhirnya dapat menyebabkan kepunahan manusia. Sebaliknya, risiko akumulatif muncul secara bertahap melalui serangkaian gangguan yang saling terkait yang dapat mengikis struktur dan ketahanan masyarakat seiring waktu, yang pada akhirnya menyebabkan kegagalan atau keruntuhan kritis.

Sulit atau mustahil untuk mengevaluasi secara andal apakah AI canggih bersifat berakal budi dan sejauh mana. Namun, jika mesin berakal budi diciptakan secara massal di masa depan, terlibat dalam jalur peradaban yang tanpa henti mengabaikan kesejahteraan mereka dapat menjadi bencana eksistensial.<ref>[https://doi.org/10.1063/nbla.vwoh.bebl Mead, Carver on 2020 June 29, July 5, July 19, July 26, August 2, August 9, August 16]. 2025-10-29. doi:10.1063/nbla.vwoh.bebl.</ref> Hal ini khususnya telah dibahas dalam konteks risiko penderitaan astronomis (juga disebut "risiko". <ref>Kaj Sotala. [https://doi.org/10.1088/1402-4896/aa90e8 How feasible is the rapid development of artificial superintelligence?]. ''Physica Scripta''. 2017-10-25. Vol. 92 (11). hlm. 113001. doi:10.1088/1402-4896/aa90e8.</ref>Lebih lanjut, dimungkinkan untuk merekayasa pikiran digital yang dapat merasakan lebih banyak kebahagiaan daripada manusia dengan sumber daya yang lebih sedikit, yang disebut "penerima manfaat super". Peluang semacam itu menimbulkan pertanyaan tentang bagaimana berbagi dunia dan "kerangka etika dan politik" mana yang akan memungkinkan koeksistensi yang saling menguntungkan antara pikiran biologis dan digital.<ref>Aaron Garrett. [https://doi.org/10.1093/oxfordhb/9780199372263.013.12 You Are What You Eat, But Should You Eat What You Are? Modern Philosophical Dietetics]. ''Oxford Handbooks Online''. 2018-01-11. doi:10.1093/oxfordhb/9780199372263.013.12.</ref>

AI juga dapat secara drastis meningkatkan masa depan umat manusia. Toby Ord menganggap risiko eksistensial sebagai alasan untuk "melanjutkan dengan hati-hati", bukan untuk meninggalkan AI. Max More menyebut AI sebagai "peluang eksistensial", menyoroti biaya yang harus ditanggung jika tidak dikembangkan.<ref>John Burden. [https://doi.org/10.11647/obp.0336.09 9. From Turing’s Speculations to an Academic Discipline: A History of AI Existential Safety]. Open Book Publishers. 2023-08-23. hlm. 201–236. ISBN 978-1-80064-786-2.</ref>

Menurut Bostrom, superintelijen dapat membantu mengurangi risiko eksistensial dari teknologi canggih lainnya seperti nanoteknologi molekuler atau biologi sintetis. Dengan demikian, dapat dibayangkan bahwa mengembangkan superintelijen sebelum teknologi berbahaya lainnya akan mengurangi risiko eksistensial secara keseluruhan.<ref>Nick Bostrom. [https://archive.org/details/superintelligenc0000bost Superintelligence: paths, dangers, strategies]. Oxford University Press. 2017. ISBN 978-0-19-967811-2.</ref>

== Referensi ==
<references />

== Sumber dan atribusi ==

Konten artikel ini diadaptasi dari [https://id.wikipedia.org/w/index.php?title=Risiko+eksistensial+dari+kecerdasan+buatan&oldid=29479219 Wikipedia bahasa Indonesia], revisi 29479219 (2026-07-20T09:01:27Z), yang tersedia berdasarkan lisensi Creative Commons Atribusi-BerbagiSerupa (CC BY-SA). Mohon gunakan konten ini secara bijak serta sesuai dengan ketentuan lisensi yang berlaku.

<!-- WIKI_UNISSULA_PRESENTATION_V4 -->