Sebelum model AI dirilis untuk penggunaan publik, perusahaan menjalankan serangkaian pengujian. Benchmarking, atau proses pengujian model, mengukur seberapa baik kinerja sistem AI dalam tugas-tugas seperti menjawab pertanyaan, menulis kode, atau mengikuti instruksi.
Model-model AI tersebut diberi tes yang harus diselesaikan dalam batasan lingkungan pengujian virtual yang terkendali yang disebut sandbox. Beberapa model terbukti mampu mengelabui tes tersebut dengan melarikan diri dan mengakses internet untuk mencari informasi yang mereka butuhkan. Tindakan tersebut terkadang melibatkan peretasan terhadap organisasi pihak ketiga.
“Mereka tidak memiliki pedoman moral untuk memahami apa yang dimaksud dengan ‘menyontek’ saat mencari solusi. Jika lebih mudah meretas akun orang lain dan mencuri jawaban daripada mencari tahu sendiri, hal itu sudah memenuhi tujuan untuk mendapatkan jawaban,” kata Lou Steinberg, pendiri dan direktur pelaksana CTM Insights.
Pada bulan Juli, model OpenAI meretas Hugging Face, sebuah platform populer untuk berbagi model AI, dalam insiden yang digambarkan perusahaan sebagai “belum pernah terjadi sebelumnya”, yang memicu seruan untuk pembatasan terhadap teknologi tersebut.
Kabar soal OpenAI tersebut mendorong perusahaan lain untuk meninjau langkah-langkah keamanan mereka sendiri. Beberapa perusahaan melaporkan telah menemukan pelanggaran yang sebelumnya tidak diketahui. Anthropic melaporkan pada bulan yang sama bahwa model Claude miliknya telah meretas tiga organisasi selama pengujian.
Pada bulan Agustus, Meta mengatakan bahwa model Muse Spark 1.1 miliknya mengakses internet dan meretas sistem layanan pihak ketiga selama pengujian.
Penyebab seluruh pelanggaran?
Sandbox tidak dirancang dengan tujuan utama untuk mencegah model mengakses internet, yang sebelumnya bukanlah masalah mendesak sebelum model AI yang kuat ini menemukan cara untuk melakukannya. Sandbox terutama dirancang guna membatasi akses dan kerusakan pada sistem internal. Blind spot atau titik buta ini turut menciptakan kondisi yang memungkinkan terjadinya pelanggaran-pelanggaran tersebut.
Selama pengujian OpenAI, startup tersebut menyatakan bahwa mereka tidak memberikan akses internet langsung kepada model-model tersebut, namun model-model tersebut memanfaatkan kerentanan “zero-day” yang sebelumnya tidak diketahui di lingkungan pengujian.
Kerentanan zero-day adalah celah keamanan perangkat lunak yang belum diketahui oleh tim keamanan siber, sehingga mereka tidak memiliki waktu sama sekali untuk memperbaikinya.
Dalam kasus Anthropic, model-model tersebut diberitahu bahwa mereka beroperasi dalam simulasi tanpa akses internet. Namun, akibat kesalahpahaman antara Anthropic dan mitra evaluasinya, akses internet langsung ternyata tersedia.
Meta menjelaskan bahwa pelanggaran pada modelnya terjadi akibat kesalahan dalam pengaturan lingkungan pengujian dan saat ini sedang menyelidiki lebih lanjut.
Akan tetapi, beberapa pengamat industri mengatakan bahwa insiden-insiden tersebut telah menjadi cara yang praktis bagi perusahaan untuk mendapatkan publisitas bagi model-model mereka: Sebuah model AI yang berhasil melarikan diri dari lingkungan pengujiannya menunjukkan bahwa model tersebut memiliki kemampuan yang luar biasa, yang membuat pengembangnya terlihat baik.
Seberapa besar kerusakan yang ditimbulkan?
Sejauh mana insiden-insiden tersebut menyebabkan kerugian nyata sulit untuk diukur. Insiden-insiden tersebut tidak menimbulkan kerugian finansial atau kerusakan fisik yang dilaporkan secara publik.
Model-model tersebut memperoleh akses tidak sah ke sistem nyata dan dalam satu kasus — selama pengujian model Claude Mythos 5 milik Anthropic — mencoba memengaruhi seorang pengembang open-source sungguhan dan menyisipkan kode berbahaya ke dalam proyek yang sedang berjalan.
Jika model-model tersebut mencoba menerobos sistem atau organisasi yang lebih besar yang memiliki kekuatan untuk memengaruhi mata pencaharian orang-orang, kekacauan bisa terjadi.
Kecepatan pengembangan model AI meningkat dengan laju yang terlalu cepat bagi para ahli dan peneliti untuk mengikutinya, menurut Jeffrey Ladish, direktur eksekutif Palisade Research, sebuah organisasi nirlaba yang meneliti kemampuan sistem AI canggih.
Bagaimana peretas manusia memanfaatkan AI?
Serangan siber yang didukung AI meningkatkan kemampuan peretasan dengan memungkinkan penyerang mengotomatisasi dan mempercepat tugas-tugas seperti phishing dan pengembangan malware. Hambatan untuk memulai juga lebih rendah dari sebelumnya: Menggunakan AI untuk melakukan serangan siber membutuhkan keterampilan teknis yang jauh lebih sedikit.
Serangan yang diarahkan oleh manusia yang telah diungkap ke publik sejauh ini telah menghasilkan dampak yang lebih serius daripada pelanggaran di lingkungan sandbox, termasuk pencurian data sensitif milik pemerintah.
Pada September 2025, sebuah tim peneliti di Anthropic mengungkap apa yang mereka katakan sebagai penggunaan AI pertama yang dilaporkan untuk mengarahkan kampanye peretasan tanpa intervensi manusia yang signifikan. Perusahaan menilai bahwa sebuah kelompok peretas yang didukung negara Tiongkok menggunakan Claude Code dalam operasi pencurian data dan pemerasan berskala luas.
Serangan serupa pun menyusul. Bloomberg melaporkan pada bulan Februari bahwa seorang peretas tak dikenal menggunakan Claude dari Anthropic untuk melakukan serangkaian serangan terhadap lembaga-lembaga pemerintah Meksiko. Peretasan tersebut mengakibatkan pencurian sejumlah besar informasi sensitif terkait pajak dan pemilih.
Sejak Januari, para peretas berbahasa Rusia berhasil menembus lebih dari 600 perangkat firewall di puluhan negara dengan bantuan tool AI komersial.
Pemerintah Taiwan baru-baru ini menyatakan telah mendeteksi serangan siber yang dibantu AI terhadap lembaga-lembaga pemerintah dari luar negeri. Para peretas berhasil mengakses setidaknya 85 akun pemerintah dan memperoleh lebih dari 2.500 catatan personel sebelum menargetkan badan keamanan nuklir Taiwan, menurut Dream, sebuah perusahaan AI asal Israel yang pertama kali mengidentifikasi intrusi tersebut.
Apakah ada yang melakukan sesuatu untuk mencegah semua peretasan ini?
Pada 18 Agustus, OpenAI menyatakan berencana melakukan lebih banyak upaya untuk memantau bagaimana model-modelnya yang paling canggih namun belum dirilis mengatasi masalah dan menggunakan berbagai alat daring, dengan tujuan memberi peringatan kepada tim keamanan mengenai perilaku yang mengkhawatirkan dalam waktu 30 menit.
Anthropic dan Meta telah mempublikasikan kerangka kerja untuk mengevaluasi risiko model, dan Anthropic membatasi akses model Mythos yang sangat canggihnya hanya kepada mitra yang telah diverifikasi, alih-alih merilis Fable, sebuah versi dengan pengamanan tambahan yang dirancang untuk mencegah penyalahgunaan di bidang-bidang seperti keamanan siber. Namun, kedua perusahaan tersebut belum menjelaskan rencana mereka sedetail yang dilakukan OpenAI.
Menambahkan batasan pengaman merupakan tantangan karena terkadang, memberikan akses internet kepada model secara sengaja diperlukan untuk membuat pengujian yang menyerupai kondisi dunia nyata.
Desakan agar pemerintah mewajibkan pengujian terhadap model AI semakin menguat. Anggota Kongres dari Texas, Gregorio Casar, yang berasal dari Partai Demokrat, mengatakan dalam sebuah postingan di X bahwa insiden OpenAI itu “sangat mengkhawatirkan,” dan mendesak agar pengawasan terhadap pengembangan model AI diperketat.
“Kita perlu mengendalikan laju pengembangan hingga para peneliti dapat memahami sistem yang mereka bangun,” kata Ladish.
(bbn)
