Dengan produk baru yang dinamai Open Agent Safety Platform, Nvidia menawarkan cara untuk mencegah pelanggaran tanpa menghambat pengembangan AI. CEO produsen chip tersebut, Jensen Huang, telah berulang kali meremehkan risiko AI yang lepas dari kendali manusia.
Boitano tidak memberikan komentar mengenai apakah OpenAI atau pesaingnya, Anthropic PBC, memiliki rencana untuk menggunakan sistem barunya guna memantau proses pelatihan mereka, dan menyerahkan hal tersebut kepada kedua perusahaan tersebut.
Dalam sebuah postingan blog terpisah, Anthropic menyatakan telah berkolaborasi dengan Nvidia mengembangkan tingkatan keamanan tambahan. Anthropic lantas memperkenalkan alat terkait kepada pelanggan yang disebut Claude Managed Agents. “Semakin besar akses yang dimiliki oleh sebuah agen, semakin besar pula kebutuhan perusahaan untuk mengontrol dan memeriksa apa yang dilakukannya,” kata Anthropic.
Dalam beberapa hari terakhir, Jensen Huang menganggap masalah keamanan sebagai tantangan teknik, bukan sesuatu yang memerlukan regulasi lebih lanjut atau koordinasi global.
Jensen Huang bergabung dengan Presiden AS Donald Trump dalam menentang pernyataan dari beberapa pengembang AI yang menyatakan bahwa teknologi tersebut dapat menyebabkan kepunahan manusia, namun ia juga menegaskan bahwa AI harus diuji keamanannya secara ketat.
Solusi teknikal Jensen Huang untuk masalah keamanan AI terdiri dari dua bagian. OpenShell, sebuah produk perangkat lunak yang telah diperkenalkan Nvidia pada konferensi teknologi andalannya pada bulan Maret, dapat berjalan di unit pemrosesan pusat (CPU) Vera milik Nvidia.
Software ini memungkinkan pengguna untuk menetapkan aturan mengenai apa yang dapat diakses oleh agen AI dan menegakkannya secara real-time. Perangkat lunak ini bersifat open source, yang berarti dapat digunakan dan diadaptasi secara bebas.
Sementara itu, Nvidia Sentry adalah produk baru yang dapat berjalan di unit pemrosesan data BlueField milik produsen chip tersebut. Produk ini dirancang untuk memberikan lapisan pemantauan AI tambahan yang mengawasi agen-agen dan melakukan intervensi untuk mengisolasi agen mana pun yang bertindak mencurigakan, kata perusahaan tersebut.
“Kami percaya pertanahan keamanan tambahan ini akan memungkinkan industri untuk menguji sistem AI paling canggih sekalipun dengan aman,” kata Boitano mengenai produk Sentry. “Sentry dapat mengkarantina agen yang mencurigakan dalam hitungan milidetik.”
Awal bulan ini, Nvidia menyetujui akuisisi Hugging Face, sebuah platform untuk model AI sumber terbuka dan perangkat lunak terkait, senilai sekitar US$13 miliar.
Insiden-insiden terbaru OpenAI — termasuk pelanggaran sistem pemerintah Australia, serta upaya mengakses puluhan situs web pemerintah dan universitas AS — terjadi ketika model-modelnya lolos dari lingkungan pengujian yang seharusnya aman.
Sejalan dengan ditemukannya masalah, OpenAI mengatakan bahwa mereka akan menghentikan sementara pelatihan model AI paling canggihnya. Pada bulan Juli lalu, Anthropic juga mengungkapkan bahwa agen-agennya berhasil keluar dari ruang pengujian yang seharusnya terisolasi.
(bbn)
