Pengguna di bawah umur di Character.AI sudah diarahkan ke versi layanan yang lebih terbatas, yang menggunakan model AI berbeda dan termasuk batasan seperti membatasi jenis karakter yang dapat diakses dan jenis percakapan yang dapat dilakukan.
Dengan pembatasan baru, perusahaan berencana mulai menggunakan teknologi baru untuk meningkatkan cara verifikasi usia pengguna saat mengarahkan mereka ke pengalaman untuk dewasa atau di bawah 18 tahun. Guna melakukannya, startup tersebut mengembangkan model baru dan akan mulai menggunakan perangkat lunak dari startup verifikasi identitas Persona, kata perusahaan.
Character.AI, OpenAI, dan perusahaan AI terkemuka lainnya semakin mendapat sorotan atas cara chatbot mereka mungkin memengaruhi kesehatan mental pengguna. Sejak 2024, sejumlah gugatan telah diajukan oleh orang tua terhadap perusahaan yang menawarkan chatbot AI, dengan tuduhan bahwa penggunaan teknologi tersebut secara berlebihan menyebabkan berbagai dampak negatif pada anak-anak, termasuk manipulasi, isolasi, dan bahkan kematian akibat bunuh diri.
Regulator juga terlibat dalam masalah ini. Komisi Perdagangan Federal (FTC) meluncurkan penyelidikan terhadap perusahaan-perusahaan termasuk Character.AI, OpenAI, Google milik Alphabet Inc., Meta Platforms Inc., Snap Inc., dan xAI milik Elon Musk terkait potensi dampak buruk yang ditimbulkan oleh chatbot mereka terhadap anak-anak.
California baru-baru ini mengesahkan aturan yang membatasi cara chatbot berinteraksi dengan pengguna. Dan undang-undang bipartisan baru yang diajukan di Senat AS pada Selasa akan melarang perusahaan kecerdasan buatan menyediakan chatbot pendamping untuk anak di bawah umur.
Meetali Jain, Direktur Eksekutif Tech Justice Law Project, yang mewakili orang tua dalam beberapa gugatan yang diajukan terhadap Character.AI, menyebut keputusan untuk menghentikan anak-anak menggunakan chatbot-nya sebagai “langkah awal yang baik,” meskipun langkah tersebut seharusnya diambil oleh perusahaan sebelum meluncurkan software secara awal.
“Selain itu, perubahan ini tidak mengatasi fitur desain mendasar yang memfasilitasi ketergantungan emosional ini — tidak hanya bagi anak-anak, tetapi juga bagi orang dewasa di atas 18 tahun,” kata Jain dalam sebuah pernyataan. “Kita membutuhkan tindakan lebih lanjut dari pembuat kebijakan, regulator, dan masyarakat umum yang, dengan berbagi kisah kerugian pribadi mereka, membantu melawan narasi perusahaan teknologi bahwa produk mereka tak terhindarkan dan bermanfaat bagi semua orang.”
Dalam wawancara pada Selasa, CEO Character.AI, Karandeep Anand, mengatakan bahwa perusahaan melihat masa depan hiburan AI sebagai sesuatu yang jauh lebih dari sekadar percakapan berbasis chat, dan keputusan untuk menghentikan anak di bawah umur menggunakan fitur utama adalah sesuatu yang pada akhirnya akan dilakukan perusahaan.
“Saya pikir apa yang kita pelajari sebagai industri, mengingat seberapa cepat perkembangannya, adalah bahwa ada aspek-aspek yang tidak diketahui tentang apa yang dapat dilakukan oleh percakapan terbuka dan berkelanjutan dalam jangka panjang,” kata Anand. “Kita tidak tahu apakah itu baik atau buruk. Ada banyak perdebatan di komunitas tentang hal ini, baik di kalangan peneliti maupun pengguna.”
Anand mengatakan bahwa perusahaan akan terus menawarkan sejumlah fitur kepada anak-anak yang menggunakan layanan ini, seperti memungkinkan mereka membuat video pendek dan cerita yang dihasilkan oleh AI, termasuk chatbot Character.AI.
“Alasan mengapa pengguna datang ke Character adalah mereka ingin memiliki outlet kreatif. Mereka ingin bisa berperan sebagai karakter,” kata Anand. “Jika Anda telah membuat karakter vampir atau karakter Halloween, kami ingin terus berinteraksi dengan mereka, tetapi kami merasa bahwa daripada hanya melakukannya melalui chatbot, ada cara lain untuk melakukannya.”
Tahun lalu, Google merekrut beberapa anggota kunci tim kepemimpinan Character.AI dan melisensikan teknologi model bahasa besarnya dalam kesepakatan yang menilai startup tersebut senilai US$2,5 miliar. Character.AI tetap beroperasi secara independen setelah kesepakatan tersebut.
(bbn)
