Dalam kasus ChatGPT, ketika ditanya terkait hasil eksperimen tersebut, chatbot menjawab pena berputar sesuai dengan prediksi awalnya.
Menurut artikel tersebut, persoalannya bukan kemampuan AI melihat objek dalam video, karena chatbot dapat mengenali warna dan merek pena. Masalahnya adalah AI tidak memperbarui prediksinya berdasarkan bukti baru.
Walter Quattrociocchi, ilmuwan komputer dari Sapienza University of Rome, mengatakan sistem AI berbasis large language model (LLM) belum dapat memproses suatu kejadian seperti manusia.
“LLM mungkin tidak melakukan pekerjaan sebaik yang kita harapkan untuk tugas-tugas dalam sains, kedokteran, dan bidang lainnya,” tulis Science News berdasarkan temuan tersebut, dikutip Rabu (9/9/2026).
Temuan tersebut kemudian diuji melalui penelitian yang lebih sistematis terhadap agen AI dalam skenario penelitian kimia. Agen AI diberikan akses ke berbagai alat eksternal untuk menjalankan eksperimen dan memperoleh hasilnya.
Sebagian alat merupakan simulasi eksperimen, sementara sebagian lainnya dapat terhubung dengan peralatan laboratorium nyata. Para peneliti kemudian menganalisis 619 tugas penalaran ilmiah yang dikerjakan agen AI. Hasilnya menunjukkan bahwa agen AI mengabaikan bukti setidaknya satu kali dalam 68% tugas.
Selain itu, agen AI membuat klaim tanpa bukti pendukung dalam 53% tugas. Ketika menghadapi bukti yang bertentangan dengan kesimpulan sebelumnya, agen AI hanya berhasil menggunakan bukti tersebut untuk mengubah hasilnya dalam 26% tugas.
N.M. Anoop Krishnan, ilmuwan material dari Indian Institute of Technology Delhi, mengatakan, proses ilmiah manusia berlangsung secara berulang. Peneliti membuat hipotesis, merancang dan melakukan eksperimen. Kemudian kembali mengevaluasi gagasan awal dan mengubahnya jika diperlukan.
“Bahkan ketika Anda memiliki bukti jelas yang menunjukkan bahwa suatu jalur penelitian tidak benar, AI menolak mengubah hipotesis atau rencana,” kata Krishnan.
Penelitian tersebut juga menyoroti model AI yang disebut reasoning models. Model ini dirancang untuk memecah pertanyaan menjadi sejumlah tahapan sebelum menghasilkan jawaban akhir. Namun, kemampuan tersebut belum otomatis membuktikan bahwa AI benar-benar melakukan penalaran seperti manusia.
Subbarao Kambhampati, ilmuwan komputer dari Arizona State University, menilai proses tersebut bisa saja hanya merupakan rekayasa dari cara manusia menggambarkan proses berpikir.
Dia mengibaratkan kondisi tersebut seperti berbicara dengan pelatih kebugaran melalui telepon. Seseorang dapat mengeluarkan suara seolah-olah sedang melakukan latihan dan lalu mengatakan latihan telah selesai, meskipun sebenarnya tidak melakukan apa pun.
Menurut Kambhampati, persoalannya adalah sulit mengetahui apakah sistem benar-benar melakukan penalaran untuk menyelesaikan masalah atau hanya menggunakan pola yang telah dipelajari.
Quattrociocchi bahkan mempertanyakan narasi bahwa AI sedang memasuki bentuk kecerdasan baru yang akan membuat manusia menjadi lebih baik. Menurut dia, AI masih menghasilkan kata-kata dan konten berdasarkan statistik tanpa melakukan verifikasi.
“Arsitektur pengetahuan seperti yang kita kenal sampai sekarang sedang diserang. Sebenarnya, saya takut,” kata Quattrociocchi.
(mef/wep)
