OpenAI bergabung dengan serangkaian aksi pengembangkan chip AI oleh internal perusahaan — sebuah bidang yang saat ini didominasi oleh Nvidia.
Chip baru ini diharapkan dapat secara signifikan mengurangi biaya bagi OpenAI seiring dengan peluncurannya yang lebih luas, kata Ho dalam acara Bloomberg Tech pada hari Selasa.
“Ini adalah chip yang sangat bagus — seharusnya dapat menurunkan biaya secara signifikan,” urai dia.
OpenAI bertujuan untuk menangani lebih banyak tugas AI dengan chip buatannya sendiri, selama OpenAI dapat meningkatkan produksi Jalapeno dan penghematan biaya yang dihasilkan sesuai dengan yang diharapkan, terang dia.
OpenAI mengembangkan Jalapeno melalui kemitraan dengan Broadcom Inc., yang memproduksi chip khusus untuk berbagai klien. Kedua perusahaan tersebut, yang mengumumkan kerja sama mereka tahun lalu, memuji kecepatan pengembangan prosesor tersebut pada bulan Juni, dengan menyatakan bahwa prosesnya diselesaikan dalam waktu rekor.
Dalam ukuran normal, beberapa chip lebih unggul dalam menjalankan tugas AI, sementara yang lain lebih unggul dalam respons cepat, namun demikian Jalapeno menawarkan keduanya, kata Ho. OpenAI akan menentukan model AI mana yang akan dijalankan di Jalapeno, katanya, sehingga pelanggan dapat memperoleh manfaat dengan memilih opsi yang menawarkan penghematan biaya atau kinerja yang lebih baik.
“Di laboratorium, Jalapeno menunjukkan kinerja baik di bidang high-throughput—hal ini berarti chip akan mampu melayani banyak pelanggan dengan biaya lebih murah—maupun di bidang latensi rendah, yang berarti bagi pelanggan yang mengutamakan hal ini, waktu responsnya akan sangat, sangat cepat,” kata Ho.
Oleh karena chip ini mencapai hasil yang kuat pada tegangan rendah — 700 watt — Jalapeno akan memungkinkan OpenAI menghemat biaya saat mengoperasikan pusat datanya, di mana listrik merupakan biaya utama, ucap dia.
Jalapeno belum diuji melawan chip Nvidia generasi baru, Vera Rubin, yang baru saja mulai dikirimkan. Chip ini juga tidak dirancang untuk melatih model AI, bidang di mana teknologi Nvidia unggul. Jalapeno ditujukan untuk fase inferensi AI — tahap ketika model telah dilatih dan dapat mulai merespons perintah serta menangani tugas.
Keunggulan kecepatan Jalapeno sedemikian rupa sehingga OpenAI dapat mencapai hasil yang sebelumnya hanya mungkin dicapai dengan chip yang menggunakan jenis memori dan desain berbeda. Ambil contoh, OpenAI saat ini mengandalkan teknologi Cerebras Systems Inc. untuk beberapa modelnya. Namun, chip semacam itu paling cocok untuk model yang lebih kecil, kata Ho.
Sebaliknya, Jalapeno mampu menangani model yang lebih besar, katanya. Meski demikian, teknologi OpenAI tidak akan menggantikan penyedia seperti Cerebras dalam waktu dekat, kata Ho.
“Kami sangat membutuhkan daya komputasi, itulah sebabnya kami bekerja sama dengan begitu banyak penyedia yang berbeda. Hal itu akan terus berlanjut untuk sementara waktu.”
Ho akan berbicara pada hari Selasa di Universitas Stanford pada sebuah konferensi. Ho mengatakan bahwa OpenAI ingin terbuka mengenai apa yang telah dilakukannya guna membantu mendorong inovasi di bidang chip AI.
Startup lain juga sedang menggarap ide serupa. Etched, yang pekan lalu mengumumkan telah menggalang dana dengan valuasi US$21 miliar, mulai mengirimkan chip bertegangan rendah. Sementara itu, perusahaan MatX—yang didirikan oleh dua mantan karyawan divisi semikonduktor Google—sedang mengembangkan chip yang bertujuan mencapai throughput tinggi sekaligus latensi rendah.
OpenAI secara terbuka menguji chip barunya menggunakan salah satu model open-source berukuran lebih kecil miliknya, serta model pihak ketiga dari DeepSeek dan Moonshot AI. Jalapeno memberikan keunggulan yang lebih signifikan pada model Kimi milik Moonshot, yang merupakan model terbesar yang diuji oleh OpenAI.
Selama pengujian internal, chip ini juga menunjukkan kinerja yang baik saat menjalankan beberapa model besar dan canggih milik OpenAI yang belum dirilis. Hal ini menunjukkan bahwa desain chip tersebut “menjadi semakin berharga seiring bertambahnya beban kerja dan meningkatnya tuntutan,” kata perusahaan tersebut dalam sebuah postingan blog.
OpenAI mengatakan bahwa mereka menggunakan model AI miliknya sendiri untuk mengembangkan chip tersebut dengan lebih cepat. Versi kedua sudah berada pada tahap pengembangan yang cukup lanjut. Perusahaan berharap dapat menyelesaikan tahap “tape-out” chip — tahap akhir dalam proses desain — dalam “beberapa bulan mendatang,” kata Ho.
OpenAI sudah merancang konsep untuk generasi ketiga, seiring upaya perusahaan untuk menurunkan biaya infrastruktur AI berskala besar yang sedang dibangunnya di seluruh dunia. “Kami berada pada tingkat biaya dan konsumsi daya yang akan menurunkan biaya infrastruktur,” kata Ho. “Ini adalah langkah pertama.”
Walau OpenAI memamerkan hasil karyanya sendiri dan membandingkannya dengan Nvidia, Ho dengan tegas menyatakan bahwa perusahaannya masih menganggap Nvidia sebagai pemasok chip utama. “Nvidia adalah mitra yang sangat baik, dan kami masih sangat membutuhkan banyak produk dari Nvidia,” pungkas Ho.
(bbn)
