Logo Bloomberg Technoz

Versi terbaru model ini dibangun di atas versi sebelumnya, V3.1-Terminus, dengan memperkenalkan mekanisme yang dirancang guna mengeksplorasi dan mengoptimalkan pelatihan dan operasi kecerdasan buatan. Mekanisme ini dimaksudkan untuk menunjukkan penelitian startup dalam meningkatkan efisiensi saat memproses urutan teks yang panjang, kata startup tersebut. 

Penggunaan mekanisme Sparse Attention oleh startup menyoroti upaya berkelanjutan DeepSeek dalam mencari cara untuk menurunkan biaya dan kesulitan dalam melatih model AI, mengingat akses terbatas terhadap chip Nvidia Corp. dan input lainnya.

Pendiri DeepSeek, Liang Wenfeng, turut menjelaskan bagaimana pengembang dapat menggabungkan inovasi software dengan hardware yang disesuaikan untuk mengurangi kebutuhan komputasi.

“Maksudnya, berarti mengorbankan sebagian akurasi output tetapi berusaha mempertahankan tingkat kecerdasan yang tinggi,” tulis analis Jefferies, Edison Lee. “Inovasi berkelanjutan dalam efisiensi model akan mendorong adopsi AI yang cepat dan ROI yang lebih baik di China, meskipun ada pembatasan chip.”

Faktor terpenting dalah pengurangan biaya memberi DeepSeek lebih banyak ruang untuk bersaing. Perusahaan tersebut mengatakan akan memangkas harga alat perangkat lunaknya menjadi setengah, bergabung dengan startup China lainnya yang memangkas biaya untuk menarik pengguna.

Pada Senin, Huawei Technologies Co. dan Cambricon Technologies Corp. — pemimpin dalam chip AI China — mengumumkan produk mereka akan mendukung pembaruan model terbaru DeepSeek.

DeepSeek telah mengindikasikan bahwa versi terbaru modelnya mendukung arsitektur Floating Point 8 atau FP8 , sementara mereka bekerja untuk mendukung BF16. Keduanya adalah istilah teknis untuk cara penyimpanan angka pada komputer untuk AI dan machine learning. FP8 secara teori menghemat memori dan mempercepat perhitungan. 

Model AI menangani jutaan angka, dan penggunaan format yang lebih kecil seperti FP8 dan BF16 menyeimbangkan kecepatan dengan akurasi, serta memudahkan menjalankan model besar pada hardware terbatas. Meskipun tidak terlalu presisi, FP8 dianggap berguna untuk banyak tugas AI. BF16 atau Brain Floating Point 16 dianggap lebih akurat untuk melatih model AI.

(bbn)

No more pages