DeepSeek Buka Kode DeepInfer untuk Mendukung Pemrosesan Model AI pada Berbagai Chip
DeepSeek kembali menarik perhatian industri kecerdasan buatan setelah membuka kode sumber DeepInfer pada 20 Oktober 2026. Framework inferensi ini dirancang untuk membantu menjalankan model AI berskala besar dengan lebih efisien, terutama pada infrastruktur yang menggunakan jenis chip berbeda. Dalam rilis awalnya, DeepInfer mendukung GPU Nvidia berarsitektur SM100 serta NPU Huawei Ascend 950. Langkah tersebut memperlihatkan upaya DeepSeek memperluas pilihan perangkat keras tanpa mengabaikan kebutuhan performa dan efisiensi komputasi. Perkembangan TEKNOLOGI ini membuka peluang bagi pengembang dan perusahaan untuk mempelajari sistem inferensi yang digunakan dalam layanan DeepSeek, sekaligus memahami tantangan penerapannya pada pusat data modern.
DeepSeek Memperkenalkan DeepInfer untuk Infrastruktur Kecerdasan Buatan
DeepSeek mengembangkan DeepInfer sebagai sistem pemrosesan model kecerdasan buatan yang dirancang untuk mendukung beban kerja AI berskala besar. Tidak sama dengan proses pelatihan model yang membutuhkan pembaruan parameter, inferensi merupakan tahap menjalankan model yang sudah dilatih. Dalam proses inferensi, sistem harus mengolah input dan memberikan jawaban dalam waktu yang sesuai. Framework ini dikembangkan untuk meningkatkan efisiensi eksekusi model. Dengan pendekatan ini, DeepSeek berupaya memperluas akses terhadap teknologi inferensi.
Langkah publikasi sumber terbuka DeepInfer memberikan kontribusi baru dalam komunitas pengembangan model bahasa. Proyek sumber terbuka ini tersedia melalui GitHub menggunakan lisensi Apache 2.0. Skema distribusi perangkat lunak ini mendukung pemanfaatan perangkat lunak sesuai aturan penggunaan dan distribusi proyek. Framework yang baru dirilis ini berasal dari teknologi yang digunakan DeepSeek untuk mendukung layanan kecerdasan buatan berskala produksi. Meski berasal dari sistem produksi, rilis publiknya belum mencakup seluruh komponen layanan online. Karena itu, pengembang perlu mempelajari fitur yang telah tersedia.
DeepInfer Mendukung GPU Nvidia dan NPU Huawei Ascend
Kemampuan yang paling menonjol adalah kompatibilitas dengan platform komputasi Nvidia dan Huawei. Pada rilis sumber terbuka pertama, DeepInfer mendukung GPU Nvidia SM100 dan chip pemrosesan kecerdasan buatan Ascend 950. Kompatibilitas awal ini menunjukkan pengembangan yang tidak hanya berfokus pada satu vendor. Pada banyak lingkungan komputasi, variasi perangkat lunak pendukung chip dapat mempersulit pemindahan sistem. Dengan framework tersebut, DeepSeek memperluas pilihan infrastruktur bagi operator AI. Meski demikian, dukungan belum mencakup seluruh jenis akselerator.
Karakteristik masing-masing jenis chip membuat optimasi inferensi menjadi pekerjaan kompleks. Akselerator grafis Nvidia mengandalkan teknologi komputasi CUDA untuk mendukung eksekusi kernel komputasi. Berbeda dengan platform Nvidia, Huawei Ascend memanfaatkan ekosistem CANN yang mendukung operasi pada perangkat keras Huawei. Perbedaan tersebut mengharuskan framework menyediakan implementasi yang sesuai. Karena itu, kemampuan lintas chip bukan berarti performa identik pada seluruh perangkat. Tim teknis sebaiknya menguji kestabilan implementasi sebelum memindahkan pekerjaan penting.
Optimasi Kernel dan Pemrosesan Paralel pada DeepInfer
Sistem inferensi DeepSeek tersebut memanfaatkan sejumlah komponen optimasi komputasi seperti FlashMLA, DeepGEMM, DeepEP, dan TileKernels. Teknologi pendukung tersebut memiliki fungsi dalam pengolahan operasi AI. FlashMLA mendukung perhitungan attention secara efisien, sedangkan DeepGEMM mendukung optimasi perhitungan matematika model. Sementara pustaka DeepEP mendukung komunikasi pada sistem expert parallelism. Melalui perpaduan optimasi kernel, framework berupaya mengurangi hambatan pemrosesan. Meski menawarkan kemampuan optimasi, peningkatan performa perlu dibuktikan melalui benchmark.
Sebagai pelengkap pemrosesan model, DeepInfer mendukung pemrosesan paralel melalui attention data parallelism, context parallelism, serta mixture-of-experts expert parallelism. Pendekatan tersebut membantu mengalokasikan bagian model pada infrastruktur dengan banyak chip. Untuk sistem yang menggunakan berbagai expert, hanya sejumlah expert dipilih untuk token tertentu. Sebagai bagian dari optimasinya, sistem menyertakan pengaturan keseimbangan beban expert agar sumber daya komputasi dapat dimanfaatkan secara efisien. Selain itu, DeepInfer mendukung pengaturan pekerjaan tanpa menunggu secara berlebihan untuk mengurangi jeda antara penjadwalan CPU dan eksekusi perangkat. Pendekatan pemrosesan tersebut membantu meningkatkan efisiensi penggunaan chip.
Fitur Speculative Decoding dan Output Terstruktur DeepInfer
Salah satu kemampuan tambahan DeepInfer adalah speculative decoding. Teknik percepatan ini dirancang mempercepat proses generasi jawaban dengan membuat token draf sebelum diverifikasi. Dalam implementasi DeepInfer, tersedia metode DSpark bersama confidence-scheduled verification untuk mengatur proses pemeriksaan token berdasarkan tingkat keyakinan. Pendekatan tersebut dapat mengurangi hambatan pembangkitan pada jenis pekerjaan yang mendukung. Namun demikian, hasil penggunaan bergantung pada kondisi pemrosesan. Oleh sebab itu, operator sebaiknya mengevaluasi kebutuhan komputasi berdasarkan beban kerja nyata.
Untuk mendukung keluaran yang lebih terkontrol, tersedia fitur structured outputs yang membantu memastikan jawaban mengikuti aturan format. Berkat mekanisme keluaran terstruktur, model bisa menghasilkan keluaran sesuai grammar tertentu berdasarkan ketentuan format yang digunakan. Dukungan format khusus berguna dalam integrasi aplikasi yang membutuhkan data mudah diproses. Dalam penerapan praktis, aplikasi pengelolaan dokumen dapat meminta model menghasilkan JSON berisi ringkasan informasi. Melalui keluaran terstruktur, aplikasi lain lebih mudah membaca hasil. Walaupun formatnya terkontrol, pemeriksaan hasil masih diperlukan sebelum dijadikan dasar tindakan otomatis.
Persyaratan Instalasi DeepInfer untuk Pengembang AI
Pengembang yang ingin mencoba DeepInfer perlu menyiapkan lingkungan komputasi yang sesuai. Menurut persyaratan yang tersedia, DeepInfer menggunakan Linux sebagai platform sistem operasi, Python 3.12, serta GCC versi 13 atau lebih baru. Pada konfigurasi berbasis Nvidia, lingkungan harus mendukung CUDA versi 13. Sementara itu, implementasi Ascend membutuhkan CANN 9.2. Setelah persyaratan terpenuhi, kode sumber dapat diperoleh dari repositori DeepSeek. Pada tahap kompilasi, konfigurasi target perangkat keras harus dipilih melalui variabel DEEPINFER_ACCELERATOR dengan nilai nvidia atau ascend. Langkah konfigurasi tersebut menghindari penggunaan dependensi perangkat yang keliru.
Sesudah lingkungan pengembangan siap, pengguna dapat menjalankan contoh inferensi offline. Dalam versi yang dipublikasikan, DeepInfer menggunakan DeepSeek-V4.1-Flash sebagai model utama yang didukung. Model tersebut tersedia melalui repositori model yang sesuai, dengan penggunaan memori yang perlu dievaluasi. Meski DeepInfer berasal dari sistem produksi, rilis sumber terbuka tidak mencakup keseluruhan komponen operasional produksi. Beberapa bagian penting mencakup sistem pengelolaan KV cache, pemisahan layanan vision encoder, prefill, dan decode, serta load balancing antar-replika. Oleh sebab itu, pengembang harus menyiapkan komponen pendukung.
Dampak DeepInfer terhadap Industri Chip dan Infrastruktur AI
Hadirnya DeepInfer sebagai proyek sumber terbuka mendorong penelitian komputasi kecerdasan buatan. Dukungan terhadap Nvidia dan Huawei memperlihatkan kebutuhan pilihan arsitektur yang lebih beragam. Pada berbagai lingkungan pengembangan model, ketergantungan pada pustaka tertentu dapat membatasi pilihan. Jika dukungan DeepInfer berkembang, operator dapat mengevaluasi alternatif komputasi dengan lebih fleksibel. Walaupun manfaat potensialnya besar, kinerja pada setiap arsitektur harus dibandingkan secara objektif. Pertimbangan teknis penting meliputi waktu pembangkitan token, jumlah permintaan yang diproses, efisiensi penggunaan energi, serta total biaya pengoperasian layanan.
Untuk komunitas pengembang AI, publikasi kode DeepInfer memberikan kesempatan mempelajari optimasi inferensi. Peneliti berpeluang mempelajari implementasi kernel, menguji pengaruh pengaturan komputasi, serta berkontribusi pada penyempurnaan proyek. Berkat model distribusi yang digunakan, kontribusi perangkat lunak berpotensi berkembang. Meski repositori dapat diakses publik, penerapan skala produksi tidak otomatis sederhana. Aplikasi kecerdasan buatan berskala besar membutuhkan kapasitas memori tinggi. Dalam penggunaan nyata, pengembang perlu memahami kompleksitas penerapan sebelum mengadopsinya pada layanan pelanggan.
Perkembangan TEKNOLOGI AI melalui Framework Terbuka DeepInfer
Peluncuran framework DeepInfer dari DeepSeek memberikan kontribusi baru dalam ekosistem inferensi kecerdasan buatan. Dengan dukungan GPU Nvidia SM100 dan NPU Huawei Ascend 950, DeepInfer membuka pilihan arsitektur komputasi yang lebih beragam. Perpaduan teknologi percepatan komputasi, paralelisme, speculative decoding, dan keluaran terstruktur memberikan fondasi untuk inferensi efisien. Walaupun fiturnya cukup luas, rilis publik belum mencakup seluruh komponen produksi. Karena kondisi tersebut, pengujian kompatibilitas dan performa menjadi langkah penting. Di tengah persaingan industri chip AI, DeepInfer dapat membantu penelitian sistem inferensi. Menurut Anda, apakah framework multi-chip seperti DeepInfer akan mendorong persaingan yang lebih sehat dalam industri komputasi? Bagikan pendapat Anda mengenai pengembangan inferensi AI sumber terbuka.
