Ada kabar menarik dari dunia teknologi yang bikin kita semua terkesima! Perusahaan asal Taiwan, Skymizer, baru saja meluncurkan akselerator AI PCIe yang bisa dibilang cukup revolusioner. Mereka menantang dominasi AMD dan Nvidia dengan menggunakan teknologi yang mungkin tergolong ‘lama’.
Kartu HTX301 milik Skymizer bisa menjalankan model bahasa sampai 700 miliar parameter hanya dengan menggunakan daya 240 watt. Yup, kamu tidak salah baca! Inilah yang membuat kartu ini menarik perhatian banyak orang.
Kunci dari kehebatan kartu ini ada pada penggunaan chip 28-nanometer yang sudah tergolong tua, bersama memori standar LPDDR4 dan LPDDR5, alih-alih menggunakan solusi yang lebih mahal seperti HBM atau GDDR. Dan hasilnya? Satu kartu HTX301 mampu mengolah 30 token per detik dengan performa 0.5 TOPS dan bandwidth mencapai 100 GB per detik.
HTX301 dibangun di atas platform HyperThought milik Skymizer, yang dilengkapi dengan LPU IP generasi berikutnya yang dirancang khusus untuk beban kerja model bahasa besar. Setiap kartu PCIe mengandung enam chip HTX301 yang bekerja sama, dengan kapasitas total memori hingga 384 GB. Menggunakan teknik kompresi yang efisien untuk bobot dan cache KV, kartu ini bahkan mengungguli llama.cpp open-source hingga 17,8 persen!
Yang bikin lebih menarik, konsumsinya kurang dari setengah apa yang dibutuhkan oleh akselerator AI PCIe terkemuka dari AMD dan Nvidia. Kartu ini mendukung AI Agentic untuk pemrograman, otomasi, dan alur kerja spesifik domain tanpa perlu kluster GPU yang masif.
Di tengah keraguan tentang privasi dan biaya yang tak terduga dengan operasi model bahasa besar di cloud, HTX301 menawarkan solusi alternatif. Upgrade infrastruktur lokal untuk mendukung platform akselerator GPU besar sering kali memerlukan desain ulang yang mahal dari sistem pendingin dan daya pusat data. Namun dengan HTX301, perusahaan bisa menggunakan server standar tanpa perlu melakukan perubahan infrastruktur yang besar.
HTX301 Menanti Uji Coba Dunia Nyata
Penasaran? Skymizer akan memamerkan HTX301 di Computex tahun ini, yang memungkinkan verifikasi independen mengenai angka-angka performanya. Spesifikasi kartu ini terlihat mengesankan di atas kertas, namun uji coba dunia nyata yang akan menentukan apakah HTX301 sanggup memberikan 240 token per detik pada beban kerja Llama2 7B.
Belum lama ini, AMD meluncurkan kartu Instinct MI350P PCIe dengan memori HBM3E 144 GB dan mampu mencapai 4,600 peak TFLOPS. Namun kartu tersebut mengonsumsi daya jauh lebih besar dibandingkan penawaran Skymizer. Sementara itu, Nvidia RTX PRO 6000 Blackwell memerlukan sekitar 600 watt, lebih dari dua kali lipat daripada yang dibutuhkan HTX301 untuk tugas inferensi sebanding.
Jika HTX301 dapat berfungsi seperti yang dijanjikan, ini bisa menurunkan batasan akses untuk infrastruktur AI berbasis lokal. Namun, jika gagal, Skymizer mungkin akan tergabung dengan startup lain yang tidak mampu memenuhi janji mereka.
Sungguh sebuah momen yang menggugah rasa ingin tahu! Mari kita lihat apakah HTX301 bisa membuktikan klaim ambisiusnya.
