Nvidia menjelaskan secara rinci Vera CPU generasi berikutnya khusus AI, menyatakan kecepatannya lebih dari dua kali lipat dibandingkan CPU lainnya

Jinse Finance melaporkan bahwa pada 22 Juli, NVIDIA mengumumkan bahwa hasil uji benchmark DeepInfra menunjukkan bahwa kecepatan NVIDIA Vera CPU lebih dari dua kali lipat CPU lainnya, serta mampu mendukung lebih banyak agen AI secara bersamaan. Platform cloud DeepInfra merupakan salah satu peserta awal dalam ekosistem AI terbuka NVIDIA, mendesain dan menjalankan uji benchmark secara independen berdasarkan infrastruktur agen AI produksinya. DeepInfra memproses hampir 5 triliun token setiap minggu, di mana sekitar 30% didorong oleh sistem agen. Platform cloud tersebut dibangun khusus untuk inferensi AI dengan throughput tinggi. Uji benchmark menunjukkan bahwa, dengan kualitas layanan yang sama, dapat mendukung hingga 1,6 kali lipat agen AI bersamaan, kecepatan kolaborasi hingga 2,2 kali lipat, sekaligus meningkatkan pemanfaatan infrastruktur dan efisiensi biaya. Hasil ini menunjukkan bahwa NVIDIA Vera CPU mampu memenuhi kebutuhan efisiensi biaya, latensi rendah, dan throughput untuk produksi agen AI. Seiring dengan bertambah kompleksnya tugas agen AI dalam inferensi, perencanaan, penggunaan alat, dan aliran data, performa CPU menjadi semakin penting dalam mengoordinasi pekerjaan di sekitar setiap pemanggilan model. Sebagai bagian dari strategi desain terpadu ekstrem NVIDIA untuk AI factory, Vera CPU didesain khusus untuk beban kerja berbasis agen. Benchmark DeepInfra menyoroti bagaimana NVIDIA Vera CPU membantu penyedia layanan cloud meningkatkan pemanfaatan infrastruktur, meningkatkan efisiensi biaya, dan mendukung lebih banyak agen AI bersamaan dengan kualitas layanan yang sama.