OpenAI Jalapeño Chip 挑戰 Nvidia，以更快的推理速度領先

• Jalapeño在公開測試中於回應速度與單瓦人工智慧工作量超越Nvidia GB300。
• 這款700瓦處理器鎖定於AI推論，而非模型訓練。
• OpenAI計劃今年部署，並正在開發第二及第三代產品。

OpenAI計劃於2026年底前將OpenAI Jalapeño晶片全面部署於其AI基礎設施上。在公開測試中，這顆推論處理器於單瓦工作效能及回應速度方面領先Nvidia的GB300。OpenAI晶片主管Richard Ho表示，設計結合高吞吐量與低延遲。結果僅適用於推論，非模型訓練。

OpenAI Jalapeño晶片在兩項推論測試中領先GB300

OpenAI Jalapeño晶片的功率為700瓦。這一能耗水準有助於降低數據中心的用電、冷卻與配電成本。Ho表示，處理器可用於以更低成本服務更多用戶，同時對延遲敏感型工作負載提供更快回應。

OpenAI以較小型開源模型及DeepSeek與Moonshot AI的第三方模型測試了這款硬體。Moonshot的Kimi，是經測試的最大公開工作負載，展現最顯著成效。公司指出，內部測試亦涵蓋未公開的OpenAI模型。

然而，Jalapeño尚未對比Nvidia已開始出貨的新Vera Rubin平台。SemiAnalysis表示，GB300的對比並不完整，因為Jalapeño使用HBM4記憶體。Nvidia的Rubin同樣採用HBM4，使其技術上更具可比性。

OpenAI將決定哪些模型在該處理器上運行。客戶可選擇主打低成本或較快效能的選項。Ho表示，這樣的做法可隨著模型需求提升改善回應速度與服務可用性。

與Broadcom合作推進客製化AI推論晶片

OpenAI Jalapeño晶片是與Broadcom共同開發的，Broadcom是大型科技企業的客製化矽片供應商。OpenAI表示，其AI模型加速了設計進度。目前第二代產品正接近流片，工程師已展開第三代構思。

Ho表示，Jalapeño能處理的模型規模大於部分專為低延遲設計的特定系統。不過，OpenAI預計仍會沿用Cerebras及其他運算供應商。其服務總體需求過大，非單一晶片計畫所能負荷。

OpenAI Jalapeño晶片或可降低推論單元成本，但無法訓練前沿模型。Nvidia於訓練、大規模彈性運用及CUDA支援仍具關鍵地位。Ho形容Nvidia是關鍵夥伴，並指出OpenAI將持續選購其硬體。