Intelは、AMDが発表した第5世代EPYC Turin CPUのデータセンターAI性能に関する主張に反論し、適切な最適化を行えば第5世代Xeonの方が高速であると主張しました。
AMDは、Zen 5コアを搭載した第5世代EPYC Turin CPUがAIベンチマークで第5世代Xeonチップを上回ると発表しました。しかし、Intelは、適切な最適化を行えば、第5世代Xeonの方がEPYCよりも優れていると主張しています。
Intelが特に反論しているベンチマークは、INT4推論スループットに基づいて50ミリ秒のレイテンシで実行されたLlama2-7Bチャットボットです。AMDは、128コアの2S構成の第5世代EPYC CPUが最大671トークン/秒のパフォーマンスを提供する一方で、同じデュアルソケット構成で動作する64コアのIntel第5世代Xeon Platinum 8592+チップはわずか125トークン/秒しか出力できないことを示しました。これは、AMD EPYC Turin CPUにとって5.4倍という大きな向上でした。
しかし、Intelは、このベンチマークは第5世代Xeon SKUに適したソフトウェアスイートなしで実施されたと主張しており、AMDは脚注でIntel構成に関する詳細を一切示していないと指摘しています。
Intelは、同じAIワークロードでパフォーマンスベンチマークを実施し、大きく異なる結果を明らかにしました。
**Intel Extension for PyTorch (P99 Latency)**を使用すると、第5世代Emerald Rapids Xeon CPUは、AMDが発表したものよりも5.4倍優れたパフォーマンスを発揮できます。686トークン/秒の出力は、AMDの第5世代EPYC Zen 5 CPUのパフォーマンスを上回ります。これは、IntelのLlama2向けソフトウェア最適化だけでなく、第5世代Emerald Rapidsファミリーに追加されたAIハードウェアアクセラレータによるものです。
Intelはさらに、翻訳と要約という2つの他のワークロードにおいても、AMDがComputex 2024のプレゼンテーションで使用した結果と比較して、パフォーマンスが1.2倍から2.3倍向上したと述べています。
これらのベンチマークはメモリに大きく依存しており、次世代EPYC Turinファミリーは12チャンネルDDR5インターフェイスを搭載している点が重要です。Intelの現行世代Xeon「Emerald Rapids」CPUは8つのDDR5メモリチャネルでピークに達しますが、次世代Granite Rapids「Xeon 6700P/6900P」CPUは、同じ「最大」12チャンネルメモリインターフェイスを搭載するだけでなく、Pコアで同じ128コア数、Xeon 6900Eファミリーでは最大288コアを搭載し、2025年初頭に発売されます。Granite Rapids Xeon 6700P CPUは、2024年第3四半期に最大86個のPコアで利用可能になります。
結論
AI市場における競争は激化しており、各社は自社製品のパフォーマンスを主張し、顧客を惹きつけようとしています。現時点では、どちらの企業が優れているかを判断するには十分な情報がありません。今後、さらに多くのベンチマークやテスト結果が公開されることで、より明確な結論が見えてくるでしょう。
