Can I defy the odds by running a fully fledged LLM on a 20-year-old Intel Pentium 4?Patreon: Patreon.com/FullyBufferedTwitter: Twitter.com/FullyBuffered0:00 ...
NVIDIA雖然以GPU技術為核心,但隨著NVIDIA CUDA GPU異構運算儼然成為當前驅動產業技術發展的重要技術,並引領AI從模型研究到推論落地,並在機器學習、生成式AI到代理式AI持續引領風騷,NVIDIA現在不再僅聚焦於GPU,更是強調提供完善的系統,而Vera強調不同於傳統CPU為人的操作而生,Vera是因應AI代理浪潮的顛覆性CPU,不僅在性能、能耗效率對比當今頂尖的x86資料中心CPU更優秀,更是針對代理式AI的前瞻架構。
NVIDIA Vera CPU基於Arm指令集的NVIDIA自研Olympus架構,有著優於x86架構的出色單執行緒以及包含分支預測、針對AI運算的嶄新架構,首創支援空間超執行緒技術,相對傳統時間超執行緒可因應真實工作負載適時進行超執行緒,可更有效把CPU運算資源用好用滿,此外內部核心還具備高達3.4TB/s的核心對核心頻寬,以及針對關鍵的記憶體具備1.2TB/s的LPDDR5x ECC記憶體頻寬,還率先支援PCIe Gen 6等先進介面,同時亦具備NVIDIA的NVLink技術。
Source:https://www.youtube.com/watch?v=wSp6AiNIrsY雖然部分內容有中文字幕,但大部分還是沒有中文,為大家簡單翻譯,並附上詳細時間軸。在這場 NVIDIA 主題演講中,黃仁勳從「Token 如何成為 AI 時代的基本單位」談起,進一步說明 Agentic AI 如何改...