薤白

2025年3月29日 星期六

2025輝達GTC 重點

 輝達(NVIDIA)在2025年3月19日GTC大會展現關鍵發展與投資機會,而顯見輝達正從AI基礎設施供應商逐步轉型為AI應用領域領導者,並推出下一代GB300處理器與未來Rubin系列晶片規劃。散熱解決方案與電源需求的提升為相關供應鏈創造商機,而光通訊領域的CPO技術雖有突破但量產挑戰依然存在。



一、輝達AI戰略進化:從基礎設施到應用領域的領導者

1.AI發展邁向新階段:從生成到實體世界互動

輝達CEO黃仁勳指出,AI已從生成AI(Generative AI)進入到代理AI(Agentic AI)階段,未來將朝向物理AI(Physical AI)發展。在物理AI階段,機器將開始學習物理世界定律,包括摩擦力、物理慣性和物體永恆性等概念,這將開啟機器人時代的大門。


黃仁勳認為業界去年低估了算力需求,Scaling Law擴展定律的韌性比預期更高,且發展速度加快。AI計算需求正經歷三個階段的演進:從預訓練擴展(Pre-Training Scaling),到目前的後訓練擴展(Post-Training Scaling),未來將進入即時性擴展(Test-Time Scaling)。值得注意的是,即時性推論所需的算力可能超過訓練階段,這將持續推動GPU效能提升並帶動HBM記憶體需求。


2.軟體生態系統建設:CUDA X擴展應用領域

輝達正致力於建立完整的AI生態開發環境,將其技術整合進各類開發者生態系統中。CUDA函式庫應用不僅限於AI模型訓練,還擴展至量子運算、生物科學和氣候預測等領域。透過CUDA X Library,所有開發者都能利用輝達平台處理數據和開發AI應用。

黃仁勳預測,未來企業將同時擁有兩種工廠:實體工廠用於產品製造,虛擬工廠則用於AI教學、產品研發和設計。這一戰略使輝達有望從AI基礎設施供應商成為AI應用領域的領導者,而AI應用層背後的潛在市場規模將遠大於基礎層。


3.Dynamo:開源推論軟體提升效率

輝達發布了名為Dynamo的開源推論軟體,旨在以最低成本和最高效率加速並擴展AI推論模型。Dynamo能協調加速數千個GPU之間的推論通訊,並將大型語言模型的處理和生成階段分離到不同GPU上,使每個階段能根據特定需求獨立優化,確保GPU資源的最大化利用。


在實際應用中,Dynamo透過KV快取將推論請求分配到最適合的GPU上運行。在GB200 NVL72架構上運行DeepSeek-R1模型時,使用相同數量的GPU情況下,Dynamo讓每個GPU產生的Token數量提高了30倍以上。微軟和Perplexity AI已成為Dynamo的首批合作夥伴。








沒有留言:

張貼留言