高通在今年7月的第三季度財報業績會上釋放出進軍數據中心市場的明確信號,如今這一規劃已迅速變為現實。
當地時間10月27日,高通宣布推出面向數據中心的下一代AI推理優化解決方案:基于Qualcomm AI200和AI250芯片的加速卡及機架級解決方案。
根據規劃,AI200和AI250預計將分別于2026年和2027年實現商用。高通計劃制定一個數據中心路線圖,每年更新一次,專注提升AI推理方面的性能、能效和總擁有成本(TCO)。
受此消息影響,當日高通公司股價一直猛拉到20%漲幅,最終以11.09%漲幅收盤。
這其實不是高通第一次嘗試挖掘數據中心市場機會,在2017年,其曾嘗試推出基于Arm架構的數據中心CPU產品,但遭遇折戟。
如今看來,相比于上一次,高通通過收并購、合作等方式持續強化軟硬件方面的能力,已經在數據中心領域有不同于前一次的能力儲備。
當然目前在數據中心市場,新進入者面臨的核心挑戰之一是應用生態,高通同步公布了這批產品的第一位客戶,為其對數據中心市場的再度進攻迎來良好開局。至于其未來能否取得進一步突破,則有賴于從持續完善其軟硬件能力、首批落地方案的落地驗證等方面共同推進。
再沖刺
根據介紹,此次推出的Qualcomm AI200是一款專用機架級AI推理解決方案,旨在為大語言模型(LLM)和多模態模型(LMM)推理及其他AI工作負載提供低總擁有成本(TCO)和優化的性能。每張加速卡支持768 GB LPDDR內存。
Qualcomm AI250解決方案將首發基于近存計算(Near-Memory Computing)的內存架構,實現超過10倍的有效內存帶寬和更低功耗,讓AI推理工作負載效率和性能更好提升。這不僅支持解耦式AI推理,還能高效利用硬件資源,同時滿足客戶對性能和成本的要求。
據悉,兩種機架解決方案均采用直接液冷散熱以提高散熱效率,支持PCIe進行縱向擴展、以太網進行橫向擴展,并具備機密計算,以確保AI工作負載的安全性,整機架級功耗為160千瓦。
需要指出的是,不同于目前主流AI加速芯片多采用HBM(高帶寬內存)的內存配置方案,高通推出的方案采用LPDDR內存,相比之下成本更低,這也與高通強調的更低TCO邏輯一致。
其實在今年7月舉行的第三季度財報業績會上,高通公司總裁兼首席執行官Cristiano Amon已經預告即將面向數據中心市場推出新產品。
彼時他指出,面向數據中心市場的擴張,是高通新的增長機遇,基于其歷史上在CPU和NPU領域的沉淀,這是高通多元化戰略的合理延伸。
Amon分析,隨著AI推理規模的擴大,云服務提供商正在構建專用的推理集群,其同時注重性能和效率,特別是每美元的tokens數和每瓦特的tokens數;再加上市場從商用CPU向定制的Arm兼容CPU轉變,以及云計算等需求,為高通創造了切入點。
“我們正在打造基于NPU芯片的AI推理加速卡,并利用我們的Oryon CPU、適用于通用和AI領先節點計算解決方案的定制SoC。”他指出,此外,高通正在推進收購Alphawave IP Group plc公司一事,后者在數據中心、AI等高速有線連接方面具備優勢。
根據7月份透露,高通處在數據中心市場開拓的早期階段,正與多位潛在客戶接觸,與一家領先的超大規模企業進行深入洽談。如果洽談成功,預計將在2028財年開始產生收入。
在本次發布兩款AI芯片和相關解決方案時,高通同時官宣,與HUMAIN(沙特阿拉伯一家國家級AI公司)開展合作,在沙特阿拉伯部署先進的人工智能基礎設施。該計劃旨在為全球提供AI推理服務,并打造全球首個全面優化的邊緣到云端混合人工智能。
這也是兩家公司在5月簽署合作備忘錄后的正式官宣。根據計劃,HUMAIN計劃自2026年起,部署200兆瓦的Qualcomm AI200和AI250機架式解決方案。
目前,在高通公司官網的“數據中心產品/服務”欄目中,已經有包括Qualcomm Cloud AI 100 Ultra、Qualcomm AI 200、Qualcomm AI 250和高通人工智能推理套件、服務器CPU五大產品矩陣。
這不是高通首次進軍數據中心市場,此前高通一度有過試水,但并未取得顯著成效。截至目前,數據中心業務對于高通公司來說還未在財報層面體現出明顯增量。
第三季度財報顯示,高通的QCT(芯片業務)部門中,手機為主的硬件(Handsets)業務(63.28億美元)占其總收入比重的70.37%,此外貢獻收入的業務包括IoT和汽車。但是從增速看,考慮到手機業務體量較大,其收入同比增速為7%,低于QCT板塊整體11%的同比增速值;更是遠低于IoT實現同比24%增長、汽車業務同比21%的增速表現。
在全球手機大盤沒有顯著增量的條件下,尋找并發力更可觀的新市場就成為一個必答題。
逐漸加碼
2017年8月,高通曾推出Centriq 2400,采用10nm FinFET工藝打造,是面向數據中心市場、基于Arm架構的服務器處理器。彼時高通方面稱,Centriq 2400在能效和成本上比英特爾的至強Platinum 8180更優越。但很快就有市場消息顯示,高通的這款產品并沒有得到買賬。
DIGITIMES分析師陳辰妃向21世紀經濟報道記者指出,高通曾短暫挑戰服務器領域,推出Centriq 2400處理器,但當時服務器市場仍以英特爾(Intel) x86處理器為主,加上Arm架構在服務器市場生態尚未成熟,高通最終選擇解散Falkor開發團隊。
再看這一次,高通在正式進軍數據中心市場之前,已經有多番布局。
2021年3月,高通宣布以14億美元完成對Nuvia公司的收購,后者就是專注于數據中心CPU的公司。
此外,如前所述,高通還在推進對Alphawave公司的收購。在業績會上,Amon也提到,Alphawave的高速有線連接和計算技術,對下一代定制的高通Oryon CPU以及高通Hexagon NPU處理器形成了補充。“人工智能推理的增長推動了對高通高性能、節能計算解決方案的需求,此次收購為我們拓展數據中心業務提供了關鍵資產。”
IPnest CEO Eric Esteve則告訴21世紀經濟報道記者,Alphawave公司在高端接口IP領域處于領先地位,由于SerDes(串行器/解串器)對于構建基于以太網、PCIe、CXL或UCIe等協議構建頂級的互連能力至關重要,其可以滿足構建高性能計算應用(如AI系統)的需求。
綜合來看,相比幾年前,高通此次再度進攻數據中心市場,在內生的數據中心所需能力方面進行了明顯補全,且其采取了與市面上差異化(采用不同的內存規格選擇)的發展路線。
而外部市場來看,目前業界公認,AI推理市場空間將高于AI訓練市場,且在AI推理市場,已經有眾多AI芯片玩家參與,包括云服務廠商自研ASIC定制芯片、新興AI芯片公司等,都試圖以不同于英偉達GPU芯片的差異化打法,挖掘增量空間。
當然,高通依然與英偉達存在密切合作。今年5月,英偉達面向定制化AI芯片市場發布NVIDIA NVLink Fusion,合作伙伴名單中,高通赫然在列。
可見,雖然此番推出AI推理芯片和解決方案,透露出高通在AI推理方面試圖與英偉達競爭的野心,但其也在通過多條腿走路的方式,持續擴展生態能力。
這也是當前業界最為關注的地方,即AI芯片的落地,關鍵要素之一就是軟件和生態能力,英偉達之所以傲視群雄,就是因為其已經花費接近20年時間搭建CUDA工具鏈,這是AI芯片后來者難以企及的積累。
不過好在,AI推理市場可以接納定制化的細分需求,這也是后來者仍有發展空間的原因所在。
而高通還要面臨的考驗在于,其基于NPU架構打造的AI芯片和方案,落地到數據中心場景中的性能表現到底如何。因此其與HUMAIN公司打造的樣板就至關重要。
Amon也在業績會上提到,希望能借力與重要客戶的合作,產生光環效應,驗證產品和平臺,并為未來帶來新機遇。
隨著高通在未來兩年推進這兩款數據中心產品落地,顯然將為AI芯片市場帶來新的火花,其在實現能力加持后能走多遠,仍有待市場的持續檢驗。