AI直面算力難題——在密集發(fā)布的人工智能大模型之外，我們離算力自由還有多遠？
分類: 最新資訊
范文詞典
編輯 : 范文大全
發(fā)布 : 04-22
閱讀 :303
經(jīng)濟觀察報 記者 鄭晨燁 在4月中旬舉辦的香港國際創(chuàng)科展上，華為搭建了囊括七大主題的面積約600平方米的“豪華展區(qū)”。從智慧城市、行業(yè)數(shù)字化轉型乃至新型儲能，華為依托自身端、管、云協(xié)同的基礎設施優(yōu)勢，眼下正在不斷加速向各行各業(yè)拓展邊界。而在涵蓋30余種解決方案的展區(qū)中，AI計算相關產(chǎn)品吸引了不少來往展商與觀眾?！拔抑岸疾恢?，華為也有AI訓練卡嗎？你們的盤古大模型是用自己的產(chǎn)品訓練出來的嗎？”在華為AI計算的展區(qū)內，記者看到有觀眾如是詢問現(xiàn)場的工作人員。自ChatGPT的爆火掀起生成式AI的浪潮以來，各類大模型如雨后春筍般冒出，面對正在舞臺上賣力演出的“角兒”們，真正搭臺的AI算力產(chǎn)業(yè)反倒顯得不那么引人注目。“人工智能的核心說起來就三個點：大數(shù)據(jù)、大模型、大算力，現(xiàn)在國內的算力市場非?；馃?，像我們合肥（超算）中心的算力已經(jīng)被國內一家知名智能語音企業(yè)全部定下來了，而且客戶還要求我們盡快做下一步擴容?！比A為展區(qū)內一位專家向經(jīng)濟觀察報記者介紹。如果將2023年視為中國人工智能大模型應用元年，那么在大規(guī)模的前端產(chǎn)品落地后，算力建設能否及時跟上，便成了大模型向各領域進一步滲透的關鍵因素。但在部分業(yè)內人士看來，眼下國內算力供給已成為制約大模型發(fā)展的瓶頸之一。4月19日，一位來自上海的云計算廠商的產(chǎn)品經(jīng)理李實在交流時就告訴記者：“目前AI對算力需求增長的速度要快于算力供給增長的速度，AI芯片的迭代也有點跟不上模型訓練及迭代所需?！彼懔Φ男枨驩penAI自發(fā)布ChatGPT以來，月活用戶已在年初突破一億，成為歷史上用戶增長最快的應用程序，而在Chat－GPT面世后，與曾經(jīng)出現(xiàn)的造手機、造汽車的浪潮一樣，國內一眾互聯(lián)網(wǎng)產(chǎn)業(yè)鏈上的廠商開始扎堆“造模型”。先是百度于3月16日官宣發(fā)布基于百度飛槳深度學習平臺和文心知識增強大模型打造的——文心一言，隨后4月9日至11日連續(xù)三天，三六零（601360.SH）、商湯、阿里又分別發(fā)布了“360智腦”“日日新”“通義千問”三個大模型。此外，騰訊、華為、知乎、京東、昆侖萬維也紛紛攜帶各自的大模型產(chǎn)品加入混戰(zhàn)。但在李實看來，國產(chǎn)大模型的密集發(fā)布宣傳意義更大，而目前實際落地的使用效果和市場期待尚有一定差距。比如，此前文心一言飽受調侃的作圖功能就很能說明一些問題：讓其畫老婆餅結果真畫出來一個老婆婆，畫紅燒獅子頭結果畫出來一幅紅色的獅子頭。“通用大模型的看點，主要在于未來與不同行業(yè)結合后，對各類產(chǎn)品的賦能和提升，比如搜索引擎和大模型的結合，就讓這類早已成型的應用又誕生出了想象空間，又或者類似蘋果Siri這類語音助手，和大模型結合后帶來的沉浸式交互體驗是前所未有的?？梢哉f大模型的出現(xiàn)，給許多早已一潭死水的TMT產(chǎn)業(yè)帶來新的增量空間?！崩顚嵳f。在4月18日舉辦的2023年中國ICT市場趨勢論壇上，IDC中國研究總監(jiān)盧言霞亦稱，根據(jù)斯坦福大學2022年發(fā)布的人工智能指數(shù)報告，大模型文生圖的準確率僅為25%，而目前文生圖、文生文可以落地的一些應用，主要集中在互娛和游戲場景當中，包括影視渲染、美術設計等，真正到工業(yè)環(huán)境中，市場對于哪些應用場景能夠落地，現(xiàn)在還比較困惑。之所以國內一眾大模型的體驗效果要遜色于ChatGPT，除了算法及數(shù)據(jù)方面的差距外，算力投入也是一個繞不開的原因。CIC灼識咨詢合伙人趙曉馬向記者表示，人工智能的發(fā)展趨勢是大數(shù)據(jù)、大模型，“大力出奇跡”?！斑^去幾十年人工智能的發(fā)展無不說明了這一點，每一次數(shù)據(jù)量級、模型規(guī)模的突破，都帶來了人工智能技術的突出成果。而這背后，正是AI訓練的算力指數(shù)級增長。從2010年深度學習出現(xiàn)以來，用于AI訓練的算力以每6個月翻一倍的速度增長，2015年前后，大規(guī)模模型出現(xiàn)至今，其訓練算力都是原來的10倍到100倍?！壁w曉馬指出。算力的飆升自然也帶來了成本增長，根據(jù)國盛證券在今年2月12日發(fā)表的一份研報中的測算，在初始算力投入上，為滿足ChatGPT當前千萬級用戶的咨詢量，投入成本約為8億美元，對應約4000臺服務器；在單日運行電費上，參考美國平均0.08美元/kwh工業(yè)電價，每日電費約為5萬美元。此外，基于參數(shù)數(shù)量和token（字符串）數(shù)量估算，GPT-3訓練一次的成本約為140萬美元。4月8日，浙江大學人工智能研究所所長吳飛在“人工智能大模型技術高峰論壇”上指出，ChaGPT在訓練中使用了45TB數(shù)據(jù)、近1萬億個單詞（約1351萬本牛津詞典所包含單詞數(shù)量）以及數(shù)十億行源代碼，其模型包含了1750億參數(shù)，將這些參數(shù)全部打印在A4紙張上，一張一張疊加后，疊加高度將超過上海中心大廈632米高度，其訓練門檻是1萬張英偉達V100芯片、約10億人民幣，模型訓練算力開銷是每秒運算一千萬億次，需運行3640天。“（在人工智能的訓練中）數(shù)據(jù)是燃料、模型是引擎、算力是加速器，據(jù)估計全球高質量文本數(shù)據(jù)的總存量在5萬億token（字符串）左右，人工智能算法可能在一個數(shù)量級內，耗盡世界上所有有用的語言訓練數(shù)據(jù)供應。”吳飛稱。龐大的算力需求為AI算力產(chǎn)業(yè)帶來了廣闊的市場空間，根據(jù) IDC數(shù)據(jù)與預測，2021年中國智能算力規(guī)模達到155.2EFLOPS（每秒一百億億次的浮點運算）并在之后的幾年始終保持穩(wěn)健增長態(tài)勢，預計到 2026年將突破進入每秒十萬億億次浮點計算級別，智能算力實現(xiàn)1271.4EFLOPS的龐大規(guī)模，2021-2026年期間，預計年復合增長率達到 52.3%。一位華為AI計算領域的專家在創(chuàng)科展現(xiàn)場也告訴記者，目前市場對智能算力的需求非常火爆，公司基于昇騰系列AI處理器已經(jīng)構筑起包括Atlas系列模塊、板卡、小站、服務器、集群等豐富的產(chǎn)品形態(tài)，覆蓋深度學習領域推理和訓練全流程，且在全國18座城市都已布局人工智能計算中心，可用于各行業(yè)人工智能深度學習模型開發(fā)、訓練和推理等應用場景。底座的瓶頸在李實看來，算力是人工智能領域的鏟子，也可以稱之為行業(yè)底座。他告訴記者，按照對計算精度要求的不同，算力通常分為通用算力、智能算力以及超算算力。其中，通用算力一般就是基于普通CPU芯片集成的服務器所能提供的算力，用于一些基礎的計算場景，而智能算力則是基于GPU、GPGPU及AISC等AI芯片所提供的算力，主要用于人工智能的訓練和推理。一位上海的AI芯片初創(chuàng)企業(yè)項目經(jīng)理唐坤向記者介紹稱，當下市場主流的AI芯片均為GPGPU，屬于GPU（圖形處理器）的一種，它弱化了GPU關于圖形處理的功能，來完成原本由CPU承擔的任務。“AI領域的計算需求具有大運算量、高并發(fā)度、訪存頻繁的特點，GPGPU因其多內核多通道的設計，非常適合對大量數(shù)據(jù)進行并行計算，從而在人工智能領域找到了應用場景?！碧评け硎?。根據(jù)市場調研公司Tractica的研究報告，到2025年，全球人工智能芯片的市場規(guī)模將達到726億美元，年均復合增長率達46.14%?！癆I將成為未來高性能計算領域的主要需求。”唐坤說。但國內一眾大模型“卷”于發(fā)布的當下，作為行業(yè)底座的算力卻先遇到了瓶頸。首先是關于產(chǎn)品本身，李實告訴記者，隨著摩爾定律日漸趨近失效，在IC（集成電路）器件本身尺寸不斷接近物理極限的情況下，依靠提升晶體管密度從而帶來性能提升的難度在不斷提高，且AI算力的需求增速已經(jīng)快于芯片算力的增速。其次，由于AI模型參數(shù)量的不斷擴大，AI芯片的內存增速也難以匹配，這導致了內存墻問題的出現(xiàn)，即內存容量限制了芯片性能的發(fā)揮?！扒岸螘r間馬斯克不是聯(lián)名要求暫停訓練AI嘛，但他不呼吁也沒關系，OpenAI也需要暫停一下，等一等硬件迭代。”李實說。在他看來，AI芯片的未來迭代方向主要將圍繞存算一體，即賦予存儲器計算能力，大幅降低功耗的同時，顯著提高芯片的計算能力。除了硬件方面有待迭代外，當下的外部環(huán)境也為國產(chǎn)算力產(chǎn)業(yè)的發(fā)展帶來了不少限制。據(jù)唐坤介紹，在高端GPU領域，英偉達占據(jù)著超過90%的市場份額，ChatGPT即是用上萬張英偉達A100芯片打造超算中心訓練而出。根據(jù)英偉達官網(wǎng)數(shù)據(jù)，A100的單精度峰值計算性能達19.5TFLOPS（每秒一萬億次的浮點運算）。而一張40G顯存的A100芯片，在京東平臺上所標售價就達6.25萬元。因此，A100芯片也一直被廣大科技發(fā)燒友戲稱為“小金磚”。另外，值得注意的是，在今年的3月21日，英偉達已經(jīng)發(fā)布了最新一代的H100芯片，相較于前代產(chǎn)品，H100單精度峰值計算性能達67TFLOPS，其雙精度的每秒浮點運算（FLOPS）提升3倍，性能提高了約7倍，在動態(tài)編程算法上比僅使用傳統(tǒng)雙路CPU的服務器快40倍。不過，根據(jù)去年10月美國商務部發(fā)布的管制條例，A100、H100這類代表國際先進計算水平的芯片已經(jīng)被禁止售往中國，而2017年發(fā)布的V100芯片，因其性能較低，則不在管控之內?！皣鴥葟S商還有渠道能夠購買英偉達的產(chǎn)品，但短期肯定會對國內的算力產(chǎn)業(yè)形成壓制。在這個領域，包括寒武紀、海光、華為等企業(yè)也在快速發(fā)展，但距離實現(xiàn)算力的國產(chǎn)替代還有一定距離?！崩顚嵏嬖V記者。唐坤則表示，其在今年拓展項目時了解到，當前國內眾多超算中心進行產(chǎn)品采購或招標時，都有相應的國產(chǎn)產(chǎn)品指標，而從硬件性能角度來看，不論寒武紀、華為還是海光，均有計算指標不弱于英偉達A100的產(chǎn)品。根據(jù)寒武紀2022年半年報披露，該公司第三代云端產(chǎn)品思元370，采用臺積電7nm先進制程工藝，也是首款采用Chiplet（芯粒）技術的人工智能芯片。其單精度峰值計算性能達18TFLOPS（每秒一萬億次的浮點運算）?！癆I芯片領域的國產(chǎn)替代是大趨勢，但生態(tài)及廠商技術還需要一個提升的過程，而且現(xiàn)在很多企業(yè)也在抓緊囤英偉達的相關產(chǎn)品，‘算力荒’的情況應該不會出現(xiàn)?！碧评ふf。政策的扶持4月19日，上海市經(jīng)濟信息化委印發(fā)《上海市推進算力資源統(tǒng)一調度指導意見》。文件指出，算力是夯實科創(chuàng)城市基礎、加快城市數(shù)字化轉型、推動數(shù)字經(jīng)濟高質量發(fā)展的核心生產(chǎn)力；加強全市算力資源統(tǒng)籌、調度和共享，有助于提升算力資源利用率，加速數(shù)據(jù)要素流通，全面釋放數(shù)據(jù)價值。根據(jù)文件要求，到2023年底，依托上海市人工智能公共算力服務平臺，接入并調度4個以上算力基礎設施，可調度智能算力達到1000PFLOPS（FP16半精度每秒一千萬億次的浮點運算）以上；到2025年，市人工智能公共算力服務平臺能級躍升，完善算力交易機制，實現(xiàn)跨地域算力智能調度，通過高效算力調度，推動算力供需均衡，帶動產(chǎn)業(yè)發(fā)展作用顯著增強，該市數(shù)據(jù)中心算力超過18000PFLOPS（FP32單精度每秒一千萬億次的浮點運算）；新建數(shù)據(jù)中心綠色算力占比超過10%（不含市電結構中的綠電）；集聚區(qū)新建大型數(shù)據(jù)中心綜合PUE降至1.25以內，綠色低碳等級達到4A級以上。今年2月，成都市直接拿出了“真金白銀”對算力產(chǎn)業(yè)進行扶持，根據(jù)成都市新經(jīng)濟委、市經(jīng)信局、市發(fā)改委、市科技局聯(lián)合印發(fā)的《〈成都市圍繞超算智算加快算力產(chǎn)業(yè)發(fā)展的政策措施〉實施細則（征求意見稿）》，成都市政府支持企事業(yè)單位、科研機構基于國家超算成都中心技術框架開發(fā)通用適配硬軟件，根據(jù)使用量與頻次綜合排名，分級分類給予排名前10的單位最高100萬元，每年累計不超過500萬元的一次性獎勵。文件中還要求開展云計算中心優(yōu)化行動，推動以存儲為主的“老舊”數(shù)據(jù)中心向以存算為核心的云計算中心提檔升級，推動“小散”數(shù)據(jù)中心融合、遷移至新型數(shù)據(jù)中心，強化綠色節(jié)能和智能化運維，提升大規(guī)模數(shù)據(jù)“云端”分析處理能力。對于改造升級完成后計算功能占比大于 70%且機架數(shù)不低于1000架、PUE低于1.25的云計算中心，按照每個機架最高1000元，給予總額最高200萬元的一次性改造補貼。實際上，早在2021年，國家發(fā)改委便提出了全國一體化算力網(wǎng)絡國家樞紐節(jié)點建設規(guī)劃，根據(jù)發(fā)改委新聞發(fā)言人孟瑋在2021年6月17日的例行發(fā)布會上介紹，國家發(fā)展改革委會同有關部門在京津冀、長三角、粵港澳大灣區(qū)、成渝、貴州、內蒙古、甘肅、寧夏等地布局建設全國一體化算力網(wǎng)絡國家樞紐節(jié)點?！斑@8個樞紐節(jié)點，將作為我國算力網(wǎng)絡的骨干連接點，統(tǒng)籌規(guī)劃數(shù)據(jù)中心建設布局，發(fā)展數(shù)據(jù)中心集群，開展數(shù)據(jù)中心與網(wǎng)絡、云計算、大數(shù)據(jù)之間的協(xié)同建設，并作為國家‘東數(shù)西算’工程的戰(zhàn)略支點，推動算力資源有序向西轉移，促進解決東西部算力供需失衡問題?！泵犀|表示。據(jù)記者查詢，包括成渝、甘肅、寧夏等地的算力樞紐節(jié)點均已規(guī)劃開工，而進展較快的如貴州，其一期基地設備已安裝完畢，大約56PFLOPS在4月底就可實現(xiàn)交付。除了國家規(guī)劃外，中東部各經(jīng)濟發(fā)達地市也都在算力領域掀起“大干快上”的浪潮，根據(jù)公眾號“寧波發(fā)布”的信息，今年1月10日，寧波市首個人工智能超算中心項目（一期）正式上線，一期建成100PFLOPS（FP16半精度每秒一千萬億次的浮點運算）人工智能算力，加5PFLOPS（FP64雙精度每秒一千萬億次的浮點運算）計算算力。記者了解到，截至4月20日，國內已建成并運營人工智能計算中心的城市 共 有 7座 ， 分 別 是 深 圳（1000PFLOPS 算 力 ）、 武 漢（200PFLOPS算力）、西安（300PFLOPS算力）、成都（300PFLOPS算力）、許昌（100PFLOPS算力）、南京（40PFLOPS算力）、杭州（40PFLOPS算力）。李實告訴記者，目前智算中心的門檻為100PFLOPS，布局方面以東部為主，但在“東數(shù)西算”的大戰(zhàn)略下，未來西部也將成為重要的算力布局區(qū)域?！叭斯ぶ悄軐⒊蔀轵寗痈餍懈鳂I(yè)發(fā)展的引擎，而算力就是這臺引擎燒的油，只有油給夠，引擎才能轉得快不是？”他跟記者比喻說。版權聲明：以上內容為《經(jīng)濟觀察報》社原創(chuàng)作品，版權歸《經(jīng)濟觀察報》社所有。未經(jīng)《經(jīng)濟觀察報》社授權，嚴禁轉載或鏡像，否則將依法追究相關行為主體的法律責任。版權合作請致電：【010-60910566-1260】。
