算力需求：對于AI芯片的要求全面拉升
4年的時間、1500倍的參數(shù)量提升，大型語言模型展現(xiàn)出強(qiáng)勁的擴(kuò)張態(tài)勢。2018年，OpenAI推出第一代生成式預(yù)訓(xùn)練語言模型GPT-1，擁有1.17億個參數(shù)。2019年推出的GPT-2擁有12億參數(shù)，是GPT-1的10倍多。一年后面世的GPT-3，參數(shù)量達(dá)到1750億個，是GPT-2的100多倍，預(yù)訓(xùn)練數(shù)據(jù)量高達(dá)45TB。ChatGPT正是基于GPT-3.5——一個基于GPT-3的微調(diào)版本。
與參數(shù)量一起飆漲的，是大模型的算力需求。燧原科技創(chuàng)始人、董事長兼CEO趙立東向《中國電子報》表示，以ChatGPT為代表的生成式AI模型為了實(shí)現(xiàn)高質(zhì)量的內(nèi)容生成，具備兩大特性：參數(shù)規(guī)模巨大的模型、海量的訓(xùn)練數(shù)據(jù)集。因此，大模型在底層算子支撐、系統(tǒng)架構(gòu)方案、軟件生態(tài)支持方面都和原先的決策式AI模型有著顯著的區(qū)別，需要芯片廠商打造更加領(lǐng)先的系統(tǒng)級軟硬件方案，并在技術(shù)和產(chǎn)品層面打破原有的路線與壁壘。
“反映到算力芯片角度，主要有三方面的需求：一是分布式計算能力，包括數(shù)據(jù)并行、模型并行、流水并行等分布式計算方案，計算效率尤其關(guān)鍵。二是大容量高帶寬的內(nèi)存方案，在每個AI芯片內(nèi)部有效提升數(shù)據(jù)處理能力和算力利用率，結(jié)合HBM以及CXL等新型存儲技術(shù)進(jìn)一提升本地存儲能力和算力利用率。三是更高的單芯片計算能力，以降低整體系統(tǒng)復(fù)雜度，并降低TCO成本。”趙立東說。
昆侖芯科技也向記者表示，伴隨著ChatGPT的迭代，大模型算法對算力的要求不斷提高，而算力的核心就是人工智能芯片。“大模型對計算的要求主要體現(xiàn)在三個方面，一是算力，二是互聯(lián)，三是成本。大模型的熱潮也將加速AI芯片技術(shù)的創(chuàng)新和進(jìn)步，包括芯片架構(gòu)、算法優(yōu)化、功耗控制等方面的提升。AI芯片公司可以在這些方面進(jìn)行研發(fā)和創(chuàng)新，不斷提高產(chǎn)品競爭力。”
除了在已有的AI芯片路徑持續(xù)迭代調(diào)優(yōu)，獲得更優(yōu)的算力、效率、功耗、成本。大模型強(qiáng)烈的高算力需求，也呼喚芯片電路與架構(gòu)層面的進(jìn)一步創(chuàng)新。北京大學(xué)集成電路學(xué)院研究員賈天宇向《中國電子報》指出，大模型技術(shù)的出現(xiàn)和普及，將進(jìn)一步推動AI芯片的發(fā)展，拉升多方應(yīng)用產(chǎn)業(yè)對于AI芯片的需求，對于提升AI芯片的重要性和不可或缺性有積極的意義。但同時應(yīng)認(rèn)識到，支持大模型計算的AI芯片算力需求高、設(shè)計復(fù)雜度高，其設(shè)計要求和門檻也隨之提升。
“由于傳統(tǒng)芯片技術(shù)發(fā)展的限制，當(dāng)前芯片設(shè)計的電路與架構(gòu)面臨著存算力瓶頸、能效瓶頸、設(shè)計復(fù)雜度瓶頸等多方面挑戰(zhàn)。如何解決算力需求和芯片設(shè)計瓶頸之間的矛盾還需要多方的創(chuàng)新和技術(shù)進(jìn)展。”
