6月16日，高通正式發(fā)布了白皮書《混合AI是AI的未來》，進一步闡釋了混合AI在大模型時代的優(yōu)勢，以及高通如何憑借終端側(cè)AI領(lǐng)導力、全球化規(guī)模和生態(tài)系統(tǒng)賦能，讓混合AI成為現(xiàn)實。 2022年末，美國人工智能公司Open AI推出了ChatGPT對話模型，迅速風靡全球并快速迭代，其在不到4個月后又發(fā)布了能力更強大的GPT-4，而后乘勝追擊，推出了聯(lián)網(wǎng)和第三方應(yīng)用插件功能，不斷刷新人們對生成式AI強大能力的認知。毫無疑問，生成式AI帶來的巨大機遇將成為業(yè)界變革的轉(zhuǎn)折點。 然而，隨著生成式 AI 模型使用量和復(fù)雜性的不斷增長，僅在云端進行推理并“不劃算”，因為包括硬件、場地、能耗、運營、額外帶寬和網(wǎng)絡(luò)傳輸在內(nèi)的數(shù)據(jù)中心基礎(chǔ)設(shè)施成本也將持續(xù)增加。而將一些處理從云端轉(zhuǎn)移到邊緣終端，則可以減輕云基礎(chǔ)設(shè)施的壓力并減少開支。這也是為何混合 AI 對生成式 AI 的規(guī)?；瘧?yīng)用至關(guān)重要。 高通技術(shù)公司作為終端側(cè)AI領(lǐng)導者，面向包括手機、汽車、XR頭顯與眼鏡、PC和物聯(lián)網(wǎng)等在內(nèi)的數(shù)十億邊緣終端，可以提供行業(yè)領(lǐng)先的硬件和軟件解決方案，對推動混合AI規(guī)?；瘮U展獨具優(yōu)勢。6月16日，高通正式發(fā)布了白皮書《混合AI是AI的未來》，進一步闡釋了混合AI在大模型時代的優(yōu)勢，以及高通如何憑借終端側(cè)AI領(lǐng)導力、全球化規(guī)模和生態(tài)系統(tǒng)賦能，讓混合AI成為現(xiàn)實。
“混合AI是AI的未來”
所謂的混合AI是指終端和云端協(xié)同工作，在適當?shù)膱鼍昂蜁r間下分配AI計算的工作負載，以提供更好的體驗，并高效利用資源。在一些場景下，計算將主要以終端為中心，在必要時向云端分流任務(wù)。在以云為中心的場景下，終端將根據(jù)自身能力，在可能的情況下從云端分擔一些AI工作負載。而混合AI架構(gòu)可以根據(jù)模型和查詢需求的復(fù)雜度等因素，選擇不同方式在云端和終端側(cè)之間分配處理負載。例如，如果模型大小、提示(prompt)和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側(cè)進行。如果是更復(fù)雜的任務(wù)，模型則可以跨云端和終端運行。 此外，混合AI還能支持模型在終端側(cè)和云端同時運行，也就是在終端側(cè)運行輕量版模型時，在云端并行處理完整模型的多個標記（token），并在需要時更正終端側(cè)的處理結(jié)果。更重要的是，隨著強大的生成式AI模型不斷縮小，以及終端側(cè)處理能力的持續(xù)提升，混合AI的潛力將會進一步增長。參數(shù)超過10億的AI模型已經(jīng)能夠在手機上運行，且性能和精度達到與云端相似的水平。不久的將來，擁有100億或更高參數(shù)的模型將能夠在終端上運行。 混合AI可以說是能夠適用于幾乎所有生成式AI應(yīng)用和終端領(lǐng)域，包括手機、筆記本電腦、XR頭顯、汽車和物聯(lián)網(wǎng)，并在成本、能耗、性能、隱私、安全和個性化體驗方面更具優(yōu)勢。 例如，在成本方面，生成式 AI 搜索可以提供更加出色的用戶體驗和搜索結(jié)果，但每一次搜索查詢 ，其成本是傳統(tǒng)搜索方法的10倍。所以，當前面向大語言模型推理的云計算架構(gòu)，將導致搜索引擎企業(yè)的運營成本升高。但混合AI能夠利用現(xiàn)已部署的、具備 AI 能力的數(shù)十億邊緣終端，以及未來還將具備更高處理能力的數(shù)十億終端，在一定程度上減輕運營成本壓力。 在能耗方面，邊緣終端能夠以很低的能耗運行生成式AI模型，尤其是將處理和數(shù)據(jù)傳輸相結(jié)合時。而在時延方面，當生成式 AI 查詢對于云的需求達到高峰期時，會產(chǎn)生大量排隊等待和高時延，甚至可能出現(xiàn)拒絕服務(wù)的情況，向邊緣終端轉(zhuǎn)移計算負載可防止這一現(xiàn)象發(fā)生。
高通全棧AI優(yōu)化
眾所周知，高通已經(jīng)將其AI能力帶入了包括智能手機、筆記本電腦、PC、汽車在內(nèi)的眾多終端產(chǎn)品中，其終端側(cè)AI技術(shù)在大模型時代下也將成為推動混合AI規(guī)模化落地的重要推力。據(jù)高通技術(shù)公司產(chǎn)品管理高級副總裁兼AI負責人Ziad Asghar介紹，高通已經(jīng)在飛行模式下實現(xiàn)了全球首個Android手機上的Stable Diffusion終端側(cè)演示。Stable Diffusion是一個參數(shù)超過10億的超大神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型，能夠基于輸入的文本提示生成圖片。而通過高通的全棧AI優(yōu)化，這一模型能夠完全在終端側(cè)運行，實現(xiàn)在15秒內(nèi)完成20步推理，生成飽含細節(jié)的圖像。 Ziad Asghar也直言，雖然高通目前已經(jīng)能夠支持Stable Diffusion這一超過10億參數(shù)的模型在終端側(cè)運行，但許多關(guān)鍵的生成式AI模型的規(guī)?？梢赃_到10億到100億參數(shù)之間，例如文本生成圖像、自然語言處理、編程、圖像理解、圖像創(chuàng)作等。所以，在未來幾個月內(nèi)，高通將有望支持參數(shù)超過100億的模型在終端側(cè)運行。而這無疑也將成為基于高通技術(shù)的產(chǎn)品的重要差異化優(yōu)勢。 此外，通過高通AI軟件棧，高通已經(jīng)實現(xiàn)在搭載驍龍計算平臺的筆記本電腦上運行Stable Diffusion。憑借行業(yè)領(lǐng)先的高通AI引擎，基于驍龍計算平臺的筆記本電腦在MLCommons 上率先實現(xiàn)了出色的MLPerf基準測試結(jié)果。同時，高通也是唯一一家能夠在MLCommons 的筆記本電腦品類中獲得測試結(jié)果的公司，這也正是因為其擁有能夠在終端側(cè)運行如此大規(guī)模AI用例的硬件引擎。 其實，早在2022年6月，高通就推出了專門面向邊緣側(cè)AI的領(lǐng)先軟件棧產(chǎn)品——高通AI軟件棧，將其所有相關(guān)的 AI 軟件產(chǎn)品集成在統(tǒng)一的解決方案中。OEM 廠商和開發(fā)者可在其產(chǎn)品上創(chuàng)建、優(yōu)化和部署 AI 應(yīng)用，充分利用高通 AI 引擎性能，讓 AI 開發(fā)者創(chuàng)建一次 AI模型，即可跨高通所有硬件運行 AI 負載。談及高通AI軟件棧的核心優(yōu)勢，Ziad Asghar表示，基于高通AI軟件棧的模型一旦開發(fā)出來，就可以在不同地方使用，再與混合AI部署相結(jié)合，形成殺手級的組合，將幫助生成式AI在不同終端上進行規(guī)模化擴展，實現(xiàn)生成式AI的普及。 未來，高通將不斷提高邊緣側(cè)支持的模型參數(shù)閾值，Ziad Asghar提出，在不久的將來，擁有100億或更大參數(shù)的生成式AI模型將能夠在終端上運行。 下周就是 上海MWC展，由于眾所周知的不可抗力，過去幾年，我們很難在線下進行交流。但這回： 智次方?物聯(lián)網(wǎng)智庫誠邀產(chǎn)業(yè)伙伴們一起在相聚MWC展，共話各家新品、落地案例、行業(yè)洞見，有價值的分享我們會在活動結(jié)束后以合適機會傳播，也歡迎更多商務(wù)傳播合作。期待見面！ 線下交流，內(nèi)容負責人微信/電話：18612809251發(fā)布合作，商務(wù)負責人微信/電話：18310707875
(資料圖)
