手機版 | 網(wǎng)站導(dǎo)航
觀察家網(wǎng) > 國內(nèi) >

商湯發(fā)布開源社區(qū)最大最強多模態(tài)多任務(wù)通用大模型“書生2.5”

財經(jīng)網(wǎng) | 2023-03-15 11:27:38

3月14日,商湯科技發(fā)布多模態(tài)多任務(wù)通用大模型“書生(INTERN)2.5”,在多模態(tài)多任務(wù)處理能力方面實現(xiàn)了多項全新突破,其卓越的圖文跨模態(tài)開放任務(wù)處理能力可為自動駕駛、機器人等通用場景任務(wù)提供高效精準(zhǔn)的感知和理解能力支持,向通用人工智能邁出了堅實的一步?!皶↖NTERN)”最初版本由商湯科技、上海人工智能實驗室、清華大學(xué)、香港中文大學(xué)、上海交通大學(xué)在2021年11月首次共同發(fā)布,并持續(xù)聯(lián)合研發(fā)。


(資料圖片)

“書生2.5”擁有30億參數(shù),不僅是世界上開源模型中ImageNet準(zhǔn)確度最高、規(guī)模最大的模型,也是物體檢測標(biāo)桿數(shù)據(jù)集COCO中唯一超過65.0 mAP的模型。目前,“書生2.5”多模態(tài)通用大模型已在通用視覺開源平臺OpenGVLab開源(https://github.com/OpenGVLab/InternImage),為學(xué)術(shù)界和產(chǎn)業(yè)界的多模態(tài)通用模型研發(fā)提供有力支撐。

當(dāng)前,人工智能技術(shù)的發(fā)展正面臨著大量跨模態(tài)任務(wù)的挑戰(zhàn),為滿足快速增長的各式應(yīng)用場景需求,發(fā)展更為通用的人工智能模型已成為科技前沿的核心焦點問題。此次全新發(fā)布的“書生2.5”致力于多模態(tài)多任務(wù)通用模型的構(gòu)建,可接收處理各種不同模態(tài)的輸入,并采用統(tǒng)一的模型架構(gòu)和參數(shù)處理各種不同的任務(wù),促進不同模態(tài)和任務(wù)之間在表示學(xué)習(xí)方面的協(xié)作,逐步實現(xiàn)通用人工智能領(lǐng)域的融會貫通。

邁向AGI通用人工智能,大幅提升通用場景感知和理解能力

在當(dāng)今快速增長的各式應(yīng)用場景需求下,傳統(tǒng)計算機視覺已無法處理真實世界中數(shù)不勝數(shù)的特定任務(wù)和場景需求。我們迫切需要一種具備通用場景感知和復(fù)雜問題處理能力的高級視覺系統(tǒng)。

“書生2.5”實現(xiàn)了通過文本來定義任務(wù),從而可以靈活地定義不同場景的任務(wù)需求,并根據(jù)給定視覺圖像和任務(wù)的提示性語句,給出相應(yīng)的指令或作答,進而具備通用場景下的高級感知和復(fù)雜問題處理能力,比如圖像描述、視覺問答、視覺推理和文字識別等。

在自動駕駛和居家機器人等通用場景下,“書生2.5”可輔助處理各種復(fù)雜任務(wù)。例如在自動駕駛場景下,可以大幅提升場景感知理解能力,準(zhǔn)確地輔助車輛判斷交通信號燈狀態(tài)、道路標(biāo)志牌等信息,為車輛的決策規(guī)劃提供有效信息輸入。

利用多模態(tài)多任務(wù)通用大模型輔助完成自動駕駛場景中各類復(fù)雜任務(wù)

利用多模態(tài)多任務(wù)通用大模型輔助完成居家機器人場景中各類復(fù)雜任務(wù)

除了解決例如自動駕駛和居家機器人這類復(fù)雜問題的能力,“書生2.5”通用大模型也可以解決紛繁復(fù)雜的日常生活中的常見任務(wù),滿足各種需求。

除了全圖級別的以圖生文,“書生2.5”通用大模型同樣可以根據(jù)物體邊框更精細(xì)化定位任務(wù)需求。

“書生2.5”同時具備AIGC“以文生圖”的能力,可根據(jù)用戶提出的文本創(chuàng)作需求,利用擴散模型生成算法,生成高質(zhì)量、自然的寫實圖像。例如借助“書生2.5”的以文生圖能力幫助自動駕駛技術(shù)研發(fā),通過生成各類真實的道路交通場景,如繁忙的城市街道、雨天擁擠的車道、馬路上奔跑的狗等,生成寫實的CornerCase訓(xùn)練數(shù)據(jù),進而訓(xùn)練自動駕駛系統(tǒng)對Corner Case場景的感知能力上限。

“書生2.5”還可根據(jù)文本快速檢索出視覺內(nèi)容。例如,可在相冊中返回文本所指定的相關(guān)圖像,或是在視頻中,檢索出與文本描述最相關(guān)的幀,提高視頻中時間定位任務(wù)的效率。此外還支持引入物體檢測框,根據(jù)文本返回最相關(guān)的物體,可實現(xiàn)開放世界視頻或圖像中物體檢測及視覺定位。

三位一體,高效能打通自然語言、圖像等多模態(tài)任務(wù)處理

“書生2.5”在圖文跨模態(tài)領(lǐng)域卓越的性能表現(xiàn)來自于視覺、語言及多任務(wù)建模三大模型能力的有效融合,即InternImage-G通用視覺大模型、用于文本理解的超大語言預(yù)訓(xùn)練模型(LLM)和用于多任務(wù)的兼容解碼建模大模型(Uni-Perceiver)。

其中,InternImage-G通用視覺大模型能夠基于動態(tài)稀疏卷積算子自適應(yīng)地調(diào)整卷積的位置和組合方式,從而為多功能視覺感知提供強大的表示。超大語言模型通過在超大規(guī)模豐富文本語料庫上進行預(yù)訓(xùn)練提供強大可靠的文本特征。Uni-Perceiver通才任務(wù)解碼建模通過將不同模態(tài)的數(shù)據(jù)編碼到統(tǒng)一的表示空間,將不同任務(wù)統(tǒng)一為相同的任務(wù)范式,從而能夠以相同的架構(gòu)和共享的模型參數(shù)同時處理各種模態(tài)和任務(wù)。此外,“書生2.5”還創(chuàng)新性地引入了任務(wù)級別的稀疏激活機制,使其具備高效的多任務(wù)協(xié)作能力。

在視覺主流圖像分類數(shù)據(jù)集ImageNet上,該模型僅基于公開數(shù)據(jù)便達到了90.1%的Top-1準(zhǔn)確率。這是除谷歌與微軟之外,唯一準(zhǔn)確率超過90.0%的模型,值得一提的是,谷歌與微軟均未公開模型及額外數(shù)據(jù)集。“書生2.5”同時也是世界上開源模型中ImageNet準(zhǔn)確度最高、規(guī)模最大的模型。

除了高精確度的語義理解能力外,“書生2.5”在目標(biāo)定位性能上同樣有著出色的表現(xiàn)。在物體檢測標(biāo)桿數(shù)據(jù)集COCO上,其取得了65.4的mAP,是世界上唯一超過65.0 mAP的模型?!皶?.5”也在包括圖像分類、物體檢測、語義分割、圖像描述、圖文檢索等20+個不同場景、不同任務(wù)的單模態(tài)和跨模態(tài)公開數(shù)據(jù)集中都取得了最佳成績。

在20余個不同場景、不同任務(wù)的單模態(tài)和跨模態(tài)公開數(shù)據(jù)集中都取得了最佳成績

開源模型社區(qū)性能最強多模態(tài)大模型,加速學(xué)術(shù)和產(chǎn)業(yè)界多模態(tài)通用模型研發(fā)

即日起,“書生2.5”多模態(tài)通用大模型已在通用視覺開源平臺OpenGVLab開源,成為目前開源模型社區(qū)能提供的性能最強的多模態(tài)大模型。

OpenGVLab致力于通用視覺模型的開源社區(qū)建設(shè),開源項目覆蓋數(shù)據(jù)、模型、評測基準(zhǔn)全鏈路,為學(xué)術(shù)界和產(chǎn)業(yè)界的多模態(tài)通用模型研發(fā)提供了堅實的支撐。在數(shù)據(jù)方面,OpenGVLab構(gòu)建了千萬級超大規(guī)模精標(biāo)注數(shù)據(jù)集,涵蓋了圖像分類、目標(biāo)檢測等視覺核心任務(wù)的標(biāo)注,同時包括各類圖像中的屬性、狀態(tài)等的精細(xì)標(biāo)注,顯著降低了數(shù)據(jù)的采集成本。在模型方面,OpenGVLab的開源項目全方位覆蓋了通用模型架構(gòu)、高效訓(xùn)練框架及超高性能的預(yù)訓(xùn)練模型,助力社區(qū)用極低的數(shù)據(jù)量快速滿足多場景、多任務(wù)、高性能的AI模型訓(xùn)練,并供所有對人工智能技術(shù)感興趣的人士自由體驗。

OpenGVLab還提供了多任務(wù)、多模態(tài)的通用視覺評測基準(zhǔn),可以提供權(quán)威的評測結(jié)果,推動基于統(tǒng)一標(biāo)準(zhǔn)的公平和準(zhǔn)確評測,加快通用視覺模型的產(chǎn)業(yè)化應(yīng)用步伐。通過開源社區(qū)的建設(shè),OpenGVLab幫助開發(fā)者顯著降低通用視覺模型的開發(fā)門檻,用更低成本快速開發(fā)用于成百上千種視覺任務(wù)、視覺場景的算法模型,高效實現(xiàn)對長尾場景的覆蓋,推動通用AI技術(shù)的規(guī)模化應(yīng)用。

當(dāng)前,“書生”還在持續(xù)學(xué)習(xí)、不斷進步,致力于實現(xiàn)多模態(tài)多任務(wù)通用模型技術(shù)的突破,驅(qū)動通用人工智能技術(shù)的創(chuàng)新應(yīng)用生態(tài),為推動人工智能學(xué)術(shù)、產(chǎn)業(yè)發(fā)展做出貢獻。

免責(zé)聲明:此文內(nèi)容為本網(wǎng)站刊發(fā)或轉(zhuǎn)載企業(yè)宣傳資訊,僅代表作者個人觀點,與本網(wǎng)無關(guān)。僅供讀者參考,并請自行核實相關(guān)內(nèi)容。

標(biāo)簽:

  • 標(biāo)簽:中國觀察家網(wǎng),商業(yè)門戶網(wǎng)站,新聞,專題,財經(jīng),新媒體,焦點,排行,教育,熱點,行業(yè),消費,互聯(lián)網(wǎng),科技,國際,文化,時事,社會,國內(nèi),健康,產(chǎn)業(yè)資訊,房產(chǎn),體育。

上一篇:

下一篇:

相關(guān)推薦