首頁 > 技術(shù) > 正文

商量SenseChat 2.0發(fā)布：語言大模型研究取得重要突破_環(huán)球新要聞

2023-06-26 07:48:44來源：中關(guān)村在線  


(相關(guān)資料圖)

近日，商湯科技發(fā)布了自研中文語言大模型“商量SenseChat 2.0”的測(cè)試成績(jī)，數(shù)據(jù)顯示在MMLU、AGIEval、C-Eval三個(gè)權(quán)威大語言模型評(píng)測(cè)基準(zhǔn)中均超越了OpenAI的ChatGPT。在某些方面，商量SenseChat 2.0的表現(xiàn)已接近GPT4的水平，意味著我國(guó)語言大模型研究取得了重要突破。 這三個(gè)測(cè)試分別為：MMLU是美國(guó)加州大學(xué)伯克利分校等高校構(gòu)建的多任務(wù)考試評(píng)測(cè)集；AGIEval是微軟研究院推出的學(xué)科考試評(píng)測(cè)集，包括中國(guó)高考、司法考試及美國(guó)SAT、LSAT、GRE和GMAT等；C-Eval是由上海交通大學(xué)、清華大學(xué)和愛丁堡大學(xué)合作構(gòu)建的面向中文語言模型的綜合性考試評(píng)測(cè)集。在這三個(gè)測(cè)試中，商量SenseChat 2.0的表現(xiàn)均超越了ChatGPT以及國(guó)內(nèi)外多款大模型，僅次于GPT-4。 在MMLU測(cè)試中，商量SenseChat 2.0的綜合得分為68.6，位居第二，僅次于GPT-4（86.4分）；在AGIEval測(cè)試中，商量SenseChat 2.0以49.91分緊追GPT-4（56.4分）；在C-Eval測(cè)試中，商量SenseChat 2.0獲得66.1分，僅次于GPT-4（68.7分）。 目前，已有近千家企業(yè)客戶通過申請(qǐng)使用商量SenseChat 2.0，體驗(yàn)其長(zhǎng)文本理解、邏輯推理、多輪對(duì)話、情感分析、內(nèi)容創(chuàng)作、代碼生成等綜合能力。商湯科技表示，將持續(xù)對(duì)“商量SenseChat 2.0”進(jìn)行快速迭代和提升，實(shí)現(xiàn)知識(shí)的實(shí)時(shí)更新。

標(biāo)簽：

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀