首頁 > 技術 > 正文

聊天機器人ChatGPT能力波動:質(zhì)數(shù)識別準確率下降

2023-09-08 08:04:14來源:中關村在線  


(資料圖)

斯坦福大學的一項新研究發(fā)現(xiàn),熱門生成式人工智能(AI)聊天機器人ChatGPT的能力在幾個月內(nèi)有所波動。研究人員評估了ChatGPT在幾個月內(nèi)如何處理不同的任務,發(fā)現(xiàn)ChatGPT的能力隨時間推移而出現(xiàn)不一致。目前,ChatGPT有兩個版本,免費的GPT-3.5模型和更智能、更快速的付費GPT-4版本。研究人員發(fā)現(xiàn),GPT-4在3月份能夠有效地解決數(shù)學問題,識別質(zhì)數(shù)的準確率為97.6%。但三個月后,其準確率下降到了2.4%。而另一方面,GPT-3.5卻變得更好,從7.4%的準確率提高到了86.8%。研究人員還注意到,在編寫代碼和視覺推理方面也有類似的波動。斯坦福大學計算機科學教授James Zou表示:“當我們調(diào)整一個大型語言模型來提高它在某些任務上的表現(xiàn)時,那可能會有很多意想不到的后果,可能會損害這個模型在其他任務上的表現(xiàn)……這個模型回答問題的方式有各種各樣的相互依賴性,這可能導致我們觀察到的一些惡化行為?!毖芯咳藛T認為,結果并不能真正反映ChatGPT性能的準確性狀態(tài),而是顯示了微調(diào)模型帶來的意外后果。本質(zhì)上,當修改模型的一部分來改善一個任務時,其他任務可能會受到影響。為什么會這樣很難確定,因為沒有人知道ChatGPT是如何運作的,而且它的代碼也不是開源的。隨著時間的推移,研究人員注意到,ChatGPT的回答不僅變得不太準確,而且還停止了解釋其推理過程。由于ChatGPT的運作方式,要研究和衡量其表現(xiàn)可能很困難。這項研究強調(diào)了觀察和評估驅(qū)動ChatGPT等工具的大型語言模型(LLM)性能變化的必要性。該研究已經(jīng)在arXiv上發(fā)布,并正在等待同行評審。

標簽:

相關閱讀

  • 瀟湘平:守好園區(qū)“主戰(zhàn)場” 打好高質(zhì)量發(fā)展“主動仗”
    瀟湘平:守好園區(qū)“主戰(zhàn)場” 打好高質(zhì)量發(fā)展“主動仗”

    昨日,全市創(chuàng)建“五好”園區(qū)暨重點產(chǎn)業(yè)項目現(xiàn)場推進會在新田召開,總結

    2023-09-07
  • 【夏季行動】永州公安連破兩起冒充“領導”詐騙案件
    【夏季行動】永州公安連破兩起冒充“領導”詐騙案件

    近日來,永州公安在打擊網(wǎng)絡詐騙犯罪上持續(xù)發(fā)力,強化預警勸阻,精準宣

    2023-09-07
  • 230名新聞記者齊聚郴州  共同推介文旅資源
    230名新聞記者齊聚郴州 共同推介文旅資源

    (記者顏想念何江琛唐潔瓊)8月31日到9月2日,在第二屆湖南旅游發(fā)展大

    2023-09-07
  • 中南建設前8月合同銷售297.4億元同比減少30.8% 單月銷售25.6億元
    中南建設前8月合同銷售297.4億元同比減少30.8% 單月銷售25.6億元

    江蘇中南建設集團股份有限公司(簡稱:中南建設,000961 SZ)公告披露2

    2023-09-07
  • 省委政法委來銅調(diào)研平安建設工作
    省委政法委來銅調(diào)研平安建設工作

    9月6日下午,省委政法委副書記沈厚富率隊來銅調(diào)研平安建設工作。市委常

    2023-09-07
  • 一項目獲評第十二屆“中華慈善獎”
    一項目獲評第十二屆“中華慈善獎”

    9月5日,第十二屆“中華慈善獎”評選結果揭曉,我市報送的“精準助困計

    2023-09-07
  • 走,去永州——永州經(jīng)開區(qū)篇|創(chuàng)新潮涌逐浪高 百業(yè)競興耀瀟湘
    走,去永州——永州經(jīng)開區(qū)篇|創(chuàng)新潮涌逐浪高 百業(yè)競興耀瀟湘

    【招商推介官】國家級永州經(jīng)濟技術開發(fā)區(qū),是湖南省最早成立的9個省級

    2023-09-07
  • 非遺賦能鄉(xiāng)村振興丨千年瑤寨旅游旺
    非遺賦能鄉(xiāng)村振興丨千年瑤寨旅游旺

    江華桐沖口村,《盤王大歌》、瑤族長鼓舞等國家級非物質(zhì)文化遺產(chǎn)引得游

    2023-09-07
  • 2023年市“質(zhì)量月”活動啟動
    2023年市“質(zhì)量月”活動啟動

    今年9月是全國第46個“質(zhì)量月”。9月5日上午,2023年全市“質(zhì)量月”活

    2023-09-07
  • 市大健康和文旅產(chǎn)業(yè)(數(shù)字創(chuàng)意產(chǎn)業(yè))鏈領導小組會議召開
    市大健康和文旅產(chǎn)業(yè)(數(shù)字創(chuàng)意產(chǎn)業(yè))鏈領導小組會議召開

    9月5日下午,市大健康和文旅產(chǎn)業(yè)(數(shù)字創(chuàng)意產(chǎn)業(yè))鏈領導小組會議在市行

    2023-09-07
  • “警”力而為 護企發(fā)展
    “警”力而為 護企發(fā)展

    近期,義安區(qū)一重點企業(yè)在辦公用房建設中采購的一批衛(wèi)浴產(chǎn)品系假冒貼標

    2023-09-07
  • 微軟iOS版遠程桌面應用更新:支持AirPlay投屏
    微軟iOS版遠程桌面應用更新:支持AirPlay投屏

    微軟于9月7日更新了iOS版Microsoft遠程桌面應用,最新版本為10 5 1。此

    2023-09-07
  • 全新奧迪Q8/SQ8官方圖片發(fā)布 外觀變化明顯
    全新奧迪Q8/SQ8官方圖片發(fā)布 外觀變化明顯

    2023年9月5日,奧迪正式發(fā)布了新款奧迪Q8和SQ8的官方圖片。這兩款車型

    2023-09-07
  • 奶白色版本Smart精靈#3紀念版上線 25周年回顧
    奶白色版本Smart精靈#3紀念版上線 25周年回顧

    近日,smart品牌為慶祝其25周年,推出了一款名為smart精靈 3的紀念版車

    2023-09-07
  • 吉利帝豪14周年銷量370萬輛 新車型上線
    吉利帝豪14周年銷量370萬輛 新車型上線

    近日,吉利帝豪冠軍家族累計銷量達到370萬輛,這也是吉利帝豪上市14周

    2023-09-07
  • 比亞迪海豹DM-i上市 16.68萬油電同價
    比亞迪海豹DM-i上市 16.68萬油電同價

    比亞迪海豹DM-i全新中型插電混動轎車近日正式上市,共推出6款車型,售

    2023-09-07
  • 精彩推薦

    相關詞

    推薦閱讀