9月5日,在騰訊全球數(shù)字生態(tài)大會上,騰訊集團副總裁、云與智慧產(chǎn)業(yè)事業(yè)群COO兼騰訊云總裁邱躍鵬在演講中表示,未來的云是面向智能化、融合創(chuàng)新、國際化的,騰訊云將圍繞這三個方向持續(xù)探索和創(chuàng)新,打磨好產(chǎn)品能力,助力企業(yè)取得新增長。
在智能化方面,邱躍鵬表示,大模型和云的關(guān)系變得越來越緊密,大模型能力通過云對外輸出,云也借助大模型提升產(chǎn)品效能和體驗。
目前,騰訊混元最新一代模型騰訊混元Turbo已經(jīng)在騰訊云上線,輸入和輸出價格只有前代模型的一半。騰訊混元Turbo采用萬億級層間異構(gòu)MoE架構(gòu),擁有更多的專家數(shù)和更少的激活參數(shù)量,推理效率提升100%,推理部署成本下降50%,解碼速度提升20%。根據(jù)SuperCLUE評測,騰訊混元Turbo總分位列國內(nèi)第一,中文場景效果對標GPT-4o。
騰訊云也正式推出了“騰訊云智算”品牌。作為集算存網(wǎng)一體的高性能智算底座,能夠為AI創(chuàng)新輸出性能領(lǐng)先、多芯兼容、靈活部署的智算產(chǎn)品能力。目前,騰訊云智算的集群千卡單日故障數(shù)已經(jīng)刷新到0.16,是行業(yè)水平的1/3;1分鐘就能完成萬卡Checkpoint寫入,數(shù)據(jù)讀寫效率是業(yè)界10倍;千卡集群的通信時間縮短到6%,是業(yè)界一半。騰訊云智算集群從機器上架到開始訓(xùn)練可以做到只需1天,相比業(yè)界以月為單位大為縮短。
同時,為了幫助企業(yè)構(gòu)建大模型應(yīng)用,騰訊云基于客戶不同架構(gòu)和場景,能夠提供兼容ES開源生態(tài)的智能檢索方案和AI原生向量數(shù)據(jù)庫方案。另外騰訊云云原生數(shù)據(jù)庫TDSQL、騰訊云大數(shù)據(jù)BI以及騰訊云AI代碼助手、騰訊會議、騰訊樂享、騰訊企點客服等產(chǎn)品也結(jié)合大模型實現(xiàn)了能力升級,能夠為用戶提供更加智能化的產(chǎn)品體驗。
在融合創(chuàng)新方面,邱躍鵬認為,隨著融合創(chuàng)新進程加速推進,客戶除了關(guān)注如何把原有業(yè)務(wù)系統(tǒng)支撐起來,同樣看重穩(wěn)定性、安全性和兼容性。目前騰訊云打造了包括數(shù)據(jù)庫TDSQL、專有云平臺TCE、大數(shù)據(jù)平臺TBDS、操作系統(tǒng)TencentOS以及人工智能開發(fā)平臺TI在內(nèi)的融合創(chuàng)新軟件體系。
在某國有大行核心系統(tǒng)場景下,TDSQL支撐的日交易峰值達到了19.6億筆;TCE支持了國內(nèi)最大規(guī)模的金融云、政務(wù)云融合創(chuàng)新實踐,總規(guī)模超過10萬節(jié)點;在保險行業(yè)打造了首個國產(chǎn)數(shù)據(jù)湖倉標桿案例,5分鐘就能產(chǎn)出數(shù)據(jù);TencentOS自研了完全兼容CentOS的T-Kernel4內(nèi)核,能夠支持在線原地替換,部署量超過1000萬臺。
在國際化方面,邱躍鵬表示,國際化是企業(yè)增長的新方向,騰訊云正在發(fā)揮產(chǎn)品技術(shù)能力優(yōu)勢,并通過全球一致的產(chǎn)品體驗、優(yōu)質(zhì)的服務(wù)能力以及在安全合規(guī)方面的經(jīng)驗,助力客戶在全球范圍內(nèi)把握機遇、實現(xiàn)增長。
以星星海SA5云服務(wù)器為例,結(jié)合騰訊云軟硬一體的協(xié)同優(yōu)化,SA5性能大幅提升,故障率降低了60%,為客戶提供端到端的業(yè)務(wù)穩(wěn)定表現(xiàn),在大量客戶的國際化場景中得到應(yīng)用,成為了十年來增長最快的云服務(wù)器實例。
隨著游戲、直播電商等商業(yè)模式復(fù)制到海外,騰訊云也助力企業(yè)提供更好的應(yīng)用體驗,帶來直接的增長。在音視頻領(lǐng)域,騰訊云首創(chuàng)并在全球大規(guī)模應(yīng)用超低延時直播,把直播的平均延時從3秒降到0.5秒內(nèi),大幅提升用戶活躍度和商品成交率,實現(xiàn)了每日千萬元級別的交易量提升。騰訊云邊緣加速平臺EdgeOne提供最接近用戶的邊緣節(jié)點,讓游戲服的訪問提速超過30%,提升了游戲的活躍度。
此外,騰訊會議也在企業(yè)國際化業(yè)務(wù)中扮演著重要角色。通過類“2G”的弱網(wǎng)環(huán)境下流暢開會的能力、多達17種語言的實時翻譯支持、多種入會方式升級,騰訊會議海外會議數(shù)已經(jīng)較年初增長了近50%。
以下是演講原文:
大家好,圍繞著智能化、融合創(chuàng)新和國際化三個方向,我接下來分享一下騰訊云的產(chǎn)品升級和實踐。
大模型推出之后,我們看到了科技行業(yè)的變化,比如大模型在云上訓(xùn)練,云又成為大模型對外輸出能力的重要出口,云自身的產(chǎn)品怎么通過大模型的智能化能力提升自己,這些都是我們作為云從業(yè)者要回答的必回題。
去年的數(shù)字生態(tài)大會上,騰訊混元大模型第一次正式對外亮相。經(jīng)過一年的不斷迭代升級,我們今天正式推出了騰訊混元Turbo,更快更強的下一代模型。它實現(xiàn)了MoE架構(gòu)的創(chuàng)新,通過在模型的不同層采用不同的專家個數(shù)和激活參數(shù)量,推理效率提升了100%,成本降低了50%,速度也提升了20%。目前,混元Turbo已經(jīng)在騰訊云正式上線,輸入和輸出價格只有前代模型的一半,歡迎大家體驗。
雖然成本更低,但從性能看,混元Turbo卻是實力最強、效果最好的新一代模型。根據(jù)國內(nèi)大模型評測機構(gòu)SuperCLUE前天發(fā)布的最新報告,騰訊混元Turbo總分位列國內(nèi)第一,在11個能力項測評中,8項核心任務(wù)排名國內(nèi)第一,中文場景效果對標GPT-4o。技術(shù)圈常常通過公開評測集“跑分”來看大模型的能力。benchmark,也叫基準測試。主流大模型,比如GPT、llama、claude等,都會公開自己在特定評測集的成績,各家都可以直觀地對比模型實力。評測數(shù)據(jù)顯示,目前騰訊混元turbo 在多個評測集的測試成績已經(jīng)居于國內(nèi)第一梯隊,數(shù)學(xué)和代碼能力提升明顯,已經(jīng)可以對標國際上最好的模型。
為什么在算力有限的情況下,騰訊可以訓(xùn)練出混元Turbo這樣性能領(lǐng)先的萬億參數(shù)大模型,一方面是算法、框架、工程方面的持續(xù)精進,另一方面,騰訊在infra方面的高穩(wěn)定性也是提升訓(xùn)練效率的重要一環(huán)。
8月,Meta發(fā)布最新Llama模型的時候,也分享了訓(xùn)練集群的運轉(zhuǎn)情況,拆解了集群運轉(zhuǎn)過程中遇到的各式各樣問題。集群的穩(wěn)定、卡的互聯(lián)、數(shù)據(jù)讀寫效率、發(fā)生故障后的續(xù)訓(xùn),每個環(huán)節(jié)都會給訓(xùn)練效率帶來影響,也直接關(guān)系到整體訓(xùn)練成本,這就好比你買了一臺高性能車,但是路很差,也不能跑的快,整個AI infra是一個系統(tǒng)性工程。
過去幾年,騰訊云智算為客戶提供了穩(wěn)定高效的AI infra服務(wù):
比如,大部分公司搭建集群,從上架到開始訓(xùn)練,是以月為單位,我們把這個流程優(yōu)化到1天。去年集群搭建后,第二天就開始做騰訊混元的訓(xùn)練任務(wù)。在業(yè)界非常關(guān)注的性能上,騰訊云智算的集群,千卡單日故障數(shù)只有0.16,是meta的1/3;在數(shù)據(jù)讀寫效率方面,1分鐘就能完成萬卡checkpoint寫入,是業(yè)界的10倍;千卡集群的通信時間占比,也降低到6%,是業(yè)界一半。
在今天,我們也把計算的能力,通過公有云、專有云、分布式云的形態(tài),輸出給客戶,希望讓每一個想去訓(xùn)練或者是精調(diào)自己模型的公司,都能擁有一個真正的高可用的計算集群。
很多公司更關(guān)注的是AI的應(yīng)用如何落地,尤其是原來積累了大量數(shù)據(jù),怎么真正把模型的能力與應(yīng)用場景結(jié)合起來?很多技術(shù)團隊都選擇去做RAG,提升落地的效果。其實做RAG也有不同的方法。今天騰訊云提供兩種模式:
如果企業(yè)有elasticsearch的使用基礎(chǔ),熟悉elastic生態(tài),通過騰訊云ES,可以用最少代碼的便捷方式,幾乎不用重寫代碼或者寫少量代碼,就能構(gòu)建一個AI問答應(yīng)用;
如果企業(yè)要用到多模態(tài)的數(shù)據(jù)源,我們也提供了騰訊云的向量數(shù)據(jù)庫,可以用多模態(tài)方式去檢索,向量數(shù)據(jù)庫也提供了2倍于業(yè)界的檢索能力;
比如,微信讀書前不久上線的AI問書,就是基于騰訊云ES實現(xiàn)了RAG的高效開發(fā)和運維,為億級用戶提供毫秒級別的高效處理能力;學(xué)而思的AI語音助手,借助向量數(shù)據(jù)庫的極致高性能,讓語義檢索的準確率高達95%。
除了訓(xùn)練模型、調(diào)用模型,作為云廠商我們也在思考怎么用大模型的能力,去提升原有的云產(chǎn)品能力,為企業(yè)創(chuàng)造價值。
我想講一個數(shù)據(jù)庫的案例,騰訊云數(shù)據(jù)庫TDSQL結(jié)合騰訊混元,做了3個方向的事情:
智能分析用戶歷史1-7天的負載情況,預(yù)估未來分鐘級的流量變化,提早5秒擴容,實現(xiàn)秒級彈性;同時,用最經(jīng)濟的模式擴容,我們通過識別客戶場景,將CPU和內(nèi)存完全解耦、獨立彈性,精準調(diào)整彈性時間和步長;此外,影響數(shù)據(jù)庫存運行效率最關(guān)鍵的因素是SQL寫得好不好,我們通過AI分析所有SQL執(zhí)行語句的情況,優(yōu)化SQL執(zhí)行效率,降低每次數(shù)據(jù)庫操作所使用的資源。
我們也助力國內(nèi)知名的體育社區(qū)虎撲,依托TDSQL數(shù)據(jù)庫,扛住了百萬級QPS的流量洪峰。做到0抖動的同時,也降本75%。這樣的技術(shù)應(yīng)用為客戶創(chuàng)造了價值,也升級了我們的產(chǎn)品。
數(shù)據(jù)分析的場景,也在深度應(yīng)用大模型。大家都關(guān)注,大模型在落地過程中,能否讓每個人都通過自然語言交互的方式,拿到專業(yè)的數(shù)據(jù)分析結(jié)果。但這涉及兩方面問題:一是要給使用者做好Prompt;二是要讓數(shù)據(jù)治理變得更符合自然語言交互習(xí)慣。通過不斷優(yōu)化,我們打造了ChatBI,讓更多員工真正用數(shù)據(jù)武裝自己,提升自己應(yīng)用數(shù)據(jù)的能力,也降低了BI開發(fā)的工作量。
大模型的最快受益者其實是程序員自己。在騰訊內(nèi)部,現(xiàn)在50%的研發(fā)同學(xué)都在用騰訊云AI代碼助手。在模型訓(xùn)練階段,我們針對大約50種不同編程語言做了獨立訓(xùn)練;制定了31種補全策略,精準理解用戶意圖,讓采納率提升10%以上;通過抓取核心上下文,把代碼生成率提升了5%左右。
生成代碼很簡單,但想要讓代碼實現(xiàn)工程化、提高可用性,要求非常高。我們基于混元的MoE架構(gòu),通過編碼、測試、代碼評審/安全等多智能體協(xié)作,進一步優(yōu)化代碼質(zhì)量。在與一家消費電子企業(yè)的合作中,我們將代碼生成率從最初學(xué)習(xí)代碼庫之后的15%提升到37%,代碼采納率也提高到了28%,讓研發(fā)效率大幅提升。
騰訊會議是最早一批應(yīng)用大模型的產(chǎn)品。經(jīng)過一年多的不斷打磨,現(xiàn)在每個月有1500萬用戶在使用我們的智能錄制、AI小助手、多語言翻譯等AI能力。
要讓大模型準確理解會議內(nèi)容,首先需要清晰捕捉每個人的發(fā)言。我們自研的天籟智能語音語義技術(shù),針對會議中的口語化表達和不同口音進行了重點訓(xùn)練,顯著提高識別準確率。
騰訊會議不止會開會,今天智能化的能力在多個場景的應(yīng)用做得非常好。比如在教育場景,老師通過騰訊會議上課,上完課就可以自動提煉這節(jié)課的教學(xué)大綱,也可以把知識點做切片,學(xué)生也可以快速得到復(fù)習(xí)材料,可以通過AI助手去問教學(xué)中的知識點,學(xué)習(xí)的交互與效率變得可沉淀和高效。今天,我們在華東理工大學(xué)已經(jīng)落地了超過300間這樣的會議室,未來在金融、招聘等領(lǐng)域,AI的能力結(jié)合在線溝通,一定帶來更多讓大家提升效率的機會。
我們通過騰訊樂享也在打造學(xué)習(xí)型的組織。推動大家學(xué)習(xí)的同時,怎么用好工具也變得非常重要。員工越多的企業(yè),新人培養(yǎng)、產(chǎn)品更新等場景就面臨很高的培訓(xùn)成本,怎么讓員工掌握,對于大企業(yè)都面臨這樣的問題。通過騰訊樂享和騰訊混元的結(jié)合,我們提高了培訓(xùn)效率,通過學(xué)習(xí)企業(yè)知識庫,30分鐘就可以搭建出智能陪練,可以提供24小時在線陪練,員工可以隨時隨地學(xué)習(xí)。我們把這樣的場景與語言交互結(jié)合起來,可以做很多情景式的培訓(xùn)。同時,提供培訓(xùn)后的評估。
在保險行業(yè),如何快速讓保代達到非常好的銷售水平?我們可以快速生成一篇報告,告訴學(xué)員在哪些方面需要提升、需要強化訓(xùn)練。這樣的閉環(huán),讓學(xué)習(xí)型組織的學(xué)習(xí)效率取得非常大的提升。我們相信只要企業(yè)有足夠多的員工,這個工具幫助組織提效非常重要。
除了對內(nèi)的學(xué)習(xí)培訓(xùn),對外的客服也是AI落地的好場景。比如通過騰訊企點客服,我們引入大語言模型,讓智能化啟動的時間從過去的7天、15天,到今天的分鐘級構(gòu)建。當(dāng)然,這還要依賴于大家底層知識庫的積累,如果積累得比較好,可以做到88%的用戶問題都能被精準識別和回答。以我們服務(wù)的東北某省人社局為例,客戶從企點傳統(tǒng)機器人升級到大模型機器人,轉(zhuǎn)人工率一個月內(nèi)從27%降至14.5%,人工客服每周接待的會話量從460降至200,大幅降低了人工客服工作量。
我們可以看,這家企業(yè)的售后服務(wù)機器人已經(jīng)可以做到多模態(tài)的輸入,不僅能識別照片里的打印機型號、還能識別顯示屏上的報錯代號,并且快速準確回復(fù)用戶的問題。
面向融合創(chuàng)新,我們提供5T的產(chǎn)品矩陣,從專有云TCE、數(shù)據(jù)庫TDSQL、大數(shù)據(jù)平臺TBDS、人工智能開發(fā)平臺TI-ONE,到下層的操作系統(tǒng)。今天TCE支持了最大的兩朵融合創(chuàng)新云,最大支撐節(jié)點數(shù)超過10萬個。TDSQL數(shù)據(jù)庫對Oracle的兼容性也非常高,需要改的代碼大幅減少。在某國有大行核心系統(tǒng)場景下,TDSQL支撐的日交易峰值達到了19.6億筆,金融級最挑戰(zhàn)的場景,已經(jīng)實現(xiàn)了國產(chǎn)替代。大家如果選擇TDSQL,可以放心用。國產(chǎn)專有云平臺TCE,,通過不斷的優(yōu)化,在保險行業(yè)打造了首個國產(chǎn)數(shù)據(jù)湖倉標桿案例,5分鐘就能產(chǎn)出數(shù)據(jù)。TI-ONE的訓(xùn)練平臺也可以兼容所有國產(chǎn)芯片,讓客戶降低使用多芯片構(gòu)筑算力的門檻。
面向國際化,對騰訊云而言,我們也做了改變。今天中國絕大部分的企業(yè)都在看國際化的機會,怎么出海,業(yè)務(wù)怎么全球發(fā)展。我們的產(chǎn)品從第一天就要思考產(chǎn)品怎么變成面向國際化。
去年騰訊云推出了自研的星星海SA5云服務(wù)器,單機最大核心數(shù)達到了512核。搭載自研的銀杉智能網(wǎng)卡,SA5云服務(wù)器提供了高達200Gbps的網(wǎng)絡(luò)帶寬。通過軟硬協(xié)同優(yōu)化,經(jīng)過騰訊內(nèi)部海量業(yè)務(wù)規(guī)模驗證,真正讓客戶在使用上,可以獲得更高的密度算力,故障也更少。這款產(chǎn)品我們也直接全球部署,成為了歷史上推出的所有CVM產(chǎn)品里最受歡迎的產(chǎn)品,也是增長最快的產(chǎn)品。
回到增長的話題。中國商業(yè)模式的創(chuàng)新在領(lǐng)先全球,游戲、電商、制造業(yè)等能力都非常強,我們通過什么樣的產(chǎn)品能力可以幫助大家在全球化有更好的商業(yè)迭代?比如通過超低延時的直播,延時從3秒降低到了0.5秒,通過這樣的技術(shù),讓全球知名的電商平臺,讓主播和觀眾實時互動的效果徹底改變,客戶活躍度、商品成交率都有大的提升,每日支撐超過千萬級別交易量,真正用技術(shù)提升了商業(yè)產(chǎn)出。
EdgeOne是我們孵化的下一代CDN產(chǎn)品,滿足了國際化企業(yè)對加速和安全防護一站式的需求,目前服務(wù)了眾多游戲、電商、金融等客戶。比如在游戲場景下,我們將訪問速度提升了30%,要知道訪問的速度越快,玩家的體驗就會更流暢,留存、活躍也會更高。
對游戲來講,下載付的錢在成本里非常低,真正的是廣告投放、獲客、轉(zhuǎn)化,這帶來的商業(yè)價值非常大,這也改變了我們跟很多客戶的交流,以前大家覺得要便宜點、慢一點沒有關(guān)系,但是真的商業(yè)閉環(huán),大家全面思考的時候,更快的下載速度,多一點成本的付出能夠為商業(yè)增長帶來價值。
今天大家的企業(yè)出海是業(yè)務(wù)出海,更是組織的出海。在騰訊會議上,跨國會議的數(shù)量相較年初增長了超過50%。
為了服務(wù)好這些跨國協(xié)作的需求,騰訊會議也升級了產(chǎn)品能力。比如音頻編碼率的下降,我們做這件事之前也探討,騰訊之前是做QQ起家,那個時候會想每一個Byte要不要小一點,但是今天在中國,5G基礎(chǔ)設(shè)施網(wǎng)絡(luò)特別好,當(dāng)時團隊說要做這件事,我們也擔(dān)心,這個做完大家會有感知嗎?
今天的中國,基礎(chǔ)設(shè)施網(wǎng)絡(luò)很好,但在全球,流暢的通話體驗變得非常重要,很多國家沒有中國這么好的基礎(chǔ)設(shè)施條件,如何用更小的帶寬讓通話質(zhì)量不變,這就讓溝通效果變得更好,我們好像夢回20年前做的一點點優(yōu)化,但突然就覺得,每一點技術(shù)的投入,都會在未來的時刻給你帶來非常大的回報。所以有時候,很多的技術(shù)投資,要走在更前面,才能在真正面臨問題的時候解決它。
比如比亞迪,是新能源車出海做得最好的公司,他們每個月有超過1萬場的通過騰訊會議的模式來拉升組織的溝通效率。
此外,還有安全合規(guī)和優(yōu)質(zhì)服務(wù)。我們希望把自身在出海的過程中的經(jīng)驗跟大家分享,也希望把中國云廠商優(yōu)質(zhì)的服務(wù)提供給企業(yè)們,讓大家在全球都能享受到與在本地一樣的優(yōu)質(zhì)服務(wù)。當(dāng)然,對于國際化客戶,我們也希望提供中國最優(yōu)質(zhì)的服務(wù),讓大家體驗到完全不一樣的云。
免責(zé)聲明:市場有風(fēng)險,選擇需謹慎!此文僅供參考,不作買賣依據(jù)。