世界時(shí)訊：NVIDIA助力DeepRec為vivo推薦業(yè)務(wù)實(shí)現(xiàn)高性能GPU推理優(yōu)化

簡(jiǎn)介

【資料圖】

· 本案例中，vivo人工智能推薦算法組自研的推薦服務(wù)平臺(tái)，使用阿里巴巴開源大規(guī)模稀疏模型訓(xùn)練和預(yù)測(cè)引擎 DeepRec，在稀疏模型訓(xùn)練（稀疏功能、I/O優(yōu)化）和高性能推理框架層面，實(shí)現(xiàn)其搜廣推各類業(yè)務(wù)場(chǎng)景下，算法開發(fā)和上線的全鏈路優(yōu)化。

· 其中，在GPU線上推理服務(wù)優(yōu)化上，vivo使用DeepRec提供的Device Placement Optimization，以及NVIDIA CUDA multi-stream，MPS (Multi-Process Service) / Multi-context和NVIDIA GPU計(jì)算專家團(tuán)隊(duì)在multi-stream基礎(chǔ)上開發(fā)的MergeStream功能，顯著提升了線上推理服務(wù)的GPU有效利用率。

客戶簡(jiǎn)介及應(yīng)用背景

vivo人工智能推薦算法組的業(yè)務(wù)包含了信息流、視頻、音樂、廣告等搜索/廣告/推薦各類業(yè)務(wù)，基本涵蓋了搜廣推各類型的業(yè)務(wù)。

為了支撐上述場(chǎng)景的算法開發(fā)上線，vivo自研了集特征數(shù)據(jù)、模型開發(fā)、模型推理等流程于一體的推薦服務(wù)平臺(tái)。通過成熟、規(guī)范的推薦組件及服務(wù)，該平臺(tái)為vivo內(nèi)各推薦業(yè)務(wù)（廣告、信息流等）提供一站式的推薦解決方案，便于業(yè)務(wù)快速構(gòu)建推薦服務(wù)及算法策略高效迭代。

圖片來源于vivo

vivo人工智能推薦算法組在深耕業(yè)務(wù)同時(shí)，在積極探索適用于搜索/廣告/推薦大規(guī)模性稀疏性算法訓(xùn)練框架。分別探索了TensorNet/XDL/TFRA等框架及組件，這些框架組件在分布式、稀疏性功能上做了擴(kuò)展，能夠彌補(bǔ)TensorFlow在搜索/廣告/推薦大規(guī)模性稀疏性場(chǎng)景不足，但是在通用性、易用性以及功能特點(diǎn)上，這些框架存在各種不足。

作為DeepRec最早的一批社區(qū)用戶，vivo在DeepRec還是內(nèi)部項(xiàng)目時(shí)，就與DeepRec開發(fā)者保持密切的合作。經(jīng)過一年積累與打磨，vivo見證了DeepRec從內(nèi)部項(xiàng)目到開源再到后續(xù)多個(gè)release版本的發(fā)布。在合作中，DeepRec賦能vivo各個(gè)業(yè)務(wù)增長(zhǎng)，vivo也作為DeepRec深度用戶，將業(yè)務(wù)中的需求以及使用中的問題積極回饋到DeepRec開源社區(qū)。

DeepRec(https://github.com/alibaba/DeepRec)是阿里巴巴集團(tuán)提供的針對(duì)搜索、推薦、廣告場(chǎng)景模型的訓(xùn)練/預(yù)測(cè)引擎，在分布式、圖優(yōu)化、算子、Runtime等方面對(duì)稀疏模型進(jìn)行了深度性能優(yōu)化，提供了豐富的高維稀疏特征功能的支持?；贒eepRec進(jìn)行模型迭代不僅能帶來更好的業(yè)務(wù)效果，同時(shí)在Training/Inference性能有明顯的性能提升。

圖片來源于阿里巴巴

通過業(yè)務(wù)實(shí)踐，在稀疏模型訓(xùn)練層面，vivo使用DeepRec提供的基于Embedding Variable的動(dòng)態(tài)Embedding功能和特征準(zhǔn)入/淘汰功能，解決了使用TensorFlow原生EmbeddingLayer 的三個(gè)痛點(diǎn)，包括可拓展性差，hash沖突導(dǎo)致模型訓(xùn)練有損，無法處理冗余的稀疏特征；并在內(nèi)部嘗試對(duì)訓(xùn)練數(shù)據(jù)存儲(chǔ)格式做I/O優(yōu)化。

圖片來源于阿里巴巴

使用動(dòng)態(tài)Embedding和特征準(zhǔn)入/淘汰功能實(shí)現(xiàn)的收益如下：

1. 靜態(tài)Embedding升級(jí)到動(dòng)態(tài)Embedding：使用 DeepRec 的動(dòng)態(tài) Embedding 替換 TensorFlow 的靜態(tài) Embedding 后，保證所有特征 Embedding 無沖突，離線 AUC 提升 0.5%，線上點(diǎn)擊率提升 1.2%，同時(shí)模型體積縮小 20%。

2. ID 特征的利用：在使用 TensorFlow 時(shí)，vivo 嘗試過對(duì) ID 特征進(jìn)行 hash 處理輸入模型，實(shí)驗(yàn)表明這種操作對(duì)比基線具有負(fù)收益。這是由于 ID 特征過于稀疏，同時(shí) ID 具有唯一指示性，hash 處理會(huì)帶來大量的 Embedding 沖突?；趧?dòng)態(tài) Embedding，使用 ID 特征離線 AUC 提升0.4%，線上點(diǎn)擊率提升 0.6%。同時(shí)配合 global step 特征淘汰，離線 AUC 提升 0.1%，線上點(diǎn)擊率提升 0.5%。

Embedding Variable流程示意圖，圖片來源于阿里巴巴

在I/O優(yōu)化上，目前vivo內(nèi)部使用的是TFRecord數(shù)據(jù)格式存儲(chǔ)訓(xùn)練數(shù)據(jù)，存在占用存儲(chǔ)空間大，非明文存儲(chǔ)的兩個(gè)缺陷。而DeepRec的Parquet是一種列式存儲(chǔ)的數(shù)據(jù)格式，能夠節(jié)省存儲(chǔ)資源，加快數(shù)據(jù)讀取速度。使用ParquetDataset 支持讀取Parquet文件，開箱即用，無需額外安裝第三庫(kù)，使用簡(jiǎn)單方便。同時(shí)，ParquetDataset 能夠加快數(shù)據(jù)讀取速度，提高模型訓(xùn)練的I/O性能。

vivo內(nèi)部嘗試使用Parquet Dataset來替換現(xiàn)有TFRecord，提高訓(xùn)練速度30%，減少樣本存儲(chǔ)成本38%，降低帶寬成本。同時(shí)，vivo內(nèi)部支持hive查詢Parquet文件，算法工程師能夠高效快捷地分析樣本數(shù)據(jù)。

在高性能推理框架層面，由于在業(yè)務(wù)逐漸發(fā)展過程中，廣告召回量增長(zhǎng)3.5倍，同時(shí)目標(biāo)預(yù)估數(shù)增加兩倍，推理計(jì)算復(fù)雜度增加，超時(shí)率超過5%，嚴(yán)重影響線上服務(wù)可用性以及業(yè)務(wù)指標(biāo)。因此，vivo嘗試探索升級(jí)改造現(xiàn)有推理服務(wù)，保證業(yè)務(wù)可持續(xù)發(fā)展。vivo借助DeepRec開源的諸多推理優(yōu)化功能，在CPU推理改造以及GPU推理升級(jí)方面進(jìn)行探索，并取得一定收益。

客戶挑戰(zhàn)

在CPU推理優(yōu)化層面，vivo在使用DeepRec提供的基于ShareNothing架構(gòu)的SessionGroup后，明顯緩解了直接使用TensorFlow的C++接口調(diào)用Session::Run而導(dǎo)致的CPU使用率低的問題，在保證latency的前提下極大提高了QPS，單機(jī)QPS提升高達(dá)80%，單機(jī)CPU利用率提升75%。

但是經(jīng)過SessionGroup的優(yōu)化，雖然CPU推理性能得到改善，超時(shí)率依舊無法得到緩解。鑒于多目標(biāo)模型目標(biāo)塔數(shù)較多、模型中使用Attention、LayerNorm、GateNet等復(fù)雜結(jié)構(gòu)、特征多，存在大量稀疏特征三點(diǎn)原因，vivo嘗試探索GPU推理來優(yōu)化線上性能。

應(yīng)用方案

DevicePlacement Optimization：

通常，對(duì)于稀疏特征的處理一般是將其Embedding化，由于模型中存在大量的稀疏特征，因此vivo的廣告模型使用大量的Embedding算子。從推理的timeline可以看出，Embedding算子分散在timeline的各個(gè)階段，導(dǎo)致大量的GPUkernel launch 以及數(shù)據(jù)拷貝，因此圖計(jì)算非常耗時(shí)。

圖片來源于阿里巴巴

DevicePlacement Optimization 完全將EmbeddingLayer placed 到CPU上，解決了Embeddinglayer 內(nèi)部存在的CPU和GPU之間大量數(shù)據(jù)拷貝的問題。

圖片來源于阿里巴巴

Device Placement Optimization性能優(yōu)化明顯，CPU算子（主要是Embedding Layer）的計(jì)算集中在timeline的最開端，之后GPU主要負(fù)責(zé)網(wǎng)絡(luò)層的計(jì)算。相較于CPU推理，Device Placement Optimization P99 降低35%。

NVIDIA CUDA Multi-Stream 功能：

在推理過程中，vivo發(fā)現(xiàn)單流執(zhí)行導(dǎo)致GPU的利用率不高，無法充分挖掘GPU算力。DeepRec支持用戶使用multi-stream功能，多stream并發(fā)計(jì)算，提升GPU利用率。多線程并發(fā)launch kernel 時(shí)，存在較大的鎖開銷，極大影響了kernel launch 的效率，這里的鎖與CUDA Driver中的Context相關(guān)。因此可以通過使用MPS/Multi-context來避免launch過程中鎖開銷，從而進(jìn)一步提升GPU的有效利用率。

圖片來源于阿里巴巴

此外，模型中存在大量的H2D以及D2H的數(shù)據(jù)拷貝，在原生代碼中，計(jì)算stream和拷貝stream是獨(dú)立的，這會(huì)導(dǎo)致stream之間存在大量同步開銷，同時(shí)對(duì)于在Recv算子之后的計(jì)算算子，必須等到MemCopy完成之后才能被launch執(zhí)行，MemCopy和launch難以overlap執(zhí)行?；谝陨蠁栴}，NVIDIAGPU 計(jì)算專家團(tuán)隊(duì)在multi-stream功能基礎(chǔ)上進(jìn)一步優(yōu)化，開發(fā)了MergeStream功能，允許MemCopy和計(jì)算使用相同的stream，從而減少上述的同步開銷以及允許Recv之后計(jì)算算子launch開銷被overlap。

圖片來源于阿里巴巴

vivo在線上推理服務(wù)中使用了multi-stream功能，P99降低18%。更進(jìn)一步地，在使用MergeStream功能后，P99降低11%。

編譯優(yōu)化– BladeDISC：

Blade DISC（https://github.com/alibaba/BladeDISC）是阿里集團(tuán)自主研發(fā)的、原生支持存在動(dòng)態(tài)尺寸模型的深度學(xué)習(xí)編譯器。DeepRec中集成了 Blade DISC，通過使用Blade DISC內(nèi)置的aStitch大尺度算子融合技術(shù)對(duì)于存在較多訪存密集型算子的模型有顯著的效果。利用Blade DISC對(duì)模型進(jìn)行編譯優(yōu)化，推理性能得到大幅度提升。

Blade DISC將大量訪存密集型算子編譯成一個(gè)大的融合算子，可以大大減少框架調(diào)度和kernellaunch的開銷。區(qū)別于其他深度學(xué)習(xí)編譯器的是，Blade DISC還會(huì)通過優(yōu)化GPU不同層次存儲(chǔ)（特別是SharedMemory）的使用來提升了訪存操作和Op間數(shù)據(jù)交換的性能。圖中可以看到，綠色是Blade DISC優(yōu)化合并的算子替代了原圖中大量的算子。

圖片來源于阿里巴巴

圖片來源于阿里巴巴

另外，由于線上模型比較復(fù)雜，為了進(jìn)一步減少編譯耗時(shí)、提升部署效率，vivo啟用了Blade DISC的編譯緩存功能。開啟此功能時(shí)，Blade DISC僅會(huì)在新舊版本模型的Graph結(jié)構(gòu)發(fā)生改變時(shí)觸發(fā)編譯，如果新舊模型僅有權(quán)重變更則復(fù)用之前的編譯結(jié)果。經(jīng)過驗(yàn)證，編譯緩存在保證正確性的同時(shí)，幾乎掩蓋了編譯模型的開銷，模型更新速度與之前幾乎相同。在使用Blade DISC功能后，線上服務(wù)P99降低21%。

使用效果及影響

DeepRec提供大量的解決方案可以幫助用戶快速實(shí)施GPU推理。經(jīng)過一系列優(yōu)化，相較于CPU推理，GPU推理P99降低50%，GPU利用率平均在60%以上。此外，線上一張NVIDIA T4 Tensor Core GPU 的推理性能超過兩臺(tái)Xeon 6330 112Core 的CPU機(jī)器，節(jié)省了大量的機(jī)器資源。

基于CPU的分布式異步訓(xùn)練存在兩個(gè)問題：一是異步訓(xùn)練會(huì)損失訓(xùn)練精度，模型難以收斂到最佳；二是隨著模型結(jié)構(gòu)逐漸復(fù)雜，訓(xùn)練性能會(huì)急劇下降。未來，vivo打算嘗試基于GPU的同步訓(xùn)練來加速?gòu)?fù)雜模型訓(xùn)練。DeepRec支持兩種GPU同步框架：NVIDIA Merlin Sparse Operation Kit (SOK) 和Hybrid Backend。后續(xù)vivo將嘗試這兩種GPU同步訓(xùn)練來加速模型訓(xùn)練。

NVIDIA計(jì)算專家團(tuán)隊(duì)也與DeepRec技術(shù)團(tuán)隊(duì)深入合作，為在稀疏功能層面的Embedding Variable GPU 支持、在同步訓(xùn)練層面的Merlin SOK 集成，以及圖優(yōu)化層面的Embedding子圖Fusion功能開發(fā)提供技術(shù)支持。

Embedding Variable GPU 支持介紹：

DeepRec設(shè)計(jì)并提供了一套支持動(dòng)態(tài)Embedding語義的Embedding Variable，在特征無損訓(xùn)練的同時(shí)以最經(jīng)濟(jì)的方式使用內(nèi)存資源，使得超大規(guī)模特征的模型更容易增量上線。?進(jìn)一步地，因?yàn)镚PU具有強(qiáng)大的并行計(jì)算能力，對(duì)于Embedding Variable底層的HashTable 查找、插入等操作也具有明顯的加速作用。同時(shí)，對(duì)于模型計(jì)算部分若使用GPU，則使用GPU上的EmbeddingVariable 也可避免Host和Device上的數(shù)據(jù)拷貝，提高整體性能。因此增加了Embedding Variable 的GPU支持。

GPU版本的Embedding Variable通過NVIDIA cuCollection 作為底層Hash Table的實(shí)現(xiàn)，可以明顯加速Embedding相關(guān)的操作，而且使用方便，在具有NVIDIA GPU的環(huán)境中會(huì)自動(dòng)啟用，也可以手動(dòng)放置在合適的GPU設(shè)備上。性能測(cè)試顯示GPU版本相比于CPU版本，Embedding部分會(huì)有2倍以上的加速。

分布式訓(xùn)練集成Merlin SOK介紹：

DeepMerlin SOK 是NVIDIA Merlin團(tuán)隊(duì)基于Merlin SOK提供的針對(duì)神經(jīng)網(wǎng)絡(luò)中稀疏操作的加速插件庫(kù)，使用DeepMerlin SOK 可對(duì)DeepRec中相關(guān)的Embedding操作進(jìn)行加速和分布式訓(xùn)練的支持。

該SOK的設(shè)計(jì)理念就是希望同時(shí)兼容靈活性和高性能。在靈活性方面，使用SOK不會(huì)對(duì)用戶使用 DeepRec本身的功能有影響，可以和DeepRec提供的Embedding Variable 完全兼容，也會(huì)集成到 DeepRec的高級(jí)接口方便用戶的使用。在高性能方面，SOK主要從兩方面去考慮，一方面，在算法設(shè)計(jì)上，通過reduce操作來減少搬運(yùn)的數(shù)據(jù)量，另一方面，在實(shí)現(xiàn)上，主要通過算子融合技術(shù)，融合多表的查詢和通信，提供稀疏操作的性能。性能測(cè)試顯示SOK能夠提供接近于線性的擴(kuò)展能力，在8 GPU下相比1 GPU能夠達(dá)到6.5倍的加速效果。

Embedding子圖Fusion功能介紹：

DeepRec及TensorFlow原生的embedding lookup 相關(guān)API，如safe_embedding_lookup_sparse，會(huì)創(chuàng)建比較多細(xì)碎的算子，且部分算子只有CPU實(shí)現(xiàn)。因此在GPU上執(zhí)行時(shí)容易出現(xiàn)kernel launch bound 的問題以及額外H2D& D2H 拷貝，造成低GPU利用率，降低執(zhí)行速度。

針對(duì)此場(chǎng)景，NVIDIA計(jì)算專家團(tuán)隊(duì)與DeepRec合作，共同定制開發(fā)了支持在NVIDIA GPU上執(zhí)行的Embedding子圖Fusion功能，并對(duì)GPU高算力高吞吐的特點(diǎn)進(jìn)行了針對(duì)性優(yōu)化：提供一組接口以及相關(guān)Fusion算子，通過算子融合，減少需要launch的kernel數(shù)量，優(yōu)化訪存，提供高性能的實(shí)現(xiàn)，達(dá)到加速執(zhí)行的目的。

Embedding Fusion 功能易用，從Python層面提供接口及開關(guān)，用戶無需修改代碼即可快速使用。加速效果方面，單獨(dú)從Embedding模塊看，GPU Embedding Fusion 可以提供2倍左右的加速。從整體模型來看，加速效果取決于Embedding模塊的耗時(shí)占比。在幾個(gè)測(cè)試模型上，此功能可以提供1.2倍左右的整體性能加速。

英偉達(dá)（NVIDIA） Tesla T4 A40 V100 A100 H100 A800顯卡GPU Quadro GV100 32G

[經(jīng)銷商]京東商城

[產(chǎn)品售價(jià)]￥69999元

進(jìn)入購(gòu)買

英偉達(dá)（NVIDIA）GeForce RTX4090 公版顯卡 深度學(xué)習(xí)AI高性能計(jì)算GPU新架構(gòu) NVIDIA RTX4080 16G 公版

[經(jīng)銷商]京東商城

[產(chǎn)品售價(jià)]￥11999元

進(jìn)入購(gòu)買

標(biāo)簽：