數(shù)據(jù)開(kāi)發(fā)必看！火山引擎DataLeap如何解決數(shù)據(jù)隔離問(wèn)題？

2023-03-28 15:44:25來(lái)源：中關(guān)村在線

在離線數(shù)倉(cāng)開(kāi)發(fā)過(guò)程中，研發(fā)人員需要根據(jù)業(yè)務(wù)變化，在開(kāi)發(fā)/生產(chǎn)環(huán)境中不斷切換、解析、調(diào)試。以往，企業(yè)一般通過(guò)人工方式核驗(yàn)，但由于數(shù)據(jù)量大且類(lèi)型不同，導(dǎo)致研發(fā)人員資源、精力投入大。

如何使同構(gòu)代碼在不同環(huán)境正確運(yùn)行，避免因調(diào)試過(guò)程中的誤操作，對(duì)生產(chǎn)環(huán)境直接造成數(shù)據(jù)負(fù)面風(fēng)險(xiǎn)，成為很多企業(yè)數(shù)倉(cāng)研發(fā)團(tuán)隊(duì)的痛點(diǎn)之一。

近期，火山引擎DataLeap推出“項(xiàng)目參數(shù)管理”能力，即通過(guò)自定義項(xiàng)目參數(shù)分別設(shè)置開(kāi)發(fā)、生產(chǎn)環(huán)境參數(shù)值，參數(shù)支持配置多種類(lèi)型，包括Region、DB、shecma、table、date以及自定義等，且支持任務(wù)級(jí)別引用，快速幫助研發(fā)團(tuán)隊(duì)實(shí)現(xiàn)資源隔離。

(資料圖片)

火山引擎DataLeap“項(xiàng)目參數(shù)管理”能力

以湖倉(cāng)一體分析服務(wù)（LAS）引擎為例，介紹如何利用“項(xiàng)目參數(shù)管理”區(qū)分不同環(huán)境庫(kù)和時(shí)間格式的查詢(xún)。

在使用之前，由于1個(gè)業(yè)務(wù)需求常常涉及10+任務(wù)、30+參數(shù)，且不同環(huán)境DB中、table基本一致，需要管理2套代碼。數(shù)倉(cāng)研發(fā)人員難以避免出現(xiàn)測(cè)試代碼在生產(chǎn)環(huán)境執(zhí)行、表誤刪、數(shù)據(jù)誤刪等問(wèn)題。

在使用之后，只需要3個(gè)步驟即可解決生產(chǎn)、測(cè)試環(huán)境數(shù)據(jù)隔離問(wèn)題：

· 步驟一：LAS有2套環(huán)境，包括測(cè)試環(huán)境庫(kù)test_dev、生產(chǎn)環(huán)境庫(kù)test_prod 。2套環(huán)境都有相同表名LAS_table01、分區(qū)字段名datetimes。開(kāi)發(fā)環(huán)境分區(qū)字段為yyyymmdd，生產(chǎn)環(huán)境分區(qū)格式為YYYY-MM-DD。在DataLeap中設(shè)置日期參數(shù)arg，開(kāi)發(fā)環(huán)境參數(shù)值=\${date}、生產(chǎn)環(huán)境參數(shù)值=\${DATE}。設(shè)置庫(kù)參數(shù)env，開(kāi)發(fā)環(huán)境=test_dev、生產(chǎn)環(huán)境=test_prod。

·步驟二：對(duì)于離線數(shù)據(jù)開(kāi)發(fā)任務(wù)，研發(fā)人員可以直接在代碼中使用項(xiàng)目參數(shù)，點(diǎn)擊“解析”“調(diào)試”，系統(tǒng)會(huì)自動(dòng)替換為相應(yīng)的開(kāi)發(fā)環(huán)境參數(shù)值，并進(jìn)行語(yǔ)法解析、權(quán)限檢查等。

·步驟三：點(diǎn)擊“提交上線”、“任務(wù)例行執(zhí)行”時(shí)，對(duì)于項(xiàng)目參數(shù)，系統(tǒng)會(huì)自動(dòng)替換為相應(yīng)的生產(chǎn)環(huán)境參數(shù)值，然后進(jìn)行相應(yīng)的語(yǔ)法解析以及權(quán)限檢查。從而有效提升環(huán)境代碼管理效率。

據(jù)介紹，企業(yè)可以在以下場(chǎng)景使用火山引擎DataLeap“項(xiàng)目參數(shù)管理”能力：

【場(chǎng)景1】開(kāi)發(fā)生產(chǎn)環(huán)境隔離

·以HSQL任務(wù)為例，為避免在開(kāi)發(fā)測(cè)試階段，因誤操作影響生產(chǎn)庫(kù)表的數(shù)據(jù)，研發(fā)人員可以在HSQL代碼中使用項(xiàng)目參數(shù)。調(diào)試時(shí)，系統(tǒng)會(huì)自動(dòng)替換為開(kāi)發(fā)環(huán)境參數(shù)值；上線后的任務(wù)例行執(zhí)行，系統(tǒng)將自動(dòng)替換為生產(chǎn)環(huán)境參數(shù)值。同時(shí)，DataLeap也支持代碼一致，無(wú)需在上線前批量將開(kāi)發(fā)環(huán)境的庫(kù)表名稱(chēng)替換為生產(chǎn)環(huán)境的庫(kù)表名稱(chēng)。

【場(chǎng)景2】跨區(qū)域/項(xiàng)目代碼同構(gòu)

·一般來(lái)說(shuō)，不同Region下的庫(kù)、表名不同。為了實(shí)現(xiàn)不同Region、項(xiàng)目下代碼同構(gòu)，研發(fā)人員可以在HSQL代碼中使用項(xiàng)目參數(shù)，來(lái)實(shí)現(xiàn)不同環(huán)境下，同一個(gè)任務(wù)的代碼同構(gòu)，有效提升環(huán)境代碼管理效率。

火山引擎DataLeap讓研發(fā)人員不再需要通過(guò)”調(diào)度設(shè)置-任務(wù)輸入?yún)?shù)”的方式添加項(xiàng)目參數(shù)，只需定義一次參數(shù)即可輕松構(gòu)建，并且實(shí)現(xiàn)生產(chǎn)、測(cè)試環(huán)境下的數(shù)據(jù)自動(dòng)隔離，代碼同構(gòu)。除此之外，DataLeap還具備數(shù)據(jù)集成、開(kāi)發(fā)、運(yùn)維、治理、資產(chǎn)、安全等數(shù)據(jù)中臺(tái)建設(shè)能力，助力企業(yè)提升數(shù)據(jù)研發(fā)效率、降低管理成本，為數(shù)字化轉(zhuǎn)型提供支撐。（作者：楊文文）

標(biāo)簽：