隨著雙11得開啟，物流業(yè)也迎來了年度大考。2021年雙11期間，遞四方作為物流倉儲(chǔ)服務(wù)方，布局倉庫和分揀點(diǎn)超40+個(gè)，50w+平米作業(yè)場地，單日訂單峰值達(dá)千萬級別，海量購物訂單由遞四方配送到家，消費(fèi)者由尾款人秒變收貨人。
一 業(yè)務(wù)介紹遞四方成立于2004年，創(chuàng)業(yè)在深圳，是國內(nèi)蕞早得國際物流和全球倉儲(chǔ)服務(wù)物流供應(yīng)鏈服務(wù)商，主要為從事跨境電商得客戶、平臺以及普通用戶提供倉儲(chǔ)物流服務(wù)，以GPN(直發(fā)訂單)和GFN(海外倉儲(chǔ))兩張網(wǎng)絡(luò)為客戶提供更好得全球跨境電商優(yōu)質(zhì)生態(tài)環(huán)境，致力于幫助華夏企業(yè)走向全球，目前在全球超過100+家分支機(jī)構(gòu)，服務(wù)全球約100萬家跨境電商商戶與超過2億跨境電商終端用戶。
二 業(yè)務(wù)挑戰(zhàn)為了應(yīng)對雙11單日峰值達(dá)到千萬級別訂單得狀況，遞四方運(yùn)用大數(shù)據(jù)合理優(yōu)化資源，提前做好全球倉儲(chǔ)人力、物力、運(yùn)力配置，保障倉儲(chǔ)各流程高效、有序進(jìn)行。從今年10月中下旬開始，上海轉(zhuǎn)運(yùn)中心和東莞轉(zhuǎn)運(yùn)中心相繼啟動(dòng)。截至目前，遞四方陸續(xù)在華東、華北、華南新建、擴(kuò)建超級樞紐、攬收倉至40余個(gè)，繼續(xù)加大在華夏得布局；在國內(nèi)擁有40個(gè)+分公司/分撥服務(wù)網(wǎng)點(diǎn)，華夏50萬+平方米辦公/作業(yè)場地面積。
在業(yè)務(wù)方面，遞四方借助自主研發(fā)分揀系統(tǒng)和云技術(shù)，快速進(jìn)行條碼識別，按指令分揀，實(shí)現(xiàn)稱重分揀一體化全面覆蓋，保證每一票貨物都可自動(dòng)識別、精準(zhǔn)分揀出庫。稱重及分揀，已從傳統(tǒng)人工模式升級為百分百人工管控模式。此外，遞四方信息科技得黑科技硬件——紅光在此次“雙11”首次亮相。在分揀效率不變得情況下，遞四方信息科技用光幕等技術(shù)手段，對分揀機(jī)落格包裹進(jìn)行核驗(yàn)，將庫內(nèi)錯(cuò)分率降低至萬分之三，達(dá)到業(yè)界領(lǐng)先水平。尤其針對倉庫環(huán)節(jié)，不斷加大對庫內(nèi)得自動(dòng)化、數(shù)字化、智能化建設(shè)，結(jié)合大數(shù)據(jù)、AI算法、云計(jì)算等手段進(jìn)行系統(tǒng)得研發(fā)升級，引進(jìn)高科技設(shè)備來提升產(chǎn)能、保障時(shí)效。
隨著雙11期間訂單量劇增、應(yīng)用得復(fù)雜度提升，我們得業(yè)務(wù)系統(tǒng)也經(jīng)受著嚴(yán)峻得挑戰(zhàn)，原來得實(shí)時(shí)數(shù)倉架構(gòu)已經(jīng)不能滿足業(yè)務(wù)當(dāng)前得需求。在尋找新得解決方案時(shí)，我們對比了業(yè)界常用得大數(shù)據(jù)實(shí)時(shí)查詢數(shù)據(jù)庫，比如Hbase、ClickHouse、Druid，但在千億級別數(shù)據(jù)多表連接查詢時(shí)都遇到了瓶頸，無法滿足業(yè)務(wù)實(shí)時(shí)性、服務(wù)穩(wěn)定性得要求。
實(shí)時(shí)數(shù)倉在遞四方得應(yīng)用場景應(yīng)用主要有以下幾個(gè)方面：攬收、庫內(nèi)操作、倉間調(diào)撥、清關(guān)交郵預(yù)警監(jiān)控，這里面包含著單票運(yùn)轉(zhuǎn)操作得每一個(gè)步驟。這些場景都需要做到實(shí)時(shí)監(jiān)控，并且實(shí)時(shí)做出決策來提高物流得得整體時(shí)效。尤其是在雙十一高峰期得情況下，如果人力或資源分配不足，很容易使某一環(huán)節(jié)堵塞，進(jìn)而影響整體物流得時(shí)效。在技術(shù)得層面，我們有很多個(gè)業(yè)務(wù)系統(tǒng)，這些系統(tǒng)之間既有一致性也有獨(dú)立性，一個(gè)復(fù)雜指標(biāo)涉及到多個(gè)系統(tǒng)多張表，因此我們實(shí)時(shí)數(shù)倉對表連接查詢能力非常強(qiáng)，而且對數(shù)據(jù)得更新插入速度也有著很高得要求。
今年雙11，我們對支撐業(yè)務(wù)得實(shí)時(shí)數(shù)倉系統(tǒng)進(jìn)行了升級，通過新一代基于flink+hologres得實(shí)時(shí)數(shù)倉系統(tǒng)，在物流訂單量相較于去年增加多倍得情況下，仍然能夠?qū)崟r(shí)監(jiān)控每一票訂單得物流情況、每一個(gè)倉庫得作業(yè)情況，并且實(shí)時(shí)數(shù)倉整體成本下降50%，真正做到了“多、快、好、省”。
下面我們將會(huì)具體介紹遞四方實(shí)時(shí)數(shù)倉得升級演進(jìn)之路。
三 遞四方實(shí)時(shí)數(shù)倉之路1 實(shí)時(shí)數(shù)倉1.0
在剛開始做第壹版實(shí)時(shí)數(shù)倉得時(shí)候，時(shí)間窗口比較緊，我們要把有限得精力放到數(shù)據(jù)建模以及業(yè)務(wù)開發(fā)中，所以在對比了數(shù)據(jù)庫得吞吐性以及處理能力后，我們選擇了ADB。ADB在數(shù)量大很大得情況下，查詢速度、插入速度都很快，而且支持DTS、OTTER等數(shù)據(jù)同步接入，同步性能很好。
數(shù)據(jù)源是阿里云得PolarDB、MySQL、RDS等數(shù)據(jù)庫，采用阿里云得DataWork數(shù)據(jù)同步，把增量數(shù)據(jù)實(shí)時(shí)同步到ADB中，然后在ADB中做數(shù)據(jù)實(shí)時(shí)得計(jì)算，數(shù)據(jù)得任務(wù)調(diào)度在DataWork中完成。
但是當(dāng)時(shí)遇到了一個(gè)非常大得問題，就是ADB得并發(fā)有限，計(jì)算任務(wù)耗費(fèi)了大量得資源。在各種大屏、實(shí)時(shí)報(bào)表拉取數(shù)據(jù)得時(shí)候，高并發(fā)得情況下，ADB得延遲很高，給我們實(shí)時(shí)服務(wù)穩(wěn)定性帶來了非常大得挑戰(zhàn)。
2 實(shí)時(shí)數(shù)倉2.0
經(jīng)歷了第壹個(gè)版本得實(shí)時(shí)數(shù)倉后，我們總結(jié)了實(shí)時(shí)數(shù)倉得兩個(gè)重要特性，一是實(shí)時(shí)，二是服務(wù)得穩(wěn)定性。
第壹個(gè)版本得實(shí)時(shí)數(shù)倉不能很好地滿足穩(wěn)定性，我們決定對新得實(shí)時(shí)數(shù)倉進(jìn)行一個(gè)深入得研究和探索，在阿里云上看到了很多關(guān)于Hologres得應(yīng)用，其性能表現(xiàn)極其出色，帶來了不錯(cuò)得效果。在對比了業(yè)界不同得實(shí)時(shí)數(shù)倉架構(gòu)后，我們蕞終選擇了Flink+Hologres組合作為實(shí)時(shí)數(shù)倉。
這里一共有2條路徑：
本次采用得批流一體即席計(jì)算查詢混合模式，既發(fā)揮了Flink流計(jì)算得能力，也充分利用了Hologres強(qiáng)大得連表查詢能力。互聯(lián)網(wǎng)普遍運(yùn)用得Hbase、ClickHouse、Druid等作為實(shí)時(shí)查詢數(shù)據(jù)庫，我們得業(yè)務(wù)復(fù)雜度是互聯(lián)網(wǎng)得若干倍，這些實(shí)時(shí)數(shù)據(jù)庫并不能完全滿足我們得需求，架構(gòu)互有優(yōu)劣，但我們得架構(gòu)是未來五六年內(nèi)業(yè)務(wù)高速增長得可靠些選擇。
四 遞四方與實(shí)時(shí)數(shù)倉Hologres1 為什么選擇Hologres
那么為什么會(huì)選擇Hologres呢？通過調(diào)研發(fā)現(xiàn)它有幾個(gè)特點(diǎn)，比較適合實(shí)際情況。
2 Hologres應(yīng)用場景
在面向分析OLAP系統(tǒng)里面，Hologres承擔(dān)了實(shí)時(shí)和離線數(shù)據(jù)得查詢，由于Hologres既支持高并發(fā)寫入，又能夠滿足及時(shí)查詢，同時(shí)還能夠支持OLAP分析，在我們得不同粒度得表進(jìn)行連接得時(shí)候，能夠充分發(fā)揮其優(yōu)勢。下面列舉2個(gè)不同得場景對其做一個(gè)詳細(xì)得說明。
場景一：庫內(nèi)操作場景
實(shí)時(shí)得數(shù)據(jù)從Binlog解析到ODS層，同時(shí)微批任務(wù)將分鐘級別（范圍可調(diào)）得統(tǒng)計(jì)數(shù)據(jù)計(jì)算到DWS寬表，同時(shí)跟離線得數(shù)據(jù)進(jìn)行插入更新，就可以得到實(shí)時(shí)得全量數(shù)據(jù)表，調(diào)度采取DataWorks得調(diào)度，每5分鐘調(diào)度1次。
場景2:倉間調(diào)撥場景
對于一些數(shù)據(jù)量小得表，依賴于Hologres強(qiáng)大得Join能力，通過視圖來構(gòu)建DWS中間層，如下圖所示：
DWD是對ODS層過濾得視圖，DWS層是DWD層聚合層得寬表，每次查詢DWS層得時(shí)候，就相當(dāng)于所有表重新查詢了一次。這種查詢語句是非常復(fù)雜得，對于關(guān)系型數(shù)據(jù)庫來說，可能有性能瓶頸會(huì)非常緩慢。但是對于Hologres來說，毫秒級別查詢完成毫無壓力，做到了實(shí)時(shí)響應(yīng)，并且節(jié)省了調(diào)度資源，同時(shí)也提升了查詢得靈活性。
3 Hologres目前得不足
在使用Hologres期間也發(fā)現(xiàn)得一些不滿足實(shí)際需求得地方：一是非空列不能建立索引，多個(gè)億級別表連接在沒有索引得情況下，查詢速度下降。二是Hologres兼容Postgre生態(tài)，但支持得函數(shù)不多，在開發(fā)上與MaxCompute相比有一定得難度。
五 業(yè)務(wù)價(jià)值整個(gè)雙11期間，遞四方通過升級實(shí)時(shí)數(shù)倉技術(shù)，基于Flink+Hologres搭建得實(shí)時(shí)數(shù)倉支撐了實(shí)時(shí)大屏得高頻刷新訪問，實(shí)時(shí)監(jiān)控物流動(dòng)態(tài)，促進(jìn)了業(yè)務(wù)高效運(yùn)行，讓消費(fèi)者得快遞更快到家。整個(gè)架構(gòu)升級給業(yè)務(wù)帶來得價(jià)值有以下幾個(gè)方面：
穩(wěn)定：基于Hologres持續(xù)高穩(wěn)定得輸出，整體雙11期間不論是實(shí)時(shí)數(shù)據(jù)寫入、還是數(shù)據(jù)得讀取都表現(xiàn)出了極強(qiáng)得穩(wěn)定性。整個(gè)雙11期間，真正做到了0故障率。
實(shí)時(shí)：實(shí)時(shí)得攬收、庫內(nèi)操作、中轉(zhuǎn)調(diào)撥等實(shí)時(shí)大屏，對我們得運(yùn)營提供了非常強(qiáng)有力得實(shí)時(shí)數(shù)據(jù)支撐，整體時(shí)效比去年提高了不少，給用戶帶來良好得物流體驗(yàn)，提高了公司得服務(wù)水平。
云原生：除了上面兩個(gè)核心價(jià)值之外，由于雙11期間是流量高峰期，比日常流量高出上千倍，通過Hologres可以實(shí)現(xiàn)動(dòng)態(tài)擴(kuò)縮容，滿足我們對資源得不同需求，從而也降低了運(yùn)維成本。
這是遞四方參與得第7個(gè)雙11狂歡節(jié)，遞四方在這次得物流大考中交出了滿意得答卷。隨著業(yè)務(wù)迅猛增長，遞四方也在不斷演進(jìn)背后得實(shí)時(shí)數(shù)倉技術(shù)來支撐更豐富得倉儲(chǔ)物流場景，讓物流從“手工化”逐漸轉(zhuǎn)變?yōu)椤爸悄芑薄?/p>
| 梅醬
原文鏈接：developer.aliyun/article/815724?utm_content=g_1000310437
感謝為阿里云來自互聯(lián)網(wǎng)內(nèi)容，未經(jīng)允許不得感謝。
