做了數(shù)據(jù)中臺,還需要做數(shù)據(jù)治理嗎?
發(fā)布時間:2025-04-30
瀏覽數(shù):168次
引言
企業(yè)建設過數(shù)據(jù)中臺,還有必要做數(shù)據(jù)治理嗎?
企業(yè)做過領導駕駛艙,還需要做數(shù)據(jù)治理嗎?
企業(yè)做過生產(chǎn)管控、質量管控等,也有需要做數(shù)據(jù)治理嗎?
企業(yè)數(shù)據(jù)中臺項目中包括了數(shù)據(jù)管理,為什么還要做數(shù)據(jù)治理呢?
企業(yè)建了數(shù)據(jù)中臺,就等于企業(yè)具備數(shù)據(jù)管理及服務能力嗎?
……
【當下痛點】“慢、難、不準”
在數(shù)據(jù)要素背景下,大部分的企業(yè)數(shù)字化轉型選擇了基于數(shù)據(jù)驅動業(yè)務增長的路徑,建設了數(shù)據(jù)中臺項目。這類項目以面向業(yè)務部門的看板指標設計為主,基于平臺進行數(shù)據(jù)采集-數(shù)據(jù)倉庫加工-看板開發(fā)的工作落地。把數(shù)據(jù)中臺更多的建設成了一個數(shù)據(jù)鏈路的采集處理的技術平臺,是大部分企業(yè)的建設現(xiàn)狀,雖然有數(shù)據(jù)質量、數(shù)據(jù)標準、數(shù)據(jù)安全、數(shù)據(jù)目錄等諸多模塊,但是可能并沒有實質性的實施內容。往往還面臨如下痛點:
01、響應慢:業(yè)務部門提出看板需求,數(shù)據(jù)部門無法快速響應,從采集數(shù)據(jù)到看板開發(fā)完成往往需要1周~1個月,不能及時滿足業(yè)務端的“看數(shù)”需求;
02、運維難:數(shù)據(jù)管理部門/數(shù)據(jù)應用開發(fā)部門運維壓力大,工業(yè)企業(yè)主價值鏈看板往往后臺有四五千~上萬個調度運行的任務,通常在看板上出不來數(shù)據(jù)的情況下開始排查,問題難定位、影響范圍不確定,千絲萬縷,不敢動;
03、不準確:業(yè)務部門對看板應用存在兩種極端,一是不用、沒問題,月度訪問量個位數(shù),日常業(yè)務工作的開展不使用看板;二是用的多、抱怨多,看板信息不準確,但不知道怎么不準確,無從下手。
【根本原因】“與其解析SQL,不如重寫一段”
企業(yè)數(shù)字化轉型建設初期選擇“以應用為牽引的數(shù)據(jù)管理”建設路徑開展工作,這是聚焦業(yè)務價值開展數(shù)據(jù)管理的正確路徑。在這種情況下,建設重點更對放在業(yè)務部門相關的管控場景、公司領導相關的駕駛艙場景下的指標體系設計及看板開發(fā),以期激發(fā)業(yè)務人員對于“用數(shù)”的積極性和認同度。
該類項目的建設工作內容中,往往存在以下問題:
01、數(shù)據(jù)采集欠缺規(guī)范及復用性考慮,往往做一個指標從源頭采一次數(shù),造成了多次采集、接口的重復開發(fā);
02、數(shù)據(jù)加工多采用SQL,四五百行的SQL是運維工作的現(xiàn)實阻礙,與其解析SQL,不如重新寫一段是大部分的運維現(xiàn)狀;復合指標導致的調度編排關系錯綜復雜,影響范圍不可控也未知;
03、數(shù)據(jù)倉庫分層及模型規(guī)范執(zhí)行不到位,規(guī)劃是“超市的貨架”,現(xiàn)實是“菜市場的攤位”。
【如何解決】“從數(shù)據(jù)倉庫到數(shù)據(jù)超市”
伴隨著“應用牽引式”的數(shù)據(jù)工作建設,企業(yè)逐步認識到數(shù)據(jù)工作不僅僅是建看板應用,數(shù)據(jù)標準、數(shù)據(jù)質量、元數(shù)據(jù)管理等數(shù)據(jù)治理工作同樣重要,所以這些年建了數(shù)據(jù)中臺的企業(yè),還在做數(shù)據(jù)治理,甚至做數(shù)據(jù)治理的迫切程度更高。
數(shù)據(jù)部門如何從疲憊的數(shù)據(jù)運維工作中解脫出來,需要依賴:
01、數(shù)據(jù)標準:統(tǒng)一的數(shù)據(jù)標準,形成對數(shù)據(jù)的統(tǒng)一認識,是端到端業(yè)務流程貫通的前提,是多個業(yè)務視角打通分析報告的前提;
02、數(shù)據(jù)規(guī)范:提數(shù)據(jù)應用需求需要遵循提需求的規(guī)范、做數(shù)據(jù)采集需要遵循采集的規(guī)范、建倉庫模型需要遵循模型設計的規(guī)范、配調度編排需要遵循編排的規(guī)范、開發(fā)可視化看板需要遵循看板取數(shù)的規(guī)范,這是可追溯、能復用的前提;
03、數(shù)據(jù)服務:數(shù)據(jù)管理/數(shù)據(jù)應用開發(fā)部門如何從提供數(shù)據(jù)加工結果轉向提供數(shù)據(jù)服務,除了數(shù)據(jù)倉庫規(guī)范化的完善與重構,還要注重必要的數(shù)據(jù)角色以及數(shù)據(jù)工作分工的模式建設。
那么,作為數(shù)據(jù)管理部門應該如何統(tǒng)籌分析應用、數(shù)據(jù)標準、數(shù)據(jù)目錄、元數(shù)據(jù)以及數(shù)據(jù)倉庫、數(shù)據(jù)服務這些數(shù)據(jù)管理職能域的實際工作,以什么為抓手做好從“提供結果到提供服務”的轉型呢?下回見嘍 ~ ~