(網(wǎng)經(jīng)社訊)抖音集團，作為字節(jié)跳動國內(nèi)信息和服務(wù)業(yè)務(wù)的核心板塊，旗下?lián)碛卸兑?、今日頭條、西瓜視頻等眾多知名產(chǎn)品。相信大家的手機里都安裝了不止一個抖音集團的 App。
平臺管理的數(shù)據(jù)量在幾年前就已超過 EB 級別，這為我們的數(shù)據(jù)管理帶來了巨大的挑戰(zhàn)
我們的數(shù)據(jù)平臺承載著一項重要使命：成為推動增長的敏捷數(shù)智引擎。
火山引擎數(shù)智平臺的整體架構(gòu)分為四個層次：數(shù)據(jù)引擎層、數(shù)據(jù)建設(shè)管理層、數(shù)據(jù)分析應(yīng)用層和解決方案與咨詢服務(wù)層。這四層協(xié)同工作，覆蓋了數(shù)據(jù)從采集到分析的全生命周期。
我們的數(shù)據(jù)產(chǎn)品有兩個核心特點：敏捷和易用。
首先，敏捷體現(xiàn)在速度和靈活性上。數(shù)據(jù)流程全面加速，無論是數(shù)據(jù)采集、加工還是分析消費，都實現(xiàn)了實時性，系統(tǒng)能夠處理十億級數(shù)據(jù)的亞秒級查詢。
其次，在易用性方面，我們致力于打造低門檻、快速上手和廣泛協(xié)同的數(shù)據(jù)處理環(huán)境。即使沒有技術(shù)或統(tǒng)計學(xué)背景，團隊成員也能輕松搭建數(shù)據(jù)門戶、開展 AB 測試。平臺支持無代碼操作，讓每個人都能快速成為數(shù)據(jù)的探索者和分析者。
此外，數(shù)據(jù)產(chǎn)品具有無縫協(xié)同能力，與飛書、日歷、業(yè)務(wù)系統(tǒng)等工具的整合，讓數(shù)據(jù)隨時隨地為決策服務(wù)。
總結(jié)而言，我們的數(shù)據(jù)團隊致力于通過敏捷和易用的產(chǎn)品，實現(xiàn)對業(yè)務(wù)的高標準服務(wù)。我們的目標是達到"0987"的服務(wù)標準——0 重大線上問題，90% 的需求滿足率，80% 以上的分析師查詢數(shù)倉覆蓋率，以及超過 70% 的業(yè)務(wù)用戶滿意度。
抖音集團業(yè)務(wù)發(fā)展可劃分為三個顯著的階段：探索期、成長期和成熟期。
在探索期，我們的焦點在于快速迭代和業(yè)務(wù)導(dǎo)向，迅速適配業(yè)務(wù)調(diào)整，尋找可持續(xù)的增長模式。這一時期，我們面臨的主要挑戰(zhàn)是縮短交付周期，以實現(xiàn)快速的市場響應(yīng)。
隨著業(yè)務(wù)步入成長期和成熟期，數(shù)據(jù)質(zhì)量和效率的重要性日益凸顯。我們遭遇了三大主要難點：
● 指標管理的不統(tǒng)一：存在“同名不同義”或“同義不同名”的現(xiàn)象，使得僅依靠文檔或基礎(chǔ)管理平臺難以有效管理指標。
● 指標口徑的不統(tǒng)一：業(yè)務(wù)人員常面臨指標定義不清晰、技術(shù)口徑不明確的問題，這無疑增加了理解和使用指標的難度和成本。
● 指標消費的不統(tǒng)一：早期的指標定義和數(shù)據(jù)取數(shù)口徑分散，導(dǎo)致在新的業(yè)務(wù)場景出現(xiàn)時，數(shù)倉不得不創(chuàng)建冗余的表和重復(fù)的指標，造成了資源的浪費。
面對這些挑戰(zhàn)，我們認識到要提升數(shù)據(jù)質(zhì)量和效率，必須針對性地解決指標管理、口徑和消費的統(tǒng)一問題。
我們的解決思路是構(gòu)建一個生產(chǎn)促進消費、消費反饋促進管理的閉環(huán)能力。這樣的良性循環(huán)不僅確保了指標體系的價值，也使其在抖音業(yè)務(wù)中能夠持續(xù)、有效地運轉(zhuǎn)。
整個解決方案分為三層：
第一層是指標生產(chǎn)，包括模型的設(shè)計，以及數(shù)據(jù)質(zhì)量和穩(wěn)定性上的一些保障方案。
第二層是指標管理，核心要解決的是指標的效率問題，還要保證指標的一致性。
第三層是指標消費，最終以指標專題這種方式實現(xiàn)指標一處定義多處消費的模式，以服務(wù)化的方式給到上游應(yīng)用。
要實現(xiàn)高效的指標管理，必須解決以下三個核心問題：
● 指標一致性問題：包括“同名不同義”、“同義不同名”以及指標間值沖突等問題。一致性是指標管理的基石，它直接影響數(shù)據(jù)的準確性和可靠性。
● 指標的持續(xù)保鮮和有效迭代：短期內(nèi)研發(fā)指標相對容易，但長期維護其活力和有效性則更具挑戰(zhàn)。為此，我們將從機制和流程的角度出發(fā)，建立保障措施，確保指標能夠持續(xù)優(yōu)化和更新，以適應(yīng)不斷變化的業(yè)務(wù)需求。
● 效率問題：包括指標定義和拆解的效率。在快節(jié)奏的業(yè)務(wù)環(huán)境中，快速響應(yīng)和處理數(shù)據(jù)至關(guān)重要，要通過流程優(yōu)化和技術(shù)迭代，提升指標管理的效率，以支持快速決策。
綜上所述，我們的目標是在流程和機制上解決指標的持續(xù)保鮮問題，并推動指標中臺產(chǎn)品能力的迭代升級，以解決指標一致性和管理效率問題。通過這些措施，建立一個更加健壯、靈活且高效的指標管理體系。
接下來通過一個具體的例子來闡述我們整體的協(xié)作流程。
比如一位分析師提了一個指標需求，在指標平臺中進行了需求登記。我們的業(yè)務(wù)應(yīng)用層數(shù)據(jù) BP 數(shù)倉同學(xué)接到這個指標需求之后，會去判斷這個指標以前有沒有建設(shè)過，是否能夠復(fù)用，如果沒有的話，會先去做指標的拆解。
在拆解過程中，如果發(fā)現(xiàn)了一些指標的基礎(chǔ)元素上的缺失，比如缺少一些原子指標或者修飾詞等，就會引入基建同學(xué)或者公共層數(shù)據(jù)同學(xué)來進行基礎(chǔ)元素的完善。最終應(yīng)用層的同學(xué)去做好指標模型的開發(fā)。
在面向需求交付的過程中，我們一般情況下也是希望對接業(yè)務(wù)的數(shù)據(jù)同學(xué)能夠端到端地完成需求交付的閉環(huán)。
當然如果需要依賴的核心公共層數(shù)據(jù)缺失，那么會引入公共層的同學(xué)去完善公共數(shù)據(jù)的建設(shè)。最終把模型注冊到指標平臺，以服務(wù)化的方式給到下游去進行消費。
整體協(xié)作流程中的關(guān)鍵步驟包括：
1. 需求登記：首先，分析師需要在我們的指標平臺上進行登記。這一步驟是整個協(xié)作流程的起點，通過平臺提供的工具，需求得以明確和記錄。
2. 指標檢查與拆解：數(shù)倉開發(fā)人員接到新需求后，首先檢查該指標是否已經(jīng)存在。如果尚未存在，開發(fā)人員將負責指標拆解，構(gòu)建新的指標定義，包括原子指標和修飾詞等，這是確保指標精確性和一致性的關(guān)鍵步驟。
3. 模型創(chuàng)建與綁定：隨后，從基建側(cè)著手，開發(fā)人員創(chuàng)建相應(yīng)的數(shù)據(jù)模型和表結(jié)構(gòu)，并進行模型綁定。這一環(huán)節(jié)是將指標從概念轉(zhuǎn)化為可操作、可查詢的數(shù)據(jù)實體。
4. 交付與應(yīng)用：完成模型綁定后，新構(gòu)建的指標最終交付給數(shù)據(jù)產(chǎn)品團隊或分析師。這一交付不僅包括指標本身，還包括了指標的詳細文檔和使用指南。
5. 全鏈路追蹤：在整個指標的生命周期中，從模型綁定、指標分類歸屬到原子指標的對應(yīng)，每個階段都與指標消費環(huán)節(jié)緊密相連。這種端到端的流程設(shè)計，確保了每個指標的消費過程都是可追蹤的，為數(shù)據(jù)的全鏈路追溯和優(yōu)化奠定了基礎(chǔ)。
要保證整套流程能夠持續(xù)運轉(zhuǎn)下去，需要有權(quán)責分明的組織設(shè)計，確保從需求提出到指標實現(xiàn)的每個環(huán)節(jié)都有明確的責任主體，每個角色都能在其專業(yè)領(lǐng)域內(nèi)發(fā)揮最大的作用。
這不僅可以提高工作效率，也能夠保障數(shù)據(jù)的質(zhì)量和一致性。
1. 業(yè)務(wù)負責人：首先，業(yè)務(wù)負責人是需求和指標模型的提出者。他們通常是商業(yè)智能分析師或產(chǎn)品經(jīng)理，擁有深厚的業(yè)務(wù)知識和專業(yè)背景。其職責是確保指標的原子定義和業(yè)務(wù)限定清晰無誤，擁有最終解釋權(quán)，是第一責任人。他們需要在各自領(lǐng)域內(nèi)制定明確、無歧義的標準，保障指標建模的準確性和一致性。
2. 數(shù)據(jù)應(yīng)用層：緊接著，數(shù)據(jù)應(yīng)用層的團隊負責將這些指標模型轉(zhuǎn)化為實際的數(shù)據(jù)產(chǎn)品。他們需要選擇合適的實現(xiàn)方式，確保指標的準確實現(xiàn)和及時產(chǎn)出。與業(yè)務(wù)負責人的密切溝通是他們工作的關(guān)鍵，以確保對指標口徑的理解完全一致，避免任何可能的歧義。
3. 公共層數(shù)據(jù)團隊：最后，基礎(chǔ)信息的維護和管理由公共層數(shù)據(jù)團隊統(tǒng)一負責，需要確保數(shù)據(jù)的一致性和可追溯性。
要確保指標的一致性，主要從兩個方面考慮：
1. 指標拆解的規(guī)范性：指標拆解過程必須遵循嚴格的規(guī)范，確保每個指標的精確性和一致性。
● 基礎(chǔ)信息配置：涵蓋數(shù)據(jù)域、業(yè)務(wù)過程、度量、修飾詞、統(tǒng)計粒度、時間周期、指標單位和數(shù)據(jù)類型，這些是構(gòu)成指標的基礎(chǔ)元素。
● 指標拆解定義：細分為原子指標、衍生指標和復(fù)合指標。
● 原子指標由業(yè)務(wù)過程和度量構(gòu)成。
● 衍生指標是在原子指標的基礎(chǔ)上加入修飾詞和時間周期。
● 復(fù)合指標則是通過四則運算或統(tǒng)計方法修飾詞從衍生指標生成。
2. 指標中臺產(chǎn)品能力的唯一性校驗：通過指標唯一性校驗和原子指標/修飾詞的相似性校驗來確保指標在平臺上的一致性和準確性。
● 指標唯一性校驗確保每個指標在系統(tǒng)中都是獨一無二的。
● 原子指標和修飾詞的相似性校驗幫助我們避免指標定義的冗余和歧義。
指標拆解是數(shù)據(jù)管理中最為耗時的部分，提升這一環(huán)節(jié)的效率非常重要。
我們從以下兩個方面著手提升指標拆解和管理的效率。
● 理念革新：首先，在理念上我們提倡“先聚焦核心”。我們認為，理想的指標管理最終形態(tài)可能是達到“無為而治”。我們根據(jù)業(yè)務(wù)特性和指標復(fù)用性，綜合考量并制定拆解方案。例如，在短視頻業(yè)務(wù)中，我們采取的是“先開發(fā)后拆解”的策略，以適應(yīng)快速變化的業(yè)務(wù)需求。
● 流程優(yōu)化：其次，我們通過梳理和沉淀業(yè)務(wù)過程、原子指標和修飾詞，建立指標生產(chǎn)操作手冊和指標樹。這些措施有助于標準化和加速指標拆解過程。同時，我們還開發(fā)了批量化腳本，自動化常規(guī)的拆解任務(wù)，減少人工操作，大幅提升效率。
比如要投入到一條業(yè)務(wù)線上的指標管理，我們往往采取的一個策略是讓偏公共層的專業(yè)數(shù)倉同學(xué)去系統(tǒng)性地梳理出一個業(yè)務(wù)過程，原子指標、修飾詞是什么，最終把這條業(yè)務(wù)線上最核心的指標做好管理，并且會整理出相應(yīng)的管理手冊，推廣到整條業(yè)務(wù)線上去，從而做好全員的指標管理。
我們也在探索通過大模型的方式去完成自動化拆解，只需要把對應(yīng)的表和字段錄入進去，通過大模型就可以自動拆解出原子指標修飾詞和時間周期。
我們團隊對業(yè)務(wù)需求的承諾是明確的——保證 90% 的需求滿足率。為了達到這個目標，敏捷性成為我們優(yōu)先考慮的關(guān)鍵因素。
在處理普通業(yè)務(wù)需求時，特別是在短視頻業(yè)務(wù)中，我們采取了一種靈活的策略。為了保持敏捷，我們不會對這類需求進行前期的指標管理。相反，我們直接開發(fā)并上線 ClickHouse 表，以快速響應(yīng)業(yè)務(wù)需求。
隨著業(yè)務(wù)的發(fā)展，當這些表格需要被應(yīng)用到?jīng)Q策看板時，我們會異步進行指標的錄入和拆解。這樣做不僅保證了業(yè)務(wù)的敏捷性，同時也確保了數(shù)據(jù)的可管理性和可分析性。
當然，如果遇到性能問題，比如當表格不再滿足 SLA 要求時，我們會進行模型的重構(gòu)和指標下沉到公共層。這一過程是我們數(shù)據(jù)管理成熟度的體現(xiàn)，確保了數(shù)據(jù)的長期穩(wěn)定性和可用性。
通過我們的中臺產(chǎn)品一體化架構(gòu)，即使在異步進行指標管理時，也只需 20 分鐘就能完成單表的指標管理工作。這大大提升了我們的效率，同時也保證了數(shù)據(jù)的質(zhì)量和一致性。
指標生產(chǎn)的模型設(shè)計遵循從明細到匯總的層次化設(shè)計原則，依次構(gòu)建了明細層、輕粒度匯總層和粗粒度匯總層。
在輕粒度匯總層，我們希望能夠覆蓋盡可能多的維度，下游偏應(yīng)用層的指標開發(fā)盡可能依賴于輕粒度匯總層，而不要直接去依賴于明細層，當然也會兼顧性能和成本。
另外，一般選擇單業(yè)務(wù)過程，當然如果多個過程從業(yè)務(wù)視角上來看總是連在一起去看的，那么也會把他們放在一個模型里面去做加工計算。
粗粒度匯總層往往最終應(yīng)用是給到下游直接去做消費，所以需要關(guān)注其性能，以及指標業(yè)務(wù)上的擴展性。從實踐經(jīng)驗來看，粗粒度匯總層一般情況下選擇三個左右的維度為宜。
首先要明確保障的對象和內(nèi)容。需要從業(yè)務(wù)視角出發(fā)，清晰界定我們所要保障的對象。這包括：
1. 產(chǎn)品模塊的梳理：了解每個產(chǎn)品模塊的具體情況。
2. 責任分配：明確每個模塊的責任人，包括產(chǎn)品經(jīng)理、開發(fā)人員和數(shù)據(jù)分析師（DA）。
3. 保障標準：設(shè)定具體的標準，如產(chǎn)出時間、用戶體驗等，確保數(shù)據(jù)的準確性和及時性。
第二，要保障方案的實施，通過工具化和平臺化來賦能整個保障過程。這涉及到：
1. 全鏈路血緣：分析模塊之間的關(guān)系、消費情況和協(xié)同依賴，確保數(shù)據(jù)的一致性和可追溯性。
2. 日?；芾恚豪蔑w書群等工具，對異常告警進行播報和推送，實現(xiàn)數(shù)據(jù)質(zhì)量的日常治理。
在需求交付的全鏈路流程中，數(shù)據(jù)質(zhì)量的保障是至關(guān)重要的。例如：
1. 開發(fā)測試階段：我們要求管理層的決策指標必須經(jīng)過正確性、一致性和合理性的測試。
2. 發(fā)布上線階段：實施嚴格的變更管控，確保數(shù)據(jù)的穩(wěn)定性。
3. 線上運維階段：從數(shù)據(jù)視角、工程視角以及應(yīng)急機制出發(fā)，全方位保障數(shù)據(jù)的質(zhì)量。
總之，數(shù)據(jù)質(zhì)量的保障是一個系統(tǒng)工程，需要我們在每一個環(huán)節(jié)都投入關(guān)注和努力。
在對外的商業(yè)化的數(shù)據(jù)產(chǎn)品，或者面向于服務(wù)管理層的業(yè)務(wù)時會非常注重指標生產(chǎn)的穩(wěn)定性，我們主要面臨兩個核心問題：
首先，上游管理難。由于上游鏈路眾多且保障能力參差不齊，因為有的可能是偏工程團隊在管理，而且整條鏈路可能上游有的時候高達幾十層，這使得上游管理的復(fù)雜性大大增加。這通常占到了整體故障的 40%。
其次，保障如何做到日?；?。我們經(jīng)常遇到優(yōu)化后短期內(nèi)效果顯著，但隨著時間推移，穩(wěn)定性又逐漸變差的情況。
為了應(yīng)對這些挑戰(zhàn)，我們提出了一個三層解決方案：
● 建立規(guī)范：我們定義了數(shù)據(jù)分層產(chǎn)出規(guī)范、指標新增和下線規(guī)范，以及研發(fā)規(guī)范，確保每一步都有明確的標準和流程。
● 鏈路優(yōu)化：我們不僅優(yōu)化了上游鏈路，還對計算任務(wù)進行了細致的調(diào)整，以提升整體的處理效率和穩(wěn)定性。
● 日?；卫恚宏P(guān)鍵在于量化穩(wěn)定性問題，通過持續(xù)發(fā)現(xiàn)問題和優(yōu)化推送，我們將治理工作融入日常。此外，在運維保障中，日常值班機制、SLA 簽署和故障響應(yīng)體系的建立也是我們穩(wěn)定性保障中不可或缺的部分。
總結(jié)而言，通過建立規(guī)范、優(yōu)化鏈路和日?；卫?，我們能夠系統(tǒng)性地提升指標生產(chǎn)的穩(wěn)定性，確保我們的數(shù)據(jù)處理既高效又可靠。
指標專題是指標查找、理解口徑、使用指標的一站式入口，服務(wù)于產(chǎn)品、運營、分析師和戰(zhàn)略等不同角色。它不僅提供了指標的綜合搜索功能，還具備面向應(yīng)用場景的專題應(yīng)用能力。
面向?qū)ο蟮奶攸c包括：
● 目錄結(jié)構(gòu)的靈活性：可以靈活地創(chuàng)建專題空間，管理員可以根據(jù)業(yè)務(wù)需求定義指標專題及其分類目錄，確保業(yè)務(wù)指標體系的清晰展現(xiàn)。
● 權(quán)限分級的精細化管理：專題信息由管理員統(tǒng)一維護，確保了信息的可靠性。同時，支持多角色設(shè)定，包括業(yè)務(wù)線管理員、指標專題管理員、指標分類管理員，提高了操作的靈活性。
● 指標導(dǎo)入的便捷性：簡化了指標導(dǎo)入流程，使得指標的添加和管理變得更加容易。
通過這些特點，不僅提高了指標管理的效率，也加強了數(shù)據(jù)的可訪問性和透明度，為決策提供了堅實的數(shù)據(jù)支持。
我們的指標列表不僅是一個展示工具，更是一個強大的管理平臺。
● 可以幫助我們快速理解整個業(yè)務(wù)線的核心指標到底是什么。
● 靈活、清晰地展示指標優(yōu)先級。
● 頁面可作為業(yè)務(wù)模塊指標體系直接分享。
指標詳情頁是一個全面展現(xiàn)指標相關(guān)信息的地方。包括三大組成部分：
● 業(yè)務(wù)詳情頁：這里匯聚了指標的核心業(yè)務(wù)信息，包括其定義、用途和業(yè)務(wù)影響。提供了近期數(shù)據(jù)的快照，使用戶能夠迅速把握指標的動態(tài)變化。此外，還關(guān)聯(lián)了高熱度的看板，使得業(yè)務(wù)團隊能夠從宏觀角度理解指標在實際業(yè)務(wù)中的應(yīng)用和價值。
● 技術(shù)詳情頁：深入技術(shù)層面，展示了每個指標的技術(shù)口徑和計算邏輯，以及它們所關(guān)聯(lián)的數(shù)據(jù)模型。為數(shù)據(jù)工程師和技術(shù)團隊提供了一個清晰的技術(shù)視角，幫助他們更好地理解、維護和優(yōu)化指標。
● 消費血緣：通過展示指標的血緣關(guān)系，幫助用戶追溯數(shù)據(jù)的加工流程。這種可視化的血緣分析不僅方便了問題的診斷和定位，也加強了數(shù)據(jù)的透明度和可追溯性。
指標專題消費的核心思路還是希望能夠做到指標一次定義多處消費。指標專題的應(yīng)用通過如下一些方式為工作效率帶來了提升：
● 決策看板：通過專題指標與風神的直接打通，在可視化的 BI 工具中，可直接基于維度和指標快速搭建所需的數(shù)據(jù)看板，決策者可以快速獲取深度分析，為決策提供強有力的數(shù)據(jù)支持。
● 自助取數(shù)：Chat BI 大模型的應(yīng)用，降低了數(shù)據(jù)獲取的技術(shù)門檻，讓每個用戶都能成為數(shù)據(jù)的探索者。
● 日報推送：自動化的日報推送不僅節(jié)省了時間，也確保了信息傳遞的時效性和個性化。
價值衡量是從生產(chǎn)視角和消費指標來審視指標管理的健康程度，比如有多少指標在管理中，有多少指標規(guī)范地下沉到了公共層。
從消費視角，我們會關(guān)注通過指標專題進行統(tǒng)一下游消費的比例是多少，還會關(guān)注消費后的業(yè)務(wù)反饋，通過指標專題給到下游消費是否對指標一致性和指標的可理解性得到提升。
上圖中展示了電商業(yè)務(wù)的實踐結(jié)果，從定性角度來看，指標體系對數(shù)據(jù)團隊最大的收益是指標一致性和指標復(fù)用性帶來的人效提升；對于分析師和業(yè)務(wù)同學(xué)來說，更多的是提升了整個指標的可理解性，并降低了溝通成本。
最后分享一下我們對未來工作的規(guī)劃。
首先，仍會致力于轉(zhuǎn)變傳統(tǒng)的數(shù)據(jù)交付方式，希望以指標及服務(wù)化的方式去提供穩(wěn)定、可復(fù)用的數(shù)據(jù)產(chǎn)品。具體工作仍將圍繞以下三個核心部分展開：
● 指標生產(chǎn)：我們正朝著標準化、配置化、自動化的方向邁進，這一過程將確保指標生產(chǎn)的高效率和高質(zhì)量。
● 指標管理：通過大模型自動化指標拆解，增強了指標的可理解性。這不僅提升了數(shù)據(jù)的透明度，也使得數(shù)據(jù)管理更為直觀和便捷。
● 指標消費：我們致力于打造一體化數(shù)據(jù)架構(gòu)，實現(xiàn)一處定義、多處消費的模式。這將簡化數(shù)據(jù)應(yīng)用流程，提高數(shù)據(jù)的利用率。
