(網(wǎng)經(jīng)社訊)摘要：隨著信息技術和工業(yè)技術的迅猛發(fā)展，新型工業(yè)化道路應運而生，而工業(yè)大數(shù)據(jù)的平臺建設對加快新型工業(yè)化道路具有十分重要的意義，本文通過對工業(yè)和互聯(lián)網(wǎng)大數(shù)據(jù)進行對比分析，結合工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點，闡述了二者之間的內(nèi)在聯(lián)系?；诖耍岢隽斯I(yè)大數(shù)據(jù)平臺架構以及相關的數(shù)據(jù)分級處理流程，最后指出了工業(yè)大數(shù)據(jù)平臺的應用，包括資產(chǎn)管理、數(shù)據(jù)管理、數(shù)據(jù)分析和安全服務，為工業(yè)企業(yè)提供了平臺支持和數(shù)據(jù)服務。
1 引言（Introduction）
隨著信息化和產(chǎn)業(yè)化進程的加快，新型工業(yè)化道路應運而生，以運用現(xiàn)代信息技術，用信息化帶動工業(yè)化。工業(yè)4.0和中國制造2025都以創(chuàng)新為共同發(fā)展理念，強調以信息技術為載體，加強創(chuàng)新驅動與智能化服務水平。因此強調建設工業(yè)化的網(wǎng)絡平臺，對數(shù)據(jù)進行整理、分析、總結，工業(yè)企業(yè)應當發(fā)揮工業(yè)互聯(lián)網(wǎng)的作用，形成終端的服務信息系統(tǒng)。通過建設大數(shù)據(jù)的平臺，為傳統(tǒng)工業(yè)化的改造指明了方向，對新型工業(yè)化建設具有重要意義[1]。對工業(yè)互聯(lián)網(wǎng)信息進行智能處理，實現(xiàn)數(shù)據(jù)同步、交換、集成、調用等功能，為工業(yè)企業(yè)提供數(shù)據(jù)平臺服務和決策支持[2]。
2 工業(yè)大數(shù)據(jù)分析與應用（Analysis and application of industrial big data）
2.1 工業(yè)大數(shù)據(jù)分析
大數(shù)據(jù)特征體現(xiàn)在量、速度、多樣性、真實性四個方面，而工業(yè)大數(shù)據(jù)的特征在結合大數(shù)據(jù)的基礎上，附加了可見性和價值兩個特點。工業(yè)大數(shù)據(jù)歷經(jīng)了三個階段，如表1所示。工業(yè)大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)相比，最大的區(qū)別在于工業(yè)大數(shù)據(jù)具有很強的目的性，而互聯(lián)網(wǎng)大數(shù)據(jù)更多的是一種關聯(lián)的挖掘，是更加發(fā)散的一種分析，對數(shù)據(jù)的預測和解讀顯得尤為重要[3]，如表2所示。
2.2 工業(yè)大數(shù)據(jù)應用
隨著信息技術的迅猛發(fā)展，工業(yè)企業(yè)也相繼進入了互聯(lián)網(wǎng)工業(yè)的新的發(fā)展階段，工業(yè)大數(shù)據(jù)在此背景下創(chuàng)新和變革，其應用范圍很寬泛。工業(yè)大數(shù)據(jù)通常應用在制造、航空、軌道交通、船舶、石油、建筑等方面[4，5]，如表3所示。
3 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)（Industrial Internet and big data）
3.1 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的聯(lián)系
工業(yè)企業(yè)發(fā)展的動力來自工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的融合，通過工業(yè)互聯(lián)網(wǎng)，將來自數(shù)據(jù)操控平臺中的信息匯總，依據(jù)相應的產(chǎn)品技術要求，實現(xiàn)數(shù)據(jù)的解讀與分析，從而提煉出對企業(yè)有價值的信息。而大數(shù)據(jù)可以在跨學科技術融合的基礎上，進行信息匯總與管理，提煉產(chǎn)品最具有價值的信息。通過互聯(lián)網(wǎng)與線下的其他傳播渠道，從而建立新投資目標、發(fā)現(xiàn)新趨勢、提供解決復雜問題的新路徑。
3.2 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的作用
工業(yè)互聯(lián)網(wǎng)是互聯(lián)網(wǎng)與智能制造的交叉點，在融合大數(shù)據(jù)的前提下，提升了產(chǎn)品的智能性，并充分拓展了行業(yè)的相關應用。產(chǎn)品的智能化是把機器處理和導出系統(tǒng)滲透到產(chǎn)品的生產(chǎn)過程中，保證產(chǎn)品的感知、存儲等能力，實現(xiàn)產(chǎn)品的信息化定位、識別、復原。目前互聯(lián)網(wǎng)汽車、工程機械、智能家電等是產(chǎn)品智能化的熱點領域。同時，工業(yè)互聯(lián)網(wǎng)和大數(shù)據(jù)通過網(wǎng)絡連接到企業(yè)管理平臺。企業(yè)管理平臺可以利用無線網(wǎng)絡、視頻遠程故障診斷等信息服務系統(tǒng)對設備運行實現(xiàn)遠程操控，及時播報預警[6]。
3.3 工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)的特點
在工業(yè)互聯(lián)網(wǎng)時代，通過納入來自產(chǎn)業(yè)鏈上下游以及跨界的數(shù)據(jù)，實現(xiàn)工業(yè)從數(shù)據(jù)向大數(shù)據(jù)的轉變。工業(yè)互聯(lián)網(wǎng)與大數(shù)據(jù)主要呈現(xiàn)四個方面的特點，即：全要素、全過程、全方位、全融合。全要素是指為保證產(chǎn)品數(shù)據(jù)的完整性，其攜帶了產(chǎn)品全部的尺寸、工藝、制造、售后使用信息等;全過程是指為確保產(chǎn)品的最終質量，在數(shù)據(jù)設計和使用時，必須要考慮跨越不同的設計、制造階段;全方位指具體到產(chǎn)品的生產(chǎn)線，從設計、制造、采購等，全方位地關注相關信息，確保產(chǎn)品的實用性。全融合指在信息技術支持的背景下，關注企業(yè)各業(yè)務的全面關聯(lián)及融合。
4 工業(yè)大數(shù)據(jù)平臺建設（Construction of industrial big data platform）
4.1 云平臺總體架構
工業(yè)大數(shù)據(jù)云平臺通過尋找統(tǒng)一數(shù)據(jù)源、數(shù)據(jù)口徑和數(shù)據(jù)的出入口，來實現(xiàn)對各種專業(yè)的合理分析，并最終統(tǒng)一和完善企業(yè)信息模型。云平臺的總體架構包括PaaS環(huán)境層、PaaS業(yè)務層、PaaS服務層。PaaS環(huán)境層為業(yè)務應用提供支撐的軟件組件、各種中間件和數(shù)據(jù)庫等，以Hadoop為代表的大數(shù)據(jù)處理;PaaS業(yè)務層包含了應用的后合程序、數(shù)據(jù)處理算法以及業(yè)務數(shù)據(jù)等實現(xiàn)業(yè)務能力的元素;PaaS服務層是指將業(yè)務層的業(yè)務、算法和數(shù)據(jù)以接口的形式提供給上層的前端應用直接訪問?？傮w來說，云平臺總體架構面向一般數(shù)據(jù)中心典型的應用場景，提供對混合IT資源的統(tǒng)一接入，以構筑云模式下基礎資源調度的最佳實踐，同時以PaaS能力為核心，將應用系統(tǒng)的典型軟件組件以服務形態(tài)提供，為業(yè)務系統(tǒng)提供統(tǒng)一環(huán)境支持，并進行統(tǒng)一管理和監(jiān)控，將大數(shù)據(jù)平臺作為典型服務組件整合到云平臺中進行統(tǒng)一管理，以適應未來應用對大數(shù)據(jù)能力的普遍使用。為用戶更好地提供面向DevOps的統(tǒng)一云服務業(yè)務流程，以統(tǒng)一平臺提供傳統(tǒng)的laaS和PaaS能力，并貫穿開發(fā)、測試和生產(chǎn)的全過程[7]。
4.2 大數(shù)據(jù)平臺目標架構
大數(shù)據(jù)平臺目標架構包括五個層面：應用層、能力層、數(shù)據(jù)層、獲取層、數(shù)據(jù)源，如圖1所示。其中Hadoop平臺是大數(shù)據(jù)平臺中的核心。通過建立分布式的文件管理系統(tǒng)，保證了大量數(shù)據(jù)安全存儲，建立了數(shù)據(jù)分析處理框架。Hadoop集群能迅速擴展到頂級服務器，實現(xiàn)對大數(shù)據(jù)的批量處理。同時，Hadoop通過MapReduce可將任務分布并行運行在一個集群服務器中，實現(xiàn)大規(guī)模并行計算，同時考慮到設備的不穩(wěn)定性，保證了計算的準確性和高效性。而Hadoop云平臺以半結構化數(shù)據(jù)和非結構化數(shù)據(jù)為主，通過存儲海量數(shù)據(jù)，確保使用時的時效性與高效性。
4.3 大數(shù)據(jù)平臺中的數(shù)據(jù)分級存儲
數(shù)據(jù)分級存儲應當滿足一定的原則，即大數(shù)據(jù)平臺強調數(shù)據(jù)的生命周期性，隨著數(shù)據(jù)生命周期的變化逐步向通用性能存儲遷移，是分級存儲管理的主線。同時數(shù)據(jù)分級存儲在保證主線暢通的情況下，考慮到其他分級原則，確保數(shù)據(jù)遷移能夠覆蓋到各個層面。在滿足相關原則的基礎上，將核心模型改造，轉化為現(xiàn)有主數(shù)據(jù)倉庫的核心模型，減少了數(shù)據(jù)冗余。集成改造后，將主數(shù)據(jù)倉庫中的關鍵性數(shù)據(jù)轉移到一個低成本的分布式數(shù)據(jù)庫中，降低了主數(shù)據(jù)庫的存儲壓力。同時此存儲系統(tǒng)也支持數(shù)據(jù)的深度分析。
4.4 大數(shù)據(jù)平臺中的數(shù)據(jù)處理流程
在滿足相關技術的基礎上，數(shù)據(jù)的采集工作通常包括結構化和非結構化的兩種數(shù)據(jù)采集，數(shù)據(jù)的具體處理過程分為七個環(huán)節(jié)：①源數(shù)據(jù)導入ETL，進行數(shù)據(jù)的清洗、轉換和入庫;②基礎數(shù)據(jù)加載到主數(shù)據(jù)倉庫，規(guī)劃保存三年;③清洗、轉換后的ODS加載到分布式數(shù)據(jù)庫規(guī)劃保存兩個月，具體數(shù)據(jù)分析和匯總在分布數(shù)據(jù)庫中進行，規(guī)劃保存兩年;④ODS數(shù)據(jù)和非結構化數(shù)據(jù)，如爬到的網(wǎng)頁數(shù)據(jù)ftp到Hadoop平臺做長久保存;⑤非結化數(shù)據(jù)分析處理在Hadoop平臺完成，產(chǎn)生的結果加載到分布式數(shù)據(jù)庫;⑥生成KPI和高度匯總數(shù)振加載到主數(shù)據(jù)倉庫;⑦業(yè)務應用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。
5 工業(yè)大數(shù)據(jù)平臺應用（Application of industrial big data platform）
5.1 資產(chǎn)管理服務
資產(chǎn)管理服務的重點目標是資產(chǎn)建模、連接資產(chǎn)和數(shù)據(jù)源，其服務范圍分為三個板塊：接口層支持資產(chǎn)分層、屬性分類和自定義建模對象，終端訪問對象建模層，通過轉換數(shù)據(jù)格式，以便于數(shù)據(jù)庫存儲和查詢;相關查詢引擎利用圖形表達式語言檢索數(shù)據(jù);圖形數(shù)據(jù)庫中包含資產(chǎn)服務數(shù)據(jù)存儲，并將原始數(shù)據(jù)描述成數(shù)據(jù)模型。資產(chǎn)管理服務中的資產(chǎn)模型是工業(yè)大數(shù)據(jù)平臺的關鍵，是連接平臺所有服務的中樞，能幫助應用開發(fā)者更好的理解、分析和處理數(shù)據(jù)。
5.2 數(shù)據(jù)管理與服務
大數(shù)據(jù)平臺常用的數(shù)據(jù)管理與服務包括對各種類型數(shù)據(jù)進行接入、處理和儲存。數(shù)據(jù)接入指支持多渠道、多類型的數(shù)據(jù)接入，包括實時數(shù)據(jù)接入和批量數(shù)據(jù)接入;數(shù)據(jù)處理包含對傳感器數(shù)據(jù)進行標簽處理、資產(chǎn)數(shù)據(jù)與ERP數(shù)據(jù)相結合等;數(shù)據(jù)儲存是根據(jù)不同的需求選擇相應的存儲方式，類似時間序列存儲傳感器實時數(shù)據(jù)、BLOB數(shù)據(jù)庫存儲圖片式數(shù)據(jù)、關系型數(shù)據(jù)庫存儲其他數(shù)據(jù)等。
5.3 數(shù)據(jù)分析服務
數(shù)據(jù)分析服務通常指通過分析實時數(shù)據(jù)檢測設備狀態(tài)、預防設備故障、優(yōu)化生產(chǎn)過程等，并進行迭代提升，在對歷史數(shù)據(jù)進行整合和分析，包括異常檢測、事件流處理、分析運行環(huán)境、分析界面、分析日志等服務項目，建立工業(yè)級的預測模型，以進行更有效地生產(chǎn)和運營。相較于數(shù)據(jù)自身的特點，數(shù)據(jù)分析服務在涉及技術層面的基礎上，更應當滿足企業(yè)與客戶的應用需求，將極度專業(yè)化的技術描述，轉化為更容易的商業(yè)需求。
5.4 數(shù)據(jù)安全服務
數(shù)據(jù)安全服務的主要目標為建立企業(yè)互聯(lián)網(wǎng)應用，解決安全性問題，從而滿足企業(yè)互聯(lián)網(wǎng)端對端的安全需求。其服務范圍包括租戶管理、用戶賬戶和身份驗證、訪問控制三個方面。租戶管理指為租戶提供特定服務實體及注冊表，完成租戶和服務實體間的完美映射，在確?？蛻魯?shù)據(jù)信息安全的基礎上，實現(xiàn)服務生命周期管理。用戶賬戶和身份驗證是在傳統(tǒng)用戶信息驗證方法的基礎上，增加多種驗證方法完善身份驗證系統(tǒng)。訪問控制是指建立資源訪問限制，增強用戶賬戶信息驗證的權威性，同時不斷提升和優(yōu)化網(wǎng)絡訪問信息安全，實現(xiàn)復雜條件下的訪問控制。
6 結論（Conclusion）
隨著新型工業(yè)化道路的推進，傳統(tǒng)的工業(yè)化道路已不能適應當前社會的發(fā)展需求，本文在結合信息化和產(chǎn)業(yè)化的手段，搭建了工業(yè)大數(shù)據(jù)平臺，并應用于資產(chǎn)管理、數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)安全服務等方面，未來工業(yè)發(fā)展的趨勢應當在構建平臺的基礎上，實現(xiàn)產(chǎn)品智能化，確保產(chǎn)品生產(chǎn)的高效性。同時工業(yè)大數(shù)據(jù)平臺也為工業(yè)企業(yè)提供了商業(yè)支持和服務。
參考文獻（References）
[1] Du B，Huang R，Chen X，et al.Active CTDaaS：A Data Service Framework Based on Transparent IoD in City Traffic[J].IEEE Transactions on Computers，2016，65：1-10.
[2] Valerio Persico，Antonio Pescapé，Antonio Picariello，et al.
Benchmarking big data architectures for social networks data processing using public cloud platforms[J].Future Generation Computer Systems，2018，89：98-109.
[3] Jeon S，Hong B.Monte Carlo simulation-based traffic speed forecasting using historical big data[J].Future Generation Computer Systems，2016，65：182-195.
[4] 劉德賀，史玉峰.基于TLS技術的道路邊坡地表位移監(jiān)測研究[J].森林工程，2018，34（02）：95-99.
[5] 吳佳蔚，李希勝，曹璐琳，等.基于BIM技術的綠色建筑節(jié)地設計自動評價[J].建筑科學，2017，33（04）：123-128.
[6] 鄭加柱，高業(yè)何敏.自動推算室內(nèi)接入點坐標算法[J].測繪通報，2018（02）：21-24;29.
[7] 魏洋，盧海鵬，劉小明，等.基于長標距光纖光柵傳感器的連續(xù)梁橋監(jiān)測技術[J].鐵道科學與工程學報，2017，14（10）：2231-2238.(來源：軟件工程雜志 文/許基偉 馬欣 編選：網(wǎng)經(jīng)社)
