隨著所運維服務煤礦智能化建設的快速推進,由于礦井所使用的設備廠商不同、數據格式不同、傳輸方式多樣,導致生成了大量彼此分散、相互冗余的數據,直接影響了智能化礦井信息化系統聯動、設備全生命周期數據分析,使智能化礦井的運維服務難度大幅增加。
為解決這一問題,信息化運維分公司以《陜西煤業股份有限公司數據標準》為基礎,圍繞安全管理、煤炭生產、生產銷售等7大方面,構建了16個大類、79個中類、313個小類,共計11934條數據治理規則。利用Hadoop分布式數據計算框架、Spark Streaming流式數據計算技術、ClickHouse列式數據庫管理等技術,成功在2023年底設計研發出了煤炭行業首個數據整合治理平臺。
該平臺可將煤礦全量數據的“采、存、算、管、用”全生命周期管理落實到技術載體上。通過HTTP、WebSocket、MQTT等多種通訊協議對智能設備及信息化系統進行實時多格式數據采集,將千萬級數據進行“數據清洗”和“數據治理”,消除在生產過程中生成的殘缺數據、錯誤數據、重復數據,形成統一、規范的“新標準”數據。 該平臺采用云邊協同模式,在榆北煤業科技研發大樓搭建云計算中心,在涌鑫礦業公司安山煤礦進行邊緣計算,通過該平臺的自研核心算法、自動化流程等技術,對安山煤礦全量數據進行數據整合治理。自2023年底在安山煤礦投入使用260多天以來,該平臺利用數據標準內置轉換、數據采集、數據治理、數據上傳、數據應用5大核心模塊,共計接入187個API數據接口,采集安山煤礦IT與OT設備共計10327個實時數據字段,平均每日治理8萬余條數據,不標準、重復、模糊數據治理率達90%以上。 截至目前,該平臺通過庫表、API接口等自動化流程,構建起安山煤礦各智能設備和信息化系統之間高效的數據橋梁,實現了數據的共享與應用,有效提高了70%的數據應用效率,打破了安山煤礦原有系統中存在的“數據壁壘”與“信息孤島”現象,實現數據融合分析,助力信息化系統更高效運行。 該平臺為了保障數據在傳輸、存儲、治理過程中的安全性,采用國家密碼管理局發布的SM4分組密碼算法作為加密算法,對傳輸的數據進行30次多輪迭代和1次反序變化加密,構建128位的密鑰,有效的保護了數據的機密性,確保信息在傳輸過程中不被未授權的第三方竊取或篡改。 “該平臺還可以進行多種復雜場景下全流程的無代碼開發操作,可以通過‘拖拉拽’的形式去配置所需要治理、應用的數據,自從用了該平臺后,大幅減少了各系統數據對接、上報、匯總、分析的工作量。”涌鑫智維中心經理李沛說道。