煤炭交易數據分析平臺研究與實現(xiàn)

前言：想要寫出一篇引人入勝的文章？我們特意為您整理了煤炭交易數據分析平臺研究與實現(xiàn)范文，希望能給你帶來靈感和參考，敬請閱讀。

早在二十世紀90年代初，我國就已經開始了煤炭交易市場（中心）的探索。在我國一些煤炭資源豐富的地區(qū)、主要的煤炭消費城市以及煤炭運輸中轉站，相繼出現(xiàn)了區(qū)域性的煤炭交易中心，如上海、天津、秦皇島、東北（大連）、北京、太原、內蒙古等地形式不同的交易市場陸續(xù)建成開業(yè)。此外，還有多家煤炭交易市場在籌建之中。然而，目前的煤炭信息主要屬于行業(yè)性、區(qū)域性的，分散在各交易市場和行業(yè)組織之中，相互之間信息不透明，更無法形成完整、準確的全國性信息。從國家層面來看，相關管理部門需要收集各地市場的交易數據，但數據的實時性、準確性、完整性達不到預期，也就無法更好地對全國范圍的煤炭市場交易情況作出預判、預警、預知及宏觀調控。對于參與到煤炭交易過程中的生產商、采購商、經銷商等相關主體，也只能根據在不同市場的參與度，部分了解區(qū)域范圍內的行情、價格、趨勢等，無法對全國范圍內的煤炭交易情況作出一個宏觀的判斷。為了順利完成國家能源局提出的“服務能源企業(yè)科學發(fā)展，服務能源行業(yè)健康發(fā)展，服務國家能源安全發(fā)展、科學發(fā)展、可持續(xù)發(fā)展”的工作任務，中國電力傳媒集團積極探索研究煤炭與電力行業(yè)的新業(yè)務市場，提升服務政府、行業(yè)、企業(yè)的能力，提升在能源領域的影響力、權威性和競爭力，以構建現(xiàn)代文化企業(yè)為核心目標，發(fā)揮自身電力行業(yè)龍頭媒體運營者的優(yōu)勢，整合內外部各方面的力量，籌建全國煤炭交易數據分析平臺。

建設目標

依托互聯(lián)網+行業(yè)創(chuàng)新思維、大數據思維，建設集數據采集、數據融合、數據處理為一體的，采用成熟平臺+開源組件的大數據平臺。全國煤炭交易數據分析平臺的主要功能是以互聯(lián)網絡為載體和渠道，通過建立和應用互聯(lián)網+煤炭（能源）數據信息新模式，對分散在全國各地、不同體制的煤炭交易市場的交易數據進行鏈接和采集，對收集到的相關數據進行分類、聚類、一致與差異性分析與統(tǒng)計，結合地理信息系統(tǒng)對數據進行可視化轉換觀測，對采集大數據進行挖掘和分析，從而提煉出數據的價值，為國家能源局及時掌握煤炭交易情況、開展行業(yè)調研、進行戰(zhàn)略決策提供數據支持，為電力企業(yè)科學用煤、降低煤耗、減少排放提供更加全面的市場選擇，為煤炭生產、物流企業(yè)科學安排生產、調度運力提供準確信息。

技術路線

為滿足全國煤炭交易數據分析平臺系統(tǒng)項目的建設目標要求，保障系統(tǒng)的先進性，確保系統(tǒng)運行的穩(wěn)定可靠，系統(tǒng)架構的設計需要滿足高性能、高可用、可擴展、低耦合高內聚、前端動靜分離要求，選擇主流、成熟、穩(wěn)定的技術或組件。關鍵開發(fā)軟件選型見表1。

平臺系統(tǒng)設計

平臺軟件架構設計

平臺軟件架構設計如圖1所示。在系統(tǒng)軟件架構設計方面，主要包含以下幾方面內容。業(yè)務運營支撐系統(tǒng)：由平臺廣告管理系統(tǒng)、統(tǒng)一平臺會員管理系統(tǒng)、統(tǒng)一平臺權限管理系統(tǒng)、媒體文件管理系統(tǒng)及數據采集中心接口系統(tǒng)組成。以上各子系統(tǒng)完成平臺基礎數據的收集管理、對外交易中心數據的采集管理和存儲，以及大數據挖掘后產生的統(tǒng)計、分析數據指數、圖表、報表、報告等支撐數據體系。應用服務子系統(tǒng)：由會員管理系統(tǒng)、煤炭交易數據管理、煤炭行業(yè)信息管理系統(tǒng)、多媒體內容管理系統(tǒng)、數據挖掘信息報告及商業(yè)咨詢服務管理子系統(tǒng)組成，提供對外的流程管理、數據管理、安全管理等多方面的業(yè)務管理過程。接入管理子系統(tǒng)：提供多種方式的對外的接入數據管理入口，對外提供系統(tǒng)處理后的煤炭交易實時數據內容、煤炭行業(yè)信息新聞內容、煤炭行業(yè)數據挖掘統(tǒng)計分析行情內容、煤炭行業(yè)指數數據內容等，通過多種接口方式提供包括HTTP、JOSN、XML及網站方式內容。客戶端應用子系統(tǒng)：由于移動互聯(lián)網的發(fā)展，本子系統(tǒng)完成提供移動互聯(lián)網數據信息的終端展示應用，包括多操作系統(tǒng)的客戶端應用程序，同時根據移動終端自身的特性，更深入使用移動終端硬件功能，結合終端硬件的一些特殊功能，為用戶提供良好的用戶體驗和UI設計等，加入適合移動互聯(lián)應用的活躍元素。

平臺硬件架構設計

平臺硬件架構設計包含虛擬化服務器區(qū)、大數據服務器區(qū)、存儲及備份設備區(qū)和網絡及安全設備區(qū)四部分。其中，虛擬化服務器區(qū)部署平臺Web應用、移動應用、關系數據庫、核心應用等軟件服務；大數據服務器區(qū)部署支撐平臺系統(tǒng)的數據分析、數據挖掘、數據檢索等功能。如圖2所示。

1.虛擬化服務器區(qū)。該區(qū)充分考慮私有云虛擬化環(huán)境的可用性設計，在網絡層面和存儲層面分別利用了虛擬化搭建內置的網絡冗余和存儲多路徑控制確保高可用。在服務器高可用性上，利用虛擬化軟件內置的功能應對本地站點多種虛擬機應用計劃內和計劃外意外停機的問題。

2.大數據服務器區(qū)。為滿足大數據平臺軟件的部署，根據管理節(jié)點和計算節(jié)點的內存使用及大數據平臺管理組件安裝所需硬盤空間，該區(qū)配置了10臺不同參數的X86架構機架式服務器。

3.數據存儲及備份設備區(qū)。該區(qū)部署共享存儲設備和備份設備，其中存儲設備利用光纖連接到光纖交換機，滿足不少于10TB的存儲容量；備份平臺需滿足IT系統(tǒng)復雜性和兼容性需求，支持針對操作系統(tǒng)、數據庫應用、虛擬化環(huán)境、數據加密、壓縮、重復數據刪除、自動備份管理等功能。備份介質裸容量應滿足可保存數據的多副本。

4.網絡及安全設備區(qū)。該區(qū)根據網絡安全等級保護要求，進行了網絡安全等級保護三級系統(tǒng)設計，并通過了測評。

平臺系統(tǒng)實現(xiàn)

該平臺歷時一年多完成第一期建設，系統(tǒng)運行界面如圖3、圖4所示。

結束語

本文分析了全國煤炭信息交易的現(xiàn)狀，并從項目建設單位的具體需求出發(fā)，利用新媒體、大數據、虛擬化、數據挖掘等技術，設計了全國煤炭交易數據分析平臺。目前，該平臺一期已上線，為國家能源局、煤炭(能源)企業(yè)、研究機構，以及相關協(xié)會、社會人士、專家等提供高效的煤炭交易服務、物流服務、信息服務、數據分析服務和方便的煤炭物流金融服務。

作者：闞守輝 單位：中國電力傳媒集團有限公司