蘇州燃?xì)饧瘓F(tuán)智慧燃?xì)獯髷?shù)據(jù)平臺(tái)建設(shè)與應(yīng)用研發(fā)
蘇州燃?xì)饧瘓F(tuán)智慧燃?xì)獯髷?shù)據(jù)平臺(tái)建設(shè)與應(yīng)用研發(fā)
一、概述
蘇州燃?xì)饧瘓F(tuán)搭建大數(shù)據(jù)基礎(chǔ)平臺(tái)的目的是為了打造一個(gè)面向整個(gè)燃?xì)庑袠I(yè)的服務(wù)平臺(tái)，平臺(tái)能夠存儲(chǔ)涵蓋公司的安全管理、營(yíng)銷、用戶服務(wù)等各類數(shù)據(jù)，并具備數(shù)據(jù)接入導(dǎo)入、實(shí)時(shí)數(shù)據(jù)處理、數(shù)據(jù)挖掘和可視化展示等功能，能夠?yàn)樘K州燃?xì)饧瘓F(tuán)提供能耗分析、安全管控、決策控制等服務(wù)內(nèi)容。
二、平臺(tái)建設(shè)
1.實(shí)施步驟
ApacheHadoop是針對(duì)大規(guī)模分布式數(shù)據(jù)而開發(fā)的軟件框架，目前已經(jīng)成為企業(yè)管理大數(shù)據(jù)的基礎(chǔ)支撐技術(shù)，是解決企業(yè)數(shù)據(jù)中心大數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)計(jì)算、快速數(shù)據(jù)分析的優(yōu)秀基礎(chǔ)數(shù)據(jù)平臺(tái)。
基于Hadoop體系，本次建設(shè)的大數(shù)據(jù)基礎(chǔ)平臺(tái)主要實(shí)現(xiàn)數(shù)據(jù)采集、大數(shù)據(jù)平臺(tái)、應(yīng)用功能的搭建。
2.總體架構(gòu)
本次建設(shè)服務(wù)器系統(tǒng)采用Ubuntu16.04，大數(shù)據(jù)平臺(tái)搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)產(chǎn)品5.15.1版本，建設(shè)以Hadoop體系為核心，搭建以HDFS為基礎(chǔ)的分布式文件存儲(chǔ)系統(tǒng)，具備動(dòng)態(tài)擴(kuò)展和數(shù)據(jù)冗余備份特性。
3.主要成效
本次搭建的數(shù)據(jù)平臺(tái)便于以后更便捷地使用燃?xì)饧瘓F(tuán)各個(gè)獨(dú)立系統(tǒng)中的數(shù)據(jù)而又不影響現(xiàn)有系統(tǒng)的運(yùn)行，可以統(tǒng)一規(guī)劃管理這些數(shù)據(jù)，基本可以滿足以下功能：
（1）數(shù)據(jù)接入功能;（2）數(shù)據(jù)管理功能;（3）數(shù)據(jù)輸出功能。
三、數(shù)據(jù)應(yīng)用
1.用戶分析
燃?xì)饧瘓F(tuán)需要根據(jù)客戶的行為偏好、行為特征，向不同燃?xì)饪蛻羧后w提供差異化服務(wù)。同時(shí)，燃?xì)饧瘓F(tuán)可以通過統(tǒng)計(jì)分析不同區(qū)域的客戶群體的燃?xì)庑畔硗诰虺鰠^(qū)域性的偏好，可以大大提升企業(yè)對(duì)客戶需求的洞察力，可以為營(yíng)銷和服務(wù)的策劃、執(zhí)行、評(píng)估、優(yōu)化提供寶貴的指引，從而提高工作的主動(dòng)性、精準(zhǔn)度。
2.負(fù)荷預(yù)測(cè)
為保證用戶的安全平穩(wěn)用氣,必須要掌握天然氣負(fù)荷的變化規(guī)律，科學(xué)準(zhǔn)確的負(fù)荷預(yù)測(cè)有利于保證管網(wǎng)的優(yōu)化運(yùn)行，提高管網(wǎng)投資的經(jīng)濟(jì)性和可靠性，是燃?xì)夤芫W(wǎng)安全平穩(wěn)供氣的基礎(chǔ)。
該應(yīng)用將影響燃?xì)獾南嚓P(guān)因素（如天氣、氣溫、節(jié)假日等）作為特征進(jìn)行建模，使用機(jī)器學(xué)習(xí)算法（回歸分析、時(shí)間序列、人工神經(jīng)網(wǎng)絡(luò)等）建模進(jìn)行燃?xì)庳?fù)荷預(yù)測(cè)。
四、主要?jiǎng)?chuàng)新點(diǎn)
1.使用了開源的大數(shù)據(jù)平臺(tái)，資料全面，便于學(xué)習(xí)、開發(fā)與測(cè)試。本次搭建的大數(shù)據(jù)平臺(tái)安裝了ClouderaManager安裝部署管理工具，通過平臺(tái)搭建工作，逐步熟悉大數(shù)據(jù)平臺(tái)的技術(shù)特點(diǎn)。
2.自行研發(fā)的用戶分析和用氣負(fù)荷預(yù)測(cè)應(yīng)用通過結(jié)合天氣、節(jié)日等外圍因素，通過燃?xì)饧瘓F(tuán)積累多年的歷史數(shù)據(jù)來挖掘、發(fā)現(xiàn)用氣規(guī)律及預(yù)測(cè)未來變化趨勢(shì)，提升企業(yè)對(duì)客戶需求的洞察力，為集團(tuán)決策提供指引，提高工作的精準(zhǔn)度。
蘇州燃?xì)饧瘓F(tuán)搭建大數(shù)據(jù)基礎(chǔ)平臺(tái)的目的是為了打造一個(gè)面向整個(gè)燃?xì)庑袠I(yè)的服務(wù)平臺(tái)，平臺(tái)能夠存儲(chǔ)涵蓋公司的安全管理、營(yíng)銷、用戶服務(wù)等各類數(shù)據(jù)，并具備數(shù)據(jù)接入導(dǎo)入、實(shí)時(shí)數(shù)據(jù)處理、數(shù)據(jù)挖掘和可視化展示等功能，能夠?yàn)樘K州燃?xì)饧瘓F(tuán)提供能耗分析、安全管控、決策控制等服務(wù)內(nèi)容。
二、平臺(tái)建設(shè)
1.實(shí)施步驟
ApacheHadoop是針對(duì)大規(guī)模分布式數(shù)據(jù)而開發(fā)的軟件框架，目前已經(jīng)成為企業(yè)管理大數(shù)據(jù)的基礎(chǔ)支撐技術(shù)，是解決企業(yè)數(shù)據(jù)中心大數(shù)據(jù)存儲(chǔ)、大規(guī)模數(shù)據(jù)計(jì)算、快速數(shù)據(jù)分析的優(yōu)秀基礎(chǔ)數(shù)據(jù)平臺(tái)。
基于Hadoop體系，本次建設(shè)的大數(shù)據(jù)基礎(chǔ)平臺(tái)主要實(shí)現(xiàn)數(shù)據(jù)采集、大數(shù)據(jù)平臺(tái)、應(yīng)用功能的搭建。
2.總體架構(gòu)
本次建設(shè)服務(wù)器系統(tǒng)采用Ubuntu16.04，大數(shù)據(jù)平臺(tái)搭建使用CDH(Cloudera’sDistributionincludingApacheHadoop)產(chǎn)品5.15.1版本，建設(shè)以Hadoop體系為核心，搭建以HDFS為基礎(chǔ)的分布式文件存儲(chǔ)系統(tǒng)，具備動(dòng)態(tài)擴(kuò)展和數(shù)據(jù)冗余備份特性。
3.主要成效
本次搭建的數(shù)據(jù)平臺(tái)便于以后更便捷地使用燃?xì)饧瘓F(tuán)各個(gè)獨(dú)立系統(tǒng)中的數(shù)據(jù)而又不影響現(xiàn)有系統(tǒng)的運(yùn)行，可以統(tǒng)一規(guī)劃管理這些數(shù)據(jù)，基本可以滿足以下功能：
（1）數(shù)據(jù)接入功能;（2）數(shù)據(jù)管理功能;（3）數(shù)據(jù)輸出功能。
三、數(shù)據(jù)應(yīng)用
1.用戶分析
燃?xì)饧瘓F(tuán)需要根據(jù)客戶的行為偏好、行為特征，向不同燃?xì)饪蛻羧后w提供差異化服務(wù)。同時(shí)，燃?xì)饧瘓F(tuán)可以通過統(tǒng)計(jì)分析不同區(qū)域的客戶群體的燃?xì)庑畔硗诰虺鰠^(qū)域性的偏好，可以大大提升企業(yè)對(duì)客戶需求的洞察力，可以為營(yíng)銷和服務(wù)的策劃、執(zhí)行、評(píng)估、優(yōu)化提供寶貴的指引，從而提高工作的主動(dòng)性、精準(zhǔn)度。
2.負(fù)荷預(yù)測(cè)
為保證用戶的安全平穩(wěn)用氣,必須要掌握天然氣負(fù)荷的變化規(guī)律，科學(xué)準(zhǔn)確的負(fù)荷預(yù)測(cè)有利于保證管網(wǎng)的優(yōu)化運(yùn)行，提高管網(wǎng)投資的經(jīng)濟(jì)性和可靠性，是燃?xì)夤芫W(wǎng)安全平穩(wěn)供氣的基礎(chǔ)。
該應(yīng)用將影響燃?xì)獾南嚓P(guān)因素（如天氣、氣溫、節(jié)假日等）作為特征進(jìn)行建模，使用機(jī)器學(xué)習(xí)算法（回歸分析、時(shí)間序列、人工神經(jīng)網(wǎng)絡(luò)等）建模進(jìn)行燃?xì)庳?fù)荷預(yù)測(cè)。
四、主要?jiǎng)?chuàng)新點(diǎn)
1.使用了開源的大數(shù)據(jù)平臺(tái)，資料全面，便于學(xué)習(xí)、開發(fā)與測(cè)試。本次搭建的大數(shù)據(jù)平臺(tái)安裝了ClouderaManager安裝部署管理工具，通過平臺(tái)搭建工作，逐步熟悉大數(shù)據(jù)平臺(tái)的技術(shù)特點(diǎn)。
2.自行研發(fā)的用戶分析和用氣負(fù)荷預(yù)測(cè)應(yīng)用通過結(jié)合天氣、節(jié)日等外圍因素，通過燃?xì)饧瘓F(tuán)積累多年的歷史數(shù)據(jù)來挖掘、發(fā)現(xiàn)用氣規(guī)律及預(yù)測(cè)未來變化趨勢(shì)，提升企業(yè)對(duì)客戶需求的洞察力，為集團(tuán)決策提供指引，提高工作的精準(zhǔn)度。