交通大數據中心建設中的關鍵與難點
4月11日,由賽文交通網主辦的第七屆(2018年)中國智能交通市場年會,簡稱ITSMRS(ITS Market Seminar)在北京成功召開。上海市城市建設設計研究總院(集團)有限公司智慧城市院ITS中心副主任王秋蘭,在「2018年智能交通發展創新論壇」上,發表了《交通大數據中心建設中的關鍵技術與應用案例》的主題演講。
主要是從交通大數據中心(TBD)的建設情況,TBD建設中私有雲與政務雲的關係及應用,TBD的數據匯聚與ETL,交通大數據挖掘分析與應用模型等四個方面做了詳細介紹。
以下為王秋蘭演講內容,有刪減。
首先看一下交通大數據中心TBD的建設情況。目前城市交通領域,數據匯聚大致有三類:
公安交管的綜合交通監控指揮平台,以卡口、電子警察、交通監控、信號控制等為核心的數據;
交通委管轄的交通運輸綜合信息服務平台,以公交、地鐵、長途客運、港航、公路、橋樑隧道、兩客一危等為核心的數據;
綜合性的交通信息中心,以匯聚交管、交通運輸等數據,並進行分析、挖掘、發布。
交通大數據中心TBD是交通信息化工作開展的基礎平台,也是智慧交通決策大腦,主要由雲計算平台、交通信息資源庫、數據集成匯聚平台、交通大數據分析處理及挖掘模型庫及人工智慧及輔助決策應用系統組成,為整個智慧交通應用系統提供強有力的數據支撐。
關鍵技術有交通雲平台、交通數據匯聚及ETL和交通模型。
我們看一下交通雲平台,我介紹一下私有雲和政務雲的一些關係,以及我們在實際項目中的一些應用。
政務雲(Government Cloud)是指運用雲計算技術,統籌利用已有的機房、計算、存儲、網路、安全、應用支撐、信息資源等,發揮雲計算虛擬化、高可靠性、高通用性、高可擴展性及快速、按需、彈性服務等特徵,為政府行業提供基礎設施、支撐軟體、應用系統、信息資源、運行保障和信息安全等綜合服務平台。
近年來國家也發布了一些相關的政策,比如《中華人民共和國國民經濟和社會發展第十二個五年規劃綱要》中明確指出要「大力推進國家電子政務建設,加強雲計算服務平台建設,構建下一代信息基礎設施」。《國家電子政務「十二五」規劃》中明確要求「建設完善電子政務公共平台,全面提升電子政務技術服務能力」。
相對而言,所謂的私有雲又是什麼呢?
私有雲(Private Clouds)是為一個客戶單獨使用而構建的,因而提供對數據、安全性和服務質量的最有效控制。私有雲可部署在企業數據中心的防火牆內,也可以將它們部署在一個安全的主機託管場所,私有雲的核心屬性是專有資源。
它的優點主要有三個。
第一是數據安全。構築在防火牆後,保證數據安全。就交通領域而言,和業務有關的數據是其的生命線,是不能受到任何形式的威脅。
第二是服務質量。訪問基於私有雲的應用時,SLA相對更穩定,不會受到網路不穩定的影響,比如上次「暴風影音」事件,導致大規模的斷網。
第三是不影響現有IT管理的流程。比如在數據管理方面和安全規定等方面。
接下來我介紹幾個案例。
案例一,Stec的交通基礎設施私有雲。
案例二,成都智慧交通雲與政務雲的關係。
建設目標是,充分運用雲計算、物聯網、大數據等新技術,構建「雲、網、端、數」四位一體的政務雲平台,實現各級政務部門基礎設施統建公用、信息系統上雲互通、數據資源匯聚共享、業務應用高效協同,為政府管理和公共服務提供有力支持,提高為民服務水平,提升政府智慧治理能力。
這裡包括了三個重點的建設任務。
重點任務一,政務雲基礎平台。採用「企業投資建設、政府購買服務」模式,構建「1個雲資源管理中心、N個雲服務平台、1個雲安全支撐(1+N+1)」架構的政務雲計算基礎平台,集成現有支撐應用,面向各級政務部門和公共企事業單位提供基礎設施資源服務、數據資源服務、平台服務、應用服務等。
重點任務二,政務信息資源共享和開放利用。政務信息資源目錄體系、數據資源開放。
重點任務三,建設大數據中心。建設基礎信息資料庫、大數據資源匯聚、智慧治理中心(監測平台、數據挖掘,提升政府決策、公共資源配置等)。
還有成都市智慧交通系統建設在存儲、數據、應用等方面與政務雲建設規劃的匹配分析。
成都市已經建設了智能交通系統一期工程(智能化交通管控系統),已有1260T的數據存儲。
在政務雲的IasS基礎平台方面,目前在建設的智能化交通管控二期工程20多個工程陸續開工建設,迫切需要約40P的存儲。
在PasS方面:政務雲提供GIS基礎地理信息平台,但是智慧交通需要T-GIS平台
在資料庫及數據字典方面:政務雲正在制定政務信息資源目錄體系,但是對智慧交通的專業數據字典還未開展。
成都市政務云:政務雲提供基礎平台,包括存儲資源池和計算資源池,滿足智能交通行業數據存儲需求;提供交通部門之間及交通部門與智慧城市宏觀數據共享的介面;提供全市GIS基礎服務,為智能交通T-GIS平台提供基礎支撐。
成都市智慧交通:負責建設智能交通資料庫;應用軟體開發,如視頻監控、交通態勢研判等,採用SaaS理念統一建設;交通大數據模型;提供T-GIS服務;外場設備和雲平台的通信鏈路、網路安全由交投集團統籌建設,不納入政務雲提供範圍。
成都市智慧交通由交投集團統籌建設,各區縣道路管控系統、智慧交通運輸、智能停車等智能交通系統的規劃、設計、建設需由成智辦審批。存儲資源、計算資源由交投集團統一向政務雲申請。
智能交通系統作為成都市政務雲的一部分,在建及規劃建設的智能交通二期工程項目,按照「統籌規劃、整合共享」原則,納入成都市政務雲的總體建設體系。智能交通系統建設的歷史沉澱和業務應用的實際需求,視頻、圖片等非結構化數據仍由智能交通自行建設,按共享要求提供各部門共享應用。
下面介紹下TBD的數據匯聚與ETL。
TBD的數據匯聚與ETL是智慧交通系統基礎數據管理過程,其主要功能是實現交通基礎交通相關的數據匯聚、管理、共享、交換、處理、提供等,為其他應用平台及各業務子系統提供數據支撐。
最後我想重點介紹一下交通大數據挖掘與分析應用。
交通大數據分析處理及挖掘模型庫為城市智能交通大數據平台的核心大腦,通過建立成套的交通模型體系及數據分析模型集中對交通大數據進行處理、分析。主要包括交通狀態判別模型、交通專題分析模型、跨專題交通大數據分析挖掘模型以及交通模擬與平台的融合。
模型庫用於存放交通規劃建設與決策過程中涉及的各種交通模型,通過調用模型庫中的交通模型,實現數據輸入、輸出、計算等處理過程,進行方案設計、評價、比選,為管理者與決策者提供決策支持。模型庫既能夠提供模型添加、維護、刪除、統計等靜態管理功能,也能夠進行模型調用、運行及數據輸入輸出和交換等動態管理。
各類模型可以部署在應用頻率較高的專項系統中,作為雲端模型由平台在必要的時候調用。
交通狀態判別模型,一般是智能交通大數據平台實現的基本功能之一。目前交通狀態判別主要有紅黃綠交通狀態判別、交通指數計算。
根據上海市地方標準《城市道路交通狀態評價體系》,計算道路交通指數,取值區間為[0,100],並將道路交通指數分為4級,對應道路網和不同區域交通運行狀態等級,1級表示交通運行暢通,4級表示交通運行嚴重擁堵。
以珠海市城區內道路網的實時動態交通信息數據為對象,實現路網交通狀態的實時監測、統計分析與查詢展示,以便珠海市交通運行管理者準確、定量化的掌握城市道路運行特徵,開展針對道路交通擁堵治理、節能減排和需求管理、交通信號控制和出行服務提供支撐。
第二個模型是交通專題分析模型。
在智能交通綜合大數據平台上開展公交、客流、交通信號控制、停車等交通專題分析,用於城市綜合交通各專項的優化、調度、調控策略的實施。
依託於珠海市二期平台,即智慧交通運行管理平台,具體的交通數據業務模型也是基於該平台實現的(例):機場快線系統、高速公路出入口流量數據、海關口岸數據(人流量數據)、城市軌道交通數據、公交線網數據、票務信息、基於手機信令的人流密度數據、公交車GPS數據、公交IC卡數據。
城市居民出行行為分析子系統,以城市居民的出行活動為對象,以信令數據為主,整合公共交通電子收費數據、居民入戶調查數據,計算獲得城市居民的居住、出行和進出城市的出行活動規律,為城市交通模擬模型建設、面向城市居民的交通需求管理、信息服務等提供支持。
第三個是跨專題交通大數據分析挖掘模型。
跨專題交通大數據分析挖掘模型是實現城市智能交通大數據平台的數據分析、挖掘、應用以及發布的核心。將海量的智能交通數據進行關聯,運用大數據分析模型、數據關聯模型、大數據包絡分析模型等方法,對數據進行深度挖掘分析,為政府決策、企業管理、公眾出行提供強有力的數據支撐與服務。
第四個是交通模擬與平台的融合。
規劃在城市智能交通大數據平台上將目前在用的VISSIM、VISSUM、TransCAD、EMME4等模擬軟體進行融合應用,實現實時數據共享、模擬決策等功能。功能模塊主要包括:供需子網模型抽取、區域動態模型輸入建設與標定、動態路徑選擇與交通流分配、區域車輛模擬結果輸出。
多層次交通模型與模擬系統致力於為珠海市建立一個城市交通領域的「規劃與政策實驗室」。分為四大部分內容:珠海市交通模擬模型GIS基礎庫、城市交通一體化基礎模型、基於城市交通基礎大模型的專項模型以及珠海市市一體化交通模擬模型查詢展示系統。
總而言之,基於雲計算平台、 數據匯聚及ETL、大數據分析及挖掘技術,構建交通大數據中心,可從尺度、精度等多方面保障數據機制更新,從而為交通發展戰略、城市道路網路規劃、節能減排等提供技術支撐。
展望未來,基於物聯網、雲計算、大數據等技術手段,有望減少甚至消除現有的行政壁壘,基於一個平台為政府決策、交通研究、行業管理、公共服務提供更全面、準確、有效的信息。
※智能交通:今天你「人工智慧」了嗎
※國內外交通信號控制系統優劣評價與發展空間
TAG:賽文交通網 |