????“數據是基礎。如果數據沒有高效的承載,應用做得再好,都不會達到很好的效果。”青島海關云架構師任林認為。
????“數據處理是一個很重要的能力。之前海關的數據都由各個部門分散去做,而我們想找到一個解決方案,將這些數據梳理并構建一個體系,從而提升海關整體的數據處理能力。”任林口中的方案,正是他的團隊(XRZ隊)參加微軟Windows Server 2012云創益大賽團隊賽的作品——動態數據倉庫高性能云計算平臺(簡稱數據倉庫云平臺)。
????其實,動態數據倉庫項目已經在海關運行了多年,但采用的是分布式的部署方式。全國目前共有46個直屬海關單位,600個隸屬海關和辦事處,通關監管點近4000個。分散的數據管理方式顯然存在著不便于統一管控、資源得不到最佳配置等弊端。在云計算技術日趨成熟的今天,包括任林在內的海關技術團隊,開始思考能否利用云計算,將數據按云的方式向用戶提供服務,實現數據服務集中化、降本增效和真正意義上的動態可控。
????“過去,我們有實際的需求,但是沒有有效的手段。”任林對《中國計算機報》記者表示,“Windows Server 2012的推出,恰好為我們提供了解決實際需求的思路、提供了可實現的手段。”
????數據倉庫云化
????云再也不只飄在天上,它已經可以被你我欣賞、觸及。特別是隨著Windows Server 2012這款被微軟稱為云操作系統內核的系統軟件的發布,任林等人將海關數據倉庫云化提上了日程。
????任林介紹,他們首先將基礎設施云化,再基于微軟并行數據倉庫(Parallel Data Warehouse,簡稱PDW)進行高性能的數據存儲與管理,將數據處理執行從原來的節點遷移到了云引擎中,并將應用進行了重新設計,以服務的方式提供給用戶。就這樣,包括北京、上海、廣州等多個云數據中心為基礎的海關數據倉庫云平臺設計應運而生,它還包括動態數據倉庫云門戶、動態數據倉庫云引擎和最上層的Web應用云部署中心。
????“我們在動態數據倉庫云化方面做了很多嘗試。目前,我們基于微軟Windows Server 2012和Azure架構做了一些工作,建立了一套以數據為核心的管理體系,為用戶提供高水平、高效率的平臺,以支撐我們整個海關的應用。”任林說。
????以服務的方式提供數據
????“大數據是現在業界的熱點,但是我們的方案絕不是跟風和炒作。這些都是我們的實際需求,也是我們實實在在的應用。”任林表示。
????任林將數據處理能力視為信息化體系中非常重要的能力之一,它離不開海關的實際應用場景。全國海關系統每天都在生成大量的結構化和非結構化數據,每時每刻遍布全國的海關業務終端都要利用這些數據進行業務辦理、分析與查詢。“目前平臺整體的數據量已經達到了上百TB的規模,下一步我們還要將基于Hadoop架構的非結構化數據遷移到平臺上來。按照我們的規劃,平臺可以支撐PB級的數據量。”任林說。
????據任林的團隊測試,在海關數據倉庫云平臺上,4TB數據量的兩表聯合查詢僅需29秒,10TB數據量的三表聯合查詢僅需1分30秒。依托Windows Server 2012提供的云計算平臺和PDW帶來的高性能數據倉庫,海關的綜合管理業務平臺提供了即席查詢、固定查詢、多維分析、報表指標等各種數據處理功能。云計算與高性能,也讓海關各個部門高效聯動審批成為可能。例如,如果業務人員通過指標分析發現了業務中的風險點,可立即通過發送聯系處置單,要求相應部門進行處置。
????實際上,海關云計算“一切皆服務”的理念不僅僅只體現在基礎設施層面,它在應用層面也有充分的體現。“我們的目標就是通過云計算的方式,讓用戶只需要提交需求,接收返回結果,而不用去關心其中具體的操作過程。”任林表示,“Windows Server 2012和微軟其他產品幫助我們實現了這一理念。我們自己提供了可視化的操作界面,用戶不用再寫代碼,即可完成對綜合業務管理平臺的操作。例如在生成SQL查詢時,用戶可以完全使用拖拽的方式選取各個表和字段,很方便地完成各種定制查詢。”
????統一管理各種平臺
????任林認為,云計算的最大價值在于保持業務的連續性。“Windows Server 2012基本具備了云操作系統的特征,它能夠為底層提供有效管理,對上層服務提供持續性支持。”
????“由于海關IT系統復雜多樣,我們對Windows Server 2012采用了逐步引入的方式,并投入了很大精力進行兼容性測試。”為了保障數據倉庫云平臺服務的高可用性,任林的團隊經過反復實驗,最終基于Windows Server 2012、System Center 2012建立了兼容性較高的資源管理體系。“通過Windows Server 2012和System Center 2012,平臺能夠支持各個主流廠商的軟硬件和基礎環境。比如我們可以兼容管理Linux、VMware等系統,基本滿足了需求。”任林向記者介紹。
????Windows Server 2012可以實現通過一個節點完成對整個數據中心的實時任務管理,這種管理方式可以讓海關運維人員輕松地在一個地點管理大規模的服務器集群。“以前,對服務器集群管理需要從這個控制臺到那個控制臺,甚至從這個桌面到那個桌面。現在,一個桌面就可以完成數據中心幾千臺設備的管理。”任林興奮地說,“對運維工程師來說,這是一個很酷的功能,而且非常實用。”
????值得一提的是,目前平臺正是使用了微軟System Center 2012中的 Virtual Machine Manager(虛擬機管理器,簡稱SCVMM)進行統一管理。無疑,SCVMM這一重量級工具在新版本中有了新的提升。“它讓我們能夠以較低的成本去管理多個廠商的產品,讓運維人員不用每天對著多個不同的管理界面,大幅提高了工作效率。”任林說。
????實現資源最優配置
????效率不僅源于高性能的設備和管理工具,更源于對數據倉庫資源配置的設計。結合業務需求,任林的團隊將海關動態數據倉庫的應用分為三個級別:最高級別應用基于PDW,中等級別應用基于青島海關搭建的數據庫群集,而低級別應用基于SQL Server。
????“海關中有很多業務是需要即席查詢的,業務終端需要即時查詢、馬上返回結果,這就需要通過PDW來進行快速的執行。”任林向記者介紹,“而有一些固定查詢,比如某些報表是每月生成一次,那么就可以安排在較低的應用級別來完成,甚至可以提前進行。”
????在這樣一個按照業務需求分級別進行數據管理的解決方案中,不僅提高了數據的管理效率,同時也提高了硬件資源的利用率。任林介紹,在數據倉庫云平臺項目中,他們逐步引入新的系統和設備,并對原有設備進行了整合改造,安排進行相對低級別的工作,這樣使得IT資源得到更好的配置利用。
????云計算的本質就是對資源進行更為有效的利用。在資源利用方面,任林的團隊其實有更偉大的設想。“如果能夠通過云計算將IT資源進行充分的配置,作為公共管理與服務部門,我們希望對內部的IT能力進行梳理,最終將能力釋放出來,為公眾提供更加廣泛的服務。”任林說。
????方案亮點
????(1)本方案讓Windows Server 2012的價值在大規模應用場景中得以充分體現,實現了平臺的高可用性。
????(2)方案同樣適合中大型規模應用,結合PDW,實現了系統的可擴展和高性能。
????(3)實現安全高效統一管理:多中心、外網統一門戶管理、多服務器遠程管理。