在由D1Net舉辦的第七屆CCS云計算高峰論壇上，中國移動(dòng)通信有限公司研究院云計算系統部資深研究員杜宇健分享了《中國移動(dòng)云計算技術(shù)和研究和應用》。
杜宇健表示，標準和開(kāi)源對云計算的發(fā)展非常重要，中國移動(dòng)已經(jīng)依托自主研發(fā)和開(kāi)源力量，以開(kāi)放的姿態(tài)打造云計算核心能力，提供了包括詳單云、政務(wù)云、教育云等服務(wù)。
杜宇健還指出，云計算是挖掘大數據價(jià)值的核心基礎，能夠克服傳統平臺固有的非結構化數據處理效率低，硬件昂貴且兼容性和擴展性差等缺陷。
中國移動(dòng)通信有限公司研究院云計算系統部資深研究員杜宇健
以下是杜宇健的分享：
云計算趨勢：標準與開(kāi)源
首先來(lái)看整個(gè)云計算的整體趨勢，云計算已經(jīng)發(fā)展接近十年的時(shí)間了，它是一個(gè)新的技術(shù)了。
從我們大家都比較熟悉的技術(shù)方向Gartner曲線(xiàn)，云計算已經(jīng)進(jìn)入非常穩定的增長(cháng)期，我們這里可以看到一些統計數據，公眾數據達到5000億美元的規模。未來(lái)若干年保持持續增長(cháng)的態(tài)勢。從云服務(wù)的角度來(lái)講，世界上的云服務(wù)發(fā)展來(lái)說(shuō)已經(jīng)進(jìn)入了一個(gè)成熟期，大家比較熟悉的AWF、Google還有salesforce，他們成為業(yè)界的標桿，他們的標準達到了實(shí)施標準。
我們國內近幾年發(fā)展十分迅速，包括運營(yíng)商還有一些互聯(lián)網(wǎng)廠(chǎng)商來(lái)說(shuō)，也是紛紛接觸各類(lèi)的運營(yíng)服務(wù)，當然這以IS為主。
云計算發(fā)展有幾個(gè)主要的特點(diǎn)。首先一個(gè)看標準化，其實(shí)電信運營(yíng)商來(lái)說(shuō)歷來(lái)比較重視標準化的，這是我們互聯(lián)網(wǎng)的特征。
目前云計算標準參與組織非常多，國外和國際的都有，但是可以說(shuō)首先第一個(gè)是云計算標準的層次上還只是目前做IS的層面，而且這些IS層面的標準成果在應用當中也遇到一些問(wèn)題，號召力的問(wèn)題，大部分軟件開(kāi)發(fā)上，甚至云無(wú)父無(wú)的提供商遵從實(shí)施標準的狀態(tài)。
但是從我們認為來(lái)說(shuō)，云計算標準化的工作還是應當大力去推廣的。一個(gè)可以形成一個(gè)產(chǎn)業(yè)的合力，另一方面簡(jiǎn)單的說(shuō)，中國移動(dòng)既是云服務(wù)提供者，某些領(lǐng)域我們是用戶(hù)，從一個(gè)用戶(hù)的角度上來(lái)看，我們會(huì )很關(guān)注我的業(yè)務(wù)和我的數據在不同的領(lǐng)域之間的遷移問(wèn)題。這些資源互聯(lián)互通，還有資源調度，不同類(lèi)型云資源之間調度的問(wèn)題，這些都是需要通過(guò)標準化方式去推動(dòng)的。
第二個(gè)是開(kāi)源，是云計算領(lǐng)域非常中堅的力量，云計算開(kāi)源的社區非?；钴S，包括各個(gè)方面，有IS層面，PaaS層面，非?；钴S的情況，而且他們之間開(kāi)源的項目也得到了比較廣泛的應用，有很多開(kāi)源化的公司。最后我們提云計算的商業(yè)應用上，我們成熟的商業(yè)產(chǎn)品還不是特別的的，這些成熟商業(yè)產(chǎn)品主要聚焦在IS層面，像很多分布式的系統，一些基礎設備。我們看到比較好的云計算服務(wù)商，云解決服務(wù)商也好大部分是這樣去做的，在我們運營(yíng)過(guò)程中發(fā)現問(wèn)題及時(shí)到研發(fā)服務(wù)形成一個(gè)迭代優(yōu)化的閉環(huán)?？傮w上我們認為云計算發(fā)展特點(diǎn)，一個(gè)是云計算標準缺乏號召力，但是這塊我們去嘗試推廣去做。第二個(gè)我們開(kāi)源項目已經(jīng)成為云計算產(chǎn)業(yè)發(fā)展中堅的力量。最后一點(diǎn)我們自己應用云計算實(shí)施的時(shí)候，我們應當去借鑒研發(fā)與運營(yíng)一體化的這種模式。
云計算對運營(yíng)商的意義
首先從移動(dòng)運營(yíng)商來(lái)看，我們說(shuō)現在是移動(dòng)互聯(lián)網(wǎng)的時(shí)代，這里統計的幾個(gè)數據可以跟大家分享一下，一個(gè)是2013年這樣一個(gè)數據，我們手機的網(wǎng)民達到4.6億，今年馬上公布新的數據，4G來(lái)了之后，包括數量，包括質(zhì)量方面都會(huì )有比較大的提升。第一圖我們可以看到，現在互聯(lián)網(wǎng)用戶(hù)的數量已經(jīng)大大超過(guò)固網(wǎng)的數量，第二看到我們流量方面，移動(dòng)的流量方面也是不斷的在提升。第三張圖看到大家現在用手機，基本上打電話(huà)、發(fā)短信的需求已經(jīng)落到其次的位置上，已經(jīng)是二八里面的20%，大部分用手機做上網(wǎng)、玩游戲、看視頻、聽(tīng)音樂(lè )，這是我們的主要互聯(lián)網(wǎng)的應用。因此在這樣的背景之下，可以看到他們對于我們運營(yíng)商后臺的存儲和計算提出了新的要求。
其實(shí)往前若干年，比如說(shuō)像2010年左右，其實(shí)我們運營(yíng)商可以比較很自信的站在這里跟大家說(shuō)，我們的IT架構是業(yè)界最領(lǐng)先的。我們有信用非常高的幾百T的設備，IOBS有多少，前端有小型機，幾百萬(wàn)GPMC，我們有一流的數據庫，有一流的系統集成商，所以我們的IT架構是非常領(lǐng)先的IT架構，很好支撐我們自己業(yè)務(wù)的發(fā)展。但是隨著(zhù)云計算的發(fā)展，還有我們提出大數據時(shí)代到來(lái)，整個(gè)運營(yíng)商IT架構實(shí)際上是遇到了一些比較大的問(wèn)題，遇到一些麻煩。舉一個(gè)小小的例子，現在我們在很多分析場(chǎng)景之下，用傳統的架構無(wú)法做到全樣的分析，只是抽樣的分析。
因此在這樣的情況之下，作為運營(yíng)商來(lái)說(shuō)，作為中國移動(dòng)也很早開(kāi)始這方面的變革和探索，我們積極在尋求去把一些先進(jìn)技術(shù)引入進(jìn)來(lái)，去做這樣的一些事情。但是受限于一些問(wèn)題，比如遺留系統涉及到遷移割接的問(wèn)題，運營(yíng)開(kāi)發(fā)人員適應性的問(wèn)題。這些問(wèn)題導致我們IT運營(yíng)商整個(gè)架構業(yè)界是略顯滯后的，但是我們要積極做這方面的變革，我們在積極探討從傳統的小型機到數據庫，我們硬件集群去做，軟件方面做分布式的數據庫，一些便攜架構處理平臺做我們的優(yōu)化方案，這是我們運營(yíng)商在積極思索的這樣一些事情。
運營(yíng)商如何切入云計算領(lǐng)域
實(shí)際上電信運營(yíng)商有它自己優(yōu)勢的，我們在去考慮做云計算，或者是大數據也好應該充分發(fā)揮我們的一些優(yōu)勢，一個(gè)很明顯的優(yōu)勢是資源的優(yōu)勢，我們有遍布全國的數據中心，還有網(wǎng)絡(luò )資源。另一方面第二優(yōu)勢我想談一談服務(wù)的優(yōu)勢，運營(yíng)商致力于服務(wù)一種上億規模的用戶(hù)，我們有非常豐富的服務(wù)經(jīng)驗和體系的運營(yíng)經(jīng)驗，我們的BOOS系統，CRM系統在整個(gè)業(yè)界是比較領(lǐng)先的。
第三方面是有一個(gè)產(chǎn)業(yè)合作方面的優(yōu)勢，運營(yíng)商在傳統產(chǎn)業(yè)鏈里面還是跟各方有比較長(cháng)期的合作關(guān)系。所以我們可以在云計算領(lǐng)域合作推動(dòng)這個(gè)事情。當然移動(dòng)運營(yíng)商有它的一些品牌方面的優(yōu)勢，可以更加被公眾所接受和信任。以上這些優(yōu)勢可以看出來(lái)，運營(yíng)商適合于提供一種大體量的，規模龐大的，具有這種基礎服務(wù)特征的服務(wù)，所以這里面我們也提了一點(diǎn)，剛才也提到了，這個(gè)運營(yíng)商來(lái)說(shuō)，現在大部分很多都從IS層面去切入，我們去提供云存儲，云主機這樣基礎的服務(wù)，來(lái)去打造這樣一個(gè)基礎化的公共設施，在這個(gè)基礎之上，我想我們項目的政企客戶(hù)，大專(zhuān)院校，甚至個(gè)人都可以在上面構建自己的運營(yíng)服務(wù)，這是我們運營(yíng)商在云計算領(lǐng)域發(fā)力比較重要的切入點(diǎn)。
第二個(gè)切入點(diǎn)我想會(huì )涉及到大數據的問(wèn)題，運營(yíng)商管道化，現在說(shuō)智能管道，這里面大家都會(huì )體會(huì )到運營(yíng)商管道的特征，或者我們從另一方面考慮管道的優(yōu)勢，在管道這里面我們實(shí)際上是可以去有所謂數據的“集散地”這樣一個(gè)問(wèn)題。我們通過(guò)DPI的特征把大量數據保存下來(lái)，這些數據是金礦，這方面我們大數據的挖掘充分發(fā)揮商業(yè)價(jià)值。在這個(gè)領(lǐng)域我們運營(yíng)商來(lái)說(shuō)，有這么幾個(gè)切入點(diǎn)。一個(gè)是來(lái)去改善用戶(hù)體驗，這一塊主要是通過(guò)我們一些知識庫，還有語(yǔ)音搜索技術(shù)，更好的去為用戶(hù)服務(wù)，去智能的提供服務(wù)，這是前端。
但是我個(gè)人更重要看準后端的切入點(diǎn)，一個(gè)對市場(chǎng)決策方面，剛才提到有用戶(hù)的業(yè)務(wù)行為數據，一些訪(fǎng)問(wèn)特征、消費行為，基于這樣的數據我們可以去構建，去應用“爬蟲(chóng)”技術(shù)，海量的存儲技術(shù)、分析技術(shù)，我們對它進(jìn)行分析，給用戶(hù)打標簽，助力我們的市場(chǎng)營(yíng)銷(xiāo)以及市場(chǎng)決策行為。第三點(diǎn)是優(yōu)化自己網(wǎng)絡(luò )的服務(wù)質(zhì)量。這塊主要是通過(guò)我們的信用數據進(jìn)行關(guān)聯(lián)，使整個(gè)運營(yíng)商提供更加油脂的服務(wù)，這是我們第二個(gè)重要的切入點(diǎn)，從大數據領(lǐng)域去切入，去提升我們企業(yè)真正的核心競爭力。前面我想跟大家分享的運營(yíng)商怎么看云計算，運營(yíng)商的優(yōu)勢跟切入點(diǎn)。
中國移動(dòng)的云計算舉措
首先是4G，我們已經(jīng)發(fā)了4G的牌照，我想在座的很多人已經(jīng)用了起來(lái)，其實(shí)他也是類(lèi)似提供固網(wǎng)的體驗，而且現在4G上來(lái)之后資費也是大幅下降。我們業(yè)界統計4G相比3G單位流量資費下降幾十倍這么一個(gè)量級。所以它會(huì )極大的刺激人們這樣一個(gè)信息消費的需求，由此也會(huì )更加推動(dòng)運營(yíng)商構建云計算的平臺去支撐。中國移動(dòng)來(lái)說(shuō)，我們強調云管端的模式，大家比較常見(jiàn)的模式之下，我們有兩個(gè)舉措，一個(gè)是公眾服務(wù)云，剛才提到重要的切入點(diǎn)之一，面向政企客戶(hù)我們提供的在南方基地構建了公眾云服務(wù)，提供云機組，云主機的服務(wù)，面向個(gè)人我們也有個(gè)人的服務(wù)，同時(shí)面向電子政務(wù)，還有一些教育，跟政府的合作我們也是開(kāi)展比較緊密的合作。
第二個(gè)切入點(diǎn)是私有云，我們從集團層面也好，從各個(gè)省層面也好，目前在大力開(kāi)展的一個(gè)工作就是各級私有云的建設，還有我們的大數據平臺的構建。另一方面中國移動(dòng)對于云計算研發(fā)方面，我們也是比較重視的。我本人來(lái)自云計算系統部的，我們屬于研究院下面一個(gè)部所。這個(gè)部所有接近100人的規模，主要負責中國移動(dòng)發(fā)展戰略，基礎規范的制定，還有自主研發(fā)的產(chǎn)品。今年我們就會(huì )專(zhuān)門(mén)成立一個(gè)蘇州云計算研發(fā)中心，這個(gè)規模將會(huì )是3000人以上的規模。在蘇州研發(fā)中心成立之后，我們可以在產(chǎn)品的一些架構設計研發(fā)方面有質(zhì)的提高;另一方面整個(gè)研發(fā)體系之下，我們進(jìn)一步探索研發(fā)如何與前端業(yè)務(wù)運營(yíng)進(jìn)行緊密的結合。我們可能選擇某一些業(yè)務(wù)嘗試研發(fā)運營(yíng)一體化的模式來(lái)進(jìn)行嘗試。這是我們在自主研發(fā)方面今年很重要的一個(gè)舉措。另外自主研發(fā)這方面大家會(huì )比較熟悉的，就是我們的“大云”計劃，“大云”是我們中國移動(dòng)自主研發(fā)的一個(gè)計劃，這個(gè)起步是比較早，2007年起步，到今年也有將近7個(gè)年頭了?；旧显?013年12月初的時(shí)候，移動(dòng)互聯(lián)網(wǎng)大會(huì )上我們發(fā)布了“大云”2.5的版本。我們可以看到“大云”基本上形成了一個(gè)覆蓋IF、PaaS層面比較完整的產(chǎn)品體系。第一條產(chǎn)品線(xiàn)IS產(chǎn)品線(xiàn)，我們包括PC、EC，這里面是虛擬化的管理軟件，下面有一些存儲站，上面還有BC和EC。BC-oHest是類(lèi)S3的對象存儲，這里面非常適合于存儲海量非結構化的數據，我們在南方用了300個(gè)節點(diǎn)去做，我們在里面先做了一些對象，做4、5億存儲的測試，我們性能和容量是相當不錯的。對象存儲來(lái)說(shuō)現在數量級是非常龐大的，亞馬遜S3已經(jīng)是接近4萬(wàn)億的規模了，但是它是一個(gè)多體系的架構。還有彈性塊存儲，EBS，這里面是對前面的虛機提供實(shí)體化存儲空間。 第二個(gè)產(chǎn)品是PaaS，我們基于BSP的處理框架和數據化工具級等等。PaaS產(chǎn)品發(fā)展比較好的是分析型的，但是交易型PaaS是世界性難題，我們一個(gè)產(chǎn)品RDB展開(kāi)初步摸索和嘗試，因為現在分布式事務(wù)所，包括在分布表的情況之下去做生產(chǎn)改查是很難的題目，很容易導致不一致的問(wèn)題，這一塊我們先走一步，我們也積極做研究的嘗試。當然后面還有我們集群管理軟件做集群的管理、故障，這是我們自主研發(fā)體系。這個(gè)產(chǎn)品體系也是在我們公司內部得到比較廣泛的應用。
我這里還想強調的是中國移動(dòng)，在整個(gè)云計算的研發(fā)與應用過(guò)程中，是非常重視跟產(chǎn)業(yè)各方進(jìn)行配合合作的。一個(gè)是有開(kāi)源的合作，開(kāi)源在云計算無(wú)論研發(fā)和合作是非常重要的平臺，我們研發(fā)會(huì )注重借鑒這個(gè)平臺，另一方面我們把一些成果積極布置下去。另外我們跟商業(yè)化的軟件非常注重跟他們去配合，比如說(shuō)我們也是跟SAP。SAP的性能分析數據庫性能非常出色的，除了貴一點(diǎn)。但這塊我們探討比較流行混搭的模式，跟我們的體系進(jìn)行混搭起來(lái)，一個(gè)平臺是容量?jì)?yōu)化，處理大規模的變形化的一些處理。HANA是性能方面的優(yōu)化，把實(shí)時(shí)率要求高的數據放到這里面去做，這樣混搭架構體系之下我們積極做一些驗證和產(chǎn)品的嘗試，未來(lái)將會(huì )在集中化的數據倉庫體系之下有一個(gè)廣泛的應用。
開(kāi)源方面我想多提一點(diǎn)，我們這里面建立了自己的開(kāi)源社區。其實(shí)驅動(dòng)力也是比較明顯的，我們現在各個(gè)省公司，包括集團層面都建自己大數據平臺，這一塊面臨非常多的選擇，有很多版本，這些版本應用在現有的招標模式之下，一個(gè)項目一個(gè)項目建立起來(lái)的話(huà)，非常麻煩的一個(gè)數據模式，給我們后續省公司，以及省公司內部分享和運營(yíng)帶來(lái)很大的障礙和促進(jìn)。這里我們考慮充分聯(lián)合產(chǎn)業(yè)的力量去推一個(gè)適合我們運營(yíng)商的版本，這個(gè)開(kāi)源社區我們去年年底的時(shí)候已經(jīng)正式發(fā)布了，這里有一個(gè)鏈接，大家可以上去訪(fǎng)問(wèn)。我們主要團結運營(yíng)商和科研單位的力量去推動(dòng)這樣開(kāi)源版本的建設。
講完了開(kāi)源以后再講講標準化。其實(shí)標準化這塊我們中國移動(dòng)也是很積極的態(tài)度去參與，去推動(dòng)的。除了標準化也包括可信云的計劃，可信云我們也是很積極參與的單位之一。標準化這里我剛才提到了，我們這里目前有兩個(gè)主要在做的IS的標準化，咱們國家來(lái)說(shuō)，我們重點(diǎn)參與了SOA云計算標準工作組，里面對于彈性計算和對象存儲這兩個(gè)最重要的標準化工作的制定。
我們產(chǎn)品研發(fā)過(guò)程中也會(huì )遵循這樣的國家標準，而且會(huì )積極參與標準相關(guān)的一些測試的制定和具體的測試工作。我們要重復一下，標準化的工作我們還是需要去產(chǎn)業(yè)各方合作，共同去推動(dòng)這樣一個(gè)情況。前面講了中國移動(dòng)在總體的戰略，自主研發(fā)方面的一些舉措，下面結合大云的應用談具體的案例。產(chǎn)品線(xiàn)應用在移動(dòng)的內部包括外部做比較廣泛的應用，比如大數據的分析，資源池的建設還有對外教育的支持上。一個(gè)是我們的公眾服務(wù)云，公眾服務(wù)云這里主要運用到核心產(chǎn)品，剛才提到BCEC和BC-oNest提供一些服務(wù)，目前我們在南方基地已經(jīng)部署了1000個(gè)物理服務(wù)器的節點(diǎn)和規模，目前處在試商用的階段。
下一步我們想在這個(gè)基礎之上還進(jìn)一步豐富在IS層面的一個(gè)服務(wù)，甚至跟廠(chǎng)商合作起來(lái)，我們會(huì )進(jìn)行整合性的服務(wù)。我們客觀(guān)上也必須承認，我們的服務(wù)確實(shí)處于剛起步，跟其他產(chǎn)品還是有一些差距的。第二個(gè)層面想舉比較突出的運營(yíng)商做的事情，就是大數據領(lǐng)域。大數據領(lǐng)域我們主要的切入點(diǎn)是幾點(diǎn)，一個(gè)是ETL，ETL是從生產(chǎn)庫里面數據調到分析庫進(jìn)行分析，傳統我們是通過(guò)小型機ETL工具去實(shí)現，傳統我們是ELT，到數據庫再去操作，給主庫壓力非常大?，F在很主要我們在中間建立一個(gè)集群，真正實(shí)現ETL中間的轉化，然后加載到倉庫，無(wú)論從性能還是減輕組合壓力方面都有非常明顯的效果。
第二是帳詳單云，我們很大的是各自的通信帳單，一般的量級中等省份一千有幾億條規模的量級，上面我們主要的動(dòng)作是查詢(xún)工作，它就非常適合用帳祥單查詢(xún)，很多省份在這樣做。第三個(gè)是互聯(lián)網(wǎng)內容分析平臺，這個(gè)我們把上網(wǎng)數據采集下來(lái)，抓取一下看看到底訪(fǎng)問(wèn)是什么類(lèi)型的業(yè)務(wù)數據，這里面一個(gè)是查詢(xún)的技術(shù)，一個(gè)是日志存儲的技術(shù)，這里面也是運用我們的分析能力。這是我們運營(yíng)商資源池跟大數據方面的典型應用。
最后談一談我們在政府方面政務(wù)云的合作。各個(gè)地方對于政務(wù)電子化，云化辦公還是推動(dòng)比較快速的，包括我們參與了電子政務(wù)標準化的編制工作。目前我們在福建、天津、揚州這樣的地方做了一些，這主要是跟“大云”，BC、EC相關(guān)的，其實(shí)跟中國移動(dòng)合作的電子化遠遠不止這三個(gè)點(diǎn)。幫他們構建一個(gè)IS資源池，他們合理快速的去部署上線(xiàn)他們政務(wù)云的應用。
還有一個(gè)比較突出的是我們跟教育部的合作，合作建設國家數據教育云平臺，主要通過(guò)教育的公平化、均衡化和現代化。在這個(gè)項目里面我們也是提供底層IS的平臺資源，提供一個(gè)云存儲，云主機的能力，之上支撐教育開(kāi)發(fā)的應用。目前教育云上線(xiàn)接近一年多的時(shí)間，目前起到比較好的社會(huì )效益。
最后去展望一下，我們希望能夠跟產(chǎn)業(yè)鏈的各方合作，共同推動(dòng)整個(gè)云計算在中國產(chǎn)業(yè)的發(fā)展。
