誰來引領中國大數(shù)據(jù)的發(fā)展？

        毋庸置疑，大數(shù)據(jù)對我們時代的改變將越來越深刻。無論是IBM、CISCO這樣的老牌 IT 公司、還是在Hadoop生態(tài)圈中的專注于大數(shù)據(jù)的IT新秀，都在短短的幾年之內(nèi)搶占了大數(shù)據(jù)產(chǎn)業(yè)鏈的各大環(huán)節(jié)。未來誰能夠引領大數(shù)據(jù)技術，中國制造商能否在大數(shù)據(jù)爆發(fā)性增長來到時搶占到一席之地？未來制約大數(shù)據(jù)發(fā)展和應用的瓶頸又會是什么？

誰將引領大數(shù)據(jù)？
        通過對比分析目前IT企業(yè)在大數(shù)據(jù)領域的發(fā)展情況，以及對大數(shù)據(jù)行業(yè)專家的訪談，我們繪制了大數(shù)據(jù)發(fā)展的企業(yè)占位圖。

        大數(shù)據(jù)按照信息處理環(huán)節(jié)可以分為數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)存儲及管理、數(shù)據(jù)分析、數(shù)據(jù)顯化，以及產(chǎn)業(yè)應用等六個環(huán)節(jié)。而在各個環(huán)節(jié)中，已經(jīng)有不同的公司開始在這里占位。

        1、數(shù)據(jù)采集：Google、CISCO 這些傳統(tǒng)的IT公司早已經(jīng)開始部署數(shù)據(jù)收集的工作。在中國，淘寶、騰訊、百度等公司已經(jīng)收集并存儲大量的用戶習慣及用戶消費行為數(shù)據(jù)。德勤預計，在未來，會有更為專業(yè)的數(shù)據(jù)收集公司針對各行業(yè)的特定需求，專門設計行業(yè)數(shù)據(jù)收集系統(tǒng)。

        2、數(shù)據(jù)清理：當大量龐雜無序的數(shù)據(jù)收集之后，如何將有用的數(shù)據(jù)篩選出來，完成數(shù)據(jù)的清理工作并傳遞到下一環(huán)節(jié)，這是隨著大數(shù)據(jù)產(chǎn)業(yè)分工的不斷細化而需求越來越高的環(huán)節(jié)。除了Intel等老牌IT企業(yè)，Teradata、Informatica等專業(yè)的數(shù)據(jù)處理公司呈現(xiàn)了更大的活力。在中國，華傲數(shù)據(jù)等類似廠商也開始不斷涌現(xiàn)。德勤預計，在未來，將會有大量的公司專注于數(shù)據(jù)清理。

        3、數(shù)據(jù)存儲及管理：數(shù)據(jù)的存儲、管理是數(shù)據(jù)處理的兩個細分環(huán)節(jié)。這兩個細分環(huán)節(jié)之間的關系極為緊密。數(shù)據(jù)管理的方式?jīng)Q定了數(shù)據(jù)的存儲格式，而數(shù)據(jù)如何存儲又限制了數(shù)據(jù)分析的深度和廣度。由于相關性極高，通常由一個廠商統(tǒng)籌設計這兩個細分環(huán)節(jié)將為更為有效。從廠商占位角度來分析，IBM、Oracle等老牌的數(shù)據(jù)存儲提供商有明顯的既有優(yōu)勢，他們在原有的存儲業(yè)務之上進行相應的深度拓展，輕松占據(jù)了較大的市場份額。而 Apache Software Foundation等新生公司，以開源的戰(zhàn)略匯集了行業(yè)專精的智慧，成為大數(shù)據(jù)發(fā)展的領軍企業(yè)。

        4、數(shù)據(jù)分析：傳統(tǒng)的數(shù)據(jù)處理公司SAS及SPSS在數(shù)據(jù)分析方面有明顯的優(yōu)勢。然而，基于開源軟件基礎構架Hadoop的數(shù)據(jù)分析公司最近幾年呈現(xiàn)爆發(fā)性增長。例如，成立于 2008 年的Cloudera公司，幫助企業(yè)管理和分析基于開源Hadoop產(chǎn)品的數(shù)據(jù)。由于能夠幫助客戶完成定制化的數(shù)據(jù)分析需求，Cloudera擁有了如Expedia、摩根大通等大批的知名企業(yè)用戶，僅僅五年時間，其市值估值已達到7億美元。

        5、數(shù)據(jù)的解讀：將大數(shù)據(jù)的分析結果還原為具體的行業(yè)問題。SAP、SAS等數(shù)據(jù)分析公司在其已有的業(yè)務之上加入行業(yè)知識成為此環(huán)節(jié)競爭的佼佼者。同時，因大數(shù)據(jù)的發(fā)展而應運而生的wibidata等專業(yè)的數(shù)據(jù)還原公司也開始蓬勃發(fā)展。

        6、數(shù)據(jù)的顯化：這一環(huán)節(jié)中，大數(shù)據(jù)真正開始幫助管理實踐。通過對數(shù)據(jù)的分析和具象化，將大數(shù)據(jù)能夠推導出的結論量化計算、同時應用到行業(yè)中去。這一環(huán)節(jié)需要行業(yè)專精人員，通過大數(shù)據(jù)給出的推論，結合行業(yè)的具體實踐制定出真正能夠改變行業(yè)現(xiàn)狀的計劃。

突破未來發(fā)展瓶頸
        通過對大數(shù)據(jù)產(chǎn)業(yè)鏈的分析，我們可以看到，在大數(shù)據(jù)產(chǎn)業(yè)鏈的各個生產(chǎn)環(huán)節(jié)中，各大公司都已開占位，隨著高性能計算機、海量數(shù)據(jù)的存儲和管理的流程的不斷優(yōu)化，技術能夠解決的問題終將不會成為問題。我們認為，真正會制約或者成為大數(shù)據(jù)發(fā)展和應用瓶頸的有三個環(huán)節(jié)：

        第一、數(shù)據(jù)收集和提取的合法性，數(shù)據(jù)隱私的保護和數(shù)據(jù)隱私應用之間的權衡。

        任何企業(yè)或機構從人群中提取私人數(shù)據(jù)，用戶都有知情權，將用戶的隱私數(shù)據(jù)用于商業(yè)行為時，都需要得到用戶的認可。然而，目前，中國乃至全世界對于用戶隱私應當如何保護、商業(yè)規(guī)則應當如何制定、觸犯用戶的隱私權應當如何懲治、法律規(guī)范應當如何制定等等一系列管理問題都大大滯后于大數(shù)據(jù)的發(fā)展速度。

        德勤認為，未來很多大數(shù)據(jù)業(yè)務在最初發(fā)展階段將會游走在灰色地帶，當商業(yè)運作初具規(guī)模并開始對大批消費者和公司都產(chǎn)生影響之后，相關的法律法規(guī)以及市場規(guī)范才會被迫加速制定出來?？梢灶A計的是，盡管大數(shù)據(jù)技術層面的應用可以無限廣闊，但是由于受到數(shù)據(jù)采集的限制，能夠用于商業(yè)應用、服務于人們的數(shù)據(jù)要遠遠小于理論上大數(shù)據(jù)能夠采集和處理的數(shù)據(jù)。數(shù)據(jù)源頭的采集受限將大大限制大數(shù)據(jù)的商業(yè)應用。

        第二、大數(shù)據(jù)發(fā)揮協(xié)同效應需要產(chǎn)業(yè)鏈各個環(huán)節(jié)的企業(yè)達成競爭與合作的平衡。

        大數(shù)據(jù)對基于其生態(tài)圈中的企業(yè)提出了更多的合作要求。如果沒有對整體產(chǎn)業(yè)鏈的宏觀把握，單個企業(yè)僅僅基于自己掌握的獨立數(shù)據(jù)，無法了解產(chǎn)業(yè)鏈各個環(huán)節(jié)數(shù)據(jù)之間的關系，對消費者做出的判斷和影響也十分有限。

        在一些信息不對稱比較明顯的行業(yè)，例如銀行業(yè)以及保險業(yè)，企業(yè)之間數(shù)據(jù)共享的需求更為迫切。例如，銀行業(yè)和保險業(yè)通常都需要建立一個行業(yè)共享的數(shù)據(jù)庫，讓其成員能夠了解到單個用戶的信用記錄，消除擔保方和消費者之間的信息不對稱，讓交易進行的更為順利。然而，在很多情況下，這些需要共享信息的企業(yè)之間競爭和合作的關系同時存在，企業(yè)在共享數(shù)據(jù)之前，需要權衡利弊、避免在共享數(shù)據(jù)的同時喪失了其競爭優(yōu)勢。此外，當很多商家合作起來，很容易形成賣家同盟而導致消費者利益受到損失，影響到競爭的公平性。

        大數(shù)據(jù)最具有想象力的發(fā)展方向是將不同的行業(yè)的數(shù)據(jù)整合起來，提供全方位立體的數(shù)據(jù)繪圖，力圖從系統(tǒng)的角度了解并重塑用戶需求。然而，交叉行業(yè)數(shù)據(jù)共享需要平衡太多企業(yè)的利益關系，如果沒有中立的第三方機構出面，協(xié)調(diào)所有參與企業(yè)之間的關系、制定數(shù)據(jù)共性及應用的規(guī)則，將大大限制大數(shù)據(jù)的用武之地。權威第三方中立機構的缺乏將制約大數(shù)據(jù)發(fā)揮出其最大的潛力。

        第三、大數(shù)據(jù)結論的解讀和應用。

        大數(shù)據(jù)可以從數(shù)據(jù)分析的層面上揭示各個變量之間可能的關聯(lián)，但是數(shù)據(jù)層面上的關聯(lián)如何具象到行業(yè)實踐中？如何制定可執(zhí)行方案應用大數(shù)據(jù)的結論？這些問題要求執(zhí)行者不但能夠解讀大數(shù)據(jù)，同時還需深諳行業(yè)發(fā)展各個要素之間的關聯(lián)。這一環(huán)節(jié)基于大數(shù)據(jù)技術的發(fā)展但又涉及到管理和執(zhí)行等各方面因素。

        在這一環(huán)節(jié)中，人的因素成為制勝關鍵。從技術角度，執(zhí)行人需要理解大數(shù)據(jù)技術，能夠解讀大數(shù)據(jù)分析的結論；從行業(yè)角度，執(zhí)行人要非常了解行業(yè)各個生產(chǎn)環(huán)節(jié)的流程的關系、各要素之間的可能關聯(lián)，并且將大數(shù)據(jù)得到的結論和行業(yè)的具體執(zhí)行環(huán)節(jié)一一對應起來；從管理的角度，執(zhí)行人需要制定出可執(zhí)行的解決問題的方案，并且確保這一方案和管理流程沒有沖突，在解決問題的同時，沒有制造出新的問題。這些需求，不但要求執(zhí)行人深諳技術，同時應當是一個卓越的管理者，有系統(tǒng)論的思維，能夠從復雜系統(tǒng)的角度關聯(lián)地看待大數(shù)據(jù)與行業(yè)的關系。此類人才的稀缺性將制約大數(shù)據(jù)的發(fā)展。