——聊聊廢墟之中的(de)大(dà)數(shù)據應用(yòng)
引言:近(jìn)年(nián)來(lái)大(dà)數(shù)據、人(rén)工(gōn∞♥≤♥g)智能(néng)概念喧嚣塵上(shà≈™↑•ng),各類大(dà)數(shù)據應用(yòng)層出不(bù)窮。這(zhè)些(xiē)♠₹¥融合了(le)海(hǎi)量數(shù)據、高(gāo)性能(néng)計(jì)算₽ε♠(suàn)平台、智能(néng)算(suàn)法、酷炫的(de×₽÷)數(shù)據可(kě)視(shì)化(huà)效果的(de)企業(yè↔∞ )級大(dà)數(shù)據應用(yòng)産品成¶©為(wèi)了(le)企業(yè)的(de)新的(de)寵兒(ér)。“大β§×(dà)平台、微(wēi)應用(yòng)”,“數(shù)據智能(néng)應用(y≤>òng)”,一(yī)時(shí)間(jiān),大₽<★(dà)數(shù)據應用(yòng)建設項目如(rú)雨(yǔ)後∑>♣春筍般湧現(xiàn),但(dàn)在目前大(dà)部分≤®(fēn)的(de)商業(yè)實踐中我們看(kàn)到(dào),傳¥φ∏統企業(yè)斥巨資建設的(de)大(dà)數(shù)據應用(¶yòng),仿佛還(hái)沒有(yǒu)找到(dào)商業(yè)價值的(de)轉化ε₹(huà)點。筆(bǐ)者結合自(zì)身(shēn)在之前某大(dà)型央企的(d$§e)供職經曆,從(cóng)一(yī)名信息化(huà)₽ '¶從(cóng)業(yè)者(IT狗)角度的(de)出發,聊聊對'→←←(duì)此類問(wèn)題的(de)認識。姑妄之言,且讀(♣" dú)且珍惜。
注:大(dà)數(shù)據應用(yòng)是∑'<♣(shì)個(gè)很(hěn)寬泛的(de)概念,γ™©本文(wén)所指的(de)大(dà)數(shù)據應用(yòng),重點為(wèi)以數γσ(shù)據為(wèi)基礎,以算(suàn)法為(wèi)支撐的(de),指導企業(yè)經營運®★轉與決策的(de)數(shù)據分(fēn)析産品。如(rú)當下♥©(xià)流行(xíng)的(de)客戶畫(huà)像系統、預測性維修₽↓φ★、精準營銷等系統。
一(yī)、為(wèi)什(shén)麽企業(yè)熱(rè)衷“大(dà)數(s≥∞hù)據”、“AI”?——聊聊現(xiàn)象
因為(wèi),确實有(yǒu)用(yòng)。追求φ₹ Ω效率、适應快(kuài)速變化(huà)的(de)商業(yè)競争環境,↑♥ε是(shì)企業(yè)生(shēng)存的(de)必備≤✔γ♣條件(jiàn)。而基于海(hǎi)量數(shù)據的(de×™Ω")應用(yòng),能(néng)有(yǒu)效指導企₹β業(yè)快(kuài)速掌握用(yòng)戶的(de)個(gè♥γ)性化(huà)需求,實現(xiàn)精準營銷,能(néng)夠幫助企₩β業(yè)打通(tōng)數(shù)據關節,實現(xiàn)精準預測與智能(γ€÷néng)決策,加快(kuài)企業(yè)經營運轉、提高(gāo)生(®λshēng)産效率,降低(dī)生(shēng)産成本,實←δ現(xiàn)數(shù)據價值變現(xiàn)。這(zhè)些(xiē)華麗(lì®'¥↓)的(de)宣傳詞背後的(de)商業(yè)價值,對(duì)于企業(yè♠≠σ )來(lái)說(shuō),具有(yǒu)緻命的(≠∑€★de)誘惑。
二是(shì)大(dà)數(shù)據帶來(lái)的(deα )行(xíng)業(yè)巨大(dà)沖擊力,倒逼企業(yè)數(shù)字化(h₩≤ ≈uà)轉型升級。以阿裡(lǐ)巴巴、京東(dōng)、螞蟻金(jīn)↕π融、滴滴打車(chē)等為(wèi)代表的(de)互聯網企業(yè)所帶來(l≥→ái)的(de)行(xíng)業(yè)颠覆,讓傳統企業(yè)戰→σ戰兢兢,在這(zhè)個(gè)已經到(dào)來(lái)的(de)數(shù)據時(shí)©☆® 代,不(bù)變革,就(jiù)等死。
三是(shì)經過了(le)二十年(nián)企業(yè)信息化(huà×₩±)建設,當下(xià)已經到(dào)了(le)收割“"∑₽數(shù)據紅(hóng)利”的(de)有(yǒu)利§£±時(shí)機(jī)。企業(yè)多(duō)年(nián)的±∑(de)數(shù)據積累以及第三方數(shù)據的(de)開(kāi)放(fàng)♠✔↓♥、跨界融合,讓這(zhè)場(chǎng)數(shù)據革命有(yǒu♦©)了(le)更為(wèi)廣闊的(de)想象空(kōng)間(jiān)。
四是(shì)企業(yè)形象與品牌建設需要(yào)向互聯網化(huà)轉型,♥↓需要(yào)新鮮的(de)概念包裝,需要(yào)顯示出與潮流與時(shí)俱進的(de)企業↓ (yè)活力。很(hěn)多(duō)企業(yè)領導說(shuō),别§♣人(rén)都(dōu)在上(shàng),我們也(≠yě)得(de)上(shàng),這(zhè)無可(kě)厚非。
然而,時(shí)至今日(rì),“大(dà)數(shù)據”已經被說(shuō)↕λ爛了(le),人(rén)工(gōng)智能(néng)也(yě)已經閃亮(liε←→∏àng)登場(chǎng)了(le),Gartner已經把大(dà)數(shù)據從δ '(cóng)技(jì)術(shù)炒作(zuò)曲線中移除了(le)∑π¶,但(dàn)是(shì)大(dà)多(duō)數(shù)企業(yè)中仍然鮮見₹δ(jiàn)其成功案例,很(hěn)多(duō)企業(yè)抓住了(le)大(dà)數(sh×→&βù)據這(zhè)根稻草(cǎo),但(dàn)仍在泥沼中喘息。數(shù)據轉≠"∑型、數(shù)據驅動,概念嗷嗷上(shàng)天,落地(dì)寥寥無幾。
錢(qián)也(yě)沒少(shǎo)花(huā)、數(shù<÷)據也(yě)沒少(shǎo)買,大(dà)數(sh€÷ù)據平台也(yě)沒少(shǎo)建,專業(yè)團隊也(yě)沒少(shǎo)請(qǐngλ✔'÷),各類資源都(dōu)在全力保障,數(shù)據平台也(yě)搭建起來(≠€δlái)了(le),數(shù)據也(yě)集成進去(qù)了(☆★λ le),眼瞅著(zhe)“大(dà)平台、微(w✘★₹ēi)應用(yòng)”的(de)夢想要(yào)實現(xiàn)了(le),但(dàn)是(sh↕¥'→ì)最終還(hái)是(shì)悲哀的(de)發現(xiàn),我們懷揣♠↓♣的(de)希望與憧憬,看(kàn)到(dào)的(de)卻是(shì)數(shù)據平台為(w©©∑∞èi)無人(rén)問(wèn)津,各類基于平台之上(shàng)的("✘de)大(dà)數(shù)據應用(yòng)在¶φ廢墟之中橫亘殘落。
二、為(wèi)什(shén)麽會(huì)失 '敗——聊聊原因
(1)再強大(dà)的(de)平台,也(yě)無法管理(lǐ)混亂≥π©的(de)數(shù)據。大(dà)數(shù)據₩♥'™應用(yòng)依賴于基礎的(de)數(shù)據平台。而企業×♥(yè)多(duō)年(nián)來(lái↕↓∏')積累的(de)數(shù)據,缺乏标準的(de)體(tǐ)系梳理(lǐ),缺乏有(≠σ₩≤yǒu)效的(de)數(shù)據管理(lǐ)機(jī)制(zhì),≤©數(shù)據結構混亂,數(shù)據質量低(dī)下(xià),好(hǎo)不(bù)容易≤€梳理(lǐ)規範的(de)數(shù)據進入系統,沒過多(♦₹duō)久,又(yòu)再次陷入混亂。數(shù)據基礎不(bù)完備,盲目的(de)上¶♦(shàng)Hadoop平台,又(yòu)沒有(yǒu)完善的(de)數(shù) βΩ₽據管控機(jī)制(zhì),最終也(yě)隻能(néng∏≠₹)淪為(wèi)廢墟無人(rén)問(wèn)津。
(2)再大(dà)的(de)數(shù)據,也(yě)無法喚醒無視(shì)它的(d♥αe)人(rén)。IT部門(mén)鼓搗著(zhe)進行(xíng)平台建設,σ÷到(dào)處拿(ná)著(zhe)雞毛當令箭收集數(shù)據,業(yè)務人(r≤✘én)員(yuán)疲于應付,這(zhè)一(yī)場(chǎng)由IT主導的(de)數(sδ≈↕hù)據革命,本身(shēn)從(cóng)源頭上(sh♠←φβàng),就(jiù)是(shì)錯(cuπ↔ò)誤的(de)。業(yè)務人(rén)員(yuγ≤án)不(bù)清楚由IT自(zì)己臆想搗鼓的(de)數(sσ←$hù)據應用(yòng)究竟要(yào)表達什(shén←$α )麽,讓IT改個(gè)需求又(yòu)費(fèi)時(shí)費(fèi)力,與λ其浪費(fèi)時(shí)間(jiān),不(bùπ✔$)如(rú)老(lǎo)樣子(zǐ),跟著(zhe)感覺走。
(3)再智能(néng)的(de)算(suàn)法,也(yě)無法★€真正的(de)理(lǐ)解業(yè)務。算(suàn)法和(hé)數(shù)據都(dōu)是(Ω∞↓shì)冷(lěng)冰冰的(de),沒有(yǒu)溫≤™度,它們隻是(shì)工(gōng)具、手段>≈。沒有(yǒu)與業(yè)務融合,沒有(yǒu)∞•↑實際的(de)應用(yòng)場(chǎng)景,算(suàn)法隻能(néng)是(shì&ε✘)院校(xiào)學術(shù)論文(w≤₽✔én)。不(bù)能(néng)帶來(lái)巨大(₹γα♠dà)的(de)業(yè)務價值導向,無法實際解決用(yòngΩ>↓×)戶痛點,沒有(yǒu)業(yè)務人(rén)員(§ yuán)深度的(de)參與,無論多(duō)牛的(de)算(suàn)法,都(§←dōu)沒法挖掘出深刻的(de)業(yè)務洞察。
總體(tǐ)而言,企業(yè)大(dà)數(shù)據建設項目最突出的(de)問(wπ èn)題,總結三點:
1.缺乏“用(yòng)數(shù)據說(shuōΩ©™)話(huà)”的(de)意識與文(wén)化(huà);
2.缺乏行(xíng)之有(yǒu)效的(de)×↕數(shù)據管理(lǐ)體(tǐ)系;
3.業(yè)務應用(yòng)引導項目建設,而非本末倒置;σ→↕
為(wèi)了(le)避免項目成果最終淪為(wè±₩λ↑i)數(shù)據廢墟,企業(yè)應當結合自(zì)身(shēn)特點,尋找£最适合自(zì)身(shēn)的(de)數(shù)據轉型之路(lù)。
三、我們怎麽辦——聊聊方法
以往的(de)大(dà)數(shù)據建設的(de)核心思路(lù∏≥)都(dōu)是(shì):先建平台或數(shù)據中心,構建分 ¶&(fēn)析工(gōng)具,打造數(shù)據應用(yòng)。這(zhè)樣的(de)主要(→"★yào)問(wèn)題在于,對(duì)于中小(xiǎo)企業(yè),由于規劃€σ←能(néng)力的(de)不(bù)足,數(shù)據基礎不(bù)紮實,很(hěn)'₹σε難在初期設計(jì)好(hǎo)整體(tǐ)的(de)全貌,會(huì)造成極大(dà)的(d∞♣∞e)建設風(fēng)險。因此,在戰略層面,需要(yào)解決好(hǎo)數(shù)據<εΩ應用(yòng)的(de)價值定位(解決什(s♠♠→×hén)麽業(yè)務問(wèn)題,預期達到(dào)什(shén)麽樣的(d÷σe)目标);在執行(xíng)層面,形成自(zì)上(sh♠™♥≠àng)而下(xià)的(de)推動過程,進行(xíng)企業(yè)數(shù)據文≤₹(wén)化(huà)的(de)培養建立。在方法論層面,我們提出以數(shù)據應用(ε≈©↓yòng)為(wèi)核心的(de)企業(yè)大§δ∏(dà)數(shù)據能(néng)力建設思路(lù):₩±
(1)應用(yòng)先行(xíng),先輕後重。挑選實際業(yè)務↔¶₽₹中最具價值的(de)、數(shù)據基礎較為(wè♠∑↓i)完備的(de)、數(shù)據分(fēn)析訴求較為(wèi)強烈的(d∏€♦&e)業(yè)務場(chǎng)景,進行(xíng)固≤£"化(huà)。在應用(yòng)逐步積累的(de)情況下(xià)♥ >,數(shù)據平台的(de)建設也(yě)會(huì)一(yī)個(gè)自(z>σì)然而然的(de)過程,用(yòng)戶可(kě)在建設過程中,适時(÷←®Ωshí)投入,對(duì)于反應不(bù)佳∏₹σ☆的(de)應用(yòng)可(kě)以快(kuài)速調整,具有(¥✔yǒu)更靈活的(de)控制(zhì)權與主動權。這(zhè)樣的(de)方式,留有(y∑>∏✔ǒu)充分(fēn)的(de)試錯(cuò×σ )空(kōng)間(jiān),可(kě)避免投§↔入較大(dà)成本問(wèn)題;
(2)先易後難,穩步推進。這(zhè)類數(shù)據應用(yòng)的"¶®γ(de)開(kāi)發,可(kě)以先從(cóng)基本指标體(tǐ)系的(de)建設,設定¶≠監控的(de)KPI,監控關鍵業(yè)務經營指标,逐步實現(xiàn)企業(yè)的(de)數 ≤₩☆(shù)據透明(míng)化(huà)運營。以此來(lái)建立和(hé)推動企業(yè)的 ♠↓(de)數(shù)據文(wén)化(huà)與意識的(de)培養。然後可(kě)以引入高(gāo↔→)級分(fēn)析團隊(通(tōng)常↔企業(yè)內(nèi)部是(shì)不(bù)具備這(zhè)樣的(de)人(rén)才的(×β©₹de)),針對(duì)特定的(de)業(yè)務場(chǎng)景,與業( ε'✘yè)務人(rén)員(yuán)深入協商溝通(tōng)、确定®☆' 關鍵業(yè)務分(fēn)析目标與關鍵因素,借助算(suàn)法與分(fēn)析引擎,構建業 λ(yè)務模型,形成智能(néng)的(de)數(shù)據應用(yòng)産品,持續評估,不"∞∏₹(bù)斷提升模型的(de)泛化(huà)性能(néng)與可(kě)∑←解釋性,這(zhè)樣可(kě)引起業(yè)務人(rén)員(yu↑≈án)的(de)極大(dà)關注度與興趣,幫助業(yè™ε)務人(rén)員(yuán)更好(hǎo)的(de)進行(xíng)分(fēn)析與決策。讓數←§" (shù)據應用(yòng)落到(dào)實處γ≥。
(3)以用(yòng)促管,以管優用(yòng)。用₽↕"≥(yòng)一(yī)部分(fēn),理(lǐ)一(yī)部分(fēn),以數(shù)據産品應用φ>(yòng),倒逼數(shù)據管理(lǐ)制(zhì)度的(de)優化(h↕≈☆uà)與完善。在數(shù)據湖(hú)大(dà)行(xíng)其道(dào±σ"),以及Hadoop生(shēng)态體(tǐ)系已完全成熟的(de)今天,我們可(kě$≥•)以嘗試采用(yòng)更加柔性靈活的(de)數(shù)據标準規範。
(4)數(shù)據創新,人(rén)人(rén)參與。數(shù)據應用(yò₽×↑♦ng)具有(yǒu)巨大(dà)的(de)想象空(kōγ'∑ng)間(jiān)與創新可(kě)能(néng),需要(yào)充分(f©βēn)調動與發揮企業(yè)人(rén)員(yuán)的(d★↑e)主觀能(néng)動性,推動業(yè)務自(zì)主進行(xíng)數(shù)據≈↑分(fēn)析,讓更多(duō)的(de)業(yè)務人(λ₽ ©rén)員(yuán)能(néng)夠通(tōnε ±g)過統一(yī)的(de)平台進行(xíng)數(shù)據價值的(de↕×¶∞)洞察、分(fēn)析,充分(fēn)發揮業(yè)務人(rén)員(yuán)的(de)★÷行(xíng)業(yè)經驗(如(rú)舉辦內(nèi)部的(de)數(≤♠♦≈shù)據分(fēn)析競賽),不(bù)斷發掘新的(d★≠e)數(shù)據應用(yòng),以此促進企業(yè)數(shù)字化(huà)轉型進程。
四、工(gōng)欲善其事(shì)必先利其器(qì)——聊聊工(gōng)具
根據如(rú)上(shàng)的(de)思路(lù),不(×☆bù)難看(kàn)出,數(shù)據分(fēn)析與應用(yòng)₽↕ ♥開(kāi)發工(gōng)具是(shì)其關鍵核心。此類工(gōng)具,一(yī)是(s™₹£×hì)要(yào)能(néng)夠融合企業(yè)各類數(shù)據≠±,具備基礎的(de)數(shù)據管理(lǐ)的(de)功能(néng);二是(s•φ★hì)簡單易上(shàng)手,開(kāi)發←↓₩速度快(kuài),無編碼,讓支持業(yè)務用(yòng)戶也(yě)能(néngε↑₽)自(zì)己開(kāi)發;三是(sh<Ωì)需要(yào)內(nèi)置高(gāo)級算(suàn)法的(de)能(n∑éng)夠支持預測、優化(huà)、自(zìπ←§)動決策與調度功能(néng);四是(shì)能(néng)夠支撐多(duō)用(yòn↕&÷g)戶協作(zuò)的(de)、能(néng'→<)與其他(tā)系統無縫融合,五是(shì)高(gāoε'∞∏)性能(néng),同時(shí)價格不(bù¥γ♠)宜過高(gāo)。
國(guó)內(nèi)外(wài)數(shù)據分(→λfēn)析工(gōng)具豐富,如(rú)SAS、SPSS、Table→δ au、Qlik,國(guó)內(nèi)如(rú)永洪、帆軟等,但(≈λ&dàn)能(néng)支撐複雜(zá)的(de)智能(néng)算(suàn)法,>↕¶¥又(yòu)能(néng)支撐自(zì)助式分(fēn)析的(ε♥de)功能(néng)的(de)工(gōng)具相(xiàng)對(duì)較少(shǎo)β♥,再此筆(bǐ)者冒昧推薦由美(měi)林(lín)數(shù)據自(zì)主研發的(de)Te÷✔mpo大(dà)數(shù)據分(fēn)析平台。該₹≠₹平台內(nèi)置可(kě)視(shì)化(huà)、挖掘的(de)一(yī)體✘÷✔(tǐ)化(huà)數(shù)據分(fēn)析模塊,可(kě)使用(yòng)Tem₩≥po快(kuài)速完成大(dà)屏、儀表盤的(de)制(zhì)作(zuò),也(yě)可↓∏(kě)拖曳式的(de)實現(xiàn)複雜(zá)的(de)機(jī)器>±(qì)學習(xí)算(suàn)法流程的(de)建立,構建自(zì)主的(d£Ω↑λe)預測性數(shù)據産品。目前Tempo大(dà)數(shù)據分(fēn)析平台在工(g→ōng)業(yè)大(dà)數(shù)據領域、金(jīn)融行 ₹£(xíng)業(yè)、有(yǒu)著(zh✔≤e)較為(wèi)廣泛的(de)應用(yòng),有(yǒu)興趣∏←φ 的(de)可(kě)訪問(wèn)http://www.asktempo.com了(le)解。
五、結語——聊聊未來(lái)
在不(bù)遠(yuǎn)的(de)将來(lái),大(¥"dà)數(shù)據平台将會(huì)成為(wèi)堅實的(de)管道(dào), <φ'而數(shù)據應用(yòng)将逐步向輕量級、場(chǎng)景化(huà)、實時(shε♣✔✘í)性、智能(néng)化(huà)的(de)方向發展,人(rén)們在關注數☆∑$β(shù)據應用(yòng)的(de)業(yè)務價值的(de)同時(s±'$hí),也(yě)将追求更便捷、開(kāi)箱即用(yòng)的(de≤ ✔)應用(yòng)體(tǐ)驗,會(huì)按角色進↕™行(xíng)場(chǎng)景的(de)細化(←✔ huà),會(huì)更追求實時(shí)∑ π、高(gāo)效,會(huì)更加關注智能(néng)化(huà)的(de)交÷←™互體(tǐ)驗,此外(wài)更會(huì)與其他(t✘γγ↑ā)系統整合,形成以分(fēn)析-決策-行(xíng)動為(wèi)閉環的(β£$de)應用(yòng)鏈條,星星之火(huǒ),可(kě)以燎原,一(yī)個(gè)個(g∞±γè)微(wēi)小(xiǎo)靈活的(de)數(shù)據應用(yòng),¥€↕勢必将在曾經的(de)廢墟之上(shàng)™< ,熠熠生(shēng)輝。