導讀(dú)：工(gōng)業(yè)大(dà)數(shù)據即工(gōng)≠®₩∑業(yè)數(shù)據的(de)總和(hé)，其來(lái)源主要Ω(yào)包括企業(yè)信息化(huà)數(shù)據、工(gōn€¥g)業(yè)物(wù)聯網數(shù)據、“跨界”數(shù)據等，它是↔₹♣♣(shì)工(gōng)業(yè)互聯網的(de)≤ &核心，是(shì)智能(néng)制(zhì)造的(de)關鍵。工(gōng)業(yè) ∏¥®大(dà)數(shù)據分(fēn)析作(zuò)♥為(wèi)工(gōng)業(yè)大(dà)數(shù)據的(de)核心技(j≈✔π×ì)術(shù)之一(yī)，是(shì)工(β✔>gōng)業(yè)智能(néng)化(huà$£)發展的(de)重要(yào)基礎和(h☆×¥♣é)關鍵支撐。
本文(wén)将結合作(zuò)者在工(gōng)業(yè)領α™♠域多(duō)年(nián)的(de)實踐應用(✔"yòng)經驗，力圖對(duì)工(gōng)業(yè)大(d™¶≈§à)數(shù)據分(fēn)析技(jì)術(shù)的(de)應用(yòng)思路(lù)、方法和(hé≠§)流程進行(xíng)總結，旨在為(wèi)企業(yè)開(kāi)展大(dà)數(s♥♦hù)據分(fēn)析工(gōng)作(zu₹σ↑ò)提供技(jì)術(shù)和(hé)業(yè)務上(shàng)的(de)借鑒®®©$。
在本文(wén)中我們将一(yī)起研討(tǎo)和(hé)思考：
工(gōng)業(yè)大(dà)數(shù)&♦δ據分(fēn)析的(de)特殊性；
工(gōng)業(yè)大(dà)數(shù)據分≥↓(fēn)析的(de)困境及難點；
工(gōng)業(yè)大(dà)數(shù)據分(fēn)析β× ♦的(de)基本框架；
工(gōng)業(yè)大(dà)數(shù)據♠'分(fēn)析該如(rú)何開(kāi)展？
01 工(gōng)業(yè)大(dà)數(shù)據分(fēn)析δ¶與傳統數(shù)據分(fēn)析的(de)差異性及特殊性
工(gōng)業(yè)大(dà)數(sh> ù)據分(fēn)析是(shì)利用(yòng)統計(jì)學分(fēn)析技(jì)"§術(shù)、機(jī)器(qì)學習(xí)技(jì)術(shù)、信号處理(lǐ)∏©λ∞技(jì)術(shù)等技(jì)術(shù)手段，結合業(yè)務知(zhī)識對₽✔&€(duì)工(gōng)業(yè)過程産生(shēng)的(de)數(shù)據進行(xí<¶ng)處理(lǐ)、計(jì)算(suàn)、分(fēn)析并提取其中有(yǒu)價值的(>≈≤δde)信息和(hé)規律的(de)過程。從(cóng)過程與目标角度看(kàn)，工(gōng)業σ§(yè)大(dà)數(shù)據分(fēn)析和 ♦(hé)傳統統計(jì)分(fēn)析、商業(yè)智能(néng)分(fē® •n)析涉及的(de)學科(kē)和(hé)技(jì)術(shù)大(dà)¶≥¶≤同小(xiǎo)異。但(dàn)從(cóng)分(fēn)析理(lǐ)念和(hé)特點上¶< (shàng)看(kàn)，工(gōng¥★)業(yè)大(dà)數(shù)據分(fē→<★n)析又(yòu)有(yǒu)其自(zì)身(shēn)的(d↑₩e)特殊性。
首先，進入大(dà)數(shù)據時(shí)代，數(shù)據的(de)變化(hu✘₩à)往往引發工(gōng)作(zuò)方法和(hé)價值體(tǐ)現(xiàn)的(de)改變。✘Ω∏♠對(duì)于數(shù)據的(de)變化(huà)，非工(gōng)業(yè)領¥&♠域往往強調數(shù)量上(shàng)的(dπ♣e)變化(huà)；但(dàn)在工(gōng)業(yè)領域，則更注重數(shù)據完整性 φ'和(hé)質量的(de)提升。工(gōng)業(yè)現(xiàn)場(≠ chǎng)往往對(duì)分(fēn)析結果的(de)精度、可(kě)靠度要™&ε(yào)求高(gāo)，加之工(gōng)業(yè)對(duì)象和(hδ"±₹é)過程本身(shēn)也(yě)很(hěn)複雜₩ ∞(zá)。因此，工(gōng)業(yè)大(dà)數©λ€(shù)據分(fēn)析方法的(de)重點是(shì)通(tōng≥∑∞₩)過數(shù)據條件(jiàn)的(de)改善，結合相(xiàng)關分(fēn)析技™α∑(jì)術(shù)的(de)有(yǒu)效應用(yòng)，•₩得(de)到(dào)質量高(gāo)的(de)分(fēn)¥®析結果。
此外(wài)，工(gōng)業(yè)場(chǎng)景的(de)邊界往往都(dō≈₽γu)有(yǒu)專業(yè)領域的(de)機(jī)理(lǐ)來♦→✘©(lái)約束。對(duì)于複雜(zá)的(de)工(gōng)業¶Ω←×(yè)過程數(shù)據分(fēn)析，往往不(b ★ù)能(néng)僅局限于相(xiàng)關關系分(fēn)析，需要(yào)強調工(gōng↔←)業(yè)領域業(yè)務知(zhī)識和>¶(hé)數(shù)據分(fēn)析過程的(de)深度融合；強調複雜(zá)業(yè)務問(γ↕>wèn)題簡化(huà)和(hé)分(fēn)析結果的(de)可(kě)解釋性，而<¶不(bù)是(shì)簡單地(dì)追求數(shù)據量大(dà)與分(fēn)析算(s♠Ω≤₩uàn)法的(de)複雜(zá)和(hé)先進性。一(yī)言以蔽之，工(g≤§ōng)業(yè)大(dà)數(shù)據分(fēn)析需要(yào)在工(gōng)業(yè)具體(tǐ)業(yè)務要(yào)求的(de)邊界•☆下(xià)，用(yòng)數(shù)據思維和(hé)數(s₹φπ↔hù)理(lǐ)邏輯去(qù)嚴格地(dì)定義問(wèn)φγ≤¥題，采用(yòng)“數(shù)據驅動+機(jī)理(lǐ)模型”的(de)雙輪驅動方±α∏式去(qù)精确表征、有(yǒu)效解決實際問(wèn)題。
02 工(gōng)業(yè)大(dà)數(shù)>₽據分(fēn)析的(de)困境及難點
工(gōng)業(yè)大(dà)數(sh∞♠βù)據分(fēn)析的(de)困境及難點主要(yào)體(t¥∑δ↓ǐ)現(xiàn)在對(duì)工(gōng)業(yè)對(duì)象（過程）理(lǐ)解和(•¥§↑hé)認知(zhī)要(yào)求的(de)高ε✔(gāo)标準和(hé)一(yī)緻性、工(gōng)業↕α(yè)大(dà)數(shù)據建模的(de)複雜(zá)性和(hé)反複性←∏、分(fēn)析結果的(de)可(kě)靠性和(hé)确定性三個(gè)方面。
第一(yī). 工(gōng)業(yè)大(dà)數(shù)據分(fēn)析對₩→λ(duì)數(shù)據分(fēn)析人(rén)員(y₩®uán)的(de)業(yè)務背景認知(zhī)能(néng)力要(•ε"•yào)求較高(gāo)
數(shù)據分(fēn)析師(shī)不(bù)能(néng)按照(zhào)以往思路(lù♠∑)，對(duì)業(yè)務相(xiàng)關對↑✘(duì)象、數(shù)據情況初步摸底認知(zhī)後就(jiù)匆匆開(kāi)展✔ 具體(tǐ)分(fēn)析建模工(gōng)₹δ作(zuò)。而針對(duì)工(gōng)業(yè)對(duì)象和(hé≥)過程的(de)複雜(zá)系統，不(bù)同的'> (de)場(chǎng)景下(xià)業(yè)務問(wèn)題之間(jiān)的(de)關系往往<↕≈會(huì)發生(shēng)改變，加之數(shù) ↕σ據缺失嚴重、噪聲大(dà)、業(yè)務含義代表性強等因素，理(lǐ)論體(t₹∞ǐ)系下(xià)的(de)數(shù)據分(fēn)析相(β&< xiàng)關理(lǐ)念與技(jì)術(shù$£)很(hěn)難直接适用(yòng)于此類場(chǎng)景的(♥✘de)變化(huà)和(hé)複雜(zá)度要(yào)求。如(rú)若數(shù)據分(fēn)&✔ €析團隊對(duì)研究工(gōng)業(yè)對→ (duì)象認識不(bù)夠深入或“片面>₽€性”理(lǐ)解，往往會(huì)導緻分(fēn)析出來(lái)的(de)結果是 ≥♥(shì)隻是(shì)證明(míng)了(le)領域內(nèi)業(yè)務機(jī₹>π)理(lǐ)/常識的(de)正确性或某一(y ↓€ī)公認理(lǐ)念，就(jiù)會(huì)經常出現 ★σ(xiàn)項目研究投入高(gāo)、産出低(dī)的(de)問(wèn)題。
因此，工(gōng)業(yè)大(dà)數(₩✘shù)據分(fēn)析需堅持的(de)原則是β&✔(shì)分(fēn)析和(hé)應用(yòn♦↑♥g)都(dōu)要(yào)結合具體(tǐ)的(de)流程，分(fēn)析工(gōng)作(zu★ €ò)開(kāi)展前要(yào)保證數(shù)據條件(jiàn)符合業(y× ¶ è)務場(chǎng)景要(yào)求。
第二. 工(gōng)業(yè)大(dà)數(shù)據建模算(suàn)法的(de)複雜(zλδσ≈á)性和(hé)過程的(de)反複性使得(de)整個(gè)實現(xi₹¶™'àn)過程較為(wèi)“繁瑣和(hé)曲折”
在開(kāi)展工(gōng)業(yè)建模時(shí)，雖然基礎算(suàn)法原理(lǐ)<♠♣和(hé)應用(yòng)方式的(de)變化(huà)不(bù&)大(dà)，但(dàn)運用(yòng)此類算(suàn)法α<∏ 的(de)過程卻極大(dà)程度地(dì)“曲折”，往往需要(yào)結合業(yè)務知(zhīπ ↕)識和(hé)數(shù)據情況将算(suàn)λ ®法嵌入到(dào)實際的(de)工(gōng)業(yè)應≈↕用(yòng)場(chǎng)景與邏輯中去(qù)，需要(yào)模型基于初φ≥₩次的(de)分(fēn)析結果不(bù)斷地(dì)修正、叠代和(hé)完善，以此來(lái)提≤λ♣升模型的(de)魯棒性與準确性。此外(wài)，工(gōng)業(yè)過程數(shù)據形式的∞♥>(de)複雜(zá)性、數(shù)據質量參差不(bù)齊等也(yě)使得(de)工(♦δ¥gōng)業(yè)大(dà)數(shù)據分(fēn)析建模與有(yǒu)效應用(yòng)≈¥✔的(de)困難度加大(dà)。
第三. 工(gōng)業(yè)産業(yè)模式及應用(yòng)場(chǎng)景對(δ$duì)工(gōng)業(yè)大(dà)數(shù)據分(fēn)析結果的(d≈✔≠e)可(kě)靠性和(hé)決策可(kě)指導性要§®(yào)求高(gāo)，導緻工(gōng)業(yè)大(dà)數(sγ ♠hù)據分(fēn)析應用(yòng)的(de)成熟化'≤(huà)落地(dì)變得(de)困難。
一(yī)般情況下(xià)，大(dà)多(duōΩ±₩×)數(shù)企業(yè)的(de)工('♦gōng)業(yè)現(xiàn)場(chǎng)設備控制(zhì)、工(gōn≤ ↑g)藝調整、質量管控等都(dōu)已處在相(xiàng)對(duì)優良的(de)階段，而通(t≠•γōng)過工(gōng)業(yè)數(sh↑σ÷↓ù)據分(fēn)析得(de)到(dào)的(de)概率性↑∑γ結論和(hé)現(xiàn)場(chǎng)實際∑→有(yǒu)一(yī)定的(de)偏差。此偏差可(kě)能(néng)是(shì)生(sh©±ēng)産環節本身(shēn)引起的(de)，也(yě)有(yǒu•¶)可(kě)能(néng)是(shì)數(shù)據采集環節的(★≥∞&de)數(shù)據本身(shēn)失真引起的(de)，單★ ±§從(cóng)數(shù)據分(fēn)析結果角度往往很(hěn)難發現(xiàn)和(h←♠é)解釋具體(tǐ)差異引起的(de)原因，導緻大(dà)家(jiā)對(duì)于分↑×₽♣(fēn)析結果的(de)可(kě)靠性存疑。另一(yī)方面，企業↑<©(yè)業(yè)務人(rén)員(yuán)對(duì)所從(cóng)事(shìγΩ←)的(de)工(gōng)業(yè)過程/經營管理(lǐ)等業(yè)務的(de)認識原本就 ☆∞™(jiù)相(xiàng)對(duì)深刻，這(zhè)就(jiù)要(yào)求工€σφ(gōng)業(yè)大(dà)數(shù)據分(fēn)析能(néng)剖析、給出更深層次的(₽δ→de)業(yè)務實情信息或優化(huà)策略，隻有(yǒu)分(fēn)↓γ析得(de)到(dào)的(de)知(zhī)識具有(yǒu)更高(gγ÷×≠āo)精度和(hé)可(kě)靠性時(shí)，從(cóng)業(yè)務決策指導層面才具有★∞₹(yǒu)實用(yòng)價值，這(zhè)也(σ¶yě)是(shì)工(gōng)業(yè₹↓♣ )大(dà)數(shù)據分(fēn)析價值落®≤ε地(dì)應用(yòng)面臨的(de)挑戰之一(y≠¶ī)。
因此，工(gōng)業(yè)領域的(de)®§數(shù)據分(fēn)析重點強調數(shù)據分(fēn)析技(jì)術(shù)和(hé)≠' 領域知(zhī)識融合來(lái)獲取有(yǒu)價值的(de)知(±↕∏φzhī)識。當模型涉及到(dào)的(de)因素←★λ很(hěn)多(duō)、形成真正的(d→§£e)複雜(zá)多(duō)維度問(wèn)題且機(jī)理(lǐ)不(bù)清晰時(shí)↔₽₩，且往往沒足夠的(de)數(shù)據來(lái) β建立和(hé)驗證模型，這(zhè)時(shí )就(jiù)需要(yào)充分(fēn)利用(yòng)γγ€專業(yè)領域知(zhī)識進行(xíng)“降♠☆'維”，力求從(cóng)有(yǒu)限的(de)數(shù)據中分(fēn)析出₽©€足夠可(kě)靠的(de)結果。
我們在實踐中認識到(dào)工(gōng)業(yè)大(dà)數(shù)據分(fēn)析的(de)瓶頸難點，往往不(bù)是(shì)計(jì)算(s¥∏♣uàn)機(jī)存儲和(hé)處理(lǐ)→¥數(shù)據的(de)能(néng)力，而是₹$(shì)蘊含工(gōng)業(yè)機(jī)理(lǐ)的(de)數(shù)據∏>≥關聯關系的(de)複雜(zá)性。這(zhè)種複雜(z☆♦λ∏á)性使得(de)傳統的(de)數(shù)據分(fēn)析方法難以奏效，§δ♥無法從(cóng)數(shù)據中獲得(de)質量更高(gāo)、價值更大(dà)的(de)知←₽✘↓(zhī)識，如(rú)果沒有(yǒu)合适的(de)思想和(hé)技(jì)術(shù)手段，ε↓♣★面對(duì)工(gōng)業(yè)大(dà)數(shù)據價值的(de)藍(lán)σ"海(hǎi)時(shí)，就(jiù)會(huì)無從(cóng)下(xi♠≈à)手。
