商業(yè)數(shù)據(jù)挖掘是一項涵蓋了商業(yè)問題的提出、數(shù)據(jù)收集和處理、模型構(gòu)建和應(yīng)用等多個環(huán)節(jié)的復(fù)雜過程。

首先，業(yè)務(wù)分析師或客戶提出一個具體的商業(yè)問題，這個問題的提出需要基于對業(yè)務(wù)的深入理解和分析。接下來，需要結(jié)合企業(yè)或組織的三大資源——高質(zhì)量的數(shù)據(jù)、業(yè)務(wù)知識以及數(shù)據(jù)挖掘軟件，通過數(shù)據(jù)挖掘技術(shù)從大量的數(shù)據(jù)中提取出有商業(yè)價值的信息。最后，將這些洞察力嵌入到實際的業(yè)務(wù)流程中，用于提升銷售收入或利潤，降低成本，提高運(yùn)營效率等業(yè)務(wù)目標(biāo)。

為了使數(shù)據(jù)挖掘過程更加規(guī)范化、系統(tǒng)化，出現(xiàn)了一些數(shù)據(jù)挖掘流程模型，CRISP-DM即是其中的一種優(yōu)秀代表。CRISP-DM全稱為CRoss Industry Standard Process for Data Mining（跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程），如圖1.2所示，這個流程模型將整個數(shù)據(jù)挖掘過程劃分為六個主要階段：業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、模型建立、模型評估和結(jié)果部署。

CRISP-DM強(qiáng)調(diào)，數(shù)據(jù)挖掘是一個迭代和探索的過程，六個步驟并不是線性的，而是根據(jù)實際情況靈活進(jìn)行的。例如，如果在數(shù)據(jù)理解階段發(fā)現(xiàn)現(xiàn)有數(shù)據(jù)無法解決業(yè)務(wù)問題，可能需要返回到業(yè)務(wù)理解階段重新定義問題；如果在模型建立階段發(fā)現(xiàn)數(shù)據(jù)無法滿足建模需求，可能需要重新進(jìn)行數(shù)據(jù)準(zhǔn)備；如果在模型評估階段發(fā)現(xiàn)模型效果不佳，可能需要返回到業(yè)務(wù)理解階段審視問題定義，或者返回到數(shù)據(jù)準(zhǔn)備和模型建立階段調(diào)整模型。

CRISP-DM流程為企業(yè)提供了一種結(jié)構(gòu)化的方法來進(jìn)行數(shù)據(jù)挖掘和分析，通過每個階段的專業(yè)處理，能夠有效地從大量數(shù)據(jù)中提取出有價值的信息，支持企業(yè)的決策，提升企業(yè)的競爭優(yōu)勢。

1. 業(yè)務(wù)理解

業(yè)務(wù)理解階段是CRISP-DM流程中的第一步，這個階段對整個數(shù)據(jù)分析項目至關(guān)重要。正確理解和定義業(yè)務(wù)問題將極大地影響后續(xù)的工作。此階段的主要目標(biāo)是對商業(yè)問題進(jìn)行明確的界定，并評估和組織企業(yè)的內(nèi)外部資源，使得可以更好地進(jìn)行后續(xù)的數(shù)據(jù)挖掘任務(wù)。在業(yè)務(wù)理解階段，我們需要完成以下工作：

● 確定商業(yè)目標(biāo)

此部分應(yīng)詳細(xì)介紹商業(yè)背景，明確商業(yè)目標(biāo)，定義達(dá)成目標(biāo)的成功標(biāo)準(zhǔn)。例如，如果是一家電商公司，可能的商業(yè)目標(biāo)是提高用戶轉(zhuǎn)化率或減少購物車棄置率。成功標(biāo)準(zhǔn)可能是在一定時間內(nèi)將轉(zhuǎn)化率提高到某一特定的百分比。

● 形勢評估

這是對項目當(dāng)前環(huán)境的全面評估，包括企業(yè)已有資源（如數(shù)據(jù)、人力、技術(shù)等）、需求、假定和限制、風(fēng)險偶然性，以及專業(yè)術(shù)語的解釋。此外，還要進(jìn)行成本收益分析，以確保項目的收益超過成本。

● 確定數(shù)據(jù)挖掘目標(biāo)

在明確了商業(yè)目標(biāo)后，需要轉(zhuǎn)化為數(shù)據(jù)挖掘的目標(biāo)，這可能涉及到預(yù)測某一特定指標(biāo)，或是發(fā)現(xiàn)潛在的數(shù)據(jù)模式。同時，還需要定義數(shù)據(jù)挖掘的成功標(biāo)準(zhǔn)，例如，模型預(yù)測的準(zhǔn)確率或召回率達(dá)到某一特定水平。

● 制訂項目計劃

根據(jù)前述的信息，制定詳細(xì)的項目計劃，包括時間線、責(zé)任分配等。此外，還要對可能使用的工具和方法進(jìn)行評估，例如，可能需要確定使用哪種編程語言，以及是否使用開源庫或是商業(yè)軟件以降低開發(fā)成本。

這個階段的目標(biāo)是將商業(yè)問題轉(zhuǎn)化為數(shù)據(jù)科學(xué)問題，并確定實施方案。每個步驟都需要深入的業(yè)務(wù)理解和交叉學(xué)科的知識。在整個過程中，與業(yè)務(wù)團(tuán)隊、數(shù)據(jù)科學(xué)團(tuán)隊和其他相關(guān)團(tuán)隊的緊密溝通是非常重要的。

2.  數(shù)據(jù)理解

數(shù)據(jù)理解階段是CRISP-DM流程的關(guān)鍵環(huán)節(jié)，主要的任務(wù)是對企業(yè)的數(shù)據(jù)資源進(jìn)行深入的認(rèn)識和初步清理。這個階段能夠讓分析師對手頭的數(shù)據(jù)有一個全面的了解，為后續(xù)的數(shù)據(jù)準(zhǔn)備和模型建立打下堅實的基礎(chǔ)。在這個階段，我們需要完成以下工作

● 收集原始數(shù)據(jù)

首先需要收集原始數(shù)據(jù)。這個過程可能包括從數(shù)據(jù)庫中提取數(shù)據(jù)、獲取第三方數(shù)據(jù)源、或者直接從業(yè)務(wù)流程中獲取數(shù)據(jù)等方式。數(shù)據(jù)收集報告應(yīng)記錄詳細(xì)的數(shù)據(jù)收集過程，包括數(shù)據(jù)來源、收集時間、數(shù)據(jù)量、數(shù)據(jù)的類型和格式等信息。

● 數(shù)據(jù)描述

數(shù)據(jù)描述報告主要是對數(shù)據(jù)的基本信息進(jìn)行描述，包括數(shù)據(jù)的大小、數(shù)據(jù)的字段含義、字段的數(shù)據(jù)類型（如數(shù)值、類別、日期等）、數(shù)據(jù)分布的概況等。這個過程有助于我們了解數(shù)據(jù)的結(jié)構(gòu)和基本特性。

● 探索性分析

數(shù)據(jù)探索性分析是對數(shù)據(jù)進(jìn)行更深入的分析，包括計算一些統(tǒng)計量（如均值、中位數(shù)、方差等），繪制圖表（如直方圖、散點圖、箱線圖等），檢查數(shù)據(jù)的分布，探索變量之間的關(guān)系等。探索性數(shù)據(jù)分析報告應(yīng)詳細(xì)記錄這個過程的結(jié)果，包括發(fā)現(xiàn)的數(shù)據(jù)特征、數(shù)據(jù)的異常值、變量間的關(guān)系等信息。

● 數(shù)據(jù)質(zhì)量報告

數(shù)據(jù)質(zhì)量報告主要評估數(shù)據(jù)的質(zhì)量，包括數(shù)據(jù)的完整性、準(zhǔn)確性、一致性和時效性等。數(shù)據(jù)質(zhì)量問題可能包括缺失值、重復(fù)值、異常值、錯誤的數(shù)據(jù)類型等。數(shù)據(jù)質(zhì)量報告應(yīng)明確指出這些問題，并給出解決的建議。

在這個階段，一個重要的原則是：數(shù)據(jù)質(zhì)量的好壞往往直接影響到數(shù)據(jù)分析的結(jié)果。因此，對數(shù)據(jù)進(jìn)行詳細(xì)的理解和初步的清理是非常重要的。

3.  數(shù)據(jù)準(zhǔn)備

 

數(shù)據(jù)準(zhǔn)備階段是CRISP-DM流程中非常關(guān)鍵的一環(huán)，主要是在建立數(shù)據(jù)挖掘模型之前對數(shù)據(jù)的最后準(zhǔn)備。在企業(yè)的實際情況中，數(shù)據(jù)往往被存儲在不同的部門、不同的數(shù)據(jù)庫或者數(shù)據(jù)庫中的不同數(shù)據(jù)表中。因此，需要對這些數(shù)據(jù)進(jìn)行整合和轉(zhuǎn)換，以生成符合數(shù)據(jù)挖掘需求的數(shù)據(jù)集。在這個階段我們需要完成下面一系列工作：

● 選擇數(shù)據(jù)

在數(shù)據(jù)準(zhǔn)備階段，不是所有數(shù)據(jù)都適合數(shù)據(jù)挖掘，因此需要確定哪些數(shù)據(jù)應(yīng)該包含在數(shù)據(jù)挖掘中，哪些數(shù)據(jù)應(yīng)該被剔除。這個過程可能涉及到對數(shù)據(jù)的抽樣，基于業(yè)務(wù)知識的特征選擇，以及基于統(tǒng)計分析的特征選擇等。

● 數(shù)據(jù)清理

數(shù)據(jù)清理是對數(shù)據(jù)進(jìn)行質(zhì)量提升的過程，這可能包括對缺失值的處理（如插值、刪除等）、對異常值的處理（如修正、刪除等）、對重復(fù)值的處理等。數(shù)據(jù)清理報告應(yīng)詳細(xì)記錄數(shù)據(jù)清理的過程和結(jié)果。

● 數(shù)據(jù)重構(gòu)

數(shù)據(jù)重構(gòu)可能涉及到生成新的字段和記錄，例如，根據(jù)已有的數(shù)據(jù)計算出新的特征（如從日期中提取出月份、季節(jié)等）、進(jìn)行數(shù)據(jù)的離散化或連續(xù)化、進(jìn)行數(shù)據(jù)的平衡等。

● 整合數(shù)據(jù)

在現(xiàn)實企業(yè)中，數(shù)據(jù)可能被存儲在不同的數(shù)據(jù)庫或數(shù)據(jù)表中，因此需要對這些數(shù)據(jù)進(jìn)行整合。這可能涉及到數(shù)據(jù)的合并、數(shù)據(jù)的連接等操作。

● 格式化數(shù)據(jù)

最后，需要將數(shù)據(jù)轉(zhuǎn)化為適合數(shù)據(jù)挖掘的格式。例如，對于定類數(shù)據(jù)，可能需要進(jìn)行獨(dú)熱編碼或者啞變量轉(zhuǎn)換；對于數(shù)值型數(shù)據(jù)，可能需要進(jìn)行標(biāo)準(zhǔn)化或歸一化。

 

數(shù)據(jù)準(zhǔn)備階段的工作量通常占據(jù)了整個數(shù)據(jù)挖掘項目的大部分時間，因為它涉及到的任務(wù)復(fù)雜并且冗長。然而，高質(zhì)量的數(shù)據(jù)準(zhǔn)備是建立有效模型的關(guān)鍵，因此這個階段的工作是非常重要的。

4.  建立模型

建立模型階段是數(shù)據(jù)挖掘工作的核心環(huán)節(jié)，其主要任務(wù)是選用適當(dāng)?shù)哪Ｐ秃退惴▉戆l(fā)現(xiàn)數(shù)據(jù)中的規(guī)律。數(shù)據(jù)挖掘模型大體上可以分為數(shù)據(jù)描述和匯總、細(xì)分、概念描述、分類、預(yù)測和相關(guān)性分析等。以下是建立模型環(huán)節(jié)的主要工作：

● 選擇建模技術(shù)

選擇合適的模型和算法是這個階段的第一步。選擇的過程中，需要考慮模型的假設(shè)和要求（如對數(shù)據(jù)的分布有無特定要求，是否需要大量的樣本，計算復(fù)雜度等），以及模型的適用范圍。對不同的模型技術(shù)進(jìn)行評估和對比，以確定最合適的建模技術(shù)。

● 產(chǎn)生檢驗設(shè)計

為了評估模型的性能，需要設(shè)計相應(yīng)的檢驗方案。這可能涉及到數(shù)據(jù)的劃分（如訓(xùn)練集、驗證集和測試集的劃分），以及評估指標(biāo)的選擇（如準(zhǔn)確率、召回率、AUC等）。檢驗設(shè)計應(yīng)詳細(xì)說明如何對模型的性能進(jìn)行評估。

● 建立模型

在選擇了模型和算法后，需要設(shè)定模型的參數(shù)，如正則化參數(shù)、決策樹的深度等。然后使用訓(xùn)練數(shù)據(jù)來建立模型。建立模型的過程應(yīng)詳細(xì)記錄，包括模型的具體形式、使用的參數(shù)、訓(xùn)練的過程等。模型的適用性概述應(yīng)說明模型適用的場景和限制。

● 模型評價

建立模型后，需要使用驗證集和測試集來對模型的性能進(jìn)行評估。模型評價應(yīng)詳細(xì)記錄模型在各項評估指標(biāo)上的表現(xiàn)。根據(jù)評價的結(jié)果，可能需要對模型的參數(shù)進(jìn)行調(diào)整，或者嘗試其他的模型和算法。

這個階段的目標(biāo)是建立一個既符合業(yè)務(wù)需求，又能在數(shù)據(jù)上表現(xiàn)良好的模型。這可能需要反復(fù)的嘗試和調(diào)整，以及深入的業(yè)務(wù)和技術(shù)知識。

5.  模型評價

模型評價階段是數(shù)據(jù)挖掘流程中非常關(guān)鍵的一步，它的目的是評估模型是否達(dá)到了預(yù)期的效果，并決定是否將模型投入到實際應(yīng)用中，或者是否需要對模型進(jìn)行進(jìn)一步的優(yōu)化和調(diào)整。模型評價通常涉及到技術(shù)層面和商業(yè)層面的評估，分別由建模人員和業(yè)務(wù)人員來共同完成以下工作：

● 結(jié)果評估

這個階段的主要任務(wù)是評估數(shù)據(jù)挖掘模型的結(jié)果，從技術(shù)角度（如準(zhǔn)確率、召回率、AUC等評估指標(biāo)）和商業(yè)角度（如模型對業(yè)務(wù)的貢獻(xiàn)、模型的可解釋性、模型的實施成本等）進(jìn)行全面的評價。結(jié)果評估應(yīng)詳細(xì)記錄模型的評估過程和結(jié)果，包括模型在各項指標(biāo)上的表現(xiàn)，模型的優(yōu)點和缺點，模型的改進(jìn)空間等。

● 數(shù)據(jù)挖掘過程回顧

在模型評價階段，也需要回顧整個數(shù)據(jù)挖掘的過程，查找是否存在疏忽和遺漏之處。例如，是否有更好的特征可以使用，是否有更好的模型可以嘗試，數(shù)據(jù)清理和準(zhǔn)備的過程是否充分等。數(shù)據(jù)挖掘過程回顧可以幫助我們找到改進(jìn)的機(jī)會，提升模型的性能。

● 確定下一步的工作內(nèi)容

根據(jù)模型的評估結(jié)果和數(shù)據(jù)挖掘過程的回顧，我們需要列出所有可能的行動方案，包括對模型進(jìn)行優(yōu)化，嘗試新的特征和模型，收集更多的數(shù)據(jù)等。然后，根據(jù)這些方案的預(yù)期效果和實施成本，進(jìn)行決策，確定下一步的工作內(nèi)容。

模型評價階段的目標(biāo)是確保模型的質(zhì)量，提升模型的實用性，為下一步的工作做好決策。

6.  結(jié)果部署

結(jié)果部署（Deployment）階段是整個數(shù)據(jù)挖掘流程的最終階段，它將數(shù)據(jù)挖掘模型的結(jié)果實際應(yīng)用到業(yè)務(wù)中，從而實現(xiàn)數(shù)據(jù)挖掘的商業(yè)價值。這個階段涉及的內(nèi)容可能會根據(jù)模型的類型和應(yīng)用場景有所不同，但一般都會涉及到模型的部署、監(jiān)測和維護(hù)等環(huán)節(jié)。

● 結(jié)果發(fā)布

根據(jù)模型的類型和應(yīng)用場景，詳細(xì)規(guī)劃模型的發(fā)布流程，包括模型的上線時間、上線的環(huán)境、需要的資源等。結(jié)果發(fā)布計劃應(yīng)詳細(xì)記錄模型的部署情況，包括部署的過程和結(jié)果，以及可能遇到的問題和解決方案。

● 監(jiān)測和維護(hù)模型

模型在部署后，需要定期進(jìn)行監(jiān)測和維護(hù)，以確保模型的性能和穩(wěn)定性。隨著商業(yè)環(huán)境的變化，模型的適用性和效果也可能會發(fā)生變化，因此需要建立一套有效的模型監(jiān)測和維護(hù)機(jī)制。監(jiān)測和維護(hù)模型計劃應(yīng)詳細(xì)記錄如何進(jìn)行模型的監(jiān)測和維護(hù)，包括使用的工具和技術(shù)，監(jiān)測的指標(biāo)，維護(hù)的策略等。

● 模型交付報告

這份報告應(yīng)總結(jié)整個數(shù)據(jù)挖掘的過程，包括數(shù)據(jù)的收集和準(zhǔn)備，模型的建立和評價，模型的部署和監(jiān)測等。報告應(yīng)詳細(xì)記錄模型的性能，模型對業(yè)務(wù)的貢獻(xiàn)，以及模型的改進(jìn)空間等。

部署階段的目標(biāo)是確保模型能夠順利地投入到實際的業(yè)務(wù)中，并通過監(jiān)測和維護(hù)，確保模型的持續(xù)效果。

看完覺得寫得好的，不防打賞一元，以支持藍(lán)海情報網(wǎng)揭秘更多好的項目。

標(biāo)簽： 標(biāo)簽 內(nèi)容 隨筆