如何去實踐一個完整的數據挖掘項目
機器學習項目
1 抽象成數學問題數據挖掘項目-
2 獲取數據
3 特徵預處理與特徵選擇
4 訓練模型與調優
5 模型診斷
6 模型融合
7 上線運行
大部分機器學習項目死在第1步和第2步，平時我們說的機器學習，指的是3、4、5這3步，實踐中，其實最難的是業務理解這一步，業務理解OK了，後面的一切都有章可循。
NLP項目
1 獲取語料
已有語料：業務部門、公司積累大量的文本數據
網上下載、抓取語料：可以通過爬蟲自己去抓取一些數據，然後進行加工。
2 語料預處理
語料預處理大概會占到整個50%-70%的工作量，通過數據洗清、分詞、詞性標註、去停用詞四個大的方面來完成語料的預處理工作。
四大方面
a
語料清洗：就是在語料中找到我們感興趣的東西，把不感興趣的視為噪音的內容清洗刪除，如：對於爬取的網頁內容，需要去除廣告、標籤、HTML、JS等代碼和註解等。 數據挖掘項目-
b
分詞：中文語料數據為一批短文本或長文本，如：句子、文章摘要、段落或整篇文章組成的一個集合。一般句子、段落之間的字、詞語是連續的，有一定含義。
c
詞性標註：就是給每個詞或者詞語打詞類標籤，如形容詞、動詞、名詞等。這樣做可以讓文本在後面的處理中融入更多有用的語言信息。如，常見的文本分類就不用關心詞性問題，但是類似情感分析、知識推理卻是需要的。
d
去停用詞：停用詞一般指對文本特徵沒有任何貢獻作用的字詞，比如標點符號、語氣、人稱等一些詞。所以在一般性的文本處理中，分詞之後，接下來一步就是去停用詞。但是比如在情感分析中，語氣詞、感嘆號是應該保留的，因為他們對表示語氣程度、感情色彩有一定的貢獻和意義。
特徵工程
做完語料預處理之後，接下來需要考慮如何把分詞之後的字和詞語表示成計算機能夠計算的類型。把中文分詞的字符串轉換成數字，有兩種常用的表示模型分別是詞袋模型和詞向量。
詞袋模型，即不考慮詞語原本在句子中的順序，統計詞頻這只是最基本的方式，TF-IDF 是詞袋模型的一個經典用法。
詞向量是將字、詞語轉換成向量矩陣的計算模型。目前為止最常用的詞表示方法是 One-hot，這種方法把每個詞表示為一個很長的向量。這個向量的維度是詞表大小，其中絕大多數元素為 0，只有一個維度的值為 1，這個維度就代表了當前的詞。還有 Google 團隊的 Word2Vec，其主要包含兩個模型：跳字模型和連續詞袋模型，Word2Vec 詞向量可以較好地表達不同詞之間的相似和類比關係。除此之外，還有一些詞向量的表示方式，如 Doc2Vec、WordRank 和 FastText 等。
特徵選擇
構造好的特徵向量，是要選擇合適的、表達能力強的特徵。文本特徵一般都是詞語，具有語義信息，使用特徵選擇能夠找出一個特徵子集，其仍然可以保留語義信息;但通過特徵提取找到的特徵子空間，將會丟失部分語義信息。所以特徵選擇是一個很有挑戰的過程，更多的依賴於經驗和專業知識，並且有很多現成的算法來進行特徵的選擇
模型訓練
在特徵向量選擇好之後，接下來就是訓練模型，對於不同的應用需求，我們使用不同的模型，傳統的有監督和無監督等機器學習模型， 如 KNN、SVM、Naive Bayes、決策樹、GBDT、K-means 等模型;深度學習模型比如 CNN、RNN、LSTM、 Seq2Seq、FastText、TextCNN 等。這些模型在後續的分類、聚類、神經序列、情感分析等示例中都會用到。數據挖掘項目-
在模型訓練時需要注意的幾個點：
注意過擬合、欠擬合問題，不斷提高模型的泛化能力
對於神經網絡，注意梯度消失和梯度爆炸問題。
評價指標
訓練好的模型，上線之前要對模型進行必要的評估，目的讓模型對語料具備較好的泛化能力。具體有以下這些指標可以參考。
錯誤率：是分類錯誤的樣本數占樣本總數的比例。
精度：是分類正確的樣本數占樣本總數的比例。
準確率：是針對我們預測結果而言的，它表示的是預測為正的樣例中有多少是真正的正樣例。
精確度：是分類正確的樣本數占樣本總數的比例。
召回率：是針對我們原來的樣本而言的，它表示的是樣本中的正例有多少被預測正確。
F1 衡量：表達出對查准率/查全率的不同偏好。
模型上線應用
模型線上應用，線下訓練模型，然後將模型做線上部署，發布成接口服務以供業務系統使用數據挖掘項目-
機器學習項目
1 抽象成數學問題數據挖掘項目-
2 獲取數據
3 特徵預處理與特徵選擇
4 訓練模型與調優
5 模型診斷
6 模型融合
7 上線運行
大部分機器學習項目死在第1步和第2步，平時我們說的機器學習，指的是3、4、5這3步，實踐中，其實最難的是業務理解這一步，業務理解OK了，後面的一切都有章可循。
NLP項目
1 獲取語料
已有語料：業務部門、公司積累大量的文本數據
網上下載、抓取語料：可以通過爬蟲自己去抓取一些數據，然後進行加工。
2 語料預處理
語料預處理大概會占到整個50%-70%的工作量，通過數據洗清、分詞、詞性標註、去停用詞四個大的方面來完成語料的預處理工作。
四大方面
a
語料清洗：就是在語料中找到我們感興趣的東西，把不感興趣的視為噪音的內容清洗刪除，如：對於爬取的網頁內容，需要去除廣告、標籤、HTML、JS等代碼和註解等。 數據挖掘項目-
b
分詞：中文語料數據為一批短文本或長文本，如：句子、文章摘要、段落或整篇文章組成的一個集合。一般句子、段落之間的字、詞語是連續的，有一定含義。
c
詞性標註：就是給每個詞或者詞語打詞類標籤，如形容詞、動詞、名詞等。這樣做可以讓文本在後面的處理中融入更多有用的語言信息。如，常見的文本分類就不用關心詞性問題，但是類似情感分析、知識推理卻是需要的。
d
去停用詞：停用詞一般指對文本特徵沒有任何貢獻作用的字詞，比如標點符號、語氣、人稱等一些詞。所以在一般性的文本處理中，分詞之後，接下來一步就是去停用詞。但是比如在情感分析中，語氣詞、感嘆號是應該保留的，因為他們對表示語氣程度、感情色彩有一定的貢獻和意義。
特徵工程
做完語料預處理之後，接下來需要考慮如何把分詞之後的字和詞語表示成計算機能夠計算的類型。把中文分詞的字符串轉換成數字，有兩種常用的表示模型分別是詞袋模型和詞向量。
詞袋模型，即不考慮詞語原本在句子中的順序，統計詞頻這只是最基本的方式，TF-IDF 是詞袋模型的一個經典用法。
詞向量是將字、詞語轉換成向量矩陣的計算模型。目前為止最常用的詞表示方法是 One-hot，這種方法把每個詞表示為一個很長的向量。這個向量的維度是詞表大小，其中絕大多數元素為 0，只有一個維度的值為 1，這個維度就代表了當前的詞。還有 Google 團隊的 Word2Vec，其主要包含兩個模型：跳字模型和連續詞袋模型，Word2Vec 詞向量可以較好地表達不同詞之間的相似和類比關係。除此之外，還有一些詞向量的表示方式，如 Doc2Vec、WordRank 和 FastText 等。
特徵選擇
構造好的特徵向量，是要選擇合適的、表達能力強的特徵。文本特徵一般都是詞語，具有語義信息，使用特徵選擇能夠找出一個特徵子集，其仍然可以保留語義信息;但通過特徵提取找到的特徵子空間，將會丟失部分語義信息。所以特徵選擇是一個很有挑戰的過程，更多的依賴於經驗和專業知識，並且有很多現成的算法來進行特徵的選擇
模型訓練
在特徵向量選擇好之後，接下來就是訓練模型，對於不同的應用需求，我們使用不同的模型，傳統的有監督和無監督等機器學習模型， 如 KNN、SVM、Naive Bayes、決策樹、GBDT、K-means 等模型;深度學習模型比如 CNN、RNN、LSTM、 Seq2Seq、FastText、TextCNN 等。這些模型在後續的分類、聚類、神經序列、情感分析等示例中都會用到。數據挖掘項目-
在模型訓練時需要注意的幾個點：
注意過擬合、欠擬合問題，不斷提高模型的泛化能力
對於神經網絡，注意梯度消失和梯度爆炸問題。
評價指標
訓練好的模型，上線之前要對模型進行必要的評估，目的讓模型對語料具備較好的泛化能力。具體有以下這些指標可以參考。
錯誤率：是分類錯誤的樣本數占樣本總數的比例。
精度：是分類正確的樣本數占樣本總數的比例。
準確率：是針對我們預測結果而言的，它表示的是預測為正的樣例中有多少是真正的正樣例。
精確度：是分類正確的樣本數占樣本總數的比例。
召回率：是針對我們原來的樣本而言的，它表示的是樣本中的正例有多少被預測正確。
F1 衡量：表達出對查准率/查全率的不同偏好。
模型上線應用
模型線上應用，線下訓練模型，然後將模型做線上部署，發布成接口服務以供業務系統使用數據挖掘項目-
收藏