一分鐘了解互聯網數據挖掘流程
來源： 發布者：ld88520 發布時間：2015-12-19 查看：15824次
摘要：
1、爬蟲抓取網絡數據
真實的數據挖掘項目，一定是從獲取數據開始的，除了通過一些渠道購買或者下載專業數據外，常常需要大家自己動手爬互聯網數據，這個時候，爬蟲就顯得格外重要了。
Nutch爬蟲的主要作用是從網絡上抓取網頁數據并建立索引。我們只需指定網站的頂級網址，如taobao.com，爬蟲可以自動探測出頁面內容里新的網址，從而進一步抓取鏈接網頁數據。nutch支持把抓取的數據轉化成文本，如（PDF、WORD、EXCEL、HTML、XML等形式）轉換成純文字字符。
Nutch與Hadoop集成，可以將下載的數據保存到hdfs，用于后續離線分析。使用步驟為：
向hdfs中存入待抓取的網站url
$ hadoop fs -put urldir urldir
注：
第一個urldir為本地文件夾，存放了url數據文件，每行一個url地址
第二個urldir為hdfs的存儲路徑。
啟動nutch，在NUTCH_HONE目錄下執行以下命令
$ bin/nutch crawlurldir –dir crawl -depth 3
–topN 10
命令成功執行后，會在hdfs中生成crawl目錄。
2、MapReduce預處理數據
對于下載的原始文本文檔，無法直接進行處理，需要對文本內容進行預處理，包括文檔切分、文本分詞、去停用詞（包括標點、數字、單字和其它一些無意義的詞）、文本特征提取、詞頻統計、文本向量化等操作。
常用的文本預處理算法是TF-IDF，其主要思想是，如果某個詞或短語在一篇文章中出現的頻率高，并且在其他文章中很少出現，則認為此詞或者短語具有很好的類別區分能力，適合用來做分類。
輸入原始文本內容：
Againit seems that cocoa
delivered……
執行TF-IDF預處理：
hadoop jar $JAR
SparseVectorsFromSequenceFiles……
輸出文本向量:
9219:0.246 453:0.098 10322:0.21 11947:0.272
……
每一列是詞及其權重，使用冒號分隔，例如“9219:0.246”表示編號為9219的詞，對應原始單詞為“Again”，其權重值為0.246。
3、Mahout數據挖掘
預處理后的數據就可以用來做數據挖掘。Mahout是一個很強大的數據挖掘工具，是分布式機器學習算法的集合，包括：協同過濾、分類、聚類等。
以LDA算法為例，它可以將文檔集中每篇文檔的主題按照概率分布的形式給出。它是一種無監督學習算法，在訓練時不需要手工標注主題，需要的僅僅是指定主題的數量K。此外LDA的另一個優點則是，對于每一個主題均可找出一些詞語來描述它。
輸入預處理后的數據:
9219:0.246 453:0.098 ……
執行LDA挖掘算法：
mahout cvb –k 20……
輸出挖掘結果：
topic1
{computer,technology,system,internet,machine}
topic2
{play,film,movie,star,director,production,stage}
我們可以獲知用戶的偏好是哪些主題，這些主題是由一些關鍵詞組成。
連線專家，咨詢我的需求是否能做
我的需求與此類似，索取報價
直接免費獲取企業診斷報告- 上一篇：沒有了
- 下一篇：沒有了
聯系我們
24小時服務熱線dzw100086（加微信）- 手機號碼dzw100086（加微信）
- 公司電話dzw100086（加微信）
- 企業郵箱dzw100086（加微信）
- 咨詢QQ
- 公司地址四川省成都市錦江區紅星路三段IFS國際金融中心
