一分鐘了解互聯網數據挖掘流程
來源: 發布者:ld88520 發布時間:2015-12-19 查看:15824次
摘要:
1、爬蟲抓取網絡數據
真實的數據挖掘項目,一定是從獲取數據開始的,除了通過一些渠道購買或者下載專業數據外,常常需要大家自己動手爬互聯網數據,這個時候,爬蟲就顯得格外重要了。
Nutch爬蟲的主要作用是從網絡上抓取網頁數據并建立索引。我們只需指定網站的頂級網址,如taobao.com,爬蟲可以自動探測出頁面內容里新的網址,從而進一步抓取鏈接網頁數據。nutch支持把抓取的數據轉化成文本,如(PDF、WORD、EXCEL、HTML、XML等形式)轉換成純文字字符。
Nutch與Hadoop集成,可以將下載的數據保存到hdfs,用于后續離線分析。使用步驟為:
向hdfs中存入待抓取的網站url
$ hadoop fs -put urldir urldir
注:
第一個urldir為本地文件夾,存放了url數據文件,每行一個url地址
第二個urldir為hdfs的存儲路徑。
啟動nutch,在NUTCH_HONE目錄下執行以下命令
$ bin/nutch crawlurldir –dir crawl -depth 3
–topN 10
命令成功執行后,會在hdfs中生成crawl目錄。
2、MapReduce預處理數據
對于下載的原始文本文檔,無法直接進行處理,需要對文本內容進行預處理,包括文檔切分、文本分詞、去停用詞(包括標點、數字、單字和其它一些無意義的詞)、文本特征提取、詞頻統計、文本向量化等操作。
常用的文本預處理算法是TF-IDF,其主要思想是,如果某個詞或短語在一篇文章中出現的頻率高,并且在其他文章中很少出現,則認為此詞或者短語具有很好的類別區分能力,適合用來做分類。
輸入原始文本內容:
Againit seems that cocoa
delivered……
執行TF-IDF預處理:
hadoop jar $JAR
SparseVectorsFromSequenceFiles……
輸出文本向量:
9219:0.246 453:0.098 10322:0.21 11947:0.272
……
每一列是詞及其權重,使用冒號分隔,例如“9219:0.246”表示編號為9219的詞,對應原始單詞為“Again”,其權重值為0.246。
3、Mahout數據挖掘
預處理后的數據就可以用來做數據挖掘。Mahout是一個很強大的數據挖掘工具,是分布式機器學習算法的集合,包括:協同過濾、分類、聚類等。
以LDA算法為例,它可以將文檔集中每篇文檔的主題按照概率分布的形式給出。它是一種無監督學習算法,在訓練時不需要手工標注主題,需要的僅僅是指定主題的數量K。此外LDA的另一個優點則是,對于每一個主題均可找出一些詞語來描述它。
輸入預處理后的數據:
9219:0.246 453:0.098 ……
執行LDA挖掘算法:
mahout cvb –k 20……
輸出挖掘結果:
topic1
{computer,technology,system,internet,machine}
topic2
{play,film,movie,star,director,production,stage}
我們可以獲知用戶的偏好是哪些主題,這些主題是由一些關鍵詞組成。
- 上一篇:沒有了
- 下一篇:沒有了
聯系我們
24小時服務熱線dzw100086(加微信)- 手機號碼dzw100086(加微信)
- 公司電話dzw100086(加微信)
- 企業郵箱dzw100086(加微信)
- 咨詢QQ
- 公司地址四川省成都市錦江區紅星路三段IFS國際金融中心