行業動态

rvest包與其他(tā)網頁信息抓取方法比較分析。R語言實現網絡爬蟲有兩種方法, 一(yī / yì ／yí)種是(shì)利用本文所提到(dào)的(de)rvest包, 另外一(yī / yì ／yí)種是(shì)利用RCurl包和(hé / huò)XML包。

由rvest函數包配合Selector Gadget工具實現R語言在(zài)網頁信息爬取上(shàng)的(de)應用這(zhè)個(gè)方法, 與采用XML包和(hé / huò)RCurl包進行爬取相比, 更加簡單, 代碼更加簡潔直觀。R中的(de)rvest包将原本複雜的(de)網頁爬蟲工作壓縮到(dào)讀取網頁, 檢索網頁和(hé / huò)提取文本, 使其變得非常簡單, 而(ér)且根據網頁的(de)規律, 運用for () 循環函數進行實現多張網頁的(de)信息爬取。而(ér)使用XML包和(hé / huò)RCurl包進行實現, 則需要(yào / yāo)一(yī / yì ／yí)些關于(yú)網頁的(de)基礎知識, 模拟浏覽器行爲(wéi / wèi)僞裝報頭, 接着訪問頁面解析網頁, 然後定位節點獲取信息, 最後再将信息整合起來(lái)。該方法更爲(wéi / wèi)困難繁瑣, 在(zài)訪問網頁時(shí)有時(shí)并不(bù)能順利讀取解析, 并且在(zài)選取節點的(de)時(shí)候需要(yào / yāo)HTML的(de)基礎知識, 在(zài)網頁源代碼中找尋, 有些網頁的(de)源代碼相當複雜, 并不(bù)易于(yú)定位節點。

兩種實現的(de)方法所能達到(dào)的(de)效果基本大(dà)同小異, 而(ér)且利用for () 循環函數可以(yǐ)實現多網頁數據的(de)爬取, 從上(shàng)手角度上(shàng)講, rvest包顯示是(shì)更勝一(yī / yì ／yí)籌, 是(shì)XML包和(hé / huò)RCurl包的(de)進化, 更加簡潔方便。而(ér)除此之(zhī)外, 用Python實現網絡爬蟲也(yě)是(shì)很受歡迎。Python的(de)pandas模塊工具借鑒了(le／liǎo)R的(de)dataframes, 而(ér)R中的(de)rvest包則參考了(le／liǎo)Python的(de)Beautiful Soup, 兩種語言在(zài)一(yī / yì ／yí)定程度上(shàng)存在(zài)互補性。Python在(zài)實現網絡爬蟲上(shàng)更有優勢, 但就(jiù)網頁數據爬取方面而(ér)言, 基于(yú)R語言工具進行實現, 更加簡潔方便, 而(ér)且R在(zài)統計分析上(shàng)是(shì)一(yī / yì ／yí)種更高效的(de)獨立數據分析工具, 運用R語言獲取的(de)數據避免了(le／liǎo)平台環境轉換的(de)繁瑣, 從數據獲取、數據清洗到(dào)數據分析, 代碼環境、平台保持了(le／liǎo)一(yī / yì ／yí)緻性。