如何運行網路爬行庫

❶ 網路爬蟲的基本原理以及作用

網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲.
網路爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。 相對於通用網路爬蟲，聚焦爬蟲還需要解決三個主要問題： (1) 對抓取目標的描述或定義； (2) 對網頁或數據的分析與過濾； (3) 對URL的搜索策略。 抓取目標的描述和定義是決定網頁分析演算法與URL搜索策略如何制訂的基礎。而網頁分析演算法和候選URL排序演算法是決定搜索引擎所提供的服務形式和爬蟲網頁抓取行為的關鍵所在。這兩個部分的演算法又是緊密相關的。

❷ 如何優雅地使用c語言編寫爬蟲

前言
大家在平時或多或少地都會有編寫網路爬蟲的需求。一般來說，編寫爬蟲的首選自然非python莫屬，除此之外，java等語言也是不錯的選擇。選擇上述語言的原因不僅僅在於它們均有非常不錯的網路請求庫和字元串處理庫，還在於基於上述語言的爬蟲框架非常之多和完善。良好的爬蟲框架可以確保爬蟲程序的穩定性，以及編寫程序的便捷性。所以，這個cspider爬蟲庫的使命在於，我們能夠使用c語言，依然能夠優雅地編寫爬蟲程序。
爬蟲的特性
配置方便。使用一句設置函數，即可定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。
程序邏輯獨立。用戶可以分別定義爬蟲的解析函數，和數據持久化函數。並且對於解析到的新url，用戶可以使用cspider提供的addUrl函數，將其加入到任務隊列中。
便捷的字元串處理。cspider中提供了基於pcre的簡單的正則表達式函數，基於libxml2的xpath解析函數，以及用於解析json的cJSON庫。
高效的抓取。cspider基於libuv調度抓取線程和解析線程，使用curl作為其網路請求庫。
使用cspider的步驟
獲取cspider_t。
自定義user agent，cookie，timeout，proxy以及抓取線程和解析線程的最大數量。
添加初始要抓取的url到任務隊列。
編寫解析函數和數據持久化函數。
啟動爬蟲。
例子
先來看下簡單的爬蟲例子，會在後面詳細講解例子。
#include<cspider/spider.h>

/*
自定義的解析函數，d為獲取到的html頁面字元串
*/
void p(cspider_t *cspider, char *d, void *user_data) {

char *get[100];
//xpath解析html
int size = xpath(d, "//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a", get， 100);

int i;
for (i = 0; i < size; i++) {
//將獲取到的電影名稱，持久化
saveString(cspider, get[i]);
}

}
/*
數據持久化函數，對上面解析函數中調用的saveString()函數傳入的數據，進行進一步的保存
*/
void s(void *str, void *user_data) {
char *get = (char *)str;
FILE *file = (FILE*)user_data;
fprintf(file, "%s\n", get);
return;
}

int main() {
//初始化spider
cspider_t *spider = init_cspider();
char *agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:42.0) Gecko/20100101 Firefox/42.0";
//char *cookie = "bid=s3/yuH5Jd/I; ll=108288; viewed=1130500_24708145_6433169_4843567_1767120_5318823_1899158_1271597; __utma=30149280.927537245.1446813674.1446983217.1449139583.4; __utmz=30149280.1449139583.4.4.utmcsr=accounts.douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/login; ps=y; [email protected]; dbcl2=58742090:QgZ2PSLiDLQ; ck=T9Wn; push_noty_num=0; push_doumail_num=7; ap=1; __utmb=30149280.0.10.1449139583; __utmc=30149280";

//設置要抓取頁面的url
cs_setopt_url(spider, "so.tv.sohu.com/list_p1100_p20_p3_u5185_u5730_p40_p5_p6_p77_p80_p9_2d1_p101_p11.html");
//設置user agent
cs_setopt_useragent(spider, agent);
//cs_setopt_cookie(spider, cookie);
//傳入解析函數和數據持久化函數的指針
cs_setopt_process(spider, p, NULL);
//s函數的user_data指針指向stdout
cs_setopt_save(spider, s, stdout);
//設置線程數量
cs_setopt_threadnum(spider, DOWNLOAD, 2);
cs_setopt_threadnum(spider, SAVE, 2);
//FILE *fp = fopen("log", "wb+");
//cs_setopt_logfile(spider, fp);
//開始爬蟲
return cs_run(spider);
}
例子講解
cspider_t *spider = init_cspider();獲取初始的cspider。cs_setopt_xxx這類函數可以用來進行初始化設置。其中要注意的是: cs_setopt_process(spider,p,NULL);與cs_setopt_save(spider,s,stdout);，它們分別設置了解析函數p和數據持久化函數s，這兩個函數需要用戶自己實現，還有用戶自定義的指向上下文信息user_data的指針。
在解析函數中，用戶要定義解析的規則，並對解析得到的字元串可以調用saveString進行持久化，或者是調用addUrl將url加入到任務隊列中。在saveString中傳入的字元串會在用戶自定義的數據持久函數中得到處理。此時，用戶可以選擇輸出到文件或資料庫等。
最後調用cs_run(spider)即可啟動爬蟲。
具體的API參數可在這里查看
總結
趕快使用cspider爬蟲框架來編寫爬蟲吧！如果在使用過程中發現bug，歡迎反饋。

望採納，謝謝

❸ Python網路爬蟲學習建議，初學者需要哪些准備

1. 了解html和簡單的js，只有了解你要抓取的頁面，在獲取後才能有效分析。建議系統學習html這個很簡單；js較復雜不必多看，可以邊分析邊網路資料學習。

2. python方面，了解urllib和urllib2兩個庫，在抓取頁面要用到。Cookielib這個庫配合urllib2可以封裝opener，在需要cookie時可以自動解決，建議了解一些，會封裝opener即可。re正則表達式庫可以幫助你高效的從頁面中分離要的內容，正則表達式要略知一二。

3. 學習一些抓包知識，有些網站防爬，需要人工瀏覽一些頁面，抓取數據包分析防爬機制，然後做出應對措施。比如解決cookie問題，或者模擬設備等。
   

作為初學者，學會以上知識基本上爬取任何網站都沒問題了，但更重要的是耐心和細心。畢竟爬取網站時並不知道網站已開始是怎麼設計的，有哪些小坑，分析起來這些還是比較燒腦，但是分析成功很有成就感。

❹ 你好，我如何用php來實現網路爬蟲呢具體一點

以下是訪問某音樂網站，並獲取其歌曲名等數組的示例，你可以參考：

<?php
header('Content-type:text/html;charset=utf-8');
$doc = file_get_contents('http://www.songtaste.com/music/');
$pa = '{MSL\((.*)\);}';
preg_match_all($pa,$doc,$r);
for($i=0;$i<count($r[1]);$i++)
{
$r1 = explode(', ',$r[1][$i]);
echo '歌曲標題：'. iconv('gb2312','utf-8',$r1[0]) .' 歌曲ID：'.$r1[1].'<br/>';
}
?>

❺ 怎麼用VBA或網路爬蟲程序抓取網站數據

VBA網抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模擬向伺服器發送請求，接收伺服器返回的數據。
優點：效率高，基本無兼容性問題。
缺點：需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法：
創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
優點：這個方法可以模擬大部分的瀏覽器操作。所見即所得，瀏覽器能看到的數據就能用代碼獲取。
缺點：各種彈窗相當煩人，兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法：
因為它是excel自帶，所以勉強也算是一種方法。其實此法和xmlhttp類似，也是GET或POST方式發送請求，然後得到伺服器的response返回到單元格內。
優點：excel自帶，可以通過錄制宏得到代碼，處理table很方便
。代碼簡短，適合快速獲取一些存在於源代碼的table里的數據。
缺點：無法模擬referer等發包頭

也可以利用採集工具進行採集網頁端的數據，無需寫代碼。

❻ 如何用爬蟲爬網路代理伺服器地址

網路數據量越來越大，從網頁中獲取信息變得越來越困難，如何有效地抓取並利用信息，已成為網路爬蟲一個巨大的挑戰。下面IPIDEA為大家講明爬蟲代理IP的使用方法。

1.利用爬蟲腳本每天定時爬取代理網站上的ip，寫入MongoDB或者其他的資料庫中，這張表作為原始表。

2.使用之前需要做一步測試，就是測試這個ip是否有效，方法就是利用curl訪問一個網站查看返回值，需要創建一張新表，循環讀取原始表有效則插入，驗證之後將其從原始表中刪除，驗證的同時能夠利用響應時間來計算這個ip的質量，和最大使用次數，有一個演算法能夠參考一種基於連接代理優化管理的多線程網路爬蟲處理方法。

3.把有效的ip寫入ip代理池的配置文件，重新載入配置文件。

4.讓爬蟲程序去指定的dailiy的服務ip和埠，進行爬取。

❼ 如何用Python做爬蟲

1）首先你要明白爬蟲怎樣工作。

想像你是一隻蜘蛛，現在你被放到了互聯「網」上。那麼，你需要把所有的網頁都看一遍。怎麼辦呢？沒問題呀，你就隨便從某個地方開始，比如說人民日報的首頁，這個叫initial pages，用$表示吧。

在人民日報的首頁，你看到那個頁面引向的各種鏈接。於是你很開心地從爬到了「國內新聞」那個頁面。太好了，這樣你就已經爬完了倆頁面（首頁和國內新聞）！暫且不用管爬下來的頁面怎麼處理的，你就想像你把這個頁面完完整整抄成了個html放到了你身上。

突然你發現， 在國內新聞這個頁面上，有一個鏈接鏈回「首頁」。作為一隻聰明的蜘蛛，你肯定知道你不用爬回去的吧，因為你已經看過了啊。所以，你需要用你的腦子，存下你已經看過的頁面地址。這樣，每次看到一個可能需要爬的新鏈接，你就先查查你腦子里是不是已經去過這個頁面地址。如果去過，那就別去了。

好的，理論上如果所有的頁面可以從initial page達到的話，那麼可以證明你一定可以爬完所有的網頁。

那麼在python里怎麼實現呢？
很簡單

import Queue

initial_page = "初始化頁"

url_queue = Queue.Queue()
seen = set()

seen.insert(initial_page)
url_queue.put(initial_page)

while(True): #一直進行直到海枯石爛
if url_queue.size()>0:
current_url = url_queue.get() #拿出隊例中第一個的url
store(current_url) #把這個url代表的網頁存儲好
for next_url in extract_urls(current_url): #提取把這個url里鏈向的url
if next_url not in seen:
seen.put(next_url)
url_queue.put(next_url)
else:
break

寫得已經很偽代碼了。

所有的爬蟲的backbone都在這里，下面分析一下為什麼爬蟲事實上是個非常復雜的東西——搜索引擎公司通常有一整個團隊來維護和開發。

2）效率
如果你直接加工一下上面的代碼直接運行的話，你需要一整年才能爬下整個豆瓣的內容。更別說Google這樣的搜索引擎需要爬下全網的內容了。

問題出在哪呢？需要爬的網頁實在太多太多了，而上面的代碼太慢太慢了。設想全網有N個網站，那麼分析一下判重的復雜度就是N*log(N)，因為所有網頁要遍歷一次，而每次判重用set的話需要log(N)的復雜度。OK，OK，我知道python的set實現是hash——不過這樣還是太慢了，至少內存使用效率不高。

通常的判重做法是怎樣呢？Bloom Filter. 簡單講它仍然是一種hash的方法，但是它的特點是，它可以使用固定的內存（不隨url的數量而增長）以O(1)的效率判定url是否已經在set中。可惜天下沒有白吃的午餐，它的唯一問題在於，如果這個url不在set中，BF可以100%確定這個url沒有看過。但是如果這個url在set中，它會告訴你：這個url應該已經出現過，不過我有2%的不確定性。注意這里的不確定性在你分配的內存足夠大的時候，可以變得很小很少。一個簡單的教程:Bloom Filters by Example

注意到這個特點，url如果被看過，那麼可能以小概率重復看一看（沒關系，多看看不會累死）。但是如果沒被看過，一定會被看一下（這個很重要，不然我們就要漏掉一些網頁了！）。 [IMPORTANT: 此段有問題，請暫時略過]

好，現在已經接近處理判重最快的方法了。另外一個瓶頸——你只有一台機器。不管你的帶寬有多大，只要你的機器下載網頁的速度是瓶頸的話，那麼你只有加快這個速度。用一台機子不夠的話——用很多台吧！當然，我們假設每台機子都已經進了最大的效率——使用多線程（python的話，多進程吧）。

3）集群化抓取
爬取豆瓣的時候，我總共用了100多台機器晝夜不停地運行了一個月。想像如果只用一台機子你就得運行100個月了...

那麼，假設你現在有100台機器可以用，怎麼用python實現一個分布式的爬取演算法呢？

我們把這100台中的99台運算能力較小的機器叫作slave，另外一台較大的機器叫作master，那麼回顧上面代碼中的url_queue，如果我們能把這個queue放到這台master機器上，所有的slave都可以通過網路跟master聯通，每當一個slave完成下載一個網頁，就向master請求一個新的網頁來抓取。而每次slave新抓到一個網頁，就把這個網頁上所有的鏈接送到master的queue里去。同樣，bloom filter也放到master上，但是現在master只發送確定沒有被訪問過的url給slave。Bloom Filter放到master的內存里，而被訪問過的url放到運行在master上的Redis里，這樣保證所有操作都是O(1)。（至少平攤是O(1)，Redis的訪問效率見:LINSERT – Redis)

考慮如何用python實現：
在各台slave上裝好scrapy，那麼各台機子就變成了一台有抓取能力的slave，在master上裝好Redis和rq用作分布式隊列。

代碼於是寫成

#slave.py

current_url = request_from_master()
to_send = []
for next_url in extract_urls(current_url):
to_send.append(next_url)

store(current_url);
send_to_master(to_send)

#master.py
distributed_queue = DistributedQueue()
bf = BloomFilter()

initial_pages = "www.renmingribao.com"

while(True):
if request == 'GET':
if distributed_queue.size()>0:
send(distributed_queue.get())
else:
break
elif request == 'POST':
bf.put(request.url)

好的，其實你能想到，有人已經給你寫好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及後處理
雖然上面用很多「簡單」，但是真正要實現一個商業規模可用的爬蟲並不是一件容易的事。上面的代碼用來爬一個整體的網站幾乎沒有太大的問題。

但是如果附加上你需要這些後續處理，比如

有效地存儲（資料庫應該怎樣安排）

有效地判重（這里指網頁判重，咱可不想把人民日報和抄襲它的大民日報都爬一遍）

有效地信息抽取（比如怎麼樣抽取出網頁上所有的地址抽取出來，「朝陽區奮進路中華道」），搜索引擎通常不需要存儲所有的信息，比如圖片我存來幹嘛...

及時更新（預測這個網頁多久會更新一次）

如你所想，這里每一個點都可以供很多研究者十數年的研究。雖然如此，
「路漫漫其修遠兮,吾將上下而求索」。

所以，不要問怎麼入門，直接上路就好了：）

❽ 如何入門 Python 爬蟲

「入門」是良好的動機，但是可能作用緩慢。如果你手裡或者腦子里有一個項目，那麼實踐起來你會被目標驅動，而不會像學習模塊一樣慢慢學習。

如果你想要入門Python爬蟲，你需要做很多准備。首先是熟悉python編程；其次是了解HTML；

還要了解網路爬蟲的基本原理；最後是學習使用python爬蟲庫。

如果你不懂python，那麼需要先學習python這門非常easy的語言。編程語言基礎語法無非是數據類型、數據結構、運算符、邏輯結構、函數、文件IO、錯誤處理這些，學起來會顯枯燥但並不難。

剛開始入門爬蟲，你甚至不需要去學習python的類、多線程、模塊之類的略難內容。找一個面向初學者的教材或者網路教程，花個十幾天功夫，就能對python基礎有個三四分的認識了。

網路爬蟲的含義：

網路爬蟲，其實也可以叫做網路數據採集更容易理解。就是通過編程向網路伺服器請求數據（HTML表單），然後解析HTML，提取出自己想要的數據。

這會涉及到資料庫、網路伺服器、HTTP協議、HTML、數據科學、網路安全、圖像處理等非常多的內容。但對於初學者而言，並不需要掌握這么多。

❾ 什麼是網路爬蟲以及怎麼做它

網路爬蟲：是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。

做法：傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析演算法過濾與主題無關的鏈接，保留有用的鏈接並將其放入等待抓取的URL隊列。然後，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，並重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，並建立索引，以便之後的查詢和檢索；對於聚焦爬蟲來說，這一過程所得到的分析結果還可能對以後的抓取過程給出反饋和指導。

❿ 搜索引擎如何對網站進行爬行和抓取

當搜索引擎蜘蛛准備爬行某個網頁的時候，會對伺服器發出訪問申請，申請通過後，搜索引擎會先去爬行網站的robots.txt文件，針對robots.txt文件中所禁止搜索引擎抓取的局部，搜索引擎將不會去抓取。接著伺服器就會給搜索引擎返回當前頁面的html代碼，現在有很多的站長工具中都會有模仿蜘蛛抓取網頁代碼的功能，大家有興趣可以去查詢，這里值得注意的就是頁面代碼中漢字所佔的比例，因為搜索引擎在預處置階段會把漢字局部篩選進去分析網頁的內容和關鍵詞，漢字所佔比例越多說明網頁返回的有效信息越多，越有利於搜索引擎對頁面的分析。這也就是為什麼大家在編寫網站代碼的時候，會對CSS和Javascript代碼進行外部調用，對圖片要添加alt屬性，對鏈接要添加titl屬性的緣故，都是為了降低頁面代碼所佔的比例，提高文字所佔比例，當然相關性也是一方面。

搜索引擎爬行網頁都是沿著鏈接進行爬行的爬行網頁的時候並不是一個蜘蛛在爬行，一般都是由多個蜘蛛進行爬行，爬行的方式有兩種，一種是深度爬行，一種是廣度爬行，兩種方式都可以爬遍一個網站的所有鏈接，通常都是兩種方式並行的但實際上由於資源的限制，搜索引擎並不會爬遍一個網站的所有鏈接。

既然搜索引擎不可能爬遍整個網站的所有鏈接，那麼作為seo人員來說，接下來的工作就是要吸引蜘蛛盡可能多的去爬行網站鏈接，為蜘蛛的爬行發明輕松便當的環境，尤其是針對一些重要的鏈接，那麼對於一個網站來說如何去吸引蜘蛛呢？影響蜘蛛爬行的因素有哪些呢？

1.網站的權重

一個權重高的網站，蜘蛛往往會爬行的很深，關於如何提高網站的權重。

2.頁面是否經常更新

這是一個老生常談的問題了雖然網站的更新和維護工作異常的辛苦，但是沒辦法，人家搜索引擎就喜歡新鮮的血液，如果網站的更新比較勤快的話，搜索引擎自然來的也勤快，來的多了新鏈接被抓取的幾率當然也就大了

3.高質量導入鏈接

一個頁面的導入鏈接相當於頁面的入口，原理很簡單，導入鏈接多了搜索引擎進入你網頁的渠道也就多了如果是一條高質量的導入鏈接，那麼搜索引擎對網頁鏈接爬行的深度也會增加。

4.與首頁距離越近的鏈接，被爬行的幾率越大

一個網站的首頁是權重最高的那麼距離它越近的頁面，被賦予的權重也會越高，被蜘蛛爬行的幾率當然越大，這是網站seo優化中常用到一個就近原理，可以應用到很多方面，比如網站的主導航中第一個欄目比最後一個欄目的權重高，距離錨文本越近的文字是搜索引擎重點照顧的地方等等。

當搜索引擎對頁面進行抓取之後，會將頁面中的鏈接解析出來，通過與地址庫中的鏈接進行匹配對比分析，將沒有進行爬行的新鏈接放入到待訪問地址庫，然後派出蜘蛛對新鏈接進行爬行。

搜索引擎對網頁進行爬行和抓取的時候，並不是進行簡單的爬行和抓取工作，而是同時並發有大量的其他操作，其中很重的一項工作就是對網頁內容進行檢測，通過截取網頁上的內容與資料庫中的信息做對比，如果是一些權重比較低的網站出現大量轉載或者偽原創，可能蜘蛛爬行到一半就會離開，這也就是為什麼通過網站日誌看到有蜘蛛來，但是頁面沒被收錄的原因。所以說，即使是進行偽原創，也是需要一定的技巧的除非你網站權重特別高。