爬蟲爬取有哪些網站

『壹』 有哪些網站用爬蟲爬取能得到很有價值的數據

看您自己需要什麼信息啊，像某寶上的寶貝信息，58等門戶網站上的各分類信息，都是很有價值的；某寶上的楚江數據就是做網站APP數據採集，爬蟲定製，各類網站都能爬到有價值數據。

『貳』 Scrapy爬蟲爬取B站視頻標題及鏈接

研究了一下午，剛剛成功爬出了B站的視頻數據以及超鏈接（雖然方法很笨）。但是還是非常有意思的，這里記錄一下過程

程序用的scrapy，安裝方法詳見 https://www.jianshu.com/p/d2c8b1496949 ， 這里可以直接用的CMD創建scrapy項目，只需要輸入 scrapy startproject 項目名 即可，會在當前目錄下創建一個新文件夾，cd到該文件夾下後，輸入scrapy genspider 爬蟲名 目標網址來創建你的爬蟲文件(如: scrapy genspider sample https://www.bilibili.com/v/douga )

創建爬蟲成功後就可以編輯了，打開的爬蟲文件（此處為sample.py）可以看到

接下來要定義parse()函數，要用到Xpath選擇器來提取網頁內標簽內容，這里用到Xpath helper可以提高效率 https://blog.csdn.net/xiao_IT_learn/article/details/100977653 (要打開chrome的開發者模式)，或者手動F12篩選元素也可以。
以動畫分區頂端推薦視頻為例，在頁面元素中可以看到它屬於

那麼只要把這兩個標簽屬性提取出來就可以了,回到爬蟲文件，在parse()函數下輸入

提取元素路徑的過程就不寫了，很繁瑣（反正我搞得很麻煩）,多用.extract()查看當前提取的路徑。

可以寫到本地，也可以直接在CMD中列印出來。這里我把結果保存到名為 『B站結果』 的txt文檔(默認保存在項目文件夾中):

這里只用到一次循環，因為標題和超鏈接的數量是固定的。
.extract()用於切片（脫殼）從一個對象(此處的DanceTitle,DanceURL)中得到list

在CMD中輸入

運行爬蟲

這里把目標鏈接換成任意一個分區都沒問題，如
https://www.bilibili.com/v/digital （數碼區）
https://www.bilibili.com/v/music （音樂區）

雖然方法很笨但是最後運行成功的時候還是很開心的，以後也會繼續研究爬蟲，笨方法終究是不可取的。

『叄』 網路爬蟲軟體都有哪些比較知名的

這里簡單介紹3個比較實用的爬蟲軟體，分別是火車頭、八爪魚和後羿，對於網路大部分數據來說，都可以輕松爬取，而且不需要編寫一行代碼，感興趣的朋友可以嘗試一下：

這是Windows系統下一個非常不錯的網路爬蟲軟體，個人使用完全免費，集成了數據的抓取、處理、分析和挖掘全過程，可以靈活抓取網頁上散亂的數據，並通過一系列的分析處理，准確挖掘出所需信息，下面我簡單介紹一下這個軟體：

1.首先，安裝火車頭採集器，這個直接在官網上下載就行，如下，安裝包也就30M左右，一個exe文件，直接雙擊安裝：

2.安裝完成後，打開這個軟體，主界面如下，接著我們就可以直接新建任務，設計採集規則，爬取網路數據了，官方自帶有詳細教程（幫助手冊），可供初學者學習使用，非常方便：

這也是Windows平台下一個非常不錯的爬蟲軟體，個人使用完全免費，內置了大量採集模板，可以輕松採集京東、天貓、大眾點評等熱門網站，而且不需編寫一行代碼，下面我簡單介紹一下這個軟體：

1.首先，安裝八爪魚採集器，這個也直接到官網上下載就行，如下，一個exe安裝包，直接雙擊安裝就行：

2.安裝完成後，打開這個軟體，主界面如下，接著我們就可以直接定義採集方式，新建採集任務，爬取網頁數據了，官網也帶有入門文檔和教程，非常適合初學者學習：

這是一個免費、跨平台的網路爬蟲軟體，個人版完全免費，基於人工智慧技術，可以智能識別並提取出網頁內容（包括列表、表格等），支持自動翻頁和文件導出功能，使用起來非常方便，下面我簡單介紹一下這個軟體：

1.首先，安裝後羿採集器，這個也直接到官網上下載就行，如下，各個平台的版本都有，選擇適合自己平台的版本即可：

2.安裝完成後，打開這個軟體，主界面如下，這里我們直接輸入需要採集的網頁地址，軟體就會自動識別並抓取網頁信息，非常智能：

目前，就分享這3個不錯的網路爬蟲軟體吧，對於日常爬取網頁數據來說，完全夠用了，當然，還有許多其他爬蟲軟體，像造數等，也都非常不錯，網上也有相關教程和資料，介紹的非常詳細，感興趣的話，可以搜一下，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言進行補充。

國內比較出名的爬蟲軟體，一個是八爪魚，一個是火車頭。他們都提供圖形界面的操作，都有自己的採集規則市場。你可以買一些採集規則，然後自己抓取數據，當然你也可以直接買別人採集好的數據。

國外的比較出名的採集軟體有diffbot和import.io這兩個都可以稱之為神器。都是輸入網址，提供可視化圖形操作界面。給定採集欄位，就可以預覽採集的結果。可以說非常方便，導出格式也很多，可以excel，也可以是資料庫。

『肆』 好用的爬蟲抓取軟體有哪些

可以用八爪魚採集器。

網路爬蟲（又稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

隨著網路的迅速發展，萬維網成為大量信息的載體，如何有效地提取並利用這些信息成為一個巨大的挑戰。搜索引擎（Search Engine），例如傳統的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：

（1）不同領域、不同背景的用戶往往具有不同的檢索目的和需求，通過搜索引擎所返回的結果包含大量用戶不關心的網頁。

（2）通用搜索引擎的目標是盡可能大的網路覆蓋率，有限的搜索引擎伺服器資源與無限的網路數據資源之間的矛盾將進一步加深。

（3）萬維網數據形式的豐富和網路技術的不斷發展，圖片、資料庫、音頻、視頻多媒體等不同數據大量出現，通用搜索引擎往往對這些信息含量密集且具有一定結構的數據無能為力，不能很好地發現和獲取。

（4）通用搜索引擎大多提供基於關鍵字的檢索，難以支持根據語義信息提出的查詢。

『伍』 Python爬蟲可以爬取什麼

Python爬蟲可以爬取的東西有很多，Python爬蟲怎麼學？簡單的分析下：

如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。

利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：

知乎：爬取優質答案，為你篩選出各話題下最優質的內容。

淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。

安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。

拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。

雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。

爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。

掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。

對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……

但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。

在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。

1.學習 Python 包並實現基本的爬蟲過程

2.了解非結構化數據的存儲

3.學習scrapy，搭建工程化爬蟲

4.學習資料庫知識，應對大規模數據存儲與提取

5.掌握各種技巧，應對特殊網站的反爬措施

6.分布式爬蟲，實現大規模並發採集，提升效率

一

學習 Python 包並實現基本的爬蟲過程

大部分爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。

Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事網路、騰訊新聞等基本上都可以上手了。

當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。

二

了解非結構化數據的存儲

爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。

開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。

當然你可能發現爬回來的數據並不是干凈的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更干凈的數據。

三

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。

scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

四

學習資料庫基礎，應對大規模數據存儲

爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。

MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

因為這里要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。

五

掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。

遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。

往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了.

六

分布式爬蟲，實現大規模並發採集

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。

分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。

Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。

所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。

你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。

因為爬蟲這種技術，既不需要你系統地精通一門語言，也不需要多麼高深的資料庫技術，高效的姿勢就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。

當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。

以上就是我的回答，希望對你有所幫助，望採納。

『陸』 有哪些網站用爬蟲爬取能得到很有價值的數據

一般有一下幾種
一些常用的方法
IP代理
對於IP代理,各個語言的Native
Request
API都提供的IP代理響應的API,
需要解決的主要就是IP源的問題了.
網路上有廉價的代理IP(1元4000個左右),
我做過簡單的測試,
100個IP中,
平均可用的在40-60左右,
訪問延遲均在200以上.
網路有高質量的代理IP出售,
前提是你有渠道.
因為使用IP代理後,
延遲加大,
失敗率提高,
所以可以將爬蟲框架中將請求設計為非同步,
將請求任務加入請求隊列(RabbitMQ,Kafka,Redis),
調用成功後再進行回調處理,
失敗則重新加入隊列.
每次請求都從IP池中取IP,
如果請求失敗則從IP池中刪除該失效的IP.
Cookies
有一些網站是基於cookies做反爬蟲,
這個基本上就是如
@朱添一
所說的,
維護一套Cookies池
注意研究下目標網站的cookies過期事件,
可以模擬瀏覽器,
定時生成cookies
限速訪問
像開多線程,循環無休眠的的暴力爬取數據,
那真是分分鍾被封IP的事,
限速訪問實現起來也挺簡單(用任務隊列實現),
效率問題也不用擔心,
一般結合IP代理已經可以很快地實現爬去目標內容.
一些坑
大批量爬取目標網站的內容後,
難免碰到紅線觸發對方的反爬蟲機制.
所以適當的告警提示爬蟲失效是很有必有的.
一般被反爬蟲後,
請求返回的HttpCode為403的失敗頁面,
有些網站還會返回輸入驗證碼(如豆瓣),
所以檢測到403調用失敗,
就發送報警,
可以結合一些監控框架,
如Metrics等,
設置短時間內,
告警到達一定閥值後,
給你發郵件,簡訊等.
當然,
單純的檢測403錯誤並不能解決所有情況.
有一些網站比較奇葩,
反爬蟲後返回的頁面仍然是200的(如去哪兒),
這時候往往爬蟲任務會進入解析階段,
解析失敗是必然的.
應對這些辦法,
也只能在解析失敗的時候,
發送報警,
當告警短時間到達一定閥值,
再觸發通知事件.
當然這個解決部分並不完美,
因為有時候,
因為網站結構改變,
而導致解析失敗,
同樣回觸發告警.
而你並不能很簡單地區分,
告警是由於哪個原因引起的.

『柒』 用python爬蟲爬取網站小說

最近在看電子書，但是網頁上面的廣告特別煩人，於是想做個程序將小說內容獲取下來觀看。
小說網站: https://www.bio.cc/

『捌』 一個網站除了百度以外爬蟲其爬蟲是那哪些呀

一搜蜘蛛，搜狗蜘蛛，AhrefsAhrefs蜘蛛，谷歌蜘蛛，360蜘蛛，網路，微軟bing，雅虎蜘蛛
答案滿意採納下唄，順便點個贊～謝啦

『玖』 python爬蟲可以爬哪些網站

理論上可以爬任何網站。

但是爬取內容時一定要慎重，有些底線不能觸碰，否則很有可能真的爬進去！

『拾』 有哪些網站用爬蟲爬取能得到很有價值的數據

既然要轉數據分析方向，那就去爬各大招聘網站的數據分析崗阿。然後進行數據清洗，語義處理，進而得到數據分析崗的用工趨勢，地域分布，薪酬水平，主要要求的技能點。然後寫個分析文章發布，名利雙收，說不定就有企業主動就來找你了。數據量最大的爬蟲，快四百萬條數據了。計劃是開發一個APP排名，跟蹤和查詢的application。後面還想做更加細致的跟蹤，比如說排名發生變化的時候，下載量有什麼變化，評論量有什麼變化，如此等等。這才能勉強算是有點用的爬蟲，而不僅僅是簡單的download數據。領域知識，就是你對要分析的問題的領域的熟悉程度；數據挖掘、分析演算法的了解程度，對於常用的分類、聚類、回歸、關聯等演算法了解一些把；還有一些統計的方法。