⑴ python爬蟲如何分析一個將要爬取的網站
首先，你去爬取一個網站，
你會清楚這個網站是屬於什麼類型的網站（新聞，論壇，貼吧等等）。
你會清楚你需要哪部分的數據。
你需要去想需要的數據你將如何編寫表達式去解析。
你會碰到各種反爬措施，無非就是各種網路各種解決。當爬取成本高於數據成本，你會選擇放棄。
你會利用你所學各種語言去解決你將要碰到的問題，利用各種語言的client組件去請求你想要爬取的URL，獲取到HTML，利用正則，XPATH去解析你想要的數據，然後利用sql存儲各類資料庫。
⑵ 如何防止網站被爬蟲爬取的幾種辦法
相較於爬蟲技術，反爬蟲實際上更復雜。目前許多互聯網企業都會花大力氣進行「反爬蟲」，網路爬蟲不但會占據過多的網站流量，導致有真正需求的用戶沒法進入網站，另外也有可能會導致網站關鍵數據的外泄等現象。網路爬蟲遍布互聯網的各個角落，因此網路爬蟲有好處也有壞處，接下來介紹一下和網路爬蟲一同誕生的反爬蟲技術，如何才能防止別人爬取自己的網站？
1、基於程序本身去防止爬取：作為爬蟲程序，爬取行為是對頁面的源文件爬取，如爬取靜態頁面的html代碼，可以用jquery去模仿寫html，這種方法偽裝的頁面就很難被爬取了，不過這種方法對程序員的要求很高。
2、基於iptables和shell腳本：可以對nginx的access.log進行策略定義，例如定義在1分鍾內並發連接數超過30個ip為非法，如ip不在白名單內，則加入iptables策略封掉，當然這種的缺點是會有「誤傷」，策略細粒度越小就會有更多的「誤傷」，細粒度大就會使效果變差，另外還有類似的第三方工具fail2ban，利用做filter和actor對一些有危害的操作記錄或是封ip。但是對於某個特定的爬蟲地址（例如網易、有道）的爬取行為拒絕也很難准確做到，因為你無法准確知道這些特定的爬蟲ip地址。注意：建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿，伺服器也就會死機。
3.使用robots.txt文件：例如阻止所有的爬蟲爬取，但是這種效果不是很明顯。
User-agent: *
Disallow: /
4.使用nginx的自帶功能：通過對httpuseragent阻塞來實現，包括GET/POST方式的請求，以nginx為例，具體步驟如下：
編輯nginx.conf
拒絕以wget方式的httpuseragent，增加如下內容
## Block http user agent - wget ##
if ($http_user_agent ~* (Wget) ) {
return 403;
}
## Block Software download user agents ##
if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403;
平滑啟動
# /usr/local/nginx/sbin/nginx -s reload
如何拒絕多種httpuseragent，內容如下：
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
return 403;
}
大小寫敏感匹配
### 大小寫敏感http user agent拒絕###
if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {
return 403;
}
### 大小寫不敏感http user agent拒絕###
if ($http_user_agent ~* (foo|bar) ) {
return 403;
}
注意語法：~*表示是大小寫不敏感，~表示是大小寫敏感
}
以上就是預防網站信息被別人爬取的一些方法，大量的爬取行為會對web伺服器的性能有影響，所以一定要注重反爬蟲措施。
⑶ 如何爬取網頁數據
1、URL管旁帶理
首先url管理器添加了新的url到待爬取集合中，判斷了待添加的url是否在容器中、是否有待爬取的url，並且獲取待爬取的url，將url從待爬取的url集合移動到已爬取的url集合
頁面下載，下載器將接收到的url傳給互聯網，互聯網返回html文件給下載器，下載器將其保存到本地，一般的會對下載器做分布式部署，一個是提交效率，再一個是起到請求代理作用
2、內容提取
頁面解析器主要完成的是從獲取的html網頁字元串中取得有價值的感興趣的數據和新的url列表。數據抽取比較常用的手段有基於css選擇器、正則表達式、xpath的規則提取。一般提取完後還會對數據進行一定的清洗或自定義處理，從而將請求到的非結構數據轉化為我們需要的結構化數據。
3、數據保存
數據保存到相關的資料庫、隊列、文件等方便做數據橘啟歲計算和與應用對接。
爬蟲採集成為很多公司企業個人的需求，但正因為如此，反爬蟲的技術也層出不窮，像時間限制、IP限制、驗證碼限制等等圓睜，都可能會導致爬蟲無法進行，所以也出現了很多像代理IP、時間限制調整這樣的方法去解決反爬蟲限制，當然具體的操作方法需要你針對性的去研究。兔子動態IP軟體可以實現一鍵IP自動切換，千萬IP庫存，自動去重，支持電腦、手機多端使用。
⑷ 如何通過網路爬蟲獲取網站數據
這里以python為例，簡單介紹一下如何通過python網路爬蟲獲取網站數據，主要分為靜態網頁數據的爬埋山差取和動態網頁數據的爬取，實驗環境win10+python3.6+pycharm5.0，主要內容如下：
靜態網頁數據
這里的數據都嵌套在網頁源碼中，所以直接requests網頁源碼進行解析就行，下面我簡單介紹一下，這里以爬取糗事網路上的數據為例：
1.首先，打開原網頁，如下，這里假設要爬取的欄位包括昵稱、內容、好笑數和評論數：
接著查看網頁源碼，如下，可以看的出來，所有的數據都嵌套在網頁中：
2.然後針對以上網頁結構，我們就可以直接編寫爬蟲代碼，解析網頁並提取出我們需要的數據了，測試代碼如下，非常簡單，主要用到requests+BeautifulSoup組合，其中requests用於獲取網頁源碼，BeautifulSoup用於解析網頁提取數據：
點擊運行這個程序，效果如下，已經成功爬取了到我們需要的數據：
動態網頁數據
這里的數據都沒有在網頁源碼中（所以直接請求頁面是獲取不到任何數據的），大部分情況下都是存儲在一唯唯個json文件中，只有在網頁更新的時候，才會載入數據，下面我簡單介紹一下這種方式，這里以爬取人人貸上面的數據為例：
1.首先，打開原網頁，如下，這里假設要爬取的數據包括年利率，借款標題，期限，金額和進度：
接著按F12調出開發者工具，依次點擊「Network」->「XHR」，F5刷新頁面，就可以找打動態載入的json文件，如下，也就是我們需要爬彎皮取的數據：
2.然後就是根據這個json文件編寫對應代碼解析出我們需要的欄位信息，測試代碼如下，也非常簡單，主要用到requests+json組合，其中requests用於請求json文件，json用於解析json文件提取數據：
點擊運行這個程序，效果如下，已經成功爬取到我們需要的數據：
至此，我們就完成了利用python網路爬蟲來獲取網站數據。總的來說，整個過程非常簡單，python內置了許多網路爬蟲包和框架（scrapy等），可以快速獲取網站數據，非常適合初學者學習和掌握，只要你有一定的爬蟲基礎，熟悉一下上面的流程和代碼，很快就能掌握的，當然，你也可以使用現成的爬蟲軟體，像八爪魚、後羿等也都可以，網上也有相關教程和資料，非常豐富，感興趣的話，可以搜一下，希望以上分享的內容能對你有所幫助吧，也歡迎大家評論、留言進行補充。
⑸ 如何爬取網站上的某一信息
兩類網站可以用不同的方法去爬取
一、開放API的網站
一個網站如果開放了API，那麼就可以直接GET到它的json數據。有三種方法可以判斷一個網站是否開放了API。
1、在站內尋找API入口；
2、用搜索引擎搜索「某網站API」；
3、抓包。有的網站雖然用到了ajax，但是通過抓包還是能夠獲取XHR里的json數據的（可用抓包工具抓包，也可以通過瀏覽器按F12抓包：F12-Network-F5刷新）。
二、不開放API的網站
1、如果網站是靜態頁面，那麼可以用requests庫發送請求，再通過HTML解析庫（lxml、parsel等）來解析響應的text；解析庫強烈推薦parsel，不僅語法和css選擇器類似，而且速度也挺快，Scrapy用的就是它。
2、如果網站是動態頁面，可以先用selenium來渲染JS，再用HTML解析庫來解析driver的page_source。