1. python爬蟲中怎麼寫反爬蟲
1、通過UA判斷：UA是UserAgent，是要求瀏覽器的身份標志。
UA是UserAgent，是要求瀏覽器的身份標志。反爬蟲機制通過判斷訪問要求的頭部沒有UA來識別爬蟲，這種判斷方法水平很低，通常不作為唯一的判斷標准。反爬蟲非常簡單，可以隨機數UA。
2、通過Cookie判定：Cookie是指會員帳戶密碼登錄驗證
Cookie是指會員帳戶密碼登錄驗證，通過區分該帳戶在短時間內爬行的頻率來判斷。這種方法的反爬蟲也很困難，需要多賬戶爬行。
3、通過訪問頻率判定
爬蟲類經常在短時間內多次訪問目標網站，反爬蟲類機制可以通過單個IP訪問的頻率來判斷是否是爬蟲類。這樣的反爬方式難以反制，只能通過更換IP來解決。
4、通過驗證碼判定
驗證碼是反爬蟲性價比高的實施方案。反爬蟲通常需要訪問OCR驗證碼識別平台，或者使用TesseractOCR識別，或者使用神經網路訓練識別驗證碼。
5、動態性頁面載入
使用動態載入的網站通常是為了方便用戶點擊和查看，爬蟲無法與頁面互動，這大大增加了爬蟲的難度。
一般情況下，用戶對網站進行信息爬取時，都要受到「爬蟲」的約束，使用戶在獲取信息時受到一定的阻礙
2. shopee網站使用sessionid反爬蟲如何破解
shopee網站使用sessionid反爬蟲破解如下。
1、基本的http抓取工具。
2、避免重復抓取網頁。
3、維護一個所有集群機器能夠有效分享的分布式隊列。
4、將分布式隊列和Scrapy的結合。
5、後續處理，網頁析取，存儲。
3. 如何使用python解決網站的反爬蟲
1、從用戶請求的Headers反爬蟲是最常見的反爬蟲策略。
偽裝header。很多網站都會對Headers的User-Agent進行檢測，還有一部分網站會對Referer進行檢測（一些資源網站的防盜鏈就是檢測Referer）。如果遇到了這類反爬蟲機制，可以直接在爬蟲中添加Headers，將瀏覽器的User-Agent復制到爬蟲的Headers中；或者將Referer值修改為目標網站域名[評論：往往容易被忽略，通過對請求的抓包分析，確定referer，在程序中模擬訪問請求頭中添加]。對於檢測Headers的反爬蟲，在爬蟲中修改或者添加Headers就能很好的繞過。
2、基於用戶行為反爬蟲
還有一部分網站是通過檢測用戶行為，例如同一IP短時間內多次訪問同一頁面，或者同一賬戶短時間內多次進行相同操作。[這種防爬，需要有足夠多的ip來應對]
（1）、大多數網站都是前一種情況，對於這種情況，使用IP代理就可以解決。可以專門寫一個爬蟲，爬取網上公開的代理ip，檢測後全部保存起來。有了大量代理ip後可以每請求幾次更換一個ip，這在requests或者urllib中很容易做到，這樣就能很容易的繞過第一種反爬蟲。
編寫爬蟲代理：
步驟：
1.參數是一個字典{'類型'：'代理ip：埠號'}
proxy_support=urllib.request.ProxyHandler({})
2.定製、創建一個opener
opener=urllib.request.build_opener(proxy_support)
3a.安裝opener
urllib.request.install_opener(opener)
3b.調用opener
opener.open(url)
用大量代理隨機請求目標網站，應對反爬蟲
4. 如何正確利用網路爬蟲
基本步驟5. Python爬取知乎與我所理解的爬蟲與反爬蟲
關於知乎驗證碼登陸的問題，用到了Python上一個重要的圖片處理庫PIL,如果不行，就把圖片存到本地，手動輸入。
通過對知乎登陸是的抓包，可以發現登陸知乎，需要post三個參數，一個是賬號，一個是密碼，一個是xrsf。
這個xrsf隱藏在表單裡面，每次登陸的時候，應該是伺服器隨機產生一個字元串。所有，要模擬登陸的時候，必須要拿到xrsf。
用chrome （或者火狐 httpfox 抓包分析）的結果：
所以，必須要拿到xsrf的數值，注意這是一個動態變化的參數，每次都不一樣。
拿到xsrf，下面就可以模擬登陸了。
使用requests庫的session對象，建立一個會話的好處是，可以把同一個用戶的不同請求聯系起來，直到會話結束都會自動處理cookies。
注意：cookies 是當前目錄的一個文件，這個文件保存了知乎的cookie，如果是第一個登陸，那麼當然是沒有這個文件的，不能通過cookie文件來登陸。必須要輸入密碼。
這是登陸的函數，通過login函數來登陸，post 自己的賬號，密碼和xrsf 到知乎登陸認證的頁面上去，然後得到cookie，將cookie保存到當前目錄下的文件裡面。下次登陸的時候，直接讀取這個cookie文件。
這是cookie文件的內容
以下是源碼：
運行結果：
https://github.com/zhaozhengcoder/Spider/tree/master/spider_hu
反爬蟲最基本的策略：
爬蟲策略：
這兩個都是在http協議的報文段的檢查，同樣爬蟲端可以很方便的設置這些欄位的值，來欺騙伺服器。
反爬蟲進階策略：
1.像知乎一樣，在登錄的表單裡面放入一個隱藏欄位，裡面會有一個隨機數，每次都不一樣，這樣除非你的爬蟲腳本能夠解析這個隨機數，否則下次爬的時候就不行了。
2.記錄訪問的ip，統計訪問次數，如果次數太高，可以認為這個ip有問題。
爬蟲進階策略：
1.像這篇文章提到的，爬蟲也可以先解析一下隱藏欄位的值，然後再進行模擬登錄。
2.爬蟲可以使用ip代理池的方式，來避免被發現。同時，也可以爬一會休息一會的方式來降低頻率。另外，伺服器根據ip訪問次數來進行反爬，再ipv6沒有全面普及的時代，這個策略會很容易造成誤傷。（這個是我個人的理解）。
通過Cookie限制進行反爬蟲：
和Headers校驗的反爬蟲機制類似，當用戶向目標網站發送請求時，會再請求數據中攜帶Cookie，網站通過校驗請求信息是否存在Cookie，以及校驗Cookie的值來判定發起訪問請求的到底是真實的用戶還是爬蟲，第一次打開網頁會生成一個隨機cookie，如果再次打開網頁這個Cookie不存在，那麼再次設置，第三次打開仍然不存在，這就非常有可能是爬蟲在工作了。
反爬蟲進進階策略：
1.數據投毒，伺服器在自己的頁面上放置很多隱藏的url，這些url存在於html文件文件裡面，但是通過css或者js使他們不會被顯示在用戶看到的頁面上面。（確保用戶點擊不到）。那麼，爬蟲在爬取網頁的時候，很用可能取訪問這個url，伺服器可以100%的認為這是爬蟲乾的，然後可以返回給他一些錯誤的數據，或者是拒絕響應。
爬蟲進進階策略：
1.各個網站雖然需要反爬蟲，但是不能夠把網路，谷歌這樣的搜索引擎的爬蟲給幹了（幹了的話，你的網站在網路都說搜不到！）。這樣爬蟲應該就可以冒充是網路的爬蟲去爬。（但是ip也許可能被識破，因為你的ip並不是網路的ip）
反爬蟲進進進階策略：
給個驗證碼，讓你輸入以後才能登錄，登錄之後，才能訪問。
爬蟲進進進階策略：
圖像識別，機器學習，識別驗證碼。不過這個應該比較難，或者說成本比較高。
參考資料：
廖雪峰的python教程
靜覓的python教程
requests庫官方文檔
segmentfault上面有一個人的關於知乎爬蟲的博客，找不到鏈接了
6. 如何反爬蟲
反爬蟲
就是和爬蟲抗衡，減少被爬取。
因為搜索引擎的流行，網路爬蟲已經成了很普及網路技術，
相當部分國內爬蟲不遵守robots協議。
所有有了保護自己內容不讓別人抓取的反爬蟲需求
1、手工識別和拒絕爬蟲的訪問
2、通過識別爬蟲的User-Agent信息來拒絕爬蟲
3、通過網站流量統計系統和日誌分析來識別爬蟲
4、網站的實時反爬蟲防火牆實現
5、通過JS演算法，文字經過一定轉換後才顯示出來，容易被破解。某技術網站採用了這種方法
6、通過CSS隱藏技術，可見的頁面樣式和HTML里DIV結構不同，增加了爬蟲的難度，同時增加自己的維護難度。
技術網站採用了這種方法
7、通過JS不讓用戶復制，這對非專業人員有效，對技術人員/工程師來說，沒有任何效果。不少網站採用。
8、通過flash等插件技術（會被破解，同時對用戶不友好，有流失用戶的可能性）。早期網站用得多，移動互聯網來後，這種方式對用戶不友好，少有專業網站採用了。
9、圖片化
A:將文字圖片化，增加了維護成本，和移動端的可讀性
B:將標點符號圖片化，再適當增加CSS混淆，這是一種較好的辦法，不影響搜索引擎收錄，不影響用戶使用。但影響爬蟲，是一種較好的反爬蟲方式，某著名的文學網站採用了這種方法
10、交給專業反爬蟲公司來處理
7. 如何應對網站反爬蟲策略如何高效地爬大量數據
應對反爬策略的方法：1、模擬正常用戶。反爬蟲機制還會利用檢測用戶的行為來判斷，例如Cookies來判斷是不是有效的用戶。
2、動態頁面限制。有時候發現抓取的信息內容空白，這是因為這個網站的信息是通過用戶的XHR動態返回內容信息。解決這種問題就要爬蟲程序對網站進行分析，找到內容信息並抓取，才能獲取內容。
3、降低IP訪問頻率。有時候平台為了阻止頻繁訪問，會設置IP在規定時間內的訪問次數，超過次數就會禁止訪問。所以繞過反爬蟲機制可以降低爬蟲的訪問頻率，還可以用IPIDEA代理IP換IP解決限制。
8. 15《Python 原生爬蟲教程》爬蟲和反爬蟲
有的時候，當我們的爬蟲程序完成了，並且在本地測試也沒有問題，爬取了一段時間之後突然就發現報錯無法抓取頁面內容了。這個時候，我們很有可能是遇到了網站的反爬蟲攔截。
我們知道，網站一方面想要爬蟲爬取網站，比如讓搜索引擎爬蟲去爬取網站的內容，來增加網站的搜索排名。另一方面，由於網站的伺服器資源有限，過多的非真實的用戶對網站的大量訪問，會增加運營成本和伺服器負擔。
這是一種最基本的反爬蟲方式，網站運營者通過驗證爬蟲的請求頭的 User-agent,accep-enconding 等信息來驗證請求的發出宿主是不是真實的用戶常用瀏覽器或者一些特定的請求頭信息。
通過 Ajax，或 者javascript 來動態獲取和載入數據，加大爬蟲直接獲取數據的難度。
這個相信大多數讀者非常熟悉了吧，當我們輸錯多次密碼的時候，很多平台都會彈出各種二維碼讓我們識別，或者搶火車票的時候，會出現各種復雜的驗證碼，驗證碼是反爬蟲措施中，運用最廣，同時也是最有效直接的方式來阻止爬蟲的措施之一。
在識別到某些異常的訪問的時候，網站運營者會設置一個黑名單，把一些判定為爬蟲的IP進行限制或者封殺。
有些網站，沒有遊客模式，只有通過注冊後才可以登錄看到內容，這個就是典型的使用賬號限制網站，一般可以用在網站用戶量不多，數據安全要求嚴格的網站中。
我們可以在請求頭中替換我們的請求媒介，讓網站誤認為是我們是通過移動端的訪問，運行下面的代碼後，當我們打開 hupu.html,我們會發現返回的是移動端的虎撲的頁面而不是網頁端的。
比如，我們可以設置一個隨機的間隔時間，來模擬用戶的行為，減少訪問的次數和頻率。 我們可以在我們爬蟲的程序中，加入如下的代碼，讓爬蟲休息3秒左右，再進行爬取，可以有效地避開網站的對爬蟲的檢測和識別。
代理就是通過訪問第三方的機器，然後通過第三方機器的 IP 進行訪問，來隱藏自己的真實IP地址。
由於第三方代理良莠不齊，而且不穩定，經常出現斷線的情況，爬取速度也會慢許多，如果對爬蟲質量有嚴格要求的話，不建議使用此種方法進行爬取。
可以通過動態的 IP 撥號伺服器來變換 IP，也可以通過 Tor 代理伺服器來變換 IP。
反反爬蟲的策略，一直是在變換的，我們應該具體問題具體分析，通過不斷的試錯來完善我們的爬蟲爬取，千萬不要以為，爬蟲程序在本機調試之後，沒有問題，就可以高枕無憂了。線上的問題，總是千變萬化，我們需要根據我們的具體反爬措施，來針對的寫一些反反爬蟲的代碼，這樣才能保證線上環境的萬無一失。
9. 反反爬蟲技術的常用方法
通過UA 識別爬蟲有些爬蟲的UA是特殊的，與正常瀏覽器的不一樣，可通過識別特徵UA，直接封掉爬蟲請求
設置IP訪問頻率，如果超過一定頻率，彈出驗證碼如果輸入正確的驗證碼，則放行，如果沒有輸入，則拉入禁止一段時間，如果超過禁爬時間，再次出發驗證碼，則拉入黑名單。當然根據具體的業務，為不同場景設置不同閾值，比如登陸用戶和非登陸用戶，請求是否含有refer。
通過並發識別爬蟲有些爬蟲的並發是很高的，統計並發最高的IP，加入黑名單（或者直接封掉爬蟲IP所在C段）
請求的時間窗口過濾統計爬蟲爬取網頁的頻率都是比較固定的，不像人去訪問網頁，中間的間隔時間比較無規則，所以我們可以給每個IP地址建立一個時間窗口，記錄IP地址最近12次訪問時間，每記錄一次就滑動一次窗口，比較最近訪問時間和當前時間，如果間隔時間很長判斷不是爬蟲，清除時間窗口，如果間隔不長，就回溯計算指定時間段的訪問頻率，如果訪問頻率超過閥值，就轉向驗證碼頁面讓用戶填寫驗證碼
限制單個ip/api token的訪問量比如15分鍾限制訪問頁面180次，具體標准可參考一些大型網站的公開api，如twitter api，對於抓取用戶公開信息的爬蟲要格外敏感
識別出合法爬蟲對http頭agent進行驗證，是否標記為、網路的spider，嚴格一點的話應該判別來源IP是否為、的爬蟲IP，這些IP在網上都可以找到。校驗出來IP不在白名單就可以阻止訪問內容。
蜜罐資源爬蟲解析離不開正則匹配，適當在頁面添加一些正常瀏覽器瀏覽訪問不到的資源，一旦有ip訪問，過濾下頭部是不是搜素引擎的蜘蛛，不是就可以直接封了。比如說隱式鏈接。
10. 如何應對網站反爬蟲策略如何高效地爬大量數據
一、構建合理的HTTP請求頭
HTTP的請求頭是在你每次向網路伺服器發送請求時，傳遞的一組屬性和配置信息。由於瀏覽器和Python爬蟲發送的請求頭不同，有可能被反爬蟲檢測出來。
二、設置cookie的學問
Cookie是一把雙刃劍，有它不行，沒它更不行。網站會通過cookie跟蹤你的訪問過程，如果發現你有爬蟲行為會立刻中斷你的訪問，比如你特別快的填寫表單，或者短時間內瀏覽大量頁面。而正確地處理cookie，又可以避免很多採集問題，建議在採集網站過程中，檢查一下這些網站生成的cookie，然後想想哪一個是爬蟲需要處理的。
三、正常的時間訪問路徑
合理控制採集速度，是Python爬蟲不應該破壞的規則，盡量為每個頁面訪問時間增加一點兒間隔，可以有效幫助你避免反爬蟲。
四、使用http
對於分布式爬蟲和已經遭遇反爬蟲的人來說，使用http將成為你的首選。Ipidea分布地區廣，可滿足分布式爬蟲使用需要。支持api提取，對Python爬蟲來說再適合不過。