爬取什麼網站會被封ip

❶ 學習通會封IP地址嗎

會。
學習通會對請求多或異常的ip進行封ip，如果用伺服器爬取學習通，最後會導致ip被封的。最好是規范使用，不要做一些軟體禁止的事情。

❷ 用Python爬取大眾點評時被反爬ip被封怎麼辦，他總叫我滑動驗證但滑動了也沒有用。。。求大佬幫忙。。。

1、放慢爬取速度，減小對於目標網站造成的壓力。但是這樣會減少單位時間類的爬取量。
第二種方法是通過設置IP等手段，突破反爬蟲機制繼續高頻率爬取。網站的反爬機制會檢查來訪的IP地址，為了防止IP被封，這時就可以使用HTTP，來切換不同的IP爬取內容。使用代理IP簡單的來講就是讓代理伺服器去幫我們得到網頁內容，然後再轉發回我們的電腦。要選擇高匿的ip，IPIDEA提供高匿穩定的IP同時更注重用戶隱私的保護，保障用戶的信息安全。
2、這樣目標網站既不知道我們使用代理，更不會知道我們真實的IP地址。

3、建立IP池，池子盡可能的大，且不同IP均勻輪換。
如果你需要大量爬取數據，建議你使用HTTP代理IP，在IP被封掉之前或者封掉之後迅速換掉該IP，這里有個使用的技巧是循環使用，在一個IP沒有被封之前，就換掉，過一會再換回來。這樣就可以使用相對較少的IP進行大量訪問。

❸ 爬蟲過程中ip被封,怎麼解決

找代理解決問題。出現這個現象的原因是因為網站採取了一些反爬中措施，如：伺服器檢測IP在單位時間內請求次數超過某個閥值導致，稱為封IP。為了解決此類問題，代理就派上了用場，如：代理軟體、付費代理、ADSL撥號代理，以幫助爬蟲脫離封IP的苦海。

使用爬蟲時ip限制問題的六種方法。

方法1

1、IP必須需要，如果有條件，建議一定要使用代理IP。

2、在有外網IP的機器上，部署爬蟲代理伺服器。

3、你的程序，使用輪訓替換代理伺服器來訪問想要採集的網站。

好處：

1、程序邏輯變化小，只需要代理功能。

2、根據對方網站屏蔽規則不同，你只需要添加更多的代理就行了。

3、就算具體IP被屏蔽了，你可以直接把代理伺服器下線就OK，程序邏輯不需要變化。

方法2

1、ADSL+腳本，監測是否被封，然後不斷切換ip。

2、設置查詢頻率限制正統的做法是調用該網站提供的服務介面。

方法3

1、useragent偽裝和輪換。

2、使用雷電ip代理。

3、cookies的處理，有的網站對登陸用戶政策寬鬆些。

方法4

盡可能的模擬用戶行為：

1、UserAgent經常換一換。

2、訪問時間間隔設長一點，訪問時間設置為隨機數。

3、訪問頁面的順序也可以隨機著來。

方法5

網站封的依據一般是單位時間內特定IP的訪問次數。將採集的任務按目標站點的IP進行分組通過控制每個IP在單位時間內發出任務的個數,來避免被封。當然,這個前題採集很多網站。如果只是採集一個網站,那麼只能通過多外部IP的方式來實現了。

方法6

對爬蟲抓取進行壓力控制；可以考慮使用代理的方式訪問目標站點。

1、降低抓取頻率，時間設置長一些，訪問時間採用隨機數。

2、頻繁切換UserAgent（模擬瀏覽器訪問）。

3、多頁面數據，隨機訪問然後抓取數據。

4、更換用戶IP，這是最直接有效的方法。

❹ ip地址為什麼被網站封

1、登入某網站或論壇，有時會出現提示導致無法正常的訪問，通常情況下是由於IP地址或者是賬號出現問題，在當前提示頁面會有具體的提示內容，指示故障原因是否是和IP有關，或者賬號的關聯；

2、封IP的網站，一般是動態IP，所以人體用戶的IP也有無數人在使用，其他使用這個IP地址的用戶可能在網路上進行違規行為，因而導致IP被封禁；

3、也有可能是由於網路造成的IP地址變更、寬頻網路斷開等原因，需要重新連接設備，或找專業修理機構對電腦進行維修。

❺ 爬蟲因為ip地址被封了怎麼辦

使用代理ip可以解決ip被封的問題，但是使用代理ip也被封的危險，以下就是可能被限制的原因、
一、非高匿代理IP
非高匿代理IP是指透明代理IP和普匿代理IP，透明代理IP會暴露本機真實IP，普匿代理IP會暴露正在使用代理IP，這兩者都是會暴露，非常容易被限制，唯有高匿代理IP才是爬蟲代理IP的最好的選擇。
二、代理IP一手率較低
代理IP池用的人越多，一手率就越低，就可能會出現這樣的情況：同一個代理IP，有很多人用來訪問同一個網站，這種就非常容易被限制,因此使用純凈率高的代理至關重要。
三、請求頻率過高
爬蟲任務通常比較大，為了按時完成任務，單位時間內的請求頻率過高，會給目標網站伺服器帶來巨大的壓力，非常容易被限制。
四、有規律地請求
有些爬蟲程序沒有考慮到這一點，每個請求花費的時間都是一樣的，非常的有規律，這種也很容易被限制，聰明的人通常都是會在請求完成後進行隨機時間休眠。
以上就是使用代理ip被限制的原因，避免這些問題的發生就會減少ip被限制。

❻ 爬蟲為什麼代理了ip還是被封

這個是屬於使用該代理IP的人群太多造成的，而爬蟲是需要動態IP才可以的，動態變化IP才能解決爬蟲ip問題，其IP海動態ip解決IP更換問題。

❼ 爬蟲工作中，如何最大程度的避免被封IP

做爬蟲，或者採集數據過程中，遇到最多的問題不是代碼bug，而是封IP。開發好一個爬蟲，部署好伺服器，隨後開始抓取信息，不一會兒，就提示封IP了，這時候的內心是崩潰的。
那麼，有什麼辦法不封IP呢?首先，要了解為什麼會封IP，這樣才可以更好地避免封IP。有些網站反爬措施比較弱，偽裝下IP就可以繞過了，大部分的網站的反爬措施都在不斷加強，不斷升級，這給預防封IP帶來更大的困難。
有人說，使用代理IP就沒事了了。誠然，使用大量的優質代理IP能夠解決大部分的問題，但並非無憂無慮。我們知道，網站的反爬蟲策略主要是反那些比較猖狂的爬蟲，不可能反那些正常的用戶。那麼什麼樣的用戶是正常的用戶呢，如果將爬蟲偽裝成正常的用戶呢，是不是就不會被封了。
首先，正常的用戶訪問網站頻率不會太快，畢竟手速是有限，眼速也是有限的，爬蟲要偽裝成用戶，那麼抓取的頻率就不能反人類，但這樣一來，效率就大大降低了，怎麼辦?能夠 使用多線程來解決。
其次，一些網站往往需要驗證碼來驗證，對於正常使用的用戶來說，基本都沒問題，但對於爬蟲來說，就需要一套較為厲害的驗證碼識別程序來識別了，像12306這樣的驗證碼就較為難搞定了。隨後，就是一些其他的細節了，比如，UserAgent經常換一換，cookie要清一清，訪問的順序最好不要有規律，爬取每個頁面的時間沒有規律等等。反爬蟲策略不斷升級，相應的爬蟲策略也要不斷升級，不然有一天，你會發現，哪怕您使用了大量的代理IP，依然預防不了大面積的封IP，爬蟲工作受阻

❽ 爬蟲如何選用合適的代理IP

在使用爬蟲多次爬取同一網站時，經常會被網站的IP反爬蟲機制給禁掉，為了解決封禁IP的問題通常會使用閃臣代理。軟體代理推薦選擇閃臣代理。【點擊進官網注冊免費試用】

爬蟲選用合適的代理IP會注意以下幾點：
1、使用透明代理和普通匿名代理會被目標網站得知使用了代理IP，自然會受到限制，高級匿名代理則不會，所以在選擇代理IP的時候會注意到這點。
2、使用一個代理IP爬取目標網站，被封IP的因素太多，當達到了閾值後，IP就會被封；當訪問目標網站的頻率過快時，IP也會被封，因為人類正常訪問遠遠達不到那個頻率，自然會被目標網站的反爬蟲策略識別。
3、選擇高抓取ip，100萬高匿名IP，可以輕松抓取企業信息、分類信息、房地產信息、電商信息。

想要了解更多關於ip代理的相關信息，推薦咨詢閃臣代理。閃臣代理是一款高速穩定修改ip地址的軟體。支持一個賬號同時使用多個終端。用戶可指定應用程序進行單進程代理。閃臣代理擁有自建機房高匿名代理IP，全國真實IP訪問，快速提升APP的關鍵詞覆蓋，排名，完成高評分和好評論，打造APP好口碑，提高用戶轉化。

❾ 如何解決爬蟲ip被封的問題

爬蟲是一種按照一定規則，自動抓取網路數據的程序或腳本，它能夠快速實現抓取、整理任務，大大節省時間成本。因為爬蟲的頻繁抓取，會對伺服器造成巨大負載，伺服器為了保護自己，自然要作出一定的限制，也就是我們常說的反爬蟲策略，來阻止爬蟲的繼續採集。

如何防止ip被限制
1.對請求Headers進行限制
這應該是最常見的，最基本的反爬蟲手段，主要是初步判斷你是不是真實的瀏覽器在操作。
這個一般很好解決，把瀏覽器中的Headers信息復制上去就OK了。
特別注意的是，很多網站只需要userAgent信息就可以通過，但是有的網站還需要驗證一些其他的信息，例如知乎，有一些頁面還需要authorization的信息。所以需要加哪些Headers，還需要嘗試，可能還需要Referer、Accept-encoding等信息。
2.對請求IP進行限制
有時我們的爬蟲在爬著，突然冒出頁面無法打開、403禁止訪問錯誤，很有可能是IP地址被網站封禁，不再接受你的任何請求。
3.對請求cookie進行限制
當爬蟲遇到登陸不了、沒法保持登錄狀態情況，請檢查你的cookie.很有可能是你爬蟲的cookie被發現了。
以上便是關於反爬蟲策略，對於這幾個方面，爬蟲要做好應對的方法，不同的網站其防禦也是不同的。

❿ python 爬蟲ip被封鎖怎麼辦

同時，華益雲還有非常便宜的物理機伺服器可以租用，爬蟲程序可以直接放到伺服器上運行，一個月費用跟我們自己家裡電腦平時運行所需費用差不多。一大亮點就是他們的物理機伺服器支持系統自帶的3389遠程桌面鏈接方式，這種遠程鏈接方式用過的小夥伴都知道非常流暢，撥號換IP也不會斷開遠程，直接可以復制文件進去很方便。

產品使用期間遇到任何問題，他們都有24小時值班客服在線解答，客服也非常的有耐心。

內容製作不易，喜歡的小夥伴可以幫忙點個贊吧感謝！