爬取什么网站会被封ip

❶ 学习通会封IP地址吗

会。
学习通会对请求多或异常的ip进行封ip，如果用服务器爬取学习通，最后会导致ip被封的。最好是规范使用，不要做一些软件禁止的事情。

❷ 用Python爬取大众点评时被反爬ip被封怎么办，他总叫我滑动验证但滑动了也没有用。。。求大佬帮忙。。。

1、放慢爬取速度，减小对于目标网站造成的压力。但是这样会减少单位时间类的爬取量。
第二种方法是通过设置IP等手段，突破反爬虫机制继续高频率爬取。网站的反爬机制会检查来访的IP地址，为了防止IP被封，这时就可以使用HTTP，来切换不同的IP爬取内容。使用代理IP简单的来讲就是让代理服务器去帮我们得到网页内容，然后再转发回我们的电脑。要选择高匿的ip，IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。
2、这样目标网站既不知道我们使用代理，更不会知道我们真实的IP地址。

3、建立IP池，池子尽可能的大，且不同IP均匀轮换。
如果你需要大量爬取数据，建议你使用HTTP代理IP，在IP被封掉之前或者封掉之后迅速换掉该IP，这里有个使用的技巧是循环使用，在一个IP没有被封之前，就换掉，过一会再换回来。这样就可以使用相对较少的IP进行大量访问。

❸ 爬虫过程中ip被封,怎么解决

找代理解决问题。出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。为了解决此类问题，代理就派上了用场，如：代理软件、付费代理、ADSL拨号代理，以帮助爬虫脱离封IP的苦海。

使用爬虫时ip限制问题的六种方法。

方法1

1、IP必须需要，如果有条件，建议一定要使用代理IP。

2、在有外网IP的机器上，部署爬虫代理服务器。

3、你的程序，使用轮训替换代理服务器来访问想要采集的网站。

好处：

1、程序逻辑变化小，只需要代理功能。

2、根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。

3、就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。

方法2

1、ADSL+脚本，监测是否被封，然后不断切换ip。

2、设置查询频率限制正统的做法是调用该网站提供的服务接口。

方法3

1、useragent伪装和轮换。

2、使用雷电ip代理。

3、cookies的处理，有的网站对登陆用户政策宽松些。

方法4

尽可能的模拟用户行为：

1、UserAgent经常换一换。

2、访问时间间隔设长一点，访问时间设置为随机数。

3、访问页面的顺序也可以随机着来。

方法5

网站封的依据一般是单位时间内特定IP的访问次数。将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封。当然,这个前题采集很多网站。如果只是采集一个网站,那么只能通过多外部IP的方式来实现了。

方法6

对爬虫抓取进行压力控制；可以考虑使用代理的方式访问目标站点。

1、降低抓取频率，时间设置长一些，访问时间采用随机数。

2、频繁切换UserAgent（模拟浏览器访问）。

3、多页面数据，随机访问然后抓取数据。

4、更换用户IP，这是最直接有效的方法。

❹ ip地址为什么被网站封

1、登入某网站或论坛，有时会出现提示导致无法正常的访问，通常情况下是由于IP地址或者是账号出现问题，在当前提示页面会有具体的提示内容，指示故障原因是否是和IP有关，或者账号的关联；

2、封IP的网站，一般是动态IP，所以人体用户的IP也有无数人在使用，其他使用这个IP地址的用户可能在网络上进行违规行为，因而导致IP被封禁；

3、也有可能是由于网络造成的IP地址变更、宽带网络断开等原因，需要重新连接设备，或找专业修理机构对电脑进行维修。

❺ 爬虫因为ip地址被封了怎么办

使用代理ip可以解决ip被封的问题，但是使用代理ip也被封的危险，以下就是可能被限制的原因、
一、非高匿代理IP
非高匿代理IP是指透明代理IP和普匿代理IP，透明代理IP会暴露本机真实IP，普匿代理IP会暴露正在使用代理IP，这两者都是会暴露，非常容易被限制，唯有高匿代理IP才是爬虫代理IP的最好的选择。
二、代理IP一手率较低
代理IP池用的人越多，一手率就越低，就可能会出现这样的情况：同一个代理IP，有很多人用来访问同一个网站，这种就非常容易被限制,因此使用纯净率高的代理至关重要。
三、请求频率过高
爬虫任务通常比较大，为了按时完成任务，单位时间内的请求频率过高，会给目标网站服务器带来巨大的压力，非常容易被限制。
四、有规律地请求
有些爬虫程序没有考虑到这一点，每个请求花费的时间都是一样的，非常的有规律，这种也很容易被限制，聪明的人通常都是会在请求完成后进行随机时间休眠。
以上就是使用代理ip被限制的原因，避免这些问题的发生就会减少ip被限制。

❻ 爬虫为什么代理了ip还是被封

这个是属于使用该代理IP的人群太多造成的，而爬虫是需要动态IP才可以的，动态变化IP才能解决爬虫ip问题，其IP海动态ip解决IP更换问题。

❼ 爬虫工作中，如何最大程度的避免被封IP

做爬虫，或者采集数据过程中，遇到最多的问题不是代码bug，而是封IP。开发好一个爬虫，部署好服务器，随后开始抓取信息，不一会儿，就提示封IP了，这时候的内心是崩溃的。
那么，有什么办法不封IP呢?首先，要了解为什么会封IP，这样才可以更好地避免封IP。有些网站反爬措施比较弱，伪装下IP就可以绕过了，大部分的网站的反爬措施都在不断加强，不断升级，这给预防封IP带来更大的困难。
有人说，使用代理IP就没事了了。诚然，使用大量的优质代理IP能够解决大部分的问题，但并非无忧无虑。我们知道，网站的反爬虫策略主要是反那些比较猖狂的爬虫，不可能反那些正常的用户。那么什么样的用户是正常的用户呢，如果将爬虫伪装成正常的用户呢，是不是就不会被封了。
首先，正常的用户访问网站频率不会太快，毕竟手速是有限，眼速也是有限的，爬虫要伪装成用户，那么抓取的频率就不能反人类，但这样一来，效率就大大降低了，怎么办?能够 使用多线程来解决。
其次，一些网站往往需要验证码来验证，对于正常使用的用户来说，基本都没问题，但对于爬虫来说，就需要一套较为厉害的验证码识别程序来识别了，像12306这样的验证码就较为难搞定了。随后，就是一些其他的细节了，比如，UserAgent经常换一换，cookie要清一清，访问的顺序最好不要有规律，爬取每个页面的时间没有规律等等。反爬虫策略不断升级，相应的爬虫策略也要不断升级，不然有一天，你会发现，哪怕您使用了大量的代理IP，依然预防不了大面积的封IP，爬虫工作受阻

❽ 爬虫如何选用合适的代理IP

在使用爬虫多次爬取同一网站时，经常会被网站的IP反爬虫机制给禁掉，为了解决封禁IP的问题通常会使用闪臣代理。软件代理推荐选择闪臣代理。【点击进官网注册免费试用】

爬虫选用合适的代理IP会注意以下几点：
1、使用透明代理和普通匿名代理会被目标网站得知使用了代理IP，自然会受到限制，高级匿名代理则不会，所以在选择代理IP的时候会注意到这点。
2、使用一个代理IP爬取目标网站，被封IP的因素太多，当达到了阈值后，IP就会被封；当访问目标网站的频率过快时，IP也会被封，因为人类正常访问远远达不到那个频率，自然会被目标网站的反爬虫策略识别。
3、选择高抓取ip，100万高匿名IP，可以轻松抓取企业信息、分类信息、房地产信息、电商信息。

想要了解更多关于ip代理的相关信息，推荐咨询闪臣代理。闪臣代理是一款高速稳定修改ip地址的软件。支持一个账号同时使用多个终端。用户可指定应用程序进行单进程代理。闪臣代理拥有自建机房高匿名代理IP，全国真实IP访问，快速提升APP的关键词覆盖，排名，完成高评分和好评论，打造APP好口碑，提高用户转化。

❾ 如何解决爬虫ip被封的问题

爬虫是一种按照一定规则，自动抓取网络数据的程序或脚本，它能够快速实现抓取、整理任务，大大节省时间成本。因为爬虫的频繁抓取，会对服务器造成巨大负载，服务器为了保护自己，自然要作出一定的限制，也就是我们常说的反爬虫策略，来阻止爬虫的继续采集。

如何防止ip被限制
1.对请求Headers进行限制
这应该是最常见的，最基本的反爬虫手段，主要是初步判断你是不是真实的浏览器在操作。
这个一般很好解决，把浏览器中的Headers信息复制上去就OK了。
特别注意的是，很多网站只需要userAgent信息就可以通过，但是有的网站还需要验证一些其他的信息，例如知乎，有一些页面还需要authorization的信息。所以需要加哪些Headers，还需要尝试，可能还需要Referer、Accept-encoding等信息。
2.对请求IP进行限制
有时我们的爬虫在爬着，突然冒出页面无法打开、403禁止访问错误，很有可能是IP地址被网站封禁，不再接受你的任何请求。
3.对请求cookie进行限制
当爬虫遇到登陆不了、没法保持登录状态情况，请检查你的cookie.很有可能是你爬虫的cookie被发现了。
以上便是关于反爬虫策略，对于这几个方面，爬虫要做好应对的方法，不同的网站其防御也是不同的。

❿ python 爬虫ip被封锁怎么办

同时，华益云还有非常便宜的物理机服务器可以租用，爬虫程序可以直接放到服务器上运行，一个月费用跟我们自己家里电脑平时运行所需费用差不多。一大亮点就是他们的物理机服务器支持系统自带的3389远程桌面链接方式，这种远程链接方式用过的小伙伴都知道非常流畅，拨号换IP也不会断开远程，直接可以复制文件进去很方便。

产品使用期间遇到任何问题，他们都有24小时值班客服在线解答，客服也非常的有耐心。

内容制作不易，喜欢的小伙伴可以帮忙点个赞吧感谢！