㈠ python爬虫怎么处理豆瓣网页异常请求
1.URLError
首先解释下URLError可能产生的原因:
网络无连接,即本机无法上网
连接不到特定的服务器
服务器不存在
在代码中,我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子,先感受下它的风骚
Python
1
2
3
4
5
6
7
import urllib2
requset = urllib2.Request('http://www.xxxxx.com')
try:
urllib2.urlopen(requset)
except urllib2.URLError, e:
print e.reason
我们利用了 urlopen方法访问了一个不存在的网址,运行结果如下:
Python
1
[Errno 11004] getaddrinfo failed
它说明了错误代号是11004,错误原因是 getaddrinfo failed
2.HTTPError
HTTPError是URLError的子类,在你利用urlopen方法发出一个请求时,服务器上都会对应一个应答对象response,其中它包含一个数字”状态码”。举个例子,假如response是一个”重定向”,需定位到别的地址获取文档,urllib2将对此进行处理。
其他不能处理的,urlopen会产生一个HTTPError,对应相应的状态吗,HTTP状态码表示HTTP协议所返回的响应的状态。下面将状态码归结如下:
100:继续 客户端应当继续发送请求。客户端应当继续发送请求的剩余部分,或者如果请求已经完成,忽略这个响应。
101: 转换协议 在发送完这个响应最后的空行后,服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。
102:继续处理 由WebDAV(RFC 2518)扩展的状态码,代表处理将被继续执行。
200:请求成功 处理方式:获得响应的内容,进行处理
201:请求完成,结果是创建了新资源。新创建资源的URI可在响应的实体中得到 处理方式:爬虫中不会遇到
202:请求被接受,但处理尚未完成 处理方式:阻塞等待
204:服务器端已经实现了请求,但是没有返回新的信 息。如果客户是用户代理,则无须为此更新自身的文档视图。 处理方式:丢弃
300:该状态码不被HTTP/1.0的应用程序直接使用, 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。 处理方式:若程序中能够处理,则进行进一步处理,如果程序中不能处理,则丢弃
301:请求到的资源都会分配一个永久的URL,这样就可以在将来通过该URL来访问此资源 处理方式:重定向到分配的URL
302:请求到的资源在一个不同的URL处临时保存 处理方式:重定向到临时的URL
304:请求的资源未更新 处理方式:丢弃
400:非法请求 处理方式:丢弃
401:未授权 处理方式:丢弃
403:禁止 处理方式:丢弃
404:没有找到 处理方式:丢弃
500:服务器内部错误 服务器遇到了一个未曾预料的状况,导致了它无法完成对请求的处理。一般来说,这个问题都会在服务器端的源代码出现错误时出现。
501:服务器无法识别 服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法,并且无法支持其对任何资源的请求。
502:错误网关 作为网关或者代理工作的服务器尝试执行请求时,从上游服务器接收到无效的响应。
503:服务出错 由于临时的服务器维护或者过载,服务器当前无法处理请求。这个状况是临时的,并且将在一段时间以后恢复。
HTTPError实例产生后会有一个code属性,这就是是服务器发送的相关错误号。
因为urllib2可以为你处理重定向,也就是3开头的代号可以被处理,并且100-299范围的号码指示成功,所以你只能看到400-599的错误号码。
下面我们写一个例子来感受一下,捕获的异常是HTTPError,它会带有一个code属性,就是错误代号,另外我们又打印了reason属性,这是它的父类URLError的属性。
Python
1
2
3
4
5
6
7
8
import urllib2
req = urllib2.Request('httt/cqcre')
try:
urllib2.urlopen(req)
except urllib2.HTTPError, e:
print e.code
print e.reason
运行结果如下
Python
1
2
403
Forbidden
错误代号是403,错误原因是Forbidden,说明服务器禁止访问。
我们知道,HTTPError的父类是URLError,根据编程经验,父类的异常应当写到子类异常的后面,如果子类捕获不到,那么可以捕获父类的异常,所以上述的代码可以这么改写
Python
1
2
3
4
5
6
7
8
9
10
11
import urllib2
req = urllib2.Request('hcqcre')
try:
urllib2.urlopen(req)
except urllib2.HTTPError, e:
print e.code
except urllib2.URLError, e:
print e.reason
else:
print "OK"
如果捕获到了HTTPError,则输出code,不会再处理URLError异常。如果发生的不是HTTPError,则会去捕获URLError异常,输出错误原因。
另外还可以加入 hasattr属性提前对属性进行判断,代码改写如下
Python
1
2
3
4
5
6
7
8
9
10
11
12
import urllib2
req = urllib2.Request('httcqcre')
try:
urllib2.urlopen(req)
except urllib2.URLError, e:
if hasattr(e,"code"):
print e.code
if hasattr(e,"reason"):
print e.reason
else:
print "OK"
首先对异常的属性进行判断,以免出现属性输出报错的现象。
以上,就是对URLError和HTTPError的相关介绍,以及相应的错误处理办法,小伙伴们加油!
㈡ 为什么会网络异常
问题一:为什么我的网络老是出现异常 这样的情况有很多原因,要逐个排查,首先网络运营商,如果是电信就打10000号,其他打相应的号码,问工作人员网络是否正常。若正常,查看自己电脑网卡是否有问题,网卡驱动更新一下再看看是否问题解决。再者电脑是否中毒,建议彻底杀毒。还有就是有没有无线,是否被蹭网。基本就是这几种情况。
问题二:为什么电脑老提示说网络异常, 原因:可能是网络不稳定造成的!
解决办法:
(1)下载qq医生,打一下补丁!
(2)一般有线连接出现网络异常,很可能是IP地址,建议用360杀毒
问题三:为什么总是出现网络异常??? 看下网线有没接好,或者水晶头接触不好,这是最常见的。然后可能是中毒了,下个360安全卫士杀下一般也没问题了,还有就是防火墙设置错误了。如果是和别人一起上,那么可能就是别人中毒了影响到你,你可以在 开始-运行里打如CMD 然后再输入 arp -a 然后回车,看看里面出现几个地址,除了 192。168。*。1 那个地址外,如果出现别的地址,就是那台电脑中毒了。
问题四:为什么电脑显示网络异常 用360的断网急救箱试几次就行了,我也是这样子的。
问题五:家里网络电视为什么老是出现网络异常 主要原因和解决方法:
1、电视机的网络设置有问题导致的;可以进入网络设置界面,重新设置连接家里的WiFi信号试试。
2、路由器设置有问题或者路由器故障导致的,可以重启一下路由器来解决;或者将路由器恢复出厂设置,重新设置各项网络参数来解决;如果是路由器硬件故障,则需要联系售后进行检修或者更换路由器使用才能解决。
3、网络服务提供商的网络线路、服务器是否出现中断、故障导致路由器也无法连接网络,这种情况下电视机也必然断网,需要联系网络服务提供商先解决网络传输问题。
4、也可能是电视机系统问题导致网络异常,可以重启一下电视机来解决,必要时可以进入系统设置界面,将电视机的系统还原为出厂设置状态或升级到最新版本来解决。
5、以上问题排查后电视机仍然无法正常联网,则可能是电视机的网络模块故障、天线故障、内部电路或者主板及其他零部件故障等,需要联系电视机的售后服务进行全面检测和维修才能解决。
问题六:网络是正常的,为什么还会出现网络连接失败? 你可能是中了木马,在打开文件夹的时候,就主动去连接远程计算机。
下载个EWIDO,安装后,重起,按F8,进安全模式,杀木马,然后重起,应该就没问题了。
是用EWIDO杀的吗?不要随便找个杀木马的扫下,就算了事。
还有就是你的EWIDO在杀之前,一定要升下级。
开始-运行窗口,输入“regsvr32 actxprxy.dll”回车,接着会出现一个信息对话 框“DllRegisterServer in actxprxy.dll succeeded”,确定。再依次运行以下命令regsvr32 shdocvw.dll
regsvr32 oleaut32.dll
regsvr32 actxprxy.dll
regsvr32 mshtml.dll
regsvr32 msjava.dll
regsvr32 browseui.dll
regsvr32 urlmon.dll
重启。
这些命令是没有坏处的,你可试下
问题七:手机老是显示 网络异常 是怎么回事? 手机总提示网络异常的原因如下:
1、可能是因为手机所在的网络信号不好,可以换另外一个地方再上网。
2、手机网络设置没设置好,可以换另外一个接入点来上网,比较原来用CMNET来上网,可以换成用CMWAP接入点来上网。
3、可能宽带欠费,导致无法上网。
4、WiFi名字包含中文,导致部分手机无法连接上网。
5、手机系统问题,可能系统出现了问题,导致连接上了WiFi却无法上网。
建议解决办法:
1、使用其他手机或设备连接WiFi试试能否上网,排除WiFi本身问题。
2、重启一下路由器试试,或者将路由器恢复一下出厂设置,然后重新拨号上网,并根据设置向导重新设置WiFi,或者更换新路由器再进行拨号连接上网。
3、联系一下宽带客服,确认宽带账号是否有异常,如欠费,充值一下宽带,然后再拨号连接试试。
4、如WiFi名字包含中文,建议修改为英文或者英文加数字的组合再进行连接。
5、如以上原因都排除,那么久很有可能是手机系统问题了,建议恢复一下出厂设置或者刷机看看能否解决问题。
问题八:为什么最近网络异常 网络异常的原因有多种。需要逐个排除故障。例如:造成网络异常的原因有:(1)、你的网络设备老化,就会造成网络时通时断;(2)、局域网内的机器有病毒,也会造成网络异常;(3)、你的网线接触不好,上、下稍有晃动也会造成时通时断的现象。具体是哪一种,就要靠你自己逐个排查了。
问题九:玩游戏时电脑老是出现网络异常 是怎么回事? 造成网络异常的主要是由于线路问题、网卡问题、网卡设置、电脑带有病毒等因素引起。
线路问题。首先检查一下家里线路,看屋内接头是否接好,线路是否经过了什么干扰源,比如空调、冰箱、电视等,尽量与这些用电设备保持一定的距离。
网卡问题。网卡一般都是PCI网卡或者板载网卡,选择得时候定要选择质量较好的,不然可能造成上网质量欠佳。10M或10M/100M自适应网卡都可。
ADSL MODEM或者网卡设置问题。现在MODEM一般具有2种工作模式,一种是使用拨号软件的正常模式,一种是自动拨号的路由模式。在正常模式工作下,不需要对MODEM进行设置,使用默认即可。而路由模式则需要进行设置,MODEM带有自己的闪存,可以将帐户、密码盒设置存入,进行开机自动拨号,此方法最常见的是设置错了ADSL Modem的IP地址,或是错误设置了DNS服务器。
操作系统带有病毒。电脑上面带有病毒也会造成网络中断,就安装使用杀毒软件进行杀毒。
问题十:电脑经常网络错误是什么原因? 使用ADSL上网会经常遇到网页打不开、下载中断、或者在线视、音频流中断、qq掉线、游戏掉线等现象。 我们不妨假定楼主是使用ADSL上网。其实其他方式上网经常掉线的原因和下列原因大致相同。下面我们来分析一下ADSL掉线的原因。
一,线路问题
首先检查一下家里线路,看屋内接头是否接好,线路是否经过了什么干扰源,比如空调、冰箱、电视等,尽量与这些用电设备保持一定的距离。也可以自行把室内的线路使用抗干扰能力更强的网线代替。确保线路连接正确。电话线入户后连接接线盒,然后再到话音分离器分离,一线走电话、一线走MODEM(分离器上有标注)。同时确保线路通讯质量良好没有 *** 扰,没有连接其它会造成线路干扰的设备。并检查接线盒和水晶头有没有接触不良以及是否与其它电线串绕在一起。有条件最好用标准电话线,PC接ADSL Modem附带的双绞线。线路是影像上网的质量的重要因素之一。距离用户电缆线100米以内的无线电发射塔、电焊机、电车或高压电力变压器等信号干扰源,都能使用户下线接收杂波(铜包钢线屏蔽弱,接收信号能力强),对用户线引起强干扰。受干扰的信号往往是无屏蔽的下线部分进入,因为中继电缆有屏蔽层,干扰和影响都很小。如果在干扰大的地方用一些带屏蔽的下线,就会减少因干扰造成的速度不稳定或掉线现象。另外,电源线不可与adsl线路并行,以防发生串扰,导致adsl故障。另外其他也有很多因素造成网络不稳定,例如信号干扰、软件冲突。手机这一类辐射大的东西一定不要放在ADSL Modem的旁边,因为每隔几分钟手机会自动查找网络,这时强大的电磁波干扰足以造成ADSL Modem断流。
二,网卡问题
网卡一般都是PCI网卡或者板载网卡,选择得时候定要选择质量较好的,不然可能造成上网质量欠佳。10M或10M/100M自适应网卡都可。另外,许多机器共享上网,使用双网卡,这也是引起冲突同样值得关注,这时,应当拔起连接局域网或其它电脑的网卡,只用连接ADSL的网卡上网测试,如果故障恢复正常,再检查两块网卡有没有冲突。
三,ADSL MODEM或者网卡设置问题
现在MODEM一般具有2种工作模式,一种是使用拨号软件的正常模式,一种是自动拨号的路由模式。在正常模式工作下,不需要对MODEM进行设置,使用默认即可。而路由模式则需要进行设置,MODEM带有自己的闪存,可以将帐户、密码盒设置存入,进行开机自动拨号。此方法最常见的是设置错了 ADSL Modem的IP地址,或是错误设置了DNS服务器。因为对于ADSL虚拟拨号的用户来说,是不需要设定IP地址的,自动分配即可。TCP/IP网关一般也不需要设置。但是设定DNS一定要设置正确,DNS地址可以从当地电信部门获得。另外,TCP/IP设置最容易引起不能浏览网页的情况,一般设置为自动获得IP地址,但是DNS一定要填写。其他采用默认即可
四,ADSL Modem同步异常问题
检查一下自己的电话线和ADSL连接的地方是否接触不良,或者是电话线出现了问题,质量不好的电话特别容易造成掉线,但是这样的问题又不好检查,所以务必使用质量较好的电话线。如果怀疑分离器坏或ADSL Modem坏,尝试不使用分离器而直接将外线接入ADSL Modem。分离器与ADSL Modem的连线不应该过长,否则不能同步。排除上述情况,只要重起ADSL Modem就可以解决同步问题。
五,操作系统,病毒问题
除了上面提到的线路状况外,还有电脑系统方面的问题。比如传奇杀手引起局域网掉线。该问题在全国均大面积发生,该病毒对主机代理和路由器......>>
㈢ 网络连接配置异常怎么修复
网络连接配置异常可能会导致计算机无法正常联网,下面是几种修复方法:
检查DNS配置:DNS配置错误或者没有设置可能会导致网络连接配置异常,可以在控制面板的网络和Internet选项中更梁则改适配器设置,选择网络连接列表中的WLAN选项,右键单击弹出来的对话框中点击属性,勾选下方使用下面的DNS服务器地址,然后输入114.114.114.114,点击确定。
使用网络诊断工具:在Windows系统中可以使用网络诊断工具来检查和修复网络连接问题。链睁在电脑左下角任务栏上的搜索框中输入网络,在搜索结果中会出现【查看网络连接】,点击打开,右键点击【以太网】,在弹出的菜单中点击【诊断】,网络诊断工具就打开了。
确认WLAN已打开:在Windows系统中,可以选择设置网络,然后打开WLAN,选择WLAN旁边的更多选项,然后选择显示可用网络。如果预期会看到的网络出现在列表中,请选择它,然后选择连接。
重启网络连接:右键点击网络连接图标,在弹出菜单中选择打开网络和共享中心菜单项,点击左侧的更改适配器设置快捷链接,右键点击正在使用的网络连接,在弹出菜单中选择诊断菜单项,网络诊断工具会自动检测网络问题,如需修复网络,可以点击尝试以管理员身份进行这些修复快捷链接。
使用移动互联网连接:如果无法访问有线互联网连接,可以使用智能手机的网络共享功能连接移动互联网,有关更多说明请参阅相关指南。
网络连接配置异常可能有橡唤棚多种原因,以上方法仅供参考,如果以上方法无法解决问题,建议咨询相关技术支持人员进行进一步的排查。
㈣ 豆瓣app怎么打不开,一直显示网络连接错误。而且豆瓣电影、一刻什么的都是网络错误。其他软件的可以
网络问题,或者就是豆瓣后台维护。要么就是人品了,哈哈。 不急,等一段时间再加载,一定会显示的 或者就是版本问题,你删除下载新的吧,或者更新一下
㈤ 为什么打开豆瓣的网页,就出现403forbidden,哪位高人有解决方法,谢谢了!
这几天刚接手一批新做的网站,在访问网站的时候,会时不时的出现403 Forbidden错误,浏览器会给出403 Forbidden错误提示,在打开Access Error中列出的URL之后, 出现以下错误:
403 Forbidden
Access to this resource on the server is denied!
Powered By LiteSpeed Web Server
LiteSpeed Technologies is not responsible for administration and contents of this web site!
403错误是网站访问过程中,常见的错误提示。资源不可用,服务器理解客户的请求,但拒绝处理它。通常由于服务器上文件或目录的权限设置导致,比如IIS或者apache设置了访问权限不当。一般会出现以下提示:
一、403 forbidden是什么意思?
403 Forbidden是HTTP协议中的一个状态码(Status Code)。可以简单的理解为没有权限访问此站。该状态表示服务器理解了本次请求但是拒绝执行该任务,该请求不该重发给服务器。在HTTP请求的方法不是“HEAD”,并且服务器想让客户端知道为什么没有权限的情况下,服务器应该在返回的信息中描述拒绝的理由。在服务器不想提供任何反馈信息的情况下,服务器可以用404 Not Found代替403 Forbidden。
二、403错误代码的分类介绍
403.1
403.1错误是由于"执行"访问被禁止而造成的,若试图从目录中执行CGI、ISAPI或其他可执行程序,但该目录不允许执行程序时便会出现此种错误。
403.2
403.2错误是由于"读取"访问被禁止而造成的。导致此错误是由于没有可用的默认网页并且没有对目录启用目录浏览,或者要显示的HTML网页所驻留的目录仅标记为"可执行"或"脚本"权限。
403.3
403.3错误是由于"写入"访问被禁止而造成的,当试图将文件上载到目录或在目录中修改文件,但该目录不允许"写"访问时就会出现此种错误。
403.4
403.4错误是由于要求SSL而造成的,您必须在要查看的网页的地址中使用"https"。
403.5
403.5错误是由于要求使用128位加密算法的Web浏览器而造成的,如果您的浏览器不支持128位加密算法就会出现这个错误,您可以连接微软网站进行浏览器升级。
403.6
403.6错误是由于IP地址被拒绝而造成的。如果服务器中有不能访问该站点的IP地址列表,并且您使用的IP地址在该列表中时您就会返回这条错误信息。
403.7
403.7错误是因为要求客户证书,当需要访问的资源要求浏览器拥有服务器能够识别的安全套接字层(SSL) 客户证书时会返回此种错误。
㈥ 网络异常是怎么回事
网络异常是网络连接问题、路由器设置问题或故障、网络服务提供商问题、设备系统异常、设备硬件故障。
1、网络连接问题
当设备没有连接到网络时,会出现网络异常。可以进入网络设置界面,重新设置连接WiFi网络。