⑴ 网站是怎样爬取到我的QQ号码的
您好，你所关心的问题这边有详细的分解。
如何盗取别人的QQ号码
正重声明本文章为学习交流
1、在线密码破解 大家知道QQ可以利用代理服务器登录，这是一种保护措施。它不仅可以隐藏用户的真实IP地址，以避免遭受网络攻击，还可以加快登录速度，保证登录的稳定性。
在线密码破解和本地密码破解采用的技术方法类似，都是穷举法，只不过前者完全脱离了本地用户使用的QQ。它通过对登录代理服务器进行扫描，只要想盗的QQ号码在线，就可利用在线盗号工具实现远程TCP/IP的追捕，从而神不知鬼不觉地盗取QQ密码！
在线破解改变了本地破解那种被动的破解方式，只要是在线的QQ号码都可以破解，适用范围较广。但是由于它仍然采用穷举法技术，所以在枚举密钥位数长度以及类型时，校验时间很长，破解效率不高。同样，这种方法还受到电脑速度、网速等诸多因素的影响，因此比前面的本地破解更麻烦。
目前功能比较强大的一款QQ密码在线破解软件叫QQExplorer。它的破解操作分四步：第一步，在QQ起始号码和结束号码中填上想要盗取的QQ号码（此号码必须在线）；第二步，在“添加或删除HTTP代理服务器”中输入代理服务器的IP地址和端口号码（如果你嫌自己寻找QQ代理服务器麻烦，可以使用一些现代的QQ代理公布软件）；第三步，点击“添加&测试”按钮，软件先自动检测此服务器是否正常，确定后将它加入代理服务器列表（此软件可填入多个代理服务器的地址，并且能够自动筛选不可用或者速度慢的服务器）；第四步，点击“开始”按钮，开始在线密码破解
2、登录窗口破解
伪造QQ登录窗口的盗号方法非常简单，这是一种比较另类的木马破解方法（后面对木马破解有专门讲述）。先用盗号软件生成一个伪装的QQ主程序，它运行后会出现跟腾讯QQ一模一慎宏搜样的登录窗口，只要用户在这个伪登录窗口中登录，输入的QQ号及密码就会被记录下来，并通过电子邮件发送到盗号者指定的油箱中，在此以一款叫“狐Q”的软件为例，首次运行它时，它会把自身复制到QQ目录中，并把原来的QQ.exe文件改名为QQ.com（这样的更改不会影响QQ的正常运行）。设置完毕后，“狐Q”的原程序就会消失，伪装成QQ等待“猎物”上钩在其软件设置中，有一项设置可以决定真假QQ交替运行的次数，可以减少用户在使用QQ时产生的怀疑。比如说将“生效次数”设定为3，那么用户第一次运行的是真QQ了，也就是说在第三次运行时，用户的QQ号便被盗了！在QQ密码发送的过程中，如果发送失败，它还会把QQ号和密码记下来，等待下一次发送。
即时监视QQ登录窗口的盗号方法利用Windows窗口函数、句柄功能实现QQ号和密码的后台截取。此类软件几乎可以捕获Windows下所有标准密码框中的绝陪密码，如QQ、Outlook、屏幕保护程序、各种电子邮件客户端、各种游戏账号和上网账号等。捕获后，它也会将密码实时发送到盗号者指定的邮箱中。其代表性的盗号软件是“密码使者”，它几乎可以捕获Windows 9x/2000/XP下所有登录窗口中的密码，并且还能够盗取在网页中登录的各种密码。盗号在使用这款软件时，只须填上用于接收别人QQ密码的邮箱地址及保护密码，并把生成的盗号器文件传过去哄骗别人运行，然后就可以坐等密码上门！此软件与传统的键盘记录器不同，它在电脑每次开机时隐藏自启动，不管密码是用键盘输入的，还是复制、粘贴的，都能够有效地实时拦宽历截！其注册版本居然还带有自动升级的功能，破坏力十分巨大。
3、消息诈骗
孔子曰：上士杀人用笔端，中士杀人用语言，下士杀人用石盘。远程盗取QQ密码还有一种大家最常见也是最简单最有效的方法，那就是利用不少人爱贪小便宜的弱点，进行人为的欺骗！
标题:腾讯关于xxxxx获奖通知
“QQ幸运儿：恭喜！！！您已经成为QQ在线网友齐抽奖的中奖用户。您将获赠精美T恤1件，并有机会得到NOKIA 7110手机1部。腾讯公司(tencent.com)注：奖品是以邮寄方式寄出，请您认真填写以下资料。如果填写错误，将被作为自动放弃获奖机会处理。> > QQ号码：> 密码：> 姓名：> E-mail地址：> 身份证号码：> 通讯地址：> 联系电话：> 邮编：”
比如我们的QQ经常会收到如下的陌生人消息。
如果你真的如实填写这些资料并傻傻的发送回去，不一会儿QQ密码就被盗了。
还有类似这样的消息：“亲爱的 号QQ用户，恭喜你你已经成为腾讯的幸运号码，腾讯公司送你QQ靓号：12345，密码：54321。请尽快登陆并修改密码，感谢您对腾讯公司的支持！”不少人一看，以为白捡的便宜来了，登录一试还是真的，于是就大大咧咧地笑纳了。但是，很多人为了方便，不管什么东西都爱使用相同的密码，所以当这个QQ号的密码被你改为与自己QQ号相同的密码时，自己QQ号的连同这个赠送的QQ号都得玩完！这是因为，赠送的QQ号已被盗号者申请过密码保护，当你更改密码后他就利用腾讯的密码保护功能把它收了回去，同时也收走你的QQ密码。如果你的QQ没有申请过密码保护，此刻就只能和它永别了。
4、更多的木马破解
“古希腊大军围攻特洛伊城，久攻不破，遂造一大木马藏匿将士于其中，大部队假装撤退而弃木马。城中得知敌退，将木马作战利品拖入城内。午夜时分，匿于木马中的将士开启城门四处纵火，城外伏兵涌入，里应外合，焚屠特洛伊城。”这是古希腊神话《木马屠城记》的故事，其中那只木马被黑客程序借用其名，表“一经潜入，后患无穷”之意。一个完整的木马程序由服务器端和控制端组成。所谓“中了木马”，是指用户的电脑中被安装了木马的服务器端，而拥有控制端的盗号者就通过网络远程控制该电脑，从而轻而易举地盗得该电脑中的QQ密码。
针对QQ的木马程序多不胜数，其中专门盗取QQ密码的也有一大堆，它们被偷偷地安装在用户的电脑中，随电脑启动而自动运行，如果用户使用QQ，那么其账号和密码就会被这些木马记录下来，并发送到木马安装者的邮箱中。前面已经介绍了两款通过登录窗口盗号的QQ木马，下面再介绍两款典型的。
第一款：极品QQ盗号2004
这是“极品QQ盗号”木马的最新版本。它的使用方法跟前面介绍的“密码使者”差不多，先再“设置”栏中填入接收QQ密码的邮箱地址和发送邮件的标题，然后把生成的盗号器偷偷地安装到别人的电脑里这个木马声称可以避过主流的杀毒软件，盗取QQ最新版本的密码，即QQ2004和QQ2004奥运特别版的密码。
第二款：QQ间谍3.0
使用此木马软件时，点击工具条上的“服务端”，按照提示生成服务端程序，然后把它偷偷地传到别人的电脑中，当受害者不小心运行了它，木马就被种上了。这个木马不仅可以盗号，还能悄悄地在后台记录受害者的QQ聊天信息，并下载可执行文件实现远程升级和远程执行脚本程序。另外再注册之后，它还可以直接远程监控对方电脑上的QQ聊天记录。
利用木马软件盗取QQ密码，显然比用前面介绍的那些破解方法更有效率！不仅节省时间，而且成功率也高。但是，如何把木马程序的服务器端安装在用户的电脑中，这是一个费心思的事儿。另外，很多功能强大的木马程序都是需要花钱注册，才能使用其全部功能。因此，对于那些水平参差不齐的盗号者而言，要想玩转木马程序，还得费点劲。
主动出击 教你夺回被人盗走的QQ号
随着网络的普及，如今很多朋友最重要的交流方式都是QQ，但是QQ安全是一个大家都非常关心的话题，盗取QQ号的工具也是层出不穷，随着近年来大家安全意识的提高，大家对QQ安全有了一定的重视，但是所谓黑客借助一些工具盗取QQ号同样是非常容易的事，下面就来看看黑客是如何利用工具软件结合邮箱轻松盗取他人的QQ号码的，以便我们更加有效地防范！
一、QQ密码发送者
该软件使用比较简单，你需要具有一定的“欺骗”能力，要想成功，最关键的在于如何想方设法让对方接收并运行你的木马，然后你就可以“坐收渔利”了！
下载并解压该软件，运行其中的可执行文件，运行窗口如图1。
在此窗口中，你只要输入一个有效的邮箱，然后点击“生成QQ木马”按钮即可生成一个木马，如图2。
接下来就是把该木马发送给对方，要能让对方运行，你需要将改木马改名，比如改名为“我的FLASH”、“XX软件”等，只要能让对方信任你并点击运行该木马即可！
一旦对方运行了该软件，并再次登陆QQ，那么对方的QQ号码、密码以及对方机器IP等信息都会通过邮件发送到你设置好的邮箱，你就等着查看自己的“战功”吧，如图3。
提示：
该软件非常适合在网吧内使用，只要你在别的机器上配置好该软件，然后换一台机器上网，一旦别人用那台机器登陆QQ，当然是把他的QQ拱手相送了！
二、无敌QQ密码盗取器
该软件是一个后台监控类的盗取QQ的软件，同样需要邮箱配合使用，具体设置比较简单。
运行该软件，配置窗口如图4。
在该窗口中，你需要设置好的所使用邮箱的SMTP服务器地址及用户名和密码，为了保证信件能正常接收，设置完毕后最好点击“测试”按钮进行测试。
提示：
邮件标题不填则将以QQ号码为标题，另外，最好把“发送多少个号码”设置小点，这个功能很有用，一旦程序发送邮件的数目达到了这个数的时候就不再发送了，否则可能导致你的信箱被撑破。
三、用QQ破密使者盗取QQ
QQ破密使者是一个本地破解QQ密码的黑客工具，你可以选择字典暴力破解本地QQ密码,速度极快,并可自己设定延迟时间，下面看看具体的使用方法。
下载该软件并解压，其中“QQPW_Crack8”是安装程序，里面还有一个“破解字典”文件夹（图5），这是破解QQ密码所要用到的字典文件，里面有4个字典文件，当然你也可以自己制作一个字典工自己使用。安装完该软件后，就可以实践一下该软件的威力了！
首先运行该软件，软件主界面如图6所示。
首先你需要配置“QQ路径”，点击“浏览”按钮找到QQ的主程序，“QQ号码”一栏中自动会显示用本机登陆的QQ号码，你只要选择其中一个即可，然后需要设置“字典路径”，点击后面的“浏览”按钮，找到字典文件所在位置，比如C:\WINDOWS\Desktop\新建文件夹\QQ破密使者\破解字典\dictionary1.txt，如图7。
设置好字典文件后，你还可以设置延迟时间，然后你就可以点击“开始破解”进行破解了！该软件会用字典文件中的密码一一尝试，破解过程如图8。
提示：破解速度跟你的电脑速度有关，在破解过程中不要打开别的什么程序以免影响破解速度！这种方法非常适合于在网吧盗取别人的QQ号！
四、轻松偷窥QQ2004聊天记录
随着QQ2004Beta的推出，广大“Q友”们又一次体验了新版本带给大家的惊喜，那么QQ2004Beta在安全性方面又怎么样呢？针对QQ2004Beta 推出的“QQ2004Beta免密码登陆器”也许同样会带给你一个“惊喜”！
使用“QQ2004Beta免密码登陆器”后，输入任意密码即可登陆QQ，这样你就可以偷窥他人的好友资料及聊天记录啦！注意该软件只适用于最新版本的QQ2004Beta。
下载并解压该软件后，必须将其中的“cr-QQ2004Beta(7.13).exe”拷贝到你的QQ2004Beta安装目录，通常为“C:\Program Files\Tencent\qq”，否则直接运行该软件会出现找不到QQ.exe文件的提示！
运行QQ2004Beta安装目录下的“cr-QQ2004Beta(7.13).exe”文件，弹出窗口如图9所示。
点击“确定”按钮后弹出QQ正常的登陆界面，如图10。
这里你随便输入一个密码，然后点击“登录”即可登陆，但这时会弹出一个“请再次输入登录密码”的提示框，不要管它，但是千万不要点击“取消”，否则就QQ就自动关闭了，如图11。
这时QQ就离线登陆了，你可以查看他人的好友资料及聊天记录。需要注意的是：这样登陆的QQ聊天窗口是不能打开的，所以要查看聊天记录和好友资料，必须依次点击“菜单”→“好友与资料”→“消息管理器”才行，或者你在QQ主界面上用鼠标右击某个好友，然后选择“聊天记录”或者“查看资料”选项。
主动出击 教你夺回被人盗走的QQ号码
很多朋友都有过QQ号被盗的经历，即使用“密码保护”功能找回来后，里面的Q币也已经被盗号者洗劫一空，碰到更恶毒的盗号者，还会将你的好友统统删除，朋友们将会永远得离开你。想过反击吗？什么，反击？别开玩笑了，我们只是菜鸟，不是黑客，我们只会看看网页，聊聊天，连QQ号是怎么被盗的都不知道，还能把盗号者怎么样呢？其实喜欢盗号的所谓“黑客”们，也只是利用了一些现成的盗号工具，只要我们了解了QQ号被盗的过程，就能作出相应防范，甚至由守转攻，给盗号者以致命一击。
一、知己知彼，盗号技术不再神秘
如今，还在持续更新的QQ盗号软件已经所剩无几，其中最为着名，流传最广的则非“啊拉QQ大盗”莫属，目前绝大多数的QQ号被盗事件都是由这个软件引起的。软件的使用条件很简单，只要你有一个支持smtp发信的邮箱或者一个支持asp脚本的网页空间即可。而且该木马可以将盗取的QQ号自动分为靓号和非靓号两种，并将它们分别发送到不同的信箱中，这也是“啊拉QQ大盗”如此流行的原因之一。接下来，便让我们先来了解一下其工作原理，以便从中找到反击的良方。
1、选择盗号模式
下载“啊拉QQ大盗”，解压后有两个文件：alaqq.exe、爱永恒，爱保姆qq.asp。其中alaqq.exe是“啊拉QQ大盗”的配置程序，爱永恒，爱保姆qq.asp是使用“网站收信”模式时需使用的文件。正式使用之前，还需要设置其参数。
“邮箱收信”配置：运行alaqq.exe，出现程序的配置界面。在“发信模式选择”选项中选中“邮箱收信”，在“邮箱收信”填写电子邮箱地址（建议使用程序默认的163.com网易的邮箱）。这里以邮箱[email protected]（密码n_12345）为例来介绍“邮箱收信”模式时的配置，并进行下文中的测试。此外，在“收信箱（靓）”和“收信箱（普）”中可以填入不同的邮箱地址用来接受QQ靓号和普通QQ号。然后在“发信服务器”下拉框中选择自己邮箱相应的smtp服务器，这里是smtp.163.com。最后填入发信箱的帐号、密码、全称即可。
设置完毕后，我们可以来测试一下填写的内容是否正确，点击下方“测试邮箱”按钮，程序将会出现邮箱测试状态。如果测试的项目都显示成功，即可完成邮箱信息配置。
“网站收信”配置：除了选择“邮箱收信”模式之外，我们还可以选择“网站收信”模式，让盗取的QQ号码自动上传到指定的网站空间。当然，在使用之前，也需要做一些准备工作。
用FTP软件将爱永恒，爱保姆qq.asp上传支持ASP脚本的空间，运行alaqq.exe，在“Asp接口地址”中输入爱永恒，爱保姆qq.asp所在的URL地址，那么，当木马截获QQ号码信息后，就会将其保存于爱永恒，爱保姆qq.asp同目录下的qq.txt文件中。
2、设置木马附加参数
接下来我们进行高级设置。如果勾选“运行后关闭QQ”，对方一旦运行“啊拉QQ大盗”生成的木马，QQ将会在60秒后自动关闭，当对方再次登录QQ后，其QQ号码和密码会被木马所截获，并发送到盗号者的邮箱或网站空间中。此外，如果希望该木马被用于网吧环境，那就需要勾选“还原精灵自动转存”，以便系统重起后仍能运行木马。除这两项外，其他保持默认即可。
3、盗取QQ号码信息
配置完“啊拉QQ大盗”，点击程序界面中的“生成木马”，即可生成一个能盗取QQ号码的木马程序。我们可以将该程序伪装成图片、小游戏，或者和其他软件捆绑后进行传播。当有人运行相应的文件后，木马会隐藏到系统中，当系统中有QQ登录时，木马便会开始工作，将相关的号码及密码截取，并按照此前的设置，将这些信息发送到邮箱或者网站空间。
二、练就慧眼，让木马在系统中无处可逃
现在，我们已经了解了“啊拉QQ大盗”的一般流程，那么如何才能从系统中发现“啊拉QQ大盗”呢？一般来说，如果碰到了以下几种情况，那就应该小心了。
·QQ自动关闭。
·运行某一程序后其自身消失不见。
·运行某一程序后杀毒软件自动关闭。
·访问杀毒软件网站时浏览器被自动关闭。
·如果杀毒软件有邮件监控功能的，出现程序发送邮件的警告框。
·安装有网络防火墙（例如天网防火墙），出现NTdhcp.exe访问网络的警告。
出现上述情况的一种或多种，系统就有可能已经感染了“啊拉QQ大盗”。当然，感染了木马并不可怕，我们同样可以将其从系统中清除出去。
1、手工查杀木马。发现系统感染了“啊拉QQ大盗”后我们可以手工将其清除。“啊拉QQ大盗”运行后会在系统目录中的system32文件夹下生成一个名为NTdhcp.exe的文件，并在注册表的启动项中加入木马的键值，以便每次系统启动都能运行木马。我们首先要做的就是运行“任务管理器”，结束其中的木马进程“NTdhcp.exe”。然后打开资源管理器中的“文件夹选项”，选择其中的“查看”标签，将其中“隐藏受保护的操作系统文件”选项前面的勾去掉。接着进入系统目录中的system32文件夹，将NTdhcp.exe文件删除。最后进入注册表删除NTdhcp.exe键值，该键值位于HKEY_LOCAL_MACHINE\Software \Microsoft \Windows \Currentversion \Run。
2、卸载木马。卸载“啊拉QQ大盗”很简单，只要下载“啊拉QQ大盗”的配置程序，运行后点击其中的“卸载程序”按钮即可将木马完全清除出系统。
三、以退为进，给盗号者以致命一击
忙乎了半天，终于把系统中的“啊拉QQ大盗”彻底清除，那么，面对可恶的盗号者，我们是不是应该给他一个教训呢？
1、利用漏洞，由守转攻
这里所谓的“攻”，并不是直接入侵盗号者的电脑，相信这种“技术活”并不适合大家。这里只是从盗号软件几乎都存在的漏洞入手，从而给盗号者一个教训。
那么这个漏洞是什么呢？
从此前对“啊拉QQ大盗”的分析中可以看到，配置部分填写了收取QQ号码信息邮件的邮箱帐号和密码，而邮箱的帐号和密码都是明文保存在木马程序中的。因此，我们可以从生成的木马程序中找到盗号者的邮箱帐号和密码。进而轻松控制盗号者的邮箱，让盗号者偷鸡不成反蚀把米。
提示：以上漏洞仅存在于将QQ号码信息以邮件发送方式的木马，如果在配置“啊拉QQ大盗”的过程中选择使用网站接收的方式则不存在该漏洞。
2、网络嗅探，反夺盗号者邮箱
当木马截取到QQ号码和密码后，会将这些信息以电子邮件的形式发送到盗号者的邮箱，我们可以从这里入手，在木马发送邮件的过程中将网络数据包截取下来，这个被截获的数据包中就含有盗号者邮箱的帐号和密码。截取数据包时我们可以使用一些网络嗅探软件，这些嗅探软件可以很轻松得截取数据包并自动过滤出密码信息。
·x-sniff
x-sniff是一款命令行下的嗅探工具，嗅探能力十分强大，尤其适合嗅探数据包中的密码信息。
将下载下来的x-sniff解压到某个目录中，例如“c：\”，然后运行“命令提示符”，在“命令提示符”中进入x-sniff所在的目录，然后输入命令“xsiff.exe
-pass -hide -log
pass.log”即可（命令含义：在后台运行x-sniff，从数据包中过滤出密码信息，并将嗅探到的密码信息保存到同目录下的pass.log文件中）。
嗅探软件设置完毕，我们就可以正常登录QQ。此时，木马也开始运行起来，但由于我们已经运行x-sniff，木马发出的信息都将被截取。稍等片刻后，进入x-sniff所在的文件夹，打开pass.log，便可以发现x-sniff已经成功嗅探到邮箱的帐户和密码。
·sinffer
可能很多朋友对命令行下的东西都有一种恐惧感，所以我们可以使用图形化的嗅探工具来进行嗅探。例如适合新手使用的sinffer。
运行sinffer之前，我们需要安装WinPcap驱动，否则sinffer将不能正常运行。
运行sinffer。首先我们需要为sinffer.exe指定一块网卡，点击工具栏上的网卡图标，在弹出的窗口中选择自己使用的网卡，点“OK”后即可完成配置。确定以上配置后，点击sinffer工具栏中的“开始”按钮，软件即开始了嗅探工作。
接下来，我们正常登陆QQ，如果嗅探成功，就会在sinffer的界面中出现捕获的数据包，其中邮箱帐号密码信息被很清晰得罗列了出来。
得到盗号者的邮箱帐号和密码以后，我们可以将其中的QQ号码信息邮件全部删除，或者修改他的邮箱密码，给盗号者一个教训，让我们菜鸟也正义一把。
如果你看到最后你会看到这句话的：小心这些软件，里面有毒的。
⑵ 如何爬取URL不变的网站内容
步骤如下：1、下载数据采集工具 2、输入你要采集的网址，等它自动识别，然后点击启动，然后等采集完，免费导出结果 3、如果搞不定，看一下官网视频手把手讲解视频（免费的），预计花费几十分钟 4、重复步骤2，遇到问题稍作手动修改
⑶ python怎么爬取简书用户名
初步的思路
今天在用Scrapy写代码的时候，对网页的结构也有了大致的分析，再加上之缺凯扮前罗罗攀的思路，初步我是通过专题入口
热门专题
image.png
image.png
专题管理员 （一般粉丝、文章、字数、收获喜欢、这几项数据都非常漂亮）
image.png
image.png
以上红框里的数据项就是我需要爬取的字段
但是以上的思路存在一点的问题：
存在一些简书用户并不是一些热门专题的管理员，但是其人气粉丝量也很高，这个思路可能无法将这些用户爬取下来
进阶的思路
热门专题
专题关注的人
专题孙姿关注的人的动态
推荐伏灶作者 粉丝信息
image.png
image.png
image.png
优点：
数据大而全，基本包含了99%的用户（个人猜测，不严谨）
缺点：
因为许多用户不止关注一个专题，而且其中包含了大量的新注册用户（数据很多为空），并且也有大量重复数据需要去重
代码部分:
jianshu.py 还在调试阶段，待更新...
# -*- coding: utf-8 -*-
import sys
import json
import requests
import scrapy
import re
from lxml import etree
from scrapy.http import Request
reload(sys)
sys.path.append('..')
sys.setdefaultencoding('utf-8')
class jianshu(scrapy.Spider):
name = 'jianshu'
# topic_category = ['city']
topic_category = ['recommend', 'hot', 'city']
base_url = 'lections?page=%s&order_by=%s'
cookies={
'UM_distinctid': '15b89d53a930-02ab95f11ccae2-51462d15-1aeaa0-15b89d53a9489b',
'CNZZDATA1258679142': '1544557204-1492664886-%7C1493280769',
'_session_id': '%3D%3D--',
'remember_user_token':'Q3LjYwODEwNzgiXQ%3D%3D--',
'_ga': 'GA1.2.2016948485.1492666105',
'_gid': 'GA1.2.382495.1494550475',
'Hm_lpvt_': '1494550475',
'Hm_lvt_': '1494213432,1494213612,1494321303,1494387194'
}
headers = {
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept - Language': 'zh - CN, zh;q = 0.8',
'Connection': 'close',
'Cookie': 'UM_distinctid=15b89d53a930-02ab95f11ccae2-51462d15-1aeaa0-15b89d53a9489b; CNZZDATA1258679142=1544557204-1492664886-%7C1493280769; remember_user_token=Q3LjYwODEwNzgiXQ%3D%3D--; _ga=GA1.2.2016948485.1492666105; _gid=GA1.2.824702661.1494486429; _gat=1; Hm_lvt_=1494213432,1494213612,1494321303,1494387194; Hm_lpvt_=1494486429; _session_id=%3D%3D--',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36',
'Host':'www.jianshu.com',
"X-Requested-With": 'XMLHttpRequest'
}
def get_total_page(self):
#获取专题总页数 包含3个字典的列表 [{"hot": xx}, {"recommend":xx}, {"city": xx}]
total_page_list = []
for order in self.topic_category:
order = order.decode('utf-8')
total_page = 100
dict = {}
for page in range(1, total_page):
url = self.base_url % (page, order)
html = requests.get(url, headers=self.headers).content
selector = etree.HTML(html)
#print html
try:
elements = selector.xpath('//*[@id="list-container"]/div[1]/div/h4/a/text()')[0]
if elements is not Exception:
continue
except Exception :
dict['total_page'] = page - 1
dict['category'] = order
break
total_page_list.append(dict)
return total_page_list
def get_topic_info(self):
#获取专题信息
topic_info_list = []
total_page_list = self.get_total_page()
base_url = self.base_url
for dict in total_page_list:
category = dict['category']
total_page = int(dict['total_page'])
for page in range(1, total_page + 1):
url = base_url % (page, category)
html = requests.get(url, headers=self.headers,cookies=self.cookies).content
selector = etree.HTML(html)
topic_href = selector.xpath('//*[@id="list-container"]')[0]
for href in topic_href:
dict = {}
topic_name = href.xpath('./div/h4/a/text()')[0]
topic_url = "www.jianshu.com" + href.xpath('./div/h4/a/@href')[0]
topic_img_url = href.xpath('./div/a/img/@src')[0]
img_num = topic_img_url.split("/")[5]
dict['topic_name'] = topic_name
dict['topic_url'] = topic_url
#
dict['img_num'] = img_num
topic_info_list.append(dict)
return topic_info_list
def get_topic_admin_info(self):
#获取管理员信息
topic_admin_info_list = []
topic_info_list = self.get_topic_info()
for d in topic_info_list:
img_num = str(d['img_num'])
base_url = "s/editors_and_subscribers" % img_num
base_url_response = requests.get(base_url, headers=self.headers, cookies=self.cookies)
json_data_base = json.loads(base_url_response.text.decode('utf-8'))
editors_total_pages = json_data_base['editors_total_pages']
for page in range(1, int(editors_total_pages) + 1):
if page == 1:
editors = json_data_base['editors']
for editor in editors:
dict = {}
dict['nickname'] = editor['nickname']
dict['slug'] = editor['slug']
topic_admin_info_list.append(dict)
else:
try:
url = "}/editors?page={}".format(img_num, page)
response = requests.get(url,headers=self.headers,cookies=self.cookies)
json_data = json.loads(response.text.decode('utf-8'))
editors = json_data['editors']
for editor in editors:
dict = {}
dict['nickname'] = editor['nickname']
dict['slug'] = editor['slug']
topic_admin_info_list.append(dict)
except Exception:
pass
return topic_admin_info_list
def get_followers_following_list(self):
# 获取管理员粉丝列表
followers_list = []
topic_admin_list = self.get_topic_admin_info()
followers_base_url = "s/%s/followers"
for dict in topic_admin_list:
url = followers_base_url % dict['slug']
headers = self.headers
headers['Referer'] = url
headers['DNT'] = '1'
response = requests.get(url, headers=headers, cookies=self.cookies).content
total_followers = re.fi
⑷ 如何用爬虫爬取网页上的数据
用爬虫框架Scrapy， 三步
定义item类
开发spider类
开发pipeline
如果你想要更透的信息，你可以参考《疯狂python讲义》
⑸ python爬虫项目实战：爬取用户的所有信息，如性别、年龄等
python爬虫项目实战：
爬咐迹链取糗事网络用户的所有信息，包括用户名、性别、年龄、内容等等。
10个步骤实现项目功能，下面开始实例讲解：
1.导入模块
import re
import urllib.request
from bs4 import BeautifulSoup
2.添加头文件，防止爬取过程被拒绝链接
def qiuShi(url,page):
################### 模拟成高仿度浏览器的行为 ##############
heads ={
'Connection':'keep-alive',
'Accept-Language':'zh-CN,zh;q=0.9',
'Accept':'text/html,application/xhtml+xml,application/xml;
q=0.9,image/webp,image/apng, / ;q=0.8',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
}
headall = []
for key,value in heads.items():
items = (key,value)
headall.append(items)
opener = urllib.request.build_opener()
opener.addheaders = headall
urllib.request.install_opener(opener)
data = opener.open(url).read()().decode()
################## end ########################################
3.创州铅建soup解析器对象
soup = BeautifulSoup(data,'lxml')
x = 0
4.开始使用BeautifulSoup4解析器提取用户名信息
############### 获取用户名 ########################
name = []
unames = soup.find_all('h2')
for uname in unames:
name.append(uname.get_text())
#################end#############################
5.提取发表的内容信息
############## 发表的内容 #########################
cont = []
data4 = soup.find_all('div',class_='content')
data4 = str(data4)
soup3 = BeautifulSoup(data4,'lxml')
contents = soup3.find_all('span')
for content in contents:
cont.append(content.get_text())
##############end####################################
6.提取搞笑指数
#################搞笑衡孙指数##########################
happy = []
data2 = soup.find_all('span',class_="stats-vote")
data2 = str(data2) # 将列表转换成字符串形式才可以使用
soup1 = BeautifulSoup(data2,'lxml')
happynumbers = soup1.find_all('i',class_="number")
for happynumber in happynumbers:
happy.append(happynumber.get_text())
##################end#############################
7.提取评论数
############## 评论数 ############################
comm = []
data3 = soup.find_all('a',class_='qiushi_comments')
data3 = str(data3)
soup2 = BeautifulSoup(data3,'lxml')
comments = soup2.find_all('i',class_="number")
for comment in comments:
comm.append(comment.get_text())
############end#####################################
8.使用正则表达式提取性别和年龄
######## 获取性别和年龄 ##########################
pattern1 = '<div class="articleGender (w ?)Icon">(d ?)</div>'
sexages = re.compile(pattern1).findall(data)
9.设置用户所有信息输出的格局设置
################## 批量输出用户的所以个人信息 #################
print()
for sexage in sexages:
sa = sexage
print(' ' 17, '= = 第', page, '页-第', str(x+1) + '个用户 = = ',' ' 17)
print('【用户名】：',name[x],end='')
print('【性别】：',sa[0],' 【年龄】：',sa[1])
print('【内容】：',cont[x])
print('【搞笑指数】：',happy[x],' 【评论数】：',comm[x])
print(' ' 25,' 三八分割线 ',' ' 25)
x += 1
###################end##########################
10.设置循环遍历爬取13页的用户信息
for i in range(1,14):
url = ' https://www.qiushike.com/8hr/page/'+str(i)+'/'
qiuShi(url,i)
运行结果，部分截图：
⑹ 如何通过网络爬虫获取网站数据
这里以python为例，简单介绍一下如何通过python网络爬虫获取网站数据，主要分为静态网页数据的爬埋山差取和动态网页数据的爬取，实验环境win10+python3.6+pycharm5.0，主要内容如下：
静态网页数据
这里的数据都嵌套在网页源码中，所以直接requests网页源码进行解析就行，下面我简单介绍一下，这里以爬取糗事网络上的数据为例：
1.首先，打开原网页，如下，这里假设要爬取的字段包括昵称、内容、好笑数和评论数：
接着查看网页源码，如下，可以看的出来，所有的数据都嵌套在网页中：
2.然后针对以上网页结构，我们就可以直接编写爬虫代码，解析网页并提取出我们需要的数据了，测试代码如下，非常简单，主要用到requests+BeautifulSoup组合，其中requests用于获取网页源码，BeautifulSoup用于解析网页提取数据：
点击运行这个程序，效果如下，已经成功爬取了到我们需要的数据：
动态网页数据
这里的数据都没有在网页源码中（所以直接请求页面是获取不到任何数据的），大部分情况下都是存储在一唯唯个json文件中，只有在网页更新的时候，才会加载数据，下面我简单介绍一下这种方式，这里以爬取人人贷上面的数据为例：
1.首先，打开原网页，如下，这里假设要爬取的数据包括年利率，借款标题，期限，金额和进度：
接着按F12调出开发者工具，依次点击“Network”->“XHR”，F5刷新页面，就可以找打动态加载的json文件，如下，也就是我们需要爬弯皮取的数据：
2.然后就是根据这个json文件编写对应代码解析出我们需要的字段信息，测试代码如下，也非常简单，主要用到requests+json组合，其中requests用于请求json文件，json用于解析json文件提取数据：
点击运行这个程序，效果如下，已经成功爬取到我们需要的数据：
至此，我们就完成了利用python网络爬虫来获取网站数据。总的来说，整个过程非常简单，python内置了许多网络爬虫包和框架（scrapy等），可以快速获取网站数据，非常适合初学者学习和掌握，只要你有一定的爬虫基础，熟悉一下上面的流程和代码，很快就能掌握的，当然，你也可以使用现成的爬虫软件，像八爪鱼、后羿等也都可以，网上也有相关教程和资料，非常丰富，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。
⑺ 如何爬取网站上的某一信息
两类网站可以用不同的方法去爬取
一、开放API的网站
一个网站如果开放了API，那么就可以直接GET到它的json数据。有三种方法可以判断一个网站是否开放了API。
1、在站内寻找API入口；
2、用搜索引擎搜索“某网站API”；
3、抓包。有的网站虽然用到了ajax，但是通过抓包还是能够获取XHR里的json数据的（可用抓包工具抓包，也可以通过浏览器按F12抓包：F12-Network-F5刷新）。
二、不开放API的网站
1、如果网站是静态页面，那么可以用requests库发送请求，再通过HTML解析库（lxml、parsel等）来解析响应的text；解析库强烈推荐parsel，不仅语法和css选择器类似，而且速度也挺快，Scrapy用的就是它。
2、如果网站是动态页面，可以先用selenium来渲染JS，再用HTML解析库来解析driver的page_source。
⑻ 如何用 Python 爬取需要登录的网站
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。
在本教程中，我们将从我们的bitbucket账户中爬取一个项目列表。
教程中的代码可以从我的Github中找到。
我们将会按照以下步骤进行：
提取登录需要的详细信息
执行站点登录
爬取所需要的数据
在本教程中，我使用了以下包（可以在requirements.txt中找到）：
Python
1
2
requests
lxml
步骤一：研究该网站
打开登录页面
进入以下页面 “bitbucket.org/account/signin”。你会看到如下图所示的页面（执行注销，以防你已经登录）
仔细研究那些我们需要提取的详细信息，以供登录之用
在这一部分，我们会创建一个字典来保存执行登录的详细信息：
1. 右击 “Username or email” 字段，选择“查看元素”。我们将使用 “name” 属性为 “username” 的输入框的值。“username”将会是 key 值，我们的用户名/电子邮箱就是对应的 value 值（在其他的网站上这些 key 值可能是 “email”，“ user_name”，“ login”，等等）。
2. 右击 “Password” 字段，选择“查看元素”。在脚本中我们需要使用 “name” 属性为 “password”的输入框的值。“password” 将是字典的 key 值，我们输入的密码将是对应的 value 值（在其他网站key值可能是 “userpassword”，“loginpassword”，“pwd”，等等）。
3. 在源代码页面中，查找一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。“csrfmiddlewaretoken” 将是 key 值，而对应的 value 值将是这个隐藏的输入值（在其他网站上这个 value 值可能是一个名为 “csrftoken”，“authenticationtoken”的隐藏输入值）。列如：“”。
最后我们将会得到一个类似这样的字典：
Python
1
2
3
4
5
payload = {
"username": "<USER NAME>",
"password": "<PASSWORD>",
"csrfmiddlewaretoken": "<CSRF_TOKEN>"
}
请记住，这是这个网站的一个具体案例。虽然这个登录表单很简单，但其他网站可能需要我们检查浏览器的请求日志，并找到登录步骤中应该使用的相关的 key 值和 value 值。
步骤2：执行登录网站
对于这个脚本，我们只需要导入如下内容：
Python
1
2
import requests
from lxml import html
首先，我们要创建session对象。这个对象会允许我们保存所有的登录会话请求。
Python
1
session_requests = requests.session()
第二，我们要从该网页上提取在登录时所使用的 csrf 标记。在这个例子中，我们使用的是 lxml 和 xpath 来提取，我们也可以使用正则表达式或者其他的一些方法来提取这些数据。
Python
1
2
3
4
5
login_url = "n/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
**更多关于xpath 和lxml的信息可以在这里找到。
接下来，我们要执行登录阶段。在这一阶段，我们发送一个 POST 请求给登录的 url。我们使用前面步骤中创建的 payload 作为 data 。也可以为该请求使用一个标题并在该标题中给这个相同的 url添加一个参照键。
Python
1
2
3
4
5
result = session_requests.post(
login_url,
data = payload,
headers = dict(referer=login_url)
)
步骤三：爬取内容
现在，我们已经登录成功了，我们将从bitbucket dashboard页面上执行真正的爬取操作。
Python
1
2
3
4
5
url = '/overview'
result = session_requests.get(
url,
headers = dict(referer = url)
)
为了测试以上内容，我们从 bitbucket dashboard 页面上爬取了项目列表。我们将再次使用 xpath 来查找目标元素，清除新行中的文本和空格并打印出结果。如果一切都运行 OK，输出结果应该是你 bitbucket 账户中的 buckets / project 列表。
Python
1
2
3
4
5
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print bucket_names
你也可以通过检查从每个请求返回的状态代码来验证这些请求结果。它不会总是能让你知道登录阶段是否是成功的，但是可以用来作为一个验证指标。
例如：
Python
1
2
result.ok # 会告诉我们最后一次请求是否成功
result.status_code # 会返回给我们最后一次请求的状态
⑼ 如何用 Python 爬取需要登录的网站
可以尝试添加相关cookie来试着去访问。自己先本地登录一下，然后抓取页面cookie，然后构造相应的请求，让他看起来像是登录过的，如果网站验证的不是特别严的话，是可以成功的。
还有一种方法，就是用Selenium框架，他会打开一个浏览器，然后访问指定url。但是还是免不了需要登录一次，但是登录过程，输入账号密码和点击登录按钮都是你可以模拟的。具体你可以参照官方文档。
⑽ 如何用python爬取网站数据
这里简单介绍一下吧，以抓取网站静态、动态2种数据为慧返拍例，实验环境win10+python3.6+pycharm5.0，主要内容如下：
抓取网站静态数据（数据在网页源码中）：以糗事网络网站数据为例
1.这里假设我们抓取的数据如下，主要包括用户昵称、内容、好笑数和评论数这4个字段，如下：
对应的网页源码如下，包含我们所需要的数据：
2.对应网页结构，主要代码如下，很简单，主要用到requests+BeautifulSoup，其中requests用于请求页面，BeautifulSoup用于解析页面：
程序运行截图如下，已经成功爬取到数据：
抓取网站动态数据（数据不在网页源码中，json等文件中）：以人人贷网站数据为例
1.这里假设我们爬取的是债券数据，主要包括年利率世型、借款标题、期限、金额和进度这5个字段信息，截图如下：
打开网页源码中，可以发现数据不在网页源码中，按F12抓包分析时，才发现在一个json文件中，如下：
2.获取到json文件的url后，我们就可以爬取对应数据了，这里使用的包与上面类似，因为是json文件，所以还用了json这个包（解析json），主要内容如下：
程序运行截图如下，前羡已经成功抓取到数据：
至此，这里就介绍完了这2种数据的抓取，包括静态数据和动态数据。总的来说，这2个示例不难，都是入门级别的爬虫，网页结构也比较简单，最重要的还是要会进行抓包分析，对页面进行分析提取，后期熟悉后，可以借助scrapy这个框架进行数据的爬取，可以更方便一些，效率更高，当然，如果爬取的页面比较复杂，像验证码、加密等，这时候就需要认真分析了，网上也有一些教程可供参考，感兴趣的可以搜一下，希望以上分享的内容能对你有所帮助吧。