⑴ 尖叫青蛙网络爬虫软件
Screaming Frog SEO Spider for Mac是一款专门用于抓取网址进行分析的网络爬虫开发工具，你可以通过这款软件来快速抓取网站中可能出现的损坏链接和服务器错误，或是识别网站中临时、永久重定向的链接循坏，同时还能检查出网址、网页标题、说明以及内容等信息中心可能出现的重复问题。喜欢这款软件吗？
Screaming Frog SEO Spider for Mac是一个网站爬虫，允许你抓取网站的网址，并获取关键要素，分析和审计技术和现场搜索引擎优化。
1、找到断开的链接
立即抓取网站并找到损坏的链接（404s）和服务器错误。批量导出错误和源URL以进行修复，或发送给开发人员。
2、审核重定向
查找临时和永久重定向，识别重定向链和循环，或上传URL列表以在站点迁移中进行审核。
3、分析页面标题和元数据
在抓取过程中分析页面标题和元描述，并识别网站中过长，短缺，缺失或重复的内容。
4、发现重复内容
使用md5算法检查发现完全重复的URL，部分重复的元素（如页面标题，描述或标题）以及查找低内容页面。
5、使用XPath提取数据
使用CSS Path，XPath或regex从网页的HTML中收集任何数据。这可能包括社交元标记，其他标题，价格，SKU或更多！
6、审查机器人和指令
查看被robots.txt，元机器人或X-Robots-Tag指令阻止的网址，例如'noindex'或'nofollow'，以及规范和rel =“next”和rel =“prev”。
7、生成XML站点地图
快速创建XML站点地图和图像XML站点地图，通过URL进行高级配置，包括上次修改，优先级和更改频率。
8、与Google Analytics集成
连接到Google AnalyticsAPI并针对抓取功能获取用户数据，例如会话或跳出率和转化次数，目标，交易和针对目标网页的收入。
9、抓取JavaScript网站
使用集成的Chromium WRS渲染网页，以抓取动态的，富含JavaScript的网站和框架，例如Angular，React和Vue.js.
10、可视化站点架构
使用交互式爬网和目录强制导向图和树形图站点可视化评估内部链接和URL结构。
快速摘要
错误 - 客户端错误，例如链接断开和服务器错误（无响应，4XX，5XX）。
重定向 - 永久，临时重定向（3XX响应）和JS重定向。
阻止的网址 - robots.txt协议不允许查看和审核网址。
阻止的资源 - 在呈现模式下查看和审核被阻止的资源。
外部链接 - 所有外部链接及其状态代码。
协议 - URL是安全的（HTTPS）还是不安全的（HTTP）。
URI问题 - 非ASCII字符，下划线，大写字符，参数或长URL。
重复页面 - 哈希值/ MD5checksums算法检查完全重复的页面。
页面标题 - 缺失，重复，超过65个字符，短，像素宽度截断，与h1相同或多个。
元描述 - 缺失，重复，超过156个字符，短，像素宽度截断或多个。
元关键字 - 主要供参考，因为它们不被谷歌，必应或雅虎使用。
文件大小 - 网址和图片的大小。
响应时间。
最后修改的标题。
页面（抓取）深度。
字数。
H1 - 缺失，重复，超过70个字符，多个。
H2 - 缺失，重复，超过70个字符，多个。
元机器人 - 索引，无索引，跟随，nofollow，noarchive，nosnippet，noodp，noydir等。
元刷新 - 包括目标页面和时间延迟。
规范链接元素和规范HTTP标头。
X-Robots-Tag中。
分页 - rel =“next”和rel =“prev”。
关注＆Nofollow - 在页面和链接级别（真/假）。
重定向链 - 发现重定向链和循环。
hreflang属性 - 审核缺少的确认链接，不一致和不正确的语言代码，非规范的hreflang等。
AJAX - 选择遵守Google现已弃用的AJAX抓取方案。
渲染 - 通过在JavaScript执行后抓取渲染的HTML来抓取像AngularJS和React这样的JavaScript框架。
Inlinks - 链接到URI的所有页面。
Outlinks - URI链接到的所有页面。
锚文本 - 所有链接文本。从带有链接的图像中替换文本。
图像 - 具有图像链接的所有URI和来自给定页面的所有图像。图像超过100kb，缺少替代文字，替代文字超过100个字符。
用户代理切换器 - 抓取Googlebot，Bingbot，Yahoo！Slurp，移动用户代理或您自己的自定义UA。
自定义HTTP标头 - 在请求中提供任何标头值，从Accept-Language到cookie。
自定义源代码搜索 - 在网站的源代码中找到您想要的任何内容！无论是谷歌分析代码，特定文本还是代码等。
自定义提取 - 使用XPath，CSS路径选择器或正则表达式从URL的HTML中删除任何数据。
Google Analytics集成 - 连接到Google AnalyticsAPI并在抓取过程中直接提取用户和转化数据。
Google Search Console集成 - 连接到Google Search Analytics API并针对网址收集展示次数，点击次数和平均排名数据。
外部链接度量标准 - 将Majestic，Ahrefs和Moz API中的外部链接指标拖入爬行以执行内容审核或配置文件链接。
XML站点地图生成 - 使用SEO蜘蛛创建XML站点地图和图像站点地图。
自定义robots.txt - 使用新的自定义robots.txt下载，编辑和测试网站的robots.txt。
渲染的屏幕截图 - 获取，查看和分析已爬网的渲染页面。
存储和查看HTML和呈现的HTML - 分析DOM的必要条件。
AMP抓取和验证 - 使用官方集成的AMP Validator抓取AMP网址并对其进行验证。
XML站点地图分析 - 单独爬网XML站点地图或爬行的一部分，以查找丢失的，不可索引的和孤立的页面。
可视化 - 使用爬网和目录树强制导向图和树图分析网站的内部链接和URL结构。
结构化数据和验证 - 根据Schema.org规范和Google搜索功能提取和验证结构化数据。
Screaming Frog SEO Spider for Mac可以帮助您从不同的网页上选择需要抓取的内容，软件具有网页蜘蛛功能，您可以让蜘蛛在网页上不断的搜索需要的资源，可以设置搜索的一个主要网页地址，并设置自定义分析扩展页面的功能。
⑵ 网络蜘蛛在哪里下载
双子星通用网络蜘蛛软件
1.0&t=2&fmt=-只有用迅雷才能下载，别的下载软件会提示没有找到资源。
{站长资源网免费提供各种网站源码
www.adminzy.com
}
⑶ 谁有制作网络蜘蛛视频教程的下载地址
http://bbs.54master.com/viewthread.php?tid=281245
⑷ 有什么办法把整个网页下载下来，在网上看小说，或看漫画时，常常要一页页地按，有什么软件能把整个网页下
介绍你几个网页下载工具，你可以试试看，下载链接我就不放出了，审核太麻烦
1、智能化的网页保存工具——网童
弘一网童(WebPortero)是一款智能化的保存网页工具，让你松保存网页。上网找资料免不了要保存文章、图片，在保存网页的过程中经常会遇到网页保存失败，网页不能拷贝的烦恼。通常需要保存的仅是网页的正文部分，只能采用\"拷贝\"、\"粘贴\"方法，将所需的正文内容复制到WORD或记事本中然后再\"保存\"，这样很慢也很麻烦，而且粘贴到WORD后经常会留下一堆去不掉的格式。有没有想象过只要点一下鼠标即可完成保存你需要的正文部分，不用你手工\"拷贝\"、\"粘贴\"呢？
用网童即可实现一键保存网页正文，网童最大的特点在于它的智能化，能够自动识别并提取正文内容，由此免去了繁杂的“拷贝粘贴”，只保存网页正文，生成的文件干净、清爽，没有垃圾。可谓是小智慧大方便。
网童还可以一次性保存网页的所有“下一页”，也可批量保存网页内容，免去逐一拷贝的烦恼；可以将网页保存成HTM、TXT、MHT、WORD多种格式；解决了不能“拷贝”的网页的内容获取；还可以批量保
2、网络蜘蛛
网络蜘蛛是一个自动搜索 HTML 页面并下载指定文件的软件。最初设计它是为了下载网站上的图片，想想看，面对那些动辄拥有数百幅图片的网站，你是否有耐心和时间一一点击查看和下载？而且在目前上网费用如此高昂的年代，在网站上慢慢地手工浏览和下载图片是不是太过奢侈了一点？如果你是一个图片收集爱好者得话，建议你试一试网络蜘蛛这个软件。它可以从你指定的地址开始，自动搜索网站并下载图片或其它软件。听起来似乎有点象离线浏览器或网站下载软件是吗？其实它们还是有些差别的，网络蜘蛛的设计目标主要是针对图片等一些比较零碎的、尺寸不是很大的文件的下载，并高度强调自动化工作和高可靠性。
3、Offline Explorer
Offline Explorer是相当方便使用的离线浏览工具，可排定抓取时间、设定Proxy，也可选择抓取的项目及大小，可自设下载的存放位置、及存放的空间限制。它内置浏览程序、可直接浏览或是使用自己喜欢的浏览器来浏览、且更可直接以全浏览窗切换来作网上浏览，另它对于抓取的网站更有MAP的提供、可更清楚整个网站的连结及目录结构。