‘壹’ 如何禁止网络爬虫频繁爬自己网站
可以设置robots.txt来禁止网络爬虫来爬网站。
方法：
首先，你先建一个空白文本文档（记事本），然后命名为：robots.txt；
（1）禁止所有搜索引擎访问网站的任何部分。
User-agent: *
Disallow: /
（2）允许所有的robots访问，无任何限制。
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
还可以建立一个空文件robots.txt或者不建立robots.txt。
（3）仅禁止某个搜索引擎的访问（例如：网络spider）
User-agent: BaiSpider
Disallow:/
（4）允许某个搜索引擎的访问（还是网络）
User-agent: BaiSpider
Disallow:
User-agent: *
Disallow: /
这里需要注意，如果你还需要允许谷歌bot，那么也是在“User-agent: *”前面加上，而不是在“User-agent: *”后面。
（5）禁止Spider访问特定目录和特定文件（图片、压缩文件）。
User-agent: *
Disallow: /AAA.net/
Disallow: /admin/
Disallow: .jpg$
Disallow: .rar$
这样写之后，所有搜索引擎都不会访问这2个目录。需要注意的是对每一个目录必须分开说明，而不要写出“Disallow:/AAA.net/ /admin/”。
‘贰’ 如何防止网站被木马入侵
1.挂木马可能是一种代码，让别人打开你的网站的同时，就会超链接他事先设置好的木马上了。
2.也可能是后门，也就是别人在你的网页漏洞中添加了可以进出的一个门，这个门你自己可能都不知道。
3.是在你的网站下必要文件下安装木马，挂住你的网站，使得别人启动网站，或自己启动时中毒。
解决办法：
1.进行杀毒，看是否有实体木马存在，存在的话，杀掉它。
2.代码查看，看是否有可疑代码，有就删除它，这个比较麻烦，但专业制作网站的，也不是很难。
3.最简单的办法，用可以扫描到网站木马的软件，自己弄好网站后，打开，带扫描网页的杀毒软件可以直接扫描到你的代码存在的问题，可以根据提示删除。国内软件目前没有，国外的有，360可以知道有木马，但却无法删除，但时兴的AVAST杀毒软件可以检测出。一般人我不告诉他。
‘叁’ 怎么防止网站被爬虫爬取的几种办法
可以在网站的根目录加上robot.txt文件，这样就可以阻止爬虫爬取了。
‘肆’ 有什么好方法防止自己网页的内容被采集
防止自己网页的内容被采集有非常多的方法
方法一：内容配图加水印
当你的文章中含有图片时候，可以给图片打上水印，这样就留下了你的信息，对方要采集或者复制您文章后，不可能一张一张的去处水印，这样也算是变相地帮助我们宣传网站。
方法二：内容随机穿插版权信息
在不影响用户阅读体验的情况下，尽量在内容段落之间随机插入一些之间的信息，比如：网站名字，链接，版权作者，QQ等，这样的话，就算对方使用采集器过滤也不可能每篇文章都能过滤得掉。
方法三：作品结尾留作者信息及链接
不过这个方法作用不是很大，因为很多人复制或转载内容时直接去掉了，可以参考方法二，适当在段落结尾处不影响阅读的情况下下随机插入较好。
方法四：主动推送网址给网络收录
网络给出的链接提交方式有以下三种：
1、主动推送：最为快速的提交方式，推荐您将站点当天新产出链接立即通过此方式推送给网络，以保证新链接可以及时被网络收录。
2、sitemap：您可以定期将网站链接放到sitemap中，然后将sitemap提交给网络。网络会周期性的抓取检查您提交的sitemap，对其中的链接进行处理，但收录速度慢于主动推送。
3、手工提交：一次性提交链接给网络，可以使用此种方式。
方法五：利用JS加密网页内容
这个方法是在个别网站上看到的，非常暴力。缺点：搜索引擎爬虫无法识别收录和通杀所有采集器，针对极度讨厌搜索引擎和采集器的网站的站长使用，量力而行，您能豁出去了，别人也就没办法采集你了。
方法六：网站随机采用不同模版
分析：因为采集器是根据网页结构来定位所需要的内容，一旦先后两次模版更换，采集规则就失效，不错。而且这样对搜索引擎爬虫没影响。
适用网站：动态网站，并且不考虑用户体验。
采集器会怎么做：一个网站模版不可能多于10个吧，每个模版弄一个规则就行了，不同模版采用不同采集规则。如果多于10个模版了，既然目标网站都那么费劲的更换模版，成全他，撤。
方法七：利用脚本语言做分页（隐藏分页）
分析：还是那句，搜索引擎爬虫不会针对各种网站的隐藏分页进行分析，这影响搜索引擎对其收录。但是，采集者在编写采集规则时，要分析目标网页代码，懂点脚本知识的人，就会知道分页的真实链接地址。
适用网站：对搜索引擎依赖度不高的网站，还有，采集你的人不懂脚本知识。
采集器会怎么做：应该说采集者会怎么做，他反正都要分析你的网页代码，顺便分析你的分页脚本，花不了多少额外时间。
方法八：限制IP地址单位时间的访问次数
分析：没有哪个常人一秒钟内能访问相同网站5次，除非是程序访问，而有这种喜好的，就剩下搜索引擎爬虫和讨厌的采集器了。
弊端：一刀切，这同样会阻止搜索引擎对网站的收录。
适用网站：不太依靠搜索引擎的网站。
采集器会怎么做：减少单位时间的访问次数，减低采集效率。
希望可以帮到你！
‘伍’ 如何防止网站内容被别的网站恶意抓取
三种实用的方法。
1、文章头尾加随机广告..
2、文章列表加随机不同的链接标签，比如<a href="",<a class="dds" href=''
3、正文头尾或列表头尾添加<!--重复特征代码-->
第一种防采集方法:
下面我详细说一下这三种方法的实际应用:
如果全加上，绝对可以有效的防采集,单独加一种就可以让采集者头疼。。
完全可以对付通用的CMS采集程序。。
在采集时,通常都是指定头尾特征从哪到哪过滤.这里我们先讲第一种方法,文章头尾加随机广告..
随机广告是不固定的。
比如你的文章内容是"欢迎访问阿里西西",那么随机广告的加入方法：
<div id="xxx">
随机广告1欢迎访问阿里西西随机广告2
</div>
注:随机广告1和随机广告2每篇文章只要随机显示一个就可以了.
第二种防采集方法:
<!--<div id="xxx_文章ID">-->
其它标题或内容...
<!--<div id="xxx_文章ID">--> <div id="xxx_文章ID">
随机广告1欢迎访问阿里西西随机广告2
<--</div>-->
</div>
<--</div>-->
这是第二种防采集方法。在文章正文页面插入重复特征头尾代码的注释。
当然，这个可以用正则去掉，但足于对付通用的采集系统。。
第三种防采集方法:
第三种加在文章的列表，随便链接样式:
<a href="xxx.html">标题一</a>
<a alt="xxx" href="xxx.html">标题二</a>
<a href='xxx.html'>标题三</a>
<a href=xxx.html>标题四</a>
原理是让采集的人无法抓到列表链接规律,无法批量进行采集.
如果三种方法全部加上,我想一定能让想采集的人头疼半天而放弃的..
如果你还问,如何防止别人复制采集呢?要做到这一点容易,把你的网站的网线拔了,自己给自己看就好了.哈哈.
如果你的文章来自原创,那像可以加上版权声明,别人随意转载时,你可以要求对方删除你有版权的文章.
‘陆’ 视频网站怎么防止爬虫
分辨爬虫的善恶。
网络爬虫分为两种，一种是善意爬虫，例如网络、Google等搜索引擎的爬虫，另一种是恶意爬虫，它可能会利用网站漏洞，非法窃取网站数据，或者爬取网站内容，占用服务器资源。恶意爬虫的行为是我们所深恶痛觉的，必须想尽办法予以过滤和阻断。网站或者某一些网页不想被诸如网络、Googl等善意爬虫爬取时，我们也希望能采取一些措施。
如何防止网站被爬虫？
针对善意爬虫，几乎所有的搜索引擎爬虫，都会遵守robots协议，只要我们在网站的根目录下存放一个ASCII编码的文本文件，告诉搜索引擎哪些页面不能爬取，搜索引擎的蜘蛛便会遵照协议，不爬取指定页面的内容。
但是robots并不是一个规范，而是一种君子协议，它只对善意爬虫有效，并不能防止恶意爬虫。
针对恶意爬虫，我们可以采取以下措施来识别和阻断它。
‘柒’ 怎么防止别人扒自己网站
构筑防火墙，防止黑客，最主要的是不要在网站放一些危险信息，不明链接
‘捌’ 怎么可以防止网页被抓取 - 技术问答
看你的需求了，可以搞得很复杂，也可以搞得很low。之前是做采集的，算不上大神级别。不过可以说80%以上的H5、网页、app可以搞定。单击和分布式爬虫都弄过。日采集上千万数据的不少。覆盖也比较广，视频、电商、新闻、舆论分析类等等。总结起来，每个网站的难度都不一样，99%数据是可以抓取到的。网络就是国内最大的爬虫，所以想要完全禁止的，除非服务器关了，数据删了。否则要采集的手段太多了，无外乎就是出于成本上的考虑。
反爬虫也是需要付出成本的，包括了体验差导致用户流失，内部用的走内网。给用户用的只能做到减少，如果你的数据很有价值，建议是请一个有实力的技术做一些防护。网络上能回答的基本是有解的。
总结一下：反爬只能防君子，防不了小人，可以加大难度，方法也有很多。不过也只是加大采集成本
‘玖’ 如何设置让网站禁止被爬虫收录
网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。
比如，要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重。
以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。
1、通过 robots.txt 文件屏蔽
可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话），给出以下建议：
User-agent: Baispider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /
2、通过 meta tag 屏蔽
在所有的网页头部文件添加，添加如下语句：
<meta name="robots" content="noindex, nofollow">
3、通过服务器（如：Linux/nginx ）配置文件设置
直接过滤 spider/robots 的IP 段。
小注：第1招和第2招只对“君子”有效，防止“小人”要用到第3招（“君子”和“小人”分别泛指指遵守与不遵守 robots.txt 协议的 spider/robots），所以网站上线之后要不断跟踪分析日志，筛选出这些 badbot 的ip，然后屏蔽之。