网站怎么禁止爬虫

1. 网站不想让搜索引擎抓取怎么做

操作方式有三种，一种是直接在网站后台进行设置（目前只有wordpress和Zblog程序才有这个功能），另一种就是通过上传robots文件即可，最后一种就是在服务器上面利用“网站安全狗”软件设置静止抓取的方式。

一、wordpress在程序里面设置的方式

1-登录wordpress网站后台

通过以上的步骤就可以让搜索引擎不抓取网站的方式

2. 如何设置js 与html不让网络爬虫抓取

网络了一个方法，仅供参考。
robots.txt文件应该放置在网站根目录下。
robots.txt文件用法举例：
1. 允许所有的robot访问
User-agent: * Allow: / 或者 User-agent: * Disallow:

2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /

3. 仅禁止Baispider访问您的网站

User-agent: Baispider

Disallow: /

4. 仅允许Baispider访问您的网站
User-agent: Baispider
Disallow:

5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm

8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent:
Allow: .htm$
Disallow: /

例9. 禁止访问网站中所有的动态页面
User-agent:
Disallow: /*?*

10. 禁止Baispider抓取网站上所有图片
仅允许抓取网页，禁止抓取任何图片。
User-agent: Baispider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

11. 仅允许Baispider抓取网页和.gif格式图片
允许抓取网页和gif格式图片，不允许抓取其他格式图片
User-agent: Baispider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$

12. 仅禁止Baispider抓取.jpg格式图片
User-agent: Baispider
Disallow: .jpg$

3. 如何禁止网络爬虫频繁爬自己网站

可以设置robots.txt来禁止网络爬虫来爬网站。
方法：
首先，你先建一个空白文本文档（记事本），然后命名为：robots.txt；
（1）禁止所有搜索引擎访问网站的任何部分。
User-agent: *
Disallow: /
（2）允许所有的robots访问，无任何限制。
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
还可以建立一个空文件robots.txt或者不建立robots.txt。

（3）仅禁止某个搜索引擎的访问（例如：网络spider）
User-agent: BaiSpider
Disallow:/
（4）允许某个搜索引擎的访问（还是网络）
User-agent: BaiSpider
Disallow:
User-agent: *
Disallow: /
这里需要注意，如果你还需要允许谷歌bot，那么也是在“User-agent: *”前面加上，而不是在“User-agent: *”后面。
（5）禁止Spider访问特定目录和特定文件（图片、压缩文件）。
User-agent: *
Disallow: /AAA.net/
Disallow: /admin/
Disallow: .jpg$
Disallow: .rar$
这样写之后，所有搜索引擎都不会访问这2个目录。需要注意的是对每一个目录必须分开说明，而不要写出“Disallow:/AAA.net/ /admin/”。

4. 如何禁止搜索引擎爬虫（Spider）抓取网站页面

一般情况，大家都是希望搜索引擎爬虫尽可能多的抓取自己的网站，但有时也需要告诉爬虫不要抓取，比如，不要抓取镜像页面等。
以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。
1、通过 robots.txt 文件屏蔽

5. 如何禁止搜索引擎爬虫抓取网站页面

以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。

1、通过 robots.txt 文件屏蔽
可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话），给出以下建议：
User-agent: Baispider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /
2、通过 meta tag 屏蔽
在所有的网页头部文件添加，添加如下语句：
<meta name="robots" content="noindex, nofollow">
3、通过服务器（如：Linux/nginx ）配置文件设置
直接过滤 spider/robots 的IP 段。

6. 怎么防止网站被爬虫爬取的几种办法

可以在网站的根目录加上robot.txt文件，这样就可以阻止爬虫爬取了。

7. 如何防网站屏蔽爬虫

你可以在robot.txt中把爬虫的Agent禁止掉。看网络的参考资料。

8. 如何设置让网站禁止被爬虫收录

1、网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。要启用一个新的域名做镜像网站，主要用于PPC
的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重。
2、屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫。
3、通过
robots.txt
文件屏蔽，可以说
robots.txt
文件是最重要的一种渠道（能和搜索引擎建立直接对话）。通过
meta
tag
屏蔽，在所有的网页头部文件添加，添加如下语句：
。通过服务器（如：Linux/nginx
）配置文件设置，直接过滤
spider/robots
的IP
段。