『壹』 如何禁止網路爬蟲頻繁爬自己網站
可以設置robots.txt來禁止網路爬蟲來爬網站。
方法：
首先，你先建一個空白文本文檔（記事本），然後命名為：robots.txt；
（1）禁止所有搜索引擎訪問網站的任何部分。
User-agent: *
Disallow: /
（2）允許所有的robots訪問，無任何限制。
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
還可以建立一個空文件robots.txt或者不建立robots.txt。
（3）僅禁止某個搜索引擎的訪問（例如：網路spider）
User-agent: BaiSpider
Disallow:/
（4）允許某個搜索引擎的訪問（還是網路）
User-agent: BaiSpider
Disallow:
User-agent: *
Disallow: /
這里需要注意，如果你還需要允許谷歌bot，那麼也是在「User-agent: *」前面加上，而不是在「User-agent: *」後面。
（5）禁止Spider訪問特定目錄和特定文件（圖片、壓縮文件）。
User-agent: *
Disallow: /AAA.net/
Disallow: /admin/
Disallow: .jpg$
Disallow: .rar$
這樣寫之後，所有搜索引擎都不會訪問這2個目錄。需要注意的是對每一個目錄必須分開說明，而不要寫出「Disallow:/AAA.net/ /admin/」。
『貳』 如何防止網站被木馬入侵
1.掛木馬可能是一種代碼，讓別人打開你的網站的同時，就會超鏈接他事先設置好的木馬上了。
2.也可能是後門，也就是別人在你的網頁漏洞中添加了可以進出的一個門，這個門你自己可能都不知道。
3.是在你的網站下必要文件下安裝木馬，掛住你的網站，使得別人啟動網站，或自己啟動時中毒。
解決辦法：
1.進行殺毒，看是否有實體木馬存在，存在的話，殺掉它。
2.代碼查看，看是否有可疑代碼，有就刪除它，這個比較麻煩，但專業製作網站的，也不是很難。
3.最簡單的辦法，用可以掃描到網站木馬的軟體，自己弄好網站後，打開，帶掃描網頁的殺毒軟體可以直接掃描到你的代碼存在的問題，可以根據提示刪除。國內軟體目前沒有，國外的有，360可以知道有木馬，但卻無法刪除，但時興的AVAST殺毒軟體可以檢測出。一般人我不告訴他。
『叄』 怎麼防止網站被爬蟲爬取的幾種辦法
可以在網站的根目錄加上robot.txt文件，這樣就可以阻止爬蟲爬取了。
『肆』 有什麼好方法防止自己網頁的內容被採集
防止自己網頁的內容被採集有非常多的方法
方法一：內容配圖加水印
當你的文章中含有圖片時候，可以給圖片打上水印，這樣就留下了你的信息，對方要採集或者復制您文章後，不可能一張一張的去處水印，這樣也算是變相地幫助我們宣傳網站。
方法二：內容隨機穿插版權信息
在不影響用戶閱讀體驗的情況下，盡量在內容段落之間隨機插入一些之間的信息，比如：網站名字，鏈接，版權作者，QQ等，這樣的話，就算對方使用採集器過濾也不可能每篇文章都能過濾得掉。
方法三：作品結尾留作者信息及鏈接
不過這個方法作用不是很大，因為很多人復制或轉載內容時直接去掉了，可以參考方法二，適當在段落結尾處不影響閱讀的情況下下隨機插入較好。
方法四：主動推送網址給網路收錄
網路給出的鏈接提交方式有以下三種：
1、主動推送：最為快速的提交方式，推薦您將站點當天新產出鏈接立即通過此方式推送給網路，以保證新鏈接可以及時被網路收錄。
2、sitemap：您可以定期將網站鏈接放到sitemap中，然後將sitemap提交給網路。網路會周期性的抓取檢查您提交的sitemap，對其中的鏈接進行處理，但收錄速度慢於主動推送。
3、手工提交：一次性提交鏈接給網路，可以使用此種方式。
方法五：利用JS加密網頁內容
這個方法是在個別網站上看到的，非常暴力。缺點：搜索引擎爬蟲無法識別收錄和通殺所有採集器，針對極度討厭搜索引擎和採集器的網站的站長使用，量力而行，您能豁出去了，別人也就沒辦法採集你了。
方法六：網站隨機採用不同模版
分析：因為採集器是根據網頁結構來定位所需要的內容，一旦先後兩次模版更換，採集規則就失效，不錯。而且這樣對搜索引擎爬蟲沒影響。
適用網站：動態網站，並且不考慮用戶體驗。
採集器會怎麼做：一個網站模版不可能多於10個吧，每個模版弄一個規則就行了，不同模版採用不同採集規則。如果多於10個模版了，既然目標網站都那麼費勁的更換模版，成全他，撤。
方法七：利用腳本語言做分頁（隱藏分頁）
分析：還是那句，搜索引擎爬蟲不會針對各種網站的隱藏分頁進行分析，這影響搜索引擎對其收錄。但是，採集者在編寫採集規則時，要分析目標網頁代碼，懂點腳本知識的人，就會知道分頁的真實鏈接地址。
適用網站：對搜索引擎依賴度不高的網站，還有，採集你的人不懂腳本知識。
採集器會怎麼做：應該說採集者會怎麼做，他反正都要分析你的網頁代碼，順便分析你的分頁腳本，花不了多少額外時間。
方法八：限制IP地址單位時間的訪問次數
分析：沒有哪個常人一秒鍾內能訪問相同網站5次，除非是程序訪問，而有這種喜好的，就剩下搜索引擎爬蟲和討厭的採集器了。
弊端：一刀切，這同樣會阻止搜索引擎對網站的收錄。
適用網站：不太依靠搜索引擎的網站。
採集器會怎麼做：減少單位時間的訪問次數，減低採集效率。
希望可以幫到你！
『伍』 如何防止網站內容被別的網站惡意抓取
三種實用的方法。
1、文章頭尾加隨機廣告..
2、文章列表加隨機不同的鏈接標簽，比如<a href="",<a class="dds" href=''
3、正文頭尾或列表頭尾添加<!--重復特徵代碼-->
第一種防採集方法:
下面我詳細說一下這三種方法的實際應用:
如果全加上，絕對可以有效的防採集,單獨加一種就可以讓採集者頭疼。。
完全可以對付通用的CMS採集程序。。
在採集時,通常都是指定頭尾特徵從哪到哪過濾.這里我們先講第一種方法,文章頭尾加隨機廣告..
隨機廣告是不固定的。
比如你的文章內容是"歡迎訪問阿里西西",那麼隨機廣告的加入方法：
<div id="xxx">
隨機廣告1歡迎訪問阿里西西隨機廣告2
</div>
注:隨機廣告1和隨機廣告2每篇文章只要隨機顯示一個就可以了.
第二種防採集方法:
<!--<div id="xxx_文章ID">-->
其它標題或內容...
<!--<div id="xxx_文章ID">--> <div id="xxx_文章ID">
隨機廣告1歡迎訪問阿里西西隨機廣告2
<--</div>-->
</div>
<--</div>-->
這是第二種防採集方法。在文章正文頁面插入重復特徵頭尾代碼的注釋。
當然，這個可以用正則去掉，但足於對付通用的採集系統。。
第三種防採集方法:
第三種加在文章的列表，隨便鏈接樣式:
<a href="xxx.html">標題一</a>
<a alt="xxx" href="xxx.html">標題二</a>
<a href='xxx.html'>標題三</a>
<a href=xxx.html>標題四</a>
原理是讓採集的人無法抓到列表鏈接規律,無法批量進行採集.
如果三種方法全部加上,我想一定能讓想採集的人頭疼半天而放棄的..
如果你還問,如何防止別人復制採集呢?要做到這一點容易,把你的網站的網線拔了,自己給自己看就好了.哈哈.
如果你的文章來自原創,那像可以加上版權聲明,別人隨意轉載時,你可以要求對方刪除你有版權的文章.
『陸』 視頻網站怎麼防止爬蟲
分辨爬蟲的善惡。
網路爬蟲分為兩種，一種是善意爬蟲，例如網路、Google等搜索引擎的爬蟲，另一種是惡意爬蟲，它可能會利用網站漏洞，非法竊取網站數據，或者爬取網站內容，佔用伺服器資源。惡意爬蟲的行為是我們所深惡痛覺的，必須想盡辦法予以過濾和阻斷。網站或者某一些網頁不想被諸如網路、Googl等善意爬蟲爬取時，我們也希望能採取一些措施。
如何防止網站被爬蟲？
針對善意爬蟲，幾乎所有的搜索引擎爬蟲，都會遵守robots協議，只要我們在網站的根目錄下存放一個ASCII編碼的文本文件，告訴搜索引擎哪些頁面不能爬取，搜索引擎的蜘蛛便會遵照協議，不爬取指定頁面的內容。
但是robots並不是一個規范，而是一種君子協議，它只對善意爬蟲有效，並不能防止惡意爬蟲。
針對惡意爬蟲，我們可以採取以下措施來識別和阻斷它。
『柒』 怎麼防止別人扒自己網站
構築防火牆，防止黑客，最主要的是不要在網站放一些危險信息，不明鏈接
『捌』 怎麼可以防止網頁被抓取 - 技術問答
看你的需求了，可以搞得很復雜，也可以搞得很low。之前是做採集的，算不上大神級別。不過可以說80%以上的H5、網頁、app可以搞定。單擊和分布式爬蟲都弄過。日採集上千萬數據的不少。覆蓋也比較廣，視頻、電商、新聞、輿論分析類等等。總結起來，每個網站的難度都不一樣，99%數據是可以抓取到的。網路就是國內最大的爬蟲，所以想要完全禁止的，除非伺服器關了，數據刪了。否則要採集的手段太多了，無外乎就是出於成本上的考慮。
反爬蟲也是需要付出成本的，包括了體驗差導致用戶流失，內部用的走內網。給用戶用的只能做到減少，如果你的數據很有價值，建議是請一個有實力的技術做一些防護。網路上能回答的基本是有解的。
總結一下：反爬只能防君子，防不了小人，可以加大難度，方法也有很多。不過也只是加大採集成本
『玖』 如何設置讓網站禁止被爬蟲收錄
網站建設好了，當然是希望網頁被搜索引擎收錄的越多越好，但有時候我們也會碰到網站不需要被搜索引擎收錄的情況。
比如，要啟用一個新的域名做鏡像網站，主要用於PPC 的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網站的所有網頁。因為如果鏡像網站也被搜索引擎收錄的話，很有可能會影響官網在搜索引擎的權重。
以下列舉了屏蔽主流搜索引擎爬蟲（蜘蛛）抓取/索引/收錄網頁的幾種思路。注意：是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲（蜘蛛）。
1、通過 robots.txt 文件屏蔽
可以說 robots.txt 文件是最重要的一種渠道（能和搜索引擎建立直接對話），給出以下建議：
User-agent: Baispider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /
2、通過 meta tag 屏蔽
在所有的網頁頭部文件添加，添加如下語句：
<meta name="robots" content="noindex, nofollow">
3、通過伺服器（如：Linux/nginx ）配置文件設置
直接過濾 spider/robots 的IP 段。
小註：第1招和第2招只對「君子」有效，防止「小人」要用到第3招（「君子」和「小人」分別泛指指遵守與不遵守 robots.txt 協議的 spider/robots），所以網站上線之後要不斷跟蹤分析日誌，篩選出這些 badbot 的ip，然後屏蔽之。