⑴ 如何屏蔽網站蜘蛛的訪問
我的網站建好後什麼結構與內容都沒有確定好之前，我怎麼去屏蔽搜索引擎蜘蛛不來訪問我的網站，不收錄我的網站，這樣才不會給我的網站造成損失，其實這樣的問題再網路也有很多種回答，可能是由於答案太多太亂的緣故，有很多的人都找不到比較權威的回答，前面我們在文章里講到一些新手SEO推廣建站需注意的問題裡面沒有講到關於屏蔽蜘蛛的這一項，現在為大家介紹一下，總體的給大家歸納一下吧！在這里給大家介紹兩種方法，如下：一、創建robots.txt文件，並將文件放置在網站根目錄。 文件的內容如下： 1、禁止所有搜索引擎訪問網站的任何部分 User-agent: * Disallow: / 大家知道為什麼要創建一個robots.txt的文件嗎，也許有很多的都知道建立這個文件就可以屏蔽蜘蛛的訪問，不讓搜索引擎抓取到自己的網站。在這里我想告訴你的是，不管任何的搜索引擎他來到了你的網站。首先訪問的就是你的robots.txt日誌文件，當你在robots.txt里設置許可權不讓搜索引擎訪問，那麼蜘蛛也會遵守互聯網的協議進行返回，這就是為什麼我們要建立robots.txt文析的原因。 二、在模版的header.php的文件時添加一段代碼，因為蜘蛛來到你的網站是由上到下訪問的，所以剛開始訪問到的肯定是從header<頂部>開始抓取。所以如果我們在頂部里設置好屏蔽蜘蛛的訪問代碼後，蜘蛛也會跟第一條一樣遵守協議返回。屏蔽蜘蛛訪問代碼如下：<meta name=」Robots」 content=」noindex,nofollow」> 通過以上兩種方法的話，我們基本上可以屏蔽搜索引擎蜘蛛訪問到我們的網站，這樣我們就可以去安心的做好網站的結構與內容之後再開放蜘蛛的訪問。
⑵ 怎樣防止蜘蛛
把蜘蛛網弄掉 避免是很難的 除非把你房間密封了 家裡碰到蜘蛛一般都是無毒的 你只要想著你不招惹他 他也就不會招惹你就行了 這個和蜜蜂是一樣的 沒什麼好怕的 防止蜘蛛的話就可以用紗網 在門 窗戶上面都裝一下就行了 蜘蛛還可以防蚊子 就是蜘蛛網弄久了有點煩人 也沒什麼
⑶ 網站如何被蜘蛛抓取並取得較好排名的優化技
1.網站及頁面權重。
這個肯定是首要的了，權重高、資格老、有權威的網站蜘蛛是肯定特殊對待的，這樣的網站抓取的頻率非常高，而且大家知道搜索引擎蜘蛛為了保證高效，對於網站不是所有頁面都會抓取的，而網站權重越高被爬行的深度也會比較高，相應能被抓取的頁面也會變多，這樣能被收錄的頁面也會變多。
2.網站伺服器。
網站伺服器是網站的基石，網站伺服器如果長時間打不開，那麼這相當與你閉門謝客，蜘蛛想來也來不了。網路蜘蛛也是網站的一個訪客，如果你伺服器不穩定或是比較卡，蜘蛛每次來抓取都比較艱難，並且有的時候一個頁面只能抓取到一部分，這樣久而久之，網路蜘蛛的體驗越來越差，對你網站的評分也會越來越低，自然會影響對你網站的抓取，所以選擇空間伺服器一定要捨得，沒有一個好的地基，再好的房子也會跨。
3.網站的更新頻率。
蜘蛛每次爬行都會把頁面數據存儲起來。如果第二次爬行發現頁面與第一次收錄的完全一樣，說明頁面沒有更新，蜘蛛也就沒有必要經常抓取了。頁面內容經常更新，蜘蛛就會更加頻繁的訪問頁面，但是蜘蛛不是你一個人的，不可能就在這蹲著等你更新，所以我們要主動向蜘蛛示好，有規律的進行文章更新，這樣蜘蛛就會根據你的規律有效的過來抓取，不僅讓你的更新文章能更快的抓取到，而且也不會造成蜘蛛經常性的白跑一趟。
4.文章的原創性。
優質的原創內容對於網路蜘蛛的誘惑力是非常巨大的，蜘蛛存在的目的就是尋找新東西，所以網站更新的文章不要採集、也不要每天都是轉載，我們需要給蜘蛛真正有價值的原創內容，蜘蛛能得到喜歡的，自然會對你的網站產生好感，經常性的過來覓食。
5.扁平化網站結構。
蜘蛛抓取也是有自己的線路的，在之前你就給他鋪好路，網站結構不要過於復雜，鏈接層次不要太深，如果鏈接層次太深，後面的頁面很難被蜘蛛抓取到。
6.網站程序。
在網站程序之中，有很多程序可以製造出大量的重復頁面，這個頁面一般都是通過參數來實現的，當一個頁面對應了很多URL的時候，就會造成網站內容重復，可能造成網站被降權，這樣就會嚴重影響到蜘蛛的抓取，所以程序上一定要保證一個頁面只有一個URL，如果已經產生，盡量通過301重定向、Canonical標簽或者robots進行處理，保證只有一個標准URL被蜘蛛抓取。
7.外鏈建設。
大家都知道，外鏈可以為網站引來蜘蛛，特別是在新站的時候，網站不是很成熟，蜘蛛來訪較少，外鏈可以增加網站頁面在蜘蛛面前的曝光度，防止蜘蛛找不到頁面。在外鏈建設過程中需要注意外鏈的質量，別為了省事做一些沒用的東西，網路現在對於外鏈的管理相信大家都知道，我就不多說了，不要好心辦壞事了。
8.內鏈建設。
蜘蛛的爬行是跟著鏈接走的，所以內鏈的合理優化可以要蜘蛛抓取到更多的頁面，促進網站的收錄。內鏈建設過程中要給用戶合理推薦，除了在文章中增加錨文本之外，可以設置相關推薦，熱門文章，更多喜歡之類的欄目，這是很多網站都在利用的，可以讓蜘蛛抓取更大范圍的頁面。
9.首頁推薦。
首頁是蜘蛛來訪次數最多的頁面，也是網站權重最高的頁面，可以在首頁設置更新版塊，這樣不僅能讓首頁更新起來，促進蜘蛛的來訪頻率，而且可以促進更新頁的抓取收錄。同理在欄目頁也可以進行此操作。
10.檢查死鏈，設置404頁面
搜索引擎蜘蛛是通過鏈接來爬行搜索，如果太多鏈接無法到達，不但收錄頁面數量會減少，而且你的網站在搜索引擎中的權重會大大降低。蜘蛛在遇見死鏈就像進了死胡同，又得折返重新來過，大大降低蜘蛛在網站的抓取效率，所以一定要定期排查網站的死鏈，向搜索引擎提交，同時要做好網站的404頁面，告訴搜索引擎錯誤頁面。
11.檢查robots文件
很多網站有意無意的直接在robots文件屏蔽了網路或網站部分頁面，卻整天在找原因為什麼蜘蛛不來抓取我的頁面，這能怪網路嗎?你都不讓別人進門了，網路是怎麼收錄你的網頁?所以有必要時常去檢查一下網站robots文件是否正常。
12.建設網站地圖。
搜索引擎蜘蛛非常喜歡網站地圖，網站地圖是一個網站所有鏈接的容器。很多網站的鏈接層次比較深，蜘蛛很難抓取到，網站地圖可以方便搜索引擎蜘蛛抓取網站頁面，通過抓取網站頁面，清晰了解網站的架構，所以建設一個網站地圖不僅提高抓取率還能獲得蜘蛛好感。
13.主動提交
每次更新完頁面，主動把內容向搜索引擎提交一下也是一個不錯的辦法，只不過不要沒收錄就一直去提交，提交一次就夠了，收不收錄是搜索引擎的事，提交不代表就要收錄。
14.監測蜘蛛的爬行。
利用網站日誌監測蜘蛛正在抓取哪些頁面、抓取過哪些頁面，還可以利用站長工具對蜘蛛的爬行速度進行查看，合理分配資源，以達到更高的抓取速度和勾引更多的蜘蛛。
⑷ 怎麼防蜘蛛
蜘蛛是害蟲的天敵，我是不建議你消滅他們的，因為蜘蛛喜歡捕食新鮮肉食，對家庭中的蒼蠅，蚊子有很大的控製作用。
如果真的要消滅他們，
1，可以用掃把等把他們的網破壞掉；
2，可以使用毒性很低的石灰水噴灑地面和角落，過幾天再掃除掉；
3，如果是城市就不說了，如果是在農村，可以把秸稈在植株經常出沒的地方紮成一捆，誘集他們鑽進去白天棲息，然後集中燒掉；
4，可以焚燒艾葉，蚊香等驅避它們；
5，可以選擇對人畜低毒的三氯殺蟎醇噴灑。
⑸ 如何阻止壞蜘蛛機器人採集網站數據
1、在robot.txt進行設置阻止(這招只能防君子,不能防小人)
在robot.txt中進行設置阻止某些特定頁面,然後在訪問頁面中增加這些特定頁面的鏈接,然後hidden掉,如果有人訪問到了這個頁面, 直接封ip(優點是防止了一些垃圾搜索引擎的蜘蛛,但是對國內火車頭之類的這種按規則抓取的蜘蛛還是沒辦法阻止)
在apache端進行訪問日誌記錄, 對某段時間內訪問頻率太高,超過某個限額的直接封ip(問題是要是有的人在找某個笑話,到處翻頁,到處找,估計頻率也會高,會造成正常人訪問不了, 或者不小心就把Bai和Google幹掉了)
修改頁面的標簽,css, 隨機在頁面內容顯示排版中用不同的模板,或者不同的html標簽, 造成寫智能抓取的蜘蛛規則的人很辛苦,導致採集不順利.(到是一個辦法,不過似乎維護成本太高了, 而且如果是根據標簽在html document中的順序和次序來抓取的話,這個辦法也是沒用效果的)
在內容中加在自己網站的網址,或者廣告之類的.(對一些菜鳥寫蜘蛛的人能防止,但是對於高手還不是一樣的可以把這些廣告過濾掉)
用js加密內容(防止了抓取,但是這樣就會導致所有的蜘蛛機器人抓取內容都是加密,對搜索引擎優化不好)
全站Flash(同上)
全站Ajax(同上)
... ...
這些方法只能組織正規蜘蛛的訪問，不能達到：阻止非人類行為抓取數據，允許指定的搜索引擎任意抓取，允許正常人類任意瀏覽
那麼採用採用什麼方法才能真正做到呢?下面的就是了，雖然不能完全阻止，但是很有用：
1、記錄用戶的訪問頻率, 然後頻率超過某個限制, 彈出頁面驗證碼,用戶輸入驗證碼後才可以繼續
2、判斷來路的搜索引擎是否網路和Google,如果是則不進行訪問頻率限制.不能通過User-agent來做, 因為User-agent是可以模擬的. 應該通過IP反解來做:
host 66.249.71.6就會得到如下信息
6.71.249.66.in-addr.arpa domain name pointer crawl-66-249-71-6.googlebot.com.
OK, 是Google的蜘蛛, 這個IP可以任意採集了, 注: IP反解析出來的信息是不可以偽造的, 是通過向專門的機構申請得到.
剩下的的問題就是在人類訪問太頻繁的時候,輸入下驗證碼就可以了。
⑹ 如何禁止蜘蛛抓取動態頁面
User-agent: *
其中有些命令是禁止抓取一些不必要的內容，以免防止蜘蛛抓取過度分散，網站權重也不會過於分散，這樣有利於網路收錄，更有利於讓部分內容更得以搜索引擎的重視：
User-agent: *
Disallow: /wp-
Allow: /wp-content/uploads/
Disallow: /feed
Disallow: /*/*/feed
Disallow: /trackback
Disallow: /*/*/trackback
Disallow: /index.php/
Disallow: /*.php$
Disallow: /*.css$
Disallow: /date/
⑺ 怎樣防蜘蛛
每種蜘蛛都有毒
就算你放樟腦丸也沒用
蜘蛛比較喜歡在角落的地方織網
很簡單
防止蜘蛛的方法就是破壞的他的網
當然是定期破壞
拿個掃帚
經常清理牆角就行
不過說句實話
蜘蛛在家是個好事
這樣就沒蚊子了
仔細想下自己和動物間的關系
其實昆蟲是防不勝防的
就像每個人皮膚裡面都埋藏了很多蜘蛛的近親
蟎蟲一樣
包括耳道裡面也有
與其趕走了昆蟲
它們再來你再趕
搞得煩不勝煩
倒不如對這小東西產生敬佩之情
畢竟昆蟲在我們之前的數億年就已經統一天下了
報著寬容的心去適應它們
欣賞大自然的傑作不是更好的選擇嗎？
⑻ 如何防止蜘蛛每天在窗口結網
1、這個好像沒什麼好辦法，不過每天清理一次應該會好些。
2、殺蟲劑對蜘蛛的傷害不小，可以嘗試。
3、養幾只黃蜂（一般來說這東西毒性比蜘蛛還大），每天在窗口巡視一圈。
4、不清理，每天會有天然的屏障幫你抵擋蚊蟲，而且織網的蜘蛛又不會亂跑去咬人。