⑴ 入侵靜態網站的方法
靜態網站是不好入侵的 。因為。html的網站沒有動態資料庫資料庫,你沒有辦法向其寫入數據。更沒有辦法寫入漏洞什麼的 ,像HTM的靜態網頁,跟本不返回信息到伺服器上運行,只是一個頁面而己。 當然,除非你能入侵到這個靜態網站的伺服器,進去以後遠程改動信息。
⑵ 如何防止網站被爬蟲爬取的幾種辦法
相較於爬蟲技術,反爬蟲實際上更復雜。目前許多互聯網企業都會花大力氣進行「反爬蟲」,網路爬蟲不但會占據過多的網站流量,導致有真正需求的用戶沒法進入網站,另外也有可能會導致網站關鍵數據的外泄等現象。網路爬蟲遍布互聯網的各個角落,因此網路爬蟲有好處也有壞處,接下來介紹一下和網路爬蟲一同誕生的反爬蟲技術,如何才能防止別人爬取自己的網站?
1、基於程序本身去防止爬取:作為爬蟲程序,爬取行為是對頁面的源文件爬取,如爬取靜態頁面的html代碼,可以用jquery去模仿寫html,這種方法偽裝的頁面就很難被爬取了,不過這種方法對程序員的要求很高。
2、基於iptables和shell腳本:可以對nginx的access.log進行策略定義,例如定義在1分鍾內並發連接數超過30個ip為非法,如ip不在白名單內,則加入iptables策略封掉,當然這種的缺點是會有「誤傷」,策略細粒度越小就會有更多的「誤傷」,細粒度大就會使效果變差,另外還有類似的第三方工具fail2ban,利用做filter和actor對一些有危害的操作記錄或是封ip。但是對於某個特定的爬蟲地址(例如網易、有道)的爬取行為拒絕也很難准確做到,因為你無法准確知道這些特定的爬蟲ip地址。注意:建議不要用封ip條目的方式,iptables列表長度是65535時就會封滿,伺服器也就會死機。
3.使用robots.txt文件:例如阻止所有的爬蟲爬取,但是這種效果不是很明顯。
User-agent: *
Disallow: /
4.使用nginx的自帶功能:通過對httpuseragent阻塞來實現,包括GET/POST方式的請求,以nginx為例,具體步驟如下:
編輯nginx.conf
拒絕以wget方式的httpuseragent,增加如下內容
## Block http user agent - wget ##
if ($http_user_agent ~* (Wget) ) {
return 403;
}
## Block Software download user agents ##
if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403;
平滑啟動
# /usr/local/nginx/sbin/nginx -s reload
如何拒絕多種httpuseragent,內容如下:
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
return 403;
}
大小寫敏感匹配
### 大小寫敏感http user agent拒絕###
if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {
return 403;
}
### 大小寫不敏感http user agent拒絕###
if ($http_user_agent ~* (foo|bar) ) {
return 403;
}
注意語法:~*表示是大小寫不敏感,~表示是大小寫敏感
}
以上就是預防網站信息被別人爬取的一些方法,大量的爬取行為會對web伺服器的性能有影響,所以一定要注重反爬蟲措施。