A. 在網站後台添加查看爬蟲的痕跡記錄器方法
1、通過在你的程序中加入訪問日誌功能，並記錄來訪者的瀏覽器信息，從中分析請求信息。
2、通過開啟伺服器的訪問日誌功能，查看訪問日誌，一般網路、google的爬蟲都有特殊的主機信息。
B. 新網站通過日誌怎麼看百度爬蟲是否倆過
有相對應的 工具的 你把入職導入進去就知道了 自己看的話那就要對比網路的IP然後看他的返回值
C. 如何分析網站網頁爬蟲爬取規則
既然確定了用爬蟲來自動整理文章，你得先理解爬蟲是什麼。爬蟲說白了就是一個腳本程序。說到腳本，我們平時遇到一些費時費力又容易出錯的活兒，都可以把用到的命令寫到腳本里，讓計算機自動來執行。測試同學說的自動化腳本，運維同學說的環境配置腳本，都是這個意思。一個腳本包含了很多命令，一個接一個，告訴計算機第一步干什麼，之後干什麼，最後干什麼。
在這里，我們的目標很明確，就是寫一個爬蟲腳本，讓計算機一步一步的把「給產品經理講技術」的所有歷史文章，保存成pdf。
歷史文章哪裡去找？正好，微信公眾號的關注界面有一個查看歷史消息的鏈接。
點開歷史消息，這個頁面每次顯示10篇文章，如果用戶滑到底，就會再載入10篇出來，典型的非同步載入。我們要找的，就是每篇文章的URL地址。只要找到所有文章的URL，就能下載到每篇文章的內容和圖片，然後就可以進一步加工處理成pdf了。
為此，我們長按頁面選擇在瀏覽器中打開，然後把地址欄里的URL復制出來，發送到電腦上，用Chrome打開。用Chrome的最大好處，就是它有一個「開發人員工具」，可以直接查看網頁的源碼。按下command+option+L，打開開發人員工具，就能看到這個網頁的源碼了。我們要找的東西，就藏在這些亂七八糟的HTML代碼里。
如何從HTML源碼里找到我們想要的文章鏈接呢？
這要從HTML的結構說起。HTML全稱超文本標記語言，所謂標記，就是說是它通過很多標簽來描述一個網頁。你看到很多像以開始，以結束的標志，就是標簽。這些標簽一般成對出現，標簽裡面還可以套標簽，表示一種層級關系。最外面的html標簽是最大的，head、body次之，一層一層下來，最後才是一段文字，一個鏈接。你可以把它類比成一個人，這個人叫html，有head，有body，body上有hand，hand上面有finger。
扯遠了，一些常用的標簽：
1、<head>。一個網頁的很多重要信息，都是在這里聲明的。比如說標題，就是在<head>下的<title>里定義的。一個網頁用到的CSS樣式，可以在<head>下的<style>里定義。還有你寫的JavaScript代碼，也可以在<head>下的<script>里定義。
2、<body>。它包含的東西就多了，基本上我們能看到的東西，一段文字，一張圖片，一個鏈接，都在這裡面。比如說：
<p>表示一個段落
<h1>是一段文字的大標題
<a>表示一個鏈接
<img>表示一張圖
<form>是一個表單
<div>是一個區塊
計算機是如何理解HTML的標簽的呢？其實很簡單，它就是一棵樹。你可以把<html>當做樹根，從樹根上分出<head>和<body>，各個分支上又有新的分支，直到不能再分為止。這有點類似我們電腦上存放的文件。假設你有一本《21天學習C++》的電子書，存在D盤、study文件夾下的CS文件夾里。而study文件夾里除了CS文件夾，還有GRE、島國文化等目錄，代表著另一個分支體系。這也是一棵樹。樹上的每一片葉子，都有一條從根部可以到達的路徑，可以方便計算機去查找。
回到正題，有了這些基礎知識，我么再來看微信這個歷史消息頁面。從最外層的<html>標簽開始，一層一層展開，中間有<body>、有<div>、最後找到一個<a>標簽，標簽裡面的hrefs就是每篇文章的URL了。把這個URL復制下來，在新的TAB打開，確認確實是文章的地址。
現在我們通過分析一個網頁的結構、標簽，找到了我們想要的文章URL，我們就可以寫爬蟲去模擬這個過程了。爬蟲拿到網頁之後，我們可以用正則表達式去查找這個<a>標簽，當然，也可以用一些更高級的手段來找。
D. 如何識別ip是否為百度蜘蛛爬蟲ip
登錄網站空間後台，找到當天的網站日誌
按住「ctrl+F」搜索「spider"爬行記錄。
選中其中一個「spider」對應的ip地址
打開電腦cmd窗口。
在CMD窗口中輸入「tracert+ip」回車。tracert後面一定要空格之後在輸入ip地址
查看是否有「spider」字樣，如果有說明是網路的蜘蛛，如果沒有則不是