A. python怎麼爬取網站數據
很簡單，三步，用爬蟲框架scrapy
1. 定義item類
2. 開發spider類
3. 開發pipeline
如果有不會的，可以看一看《瘋狂python講義》
B. 如何爬取網站上的某一信息
兩類網站可以用不同的方法去爬取
一、開放API的網站
一個網站如果開放了API，那麼就可以直接GET到它的json數據。有三種方法可以判斷一個網站是否開放了API。
1、在站內尋找API入口；
2、用搜索引擎搜索「某網站API」；
3、抓包。有的網站雖然用到了ajax，但是通過抓包還是能夠獲取XHR里的json數據的（可用抓包工具抓包，也可以通過瀏覽器按F12抓包：F12-Network-F5刷新）。
二、不開放API的網站
1、如果網站是靜態頁面，那麼可以用requests庫發送請求，再通過HTML解析庫（lxml、parsel等）來解析響應的text；解析庫強烈推薦parsel，不僅語法和css選擇器類似，而且速度也挺快，Scrapy用的就是它。
2、如果網站是動態頁面，可以先用selenium來渲染JS，再用HTML解析庫來解析driver的page_source。
C. 如何用30行代碼爬取Google Play 100萬個App的數據
基礎工作:
內置元素選擇器
序列化和存儲數據
處理cookie、HTTP頭這些東西的中間件
爬取 Sitemap 或者 RSS
等等
我的需求是爬取 Google Play 市場上的所有 App 的頁面鏈接以及下載數量。
首先確保配置好 Python 2.7, MongoDB 資料庫, 以及 Python 的 pip 包管理系統。
然後安裝對應的 Python 包並且生成項目模板：
pip install scrapy scrapy-mongodb
scrapy startproject app
cd app
scrapy genspider google
然後把 app/spider/google.py 換成下面的內容：
`# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.linkextractors import LinkExtractor
from app.items import GoogleItem
class GoogleSpider(CrawlSpider):
name = "google"
allowed_domains = ["play.google.com"]
start_urls = [
'http://play.google.com/',
'https://play.google.com/store/apps/details?id=com.viber.voip'
]
rules = [
Rule(LinkExtractor(allow=("https://play\.google\.com/store/apps/details", )), callback='parse_app',follow=True),
] # CrawlSpider 會根據 rules 規則爬取頁面並調用函數進行處理
def parse_app(self, response):
# 在這里只獲取頁面的 URL 以及下載數量
item = GoogleItem()
item['url'] = response.url
item['num'] = response.xpath("//div[@itemprop='numDownloads']").xpath("text()").extract()
yield item
在 app/items 里添加下面的代碼：
class GoogleItem(scrapy.Item):
url = scrapy.Field()
num = scrapy.Field()
在 app/setting.py 裡面添加下面的代碼
# 這里是配置 scrapy-mongodb 到資料庫的連接，用於自動把爬取後的數據存入到 MongoDB
ITEM_PIPELINES = [
'scrapy_mongodb.MongoDBPipeline',
]
MONGODB_URI = 'mongodb://127.0.0.1:27017'
MONGODB_DATABASE = 'scrapy'
MONGODB_COLLECTION = 'play'
然後，沒有其他工作了。。連配置文件一共不到四十行。之後開啟 MongoDB，在項目目錄下運行
scrapy crawl google -s JOBDIR=app/jobs
然後就靜靜等它跑完吧。-s JOBDIR=app/jobs 參數的意思是把工作狀態和已經爬取過的頁面數據存到 app/jobs 目錄下，即使中間中斷了，也可以運行上面的命令從該目錄恢復工作，而不用重新開始。
在我的 Linode 最低配的 VPS 上，它跑了大概 40 個小時，最後在 MongoDB 下的數據是有 156 萬條記錄。2015 年 1 月的新聞是 Google Play 上有 143 萬款 App, 相信已經爬取了絕大多數 App 頁面了。
`> use scrapy
switched to db scrapy
> db.play.count()
1564754
> db.play.find().limit(1)
"_id" : ObjectId("55479d9da28a7c1cca449c23"), "url" : "https://play.google.com/store/apps/details?id=com.viber.voip", "num" : [ " 100,000,000 - 500,000,000 " ]()
>
D. 如何使用Excel完成網站上的數據爬取
注意：本章節主要講解數據獲取部分
將網頁中展示的數據爬取到可以編輯的文本工具中從而實現批量操作。在具體的爬取過程中，經常使用的根據有Excel和Python。
該板塊由三個模塊組成：
在爬蟲過程中，最為常用的瀏覽器為谷歌瀏覽器和火狐瀏覽器。
實操步驟：
1.獲取瀏覽器標識
以谷歌瀏覽器為例：
打開瀏覽器輸入目標網站後，右鍵點擊檢查（快捷鍵Ctrl+Shift+I(註：不是L,是I)），在檢查頁面中點擊Network後重新載入頁面，在檢查Network頁面中單擊第一個網頁信息：index.html。在右邊出現的窗口Headers中，將頁面拉至底部可查找到瀏覽器標識UserAgent，復制UserAgent信息即可。
2.設置響應時間（位置用戶瀏覽）
新建Excel並打開，點擊自網站，在彈出的窗口中選擇高級選項，將我們需要爬取的目標網址信息粘貼到Url位置處，同時在響應時間欄中設置1分鍾的響應時間，
3.設置瀏覽器標識
在HTTP請求標頭參數中下拉選擇UserAgent，粘貼瀏覽器的UserAgent信息。
4.將數據載入到Power Query中進行預處理，建立網頁鏈接後，選擇數據Table0，選擇編輯進入Power Query中進行數據預處理。處理完數據後，依照慣例，製作可視化地圖。
E. 如何用最簡單的Python爬蟲採集整個網站
採集網站數據並不難，但是需要爬蟲有足夠的深度。我們創建一個爬蟲，遞歸地遍歷每個網站，只收集那些網站頁面上的數據。一般的比較費時間的網站採集方法從頂級頁面開始（一般是網站主頁），然後搜索頁面上的所有鏈接，形成列表，再去採集到的這些鏈接頁面，繼續採集每個頁面的鏈接形成新的列表，重復執行。
F. 怎麼用VBA或網路爬蟲程序抓取網站數據
VBA網抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模擬向伺服器發送請求，接收伺服器返回的數據。
優點：效率高，基本無兼容性問題。
缺點：需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法：
創建IE控制項或webbrowser控制項，結合htmlfile對象的方法和屬性，模擬瀏覽器操作，獲取瀏覽器頁面的數據。
優點：這個方法可以模擬大部分的瀏覽器操作。所見即所得，瀏覽器能看到的數據就能用代碼獲取。
缺點：各種彈窗相當煩人，兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法：
因為它是excel自帶，所以勉強也算是一種方法。其實此法和xmlhttp類似，也是GET或POST方式發送請求，然後得到伺服器的response返回到單元格內。
優點：excel自帶，可以通過錄制宏得到代碼，處理table很方便
。代碼簡短，適合快速獲取一些存在於源代碼的table里的數據。
缺點：無法模擬referer等發包頭
也可以利用採集工具進行採集網頁端的數據，無需寫代碼。
G. 從網站抓取數據的3種最佳方法
1.使用網站API
許多大型社交媒體網站，例如Facebook，Twitter，Instagram，StackOverflow，都提供API供用戶訪問其數據。有時，您可以選擇官方API來獲取結構化數據。如下面的Facebook Graph API所示，您需要選擇進行查詢的欄位，然後訂購數據，執行URL查找，發出請求等。
2.建立自己的搜尋器
但是，並非所有網站都為用戶提供API。某些網站由於技術限制或其他原因拒絕提供任何公共API。有人可能會提出RSS提要，但是由於限制了它們的使用，因此我不會對此提出建議或發表評論。在這種情況下，我想討論的是我們可以自行構建爬蟲來處理這種情況。
3.利用現成的爬蟲工具
但是，通過編程自行爬網網站可能很耗時。對於沒有任何編碼技能的人來說，這將是一項艱巨的任務。因此，我想介紹一些搜尋器工具。
Octoparse是一個功能強大的基於Visual Windows的Web數據搜尋器。用戶使用其簡單友好的用戶界面即可輕松掌握此工具。要使用它，您需要在本地桌面上下載此應用程序。
http://Import.io也稱為Web搜尋器，涵蓋所有不同級別的搜尋需求。它提供了一個魔術工具，可以將站點轉換為表格，而無需任何培訓。如果需要抓取更復雜的網站，建議用戶下載其桌面應用程序。構建完API後，它們會提供許多簡單的集成選項，例如Google Sheets，http://Plot.ly，Excel以及GET和POST請求。當您認為所有這些都帶有終身免費價格標簽和強大的支持團隊時，http://import.io無疑是那些尋求結構化數據的人的首要選擇。它們還為尋求更大規模或更復雜數據提取的公司提供了企業級付費選項。
關於從網站抓取數據的3種最佳方法，該如何下手的內容，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。
H. 如何爬別人網站的廣告跟蹤數據
1、首先利用Python3良好的爬蟲特性，進行原始數據的爬取。
2、其次這里爬蟲數據爬的是頭條api。
3、最後利用構造虛擬瀏覽器+cookie+GET，進行抓數據，這樣簡單一點。
I. 請教怎麼用python抓取國外的網站
Web 抓取是抽取網路數據的過程。只要藉助合適的工具，任何你能看到的數據都可以進行抽取。在本文中，我們將重點介紹自動化抽取過程的程序，幫助你在較短時間內收集大量數據。除了筆者前文提到的用例，抓取技術的用途還包括：SEO 追蹤、工作追蹤、新聞分析以及筆者的最愛——社交媒體的情感分析！
J. 如何爬蟲網頁數據
爬取網頁數據原理如下：
如果把互聯網比作蜘蛛網，爬蟲就是蜘蛛網上爬行的蜘蛛，網路節點則代表網頁。當通過客戶端發出任務需求命令時，ip將通過互聯網到達終端伺服器，找到客戶端交代的任務。一個節點是一個網頁。蜘蛛通過一個節點後，可以沿著幾點連線繼續爬行到達下一個節點。
簡而言之，爬蟲首先需要獲得終端伺服器的網頁，從那裡獲得網頁的源代碼，若是源代碼中有有用的信息，就在源代碼中提取任務所需的信息。然後ip就會將獲得的有用信息送回客戶端存儲，然後再返回，反復頻繁訪問網頁獲取信息，直到任務完成。