A. 怎麼用VBA或網路爬蟲程序抓取網站數據
VBA網抓常用方法
1、xmlhttp/winhttp法:
用xmlhttp/winhttp模擬向伺服器發送請求,接收伺服器返回的數據。
優點:效率高,基本無兼容性問題。
缺點:需要藉助如fiddler的工具來模擬http請求。
2、IE/webbrowser法:
創建IE控制項或webbrowser控制項,結合htmlfile對象的方法和屬性,模擬瀏覽器操作,獲取瀏覽器頁面的數據。
優點:這個方法可以模擬大部分的瀏覽器操作。所見即所得,瀏覽器能看到的數據就能用代碼獲取。
缺點:各種彈窗相當煩人,兼容性也確實是個很傷腦筋的問題。上傳文件在IE里根本無法實現。
3、QueryTables法:
因為它是excel自帶,所以勉強也算是一種方法。其實此法和xmlhttp類似,也是GET或POST方式發送請求,然後得到伺服器的response返回到單元格內。
優點:excel自帶,可以通過錄制宏得到代碼,處理table很方便
。代碼簡短,適合快速獲取一些存在於源代碼的table里的數據。
缺點:無法模擬referer等發包頭
也可以利用採集工具進行採集網頁端的數據,無需寫代碼。
B. 如何用C語言抓取網頁內容
1、要用程序抓取網頁自動保存到本地,就要會用socket編程,或者學習使用libcurl庫,不做網頁抓取的時候,這些知識依然非常有用。而且,不同的網頁,內容不同,規律可能也不同。
C. 百度谷歌的爬蟲是用什麼語言開發的
每個網站都有一個「爬蟲協議」,至少大型網站都會有。Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是「網路爬蟲排除標准」(RobotsExclusionProtocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓齲越是大型網站,
D. 從網頁抓取數據,零基礎,什麼語言容易實現
Python可以實現,這個視頻就是講Python抓取數據的案例,希望對你有幫助
E. 我想學習抓取網頁數據該學什麼語言
頁面抓取的,還是python最為強大和方便的了
F. r語言怎麼抓取網頁數據
如果用Python或者C#可能更容易。但是R本身也有很強的處理功能。
用regular expression. 將html的source打開,比如可以將其按照txt的格式打開。裡面的編碼都是有規律的,接下來用regular experssion打開。比較常用的函數gsub, strsplit, grep等,可以看幫助文件。
R可以在網頁上抓取數據,一種途徑是使用函數readlines()下載網頁,然後使用如grep()和gsub()一類的函數處理,對於結構復雜的網頁,可以使用RCurl和XML包來提取其中想要的信息。
更多信息和示例,參考在Programming with R上找到的「Webscraping Using ReadLines and Rcurl」一文;
G. 抓取多個網站的內容,用什麼語言,什麼框架
做網頁有三大網頁腳本語言, 這三個東西根本不是同一個分類維度上的:
1) PHP:語言(PHP Script)+ Web 運行時(PHP Engine)
2) JSP:JSP
和 Java Servlet 的關系可以看成是 CoffeeScript 和 JavaScript 的關系,本質上 JSP
不是獨立的技術,而是一種模仿 ASP/PHP 形式寫法,編譯成 Servlet 運行的關系。以前曾流行於作為 Java EE
的模版引擎(視圖層),現在似乎有更多更好的選擇,正在逐漸被邊緣化。