A. python怎么爬取网站数据
很简单，三步，用爬虫框架scrapy
1. 定义item类
2. 开发spider类
3. 开发pipeline
如果有不会的，可以看一看《疯狂python讲义》
B. 如何爬取网站上的某一信息
两类网站可以用不同的方法去爬取
一、开放API的网站
一个网站如果开放了API，那么就可以直接GET到它的json数据。有三种方法可以判断一个网站是否开放了API。
1、在站内寻找API入口；
2、用搜索引擎搜索“某网站API”；
3、抓包。有的网站虽然用到了ajax，但是通过抓包还是能够获取XHR里的json数据的（可用抓包工具抓包，也可以通过浏览器按F12抓包：F12-Network-F5刷新）。
二、不开放API的网站
1、如果网站是静态页面，那么可以用requests库发送请求，再通过HTML解析库（lxml、parsel等）来解析响应的text；解析库强烈推荐parsel，不仅语法和css选择器类似，而且速度也挺快，Scrapy用的就是它。
2、如果网站是动态页面，可以先用selenium来渲染JS，再用HTML解析库来解析driver的page_source。
C. 如何用30行代码爬取Google Play 100万个App的数据
基础工作:
内置元素选择器
序列化和存储数据
处理cookie、HTTP头这些东西的中间件
爬取 Sitemap 或者 RSS
等等
我的需求是爬取 Google Play 市场上的所有 App 的页面链接以及下载数量。
首先确保配置好 Python 2.7, MongoDB 数据库, 以及 Python 的 pip 包管理系统。
然后安装对应的 Python 包并且生成项目模板：
pip install scrapy scrapy-mongodb
scrapy startproject app
cd app
scrapy genspider google
然后把 app/spider/google.py 换成下面的内容：
`# -*- coding: utf-8 -*-
import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.linkextractors import LinkExtractor
from app.items import GoogleItem
class GoogleSpider(CrawlSpider):
name = "google"
allowed_domains = ["play.google.com"]
start_urls = [
'http://play.google.com/',
'https://play.google.com/store/apps/details?id=com.viber.voip'
]
rules = [
Rule(LinkExtractor(allow=("https://play\.google\.com/store/apps/details", )), callback='parse_app',follow=True),
] # CrawlSpider 会根据 rules 规则爬取页面并调用函数进行处理
def parse_app(self, response):
# 在这里只获取页面的 URL 以及下载数量
item = GoogleItem()
item['url'] = response.url
item['num'] = response.xpath("//div[@itemprop='numDownloads']").xpath("text()").extract()
yield item
在 app/items 里添加下面的代码：
class GoogleItem(scrapy.Item):
url = scrapy.Field()
num = scrapy.Field()
在 app/setting.py 里面添加下面的代码
# 这里是配置 scrapy-mongodb 到数据库的连接，用于自动把爬取后的数据存入到 MongoDB
ITEM_PIPELINES = [
'scrapy_mongodb.MongoDBPipeline',
]
MONGODB_URI = 'mongodb://127.0.0.1:27017'
MONGODB_DATABASE = 'scrapy'
MONGODB_COLLECTION = 'play'
然后，没有其他工作了。。连配置文件一共不到四十行。之后开启 MongoDB，在项目目录下运行
scrapy crawl google -s JOBDIR=app/jobs
然后就静静等它跑完吧。-s JOBDIR=app/jobs 参数的意思是把工作状态和已经爬取过的页面数据存到 app/jobs 目录下，即使中间中断了，也可以运行上面的命令从该目录恢复工作，而不用重新开始。
在我的 Linode 最低配的 VPS 上，它跑了大概 40 个小时，最后在 MongoDB 下的数据是有 156 万条记录。2015 年 1 月的新闻是 Google Play 上有 143 万款 App, 相信已经爬取了绝大多数 App 页面了。
`> use scrapy
switched to db scrapy
> db.play.count()
1564754
> db.play.find().limit(1)
"_id" : ObjectId("55479d9da28a7c1cca449c23"), "url" : "https://play.google.com/store/apps/details?id=com.viber.voip", "num" : [ " 100,000,000 - 500,000,000 " ]()
>
D. 如何使用Excel完成网站上的数据爬取
注意：本章节主要讲解数据获取部分
将网页中展示的数据爬取到可以编辑的文本工具中从而实现批量操作。在具体的爬取过程中，经常使用的根据有Excel和Python。
该板块由三个模块组成：
在爬虫过程中，最为常用的浏览器为谷歌浏览器和火狐浏览器。
实操步骤：
1.获取浏览器标识
以谷歌浏览器为例：
打开浏览器输入目标网站后，右键点击检查（快捷键Ctrl+Shift+I(注：不是L,是I)），在检查页面中点击Network后重新加载页面，在检查Network页面中单击第一个网页信息：index.html。在右边出现的窗口Headers中，将页面拉至底部可查找到浏览器标识UserAgent，复制UserAgent信息即可。
2.设置响应时间（位置用户浏览）
新建Excel并打开，点击自网站，在弹出的窗口中选择高级选项，将我们需要爬取的目标网址信息粘贴到Url位置处，同时在响应时间栏中设置1分钟的响应时间，
3.设置浏览器标识
在HTTP请求标头参数中下拉选择UserAgent，粘贴浏览器的UserAgent信息。
4.将数据载入到Power Query中进行预处理，建立网页链接后，选择数据Table0，选择编辑进入Power Query中进行数据预处理。处理完数据后，依照惯例，制作可视化地图。
E. 如何用最简单的Python爬虫采集整个网站
采集网站数据并不难，但是需要爬虫有足够的深度。我们创建一个爬虫，递归地遍历每个网站，只收集那些网站页面上的数据。一般的比较费时间的网站采集方法从顶级页面开始（一般是网站主页），然后搜索页面上的所有链接，形成列表，再去采集到的这些链接页面，继续采集每个页面的链接形成新的列表，重复执行。
F. 怎么用VBA或网络爬虫程序抓取网站数据
VBA网抓常用方法
1、xmlhttp/winhttp法：
用xmlhttp/winhttp模拟向服务器发送请求，接收服务器返回的数据。
优点：效率高，基本无兼容性问题。
缺点：需要借助如fiddler的工具来模拟http请求。
2、IE/webbrowser法：
创建IE控件或webbrowser控件，结合htmlfile对象的方法和属性，模拟浏览器操作，获取浏览器页面的数据。
优点：这个方法可以模拟大部分的浏览器操作。所见即所得，浏览器能看到的数据就能用代码获取。
缺点：各种弹窗相当烦人，兼容性也确实是个很伤脑筋的问题。上传文件在IE里根本无法实现。
3、QueryTables法：
因为它是excel自带，所以勉强也算是一种方法。其实此法和xmlhttp类似，也是GET或POST方式发送请求，然后得到服务器的response返回到单元格内。
优点：excel自带，可以通过录制宏得到代码，处理table很方便
。代码简短，适合快速获取一些存在于源代码的table里的数据。
缺点：无法模拟referer等发包头
也可以利用采集工具进行采集网页端的数据，无需写代码。
G. 从网站抓取数据的3种最佳方法
1.使用网站API
许多大型社交媒体网站，例如Facebook，Twitter，Instagram，StackOverflow，都提供API供用户访问其数据。有时，您可以选择官方API来获取结构化数据。如下面的Facebook Graph API所示，您需要选择进行查询的字段，然后订购数据，执行URL查找，发出请求等。
2.建立自己的搜寻器
但是，并非所有网站都为用户提供API。某些网站由于技术限制或其他原因拒绝提供任何公共API。有人可能会提出RSS提要，但是由于限制了它们的使用，因此我不会对此提出建议或发表评论。在这种情况下，我想讨论的是我们可以自行构建爬虫来处理这种情况。
3.利用现成的爬虫工具
但是，通过编程自行爬网网站可能很耗时。对于没有任何编码技能的人来说，这将是一项艰巨的任务。因此，我想介绍一些搜寻器工具。
Octoparse是一个功能强大的基于Visual Windows的Web数据搜寻器。用户使用其简单友好的用户界面即可轻松掌握此工具。要使用它，您需要在本地桌面上下载此应用程序。
http://Import.io也称为Web搜寻器，涵盖所有不同级别的搜寻需求。它提供了一个魔术工具，可以将站点转换为表格，而无需任何培训。如果需要抓取更复杂的网站，建议用户下载其桌面应用程序。构建完API后，它们会提供许多简单的集成选项，例如Google Sheets，http://Plot.ly，Excel以及GET和POST请求。当您认为所有这些都带有终身免费价格标签和强大的支持团队时，http://import.io无疑是那些寻求结构化数据的人的首要选择。它们还为寻求更大规模或更复杂数据提取的公司提供了企业级付费选项。
关于从网站抓取数据的3种最佳方法，该如何下手的内容，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。
H. 如何爬别人网站的广告跟踪数据
1、首先利用Python3良好的爬虫特性，进行原始数据的爬取。
2、其次这里爬虫数据爬的是头条api。
3、最后利用构造虚拟浏览器+cookie+GET，进行抓数据，这样简单一点。
I. 请教怎么用python抓取国外的网站
Web 抓取是抽取网络数据的过程。只要借助合适的工具，任何你能看到的数据都可以进行抽取。在本文中，我们将重点介绍自动化抽取过程的程序，帮助你在较短时间内收集大量数据。除了笔者前文提到的用例，抓取技术的用途还包括：SEO 追踪、工作追踪、新闻分析以及笔者的最爱——社交媒体的情感分析！
J. 如何爬虫网页数据
爬取网页数据原理如下：
如果把互联网比作蜘蛛网，爬虫就是蜘蛛网上爬行的蜘蛛，网络节点则代表网页。当通过客户端发出任务需求命令时，ip将通过互联网到达终端服务器，找到客户端交代的任务。一个节点是一个网页。蜘蛛通过一个节点后，可以沿着几点连线继续爬行到达下一个节点。
简而言之，爬虫首先需要获得终端服务器的网页，从那里获得网页的源代码，若是源代码中有有用的信息，就在源代码中提取任务所需的信息。然后ip就会将获得的有用信息送回客户端存储，然后再返回，反复频繁访问网页获取信息，直到任务完成。