数据分析实战45讲 笔记四

08 | 数据采集：如何自动化采集数据？

数据采集是数据挖掘的基础，没有数据，挖掘也没有意义。很多时候，我们拥有多少数据源，多少数据量，以及数据质量如何，将决定我们挖掘产出的成果会怎样。我们需要通过多源的数据采集，收集到尽可能多的数据维度，同时保证数据的质量，这样才能得到高质量的数据挖掘结果。我们需要针对特定的业务场景，选择适合的采集工具。

数据源

1. 开放数据源
   开放数据源可以从两个维度来考虑，一个是单位的维度，比如政府、企业、高校；一个就是行业维度，比如交通、金融、能源等领域。

   
   
   image.png

2. 爬虫爬取
   Python 编写爬虫代码：1.使用 Requests 爬取内容；2.使用 XPath 解析内容;3.使用 Pandas 保存数据。
   火车采集器
   八爪鱼
   集搜客

3. 日志采集
   为什么要做日志采集呢？日志采集最大的作用，就是通过分析用户访问情况，提升系统的性能，从而提高系统承载量。及时发现系统承载瓶颈，也可以方便技术人员基于用户实际的访问情况进行优化。
   日志采集可以分两种形式。1.通过 Web 服务器采集，例如 httpd、Nginx、Tomcat 都自带日志记录功能。同时很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如 Hadoop 的 Chukwa、Cloudera 的 Flume、Facebook 的 Scribe 等，这些工具均采用分布式架构，能够满足每秒数百 MB 的日志数据采集和传输需求。2.自定义采集用户行为，例如用 JavaScript 代码监听用户的行为、AJAX 异步请求后台记录日志等。

4. 传感器
   传感器采集基本上是基于特定的设备，将设备采集的信息进行收集即可。

埋点是什么
埋点是日志采集的关键步骤，那什么是埋点呢？
埋点就是在有需要的位置采集相应的信息，进行上报。比如某页面的访问情况，包括用户信息、设备信息；或者用户在页面上的操作行为，包括时间长短等。这就是埋点，每一个埋点就像一台摄像头，采集用户行为数据，将数据进行多维度的交叉分析，可真实还原出用户使用场景，和用户使用需求。
那我们要如何进行埋点呢？
埋点就是在你需要统计数据的地方植入统计代码，当然植入代码可以自己写，也可以使用第三方统计工具。我之前讲到“不重复造轮子”的原则，一般来说需要自己写的代码，一般是主营核心业务，对于埋点这类监测性的工具，市场上已经比较成熟，这里推荐你使用第三方的工具，比如友盟、Google Analysis、Talkingdata 等。他们都是采用前端埋点的方式，然后在第三方工具里就可以看到用户的行为数据。但如果我们想要看到更深层的用户操作行为，就需要进行自定义埋点。
总结一下，日志采集有助于我们了解用户的操作数据，适用于运维监控、安全审计、业务数据分析等场景。一般 Web 服务器会自带日志功能，也可以使用 Flume 从不同的服务器集群中采集、汇总和传输大容量的日志数据。当然我们也可以使用第三方的统计工具或自定义埋点得到自己想要的统计内容。

09丨数据采集：如何用八爪鱼采集微博上的“D&G”评论

“八爪鱼”工具所见即所得的方式，基本上不需要编写代码，除了在正则表达式匹配的时候会用到 XPath。

八爪鱼的基本操作

1. 输入网页：输入所要采集的网页。（必填项）
2. 设计流程：这个步骤最为关键，需要告诉八爪鱼，如何操作页面的、想要提取页面上的哪些信息等。因为数据条数比较多，通常你还需要翻页，所以要进行循环翻页的设置。可以使用简易采集方式，也可以采用自定义的方式。
3. 启动采集：八爪鱼会提示你保存采集好的数据，通常是 xlsx 或 csv 格式。

当使用自定义采集，就需要自己来设计采集流程，也就是采集流程中的第二步。一共分为 4 步，分别是打开网页、点击元素、循环翻页、提取数据。

基本步骤：

1. 打开网页。所有的采集默认第一项都是打开网页。所以在新建任务之后，系统会提示你输入网址。
2. 点击元素。这里元素的定义比较广泛，它可以是某个按钮，或者某个链接，也或者是某个图片或文字。使用这个步骤是你在搜索或者提交某个请求。当你点击元素后，八爪鱼会提示你想要达到的目的：点击该按钮、采集该元素文本、还是鼠标移到该链接上。然后再选择“点击该按钮”进行确认即可。如果我们点击某个元素的目的是循环翻页，或者提取数据，那么在点击之后，八爪鱼会确认你的目的，你只要点击相关的按钮即可。
3. 循环翻页。很多数据都存在翻页的情况，通常你需要找到翻页的位置，比如网页底部的“下一页”按钮，点击它，会提示你“循环点击下一页”、“采集该链接文本”还是“点击该链接”。你需要确认这里是进行的“循环点击下一页”。
4. 提取数据。在网页上选择你想要提取的页面范围，鼠标移动到页面上会呈现蓝色的阴影面积，它表明了你想提取的数据范围。然后点击鼠标后，在右侧选择“采集数据”即可。

10丨Python爬虫：如何自动化下载王祖贤海报？（不懂）

爬虫的流程

1. 打开网页，可使用 Requests 访问页面，得到服务器返回给我们的数据，这里包括 HTML 页面以及 JSON 数据。
2. 提取数据.，主要用到了两个工具。针对 HTML 页面，可以使用 XPath 进行元素定位，提取数据；针对 JSON 数据，可以使用 JSON 进行解析。
   XPath 是 XML 的路径语言，实际上是通过元素和属性进行导航，帮我们定位位置。它有几种常用的路径表达方式。JSON 是一种轻量级的交互方式，在 Python 中有 JSON 库，可以让我们将 Python 对象和 JSON 对象进行转换。
3. 保存数据”.可以使用 Pandas 保存数据，最后导出 CSV 文件。