Python 数据采集、清洗、整理、分析以及可视化实战

一、数据分析思路

大概可以分为下面这几个步骤:

  1. 数据采集;
  2. 原始数据完整性检查;
  3. 数据清洗、整理;
  4. 从不同角度对数据进行分析;
  5. 数据可视化;
  6. 总结;

主要使用 Python 来进行分析:

  • 数据采集: 主要涉及的 python 库包括 requests,BeautifulSoup,csv,以及一些其他常用工具。
  • 数据完整性检查: 包括不同数据来源的对比,以及其他一些常识性的知识。需要对比数据量的多少是否完整,以及有些数据是否缺失。

当然,在拿到数据的初期,其实只能做一个初步的判断,有些内容是在整个分析过程中发现的。

  • 数据清洗与整理: 主要用到 Pandas、Numpy 以及其他常用库和函数。由于数据比较杂乱,数据清洗与整理涉及的内容比较多,可以说是整个福布斯系列的重点之一。

同时,这个也印证了通常我们所说的数据清洗与整理可能占整个分析的 50~80%。

  • 数据分析与可视化: 经常是伴随在一起的。主要根据不同分析目的进行分析与可视化。用到的工具包括 Pandas、Numpy、Matplotlib、Seaborn 以及其他一些相关库。

二、数据分析案例

福布斯每年都会发布福布斯全球上市企业 2000 强排行榜(Forbes Global 2000),这个排行榜每年发布的时候,国内外总有新闻会热闹的讨论一番,但很少见到比较全面的分析。

因此才有了这样一个想法,搜集近些年每年发布的排行榜,做一个进一步的分析。

1、数据采集

你可能感兴趣的:(Python,Go,AI,人工智能,机器学习,语言处理,python,数据分析,信息可视化)