【数据获取与读取】JSON & CSV

数据分析流程

获取数据-读取数据-评估数据-清洗数据-整理数据-分析数据-可视化数据

• 公开数据集
  飞桨（百度旗下深度学习平台）数据集：https:/aistudio.baidu.com/aistudio/datasetoverview
  天池（阿里云旗下开发者竞赛平台）:https:/tianchiaiyun.com/dataset/
  和鲸社区（数据科学开源社区）数据集：htps://www.heywhale.com/home/dataset
• 爬虫
  获取网页内容-解析网页内容
• API（应用程序编程接口Application Programming Interface)
  相比爬虫，数据更易于提取和使用

JSON 文件格式（JavaScript Object Notation）

• JSON对象–Python字典 JSON数组–Python列表
  • 键为字符串，双引号包围，不能重复
  • 值为字符串、数字、布尔值true、数组、对象、空值

import pandas as pd
#转成DataFrame
survey_df = pd.read_json("./cell_phones_survey.json")

CSV 文件格式（Comma-Separated Values)

表格形式，逗号分隔

import pandas as pd
#转成DataFrame(无列名时增加header参数，也可增加index_col参数设置指定列为行的索引
df1 = pd.read_csv("./fifa_players.csv", header=None)
# 提升展示的列数上限
pd.set_option("display.max_columns", 150)
# 提升展示的值宽度
pd.set_option("display.max_colwidth", 500)
# 获取开头n行
df1.head(n)
# 获取结尾n行
df1.tail(n)
# 获得概况
df1.info()
# 获得统计信息
df1.describe()