Python数据分析之读取数据

（一）读取CSV文件
1、读取本地CSV文件：
（1）利用pandas模块读取（最便捷）

import pandas as pd
df = pd.read_csv("csv文件名称",sep=',',delimiter=None,delimiter_whitespace=False,header='infer',names=None)
#sep:指定分隔符，默认为“，”
#delimiter:指定分隔符，默认是None
#delimiter_whitespace:默认是False。指定空格是否作为分隔符使用
#header:指定行数作为列名，默认为第0行
#names：指定列名

（2）利用csv模块读取

filename='csv文件名称'
#打开这个文件，并将结果文件对象存储在f中
with open (filename,'r',encoding='utf-8') as f:
    #调用csv.reader()，将f作为实参传递给它，
    #reader是一个列表的格式
    reader = csv.reader(f)
    print(reader)
    #csv的reader类包括内置函数next(),
    #next()：将前面储存的文件对象传递给它时，返回文件的下一行。
    header_row = next(reader)
    #也可通过for循环取出所有元素
    for line in reader:
        print('',join(line)

2、读取网络数据CSV`

import pandas as pd
data_url = "网络地址"   #网络读取
df = pd.read_csv(data_url)
#read_html将网站上的table解析，读取数据
df = pd.read_html(data_url) 

（二）读取excel文件：

import pandas as pd
df = pd.read_excel("xlsx文件名")

（三）读取MySQL数据

import pymysql

# 1.连接到mysql数据库
conn = pymysql.connect(
    host='localhost',
    user='root',
    password='password',
    db='mycommodity', 
    charset='utf8')
# localhost连接本地数据库 user 用户名 password 密码 db数据库名称 charset 数据库编码格式

# 2.创建游标对象
cursor = conn.cursor()   # cursor当前的程序到数据之间连接管道

# 3.组装sql语句 需要查询的MySQL语句
sql = 'select * from commodity'

# 4.执行sql语句
cursor.execute(sql)

# 5.处理结果集
# 获取一条数据
one = cursor.fetchone()
print(one)
# 获取多条数据 传入需要获取的数据的条数
many = cursor.fetchmany(3)
print(many)

# 获取所有数据
all = cursor.fetchall()
# 输出获取到的数据的数据类型
print(type(all))

# 逐条输出获取到的数据类型及数据
for each in all:
    print(type(each),each)

# 获取数据库表中列的参数
fields = cursor.description
head = []
# 或取数据库中表头
for field in fields:
    head.append(field[0])
print(head)

# 6.关闭所有的连接
# 关闭游标
cursor.close()
# 关闭数据库
conn.close()