【数据库】利用python的pandas库读取csv文件保存至mysql

第一：pandas.read_csv读取本地csv文件为数据框形式

data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')

第二：如果存在日期格式数据，利用pandas.to_datatime()改变类型

data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])

注意：=号，这样在原始的数据框中，改变了列的类型

第三：查看列类型

print(data.dtypes)

第四：方法一：保存至MYSQL【缺点耗时长】

利用MYSQLdb库，封装成一个类，实现创建表，添加数据的操作，缺点耗时长

class Jess_mysql():
    """
    设置mysql类，实现创建数据框，表，及添加数据
    """
    def __init__(self):
        self.mysql=MySQLdb.connect(user=mysql_name,host=mysql_host,password=mysql_password,database=mysql_database)
        self.conn=self.mysql.cursor()

    def create_table(self,table_names,col_names):
        """
        创建表
        :param table_names: 表名
        :param col_names: 列名，列表格式
        :return:
        """
        tables=' varchar(20),'.join(['%s'] *len(col_names))
        sql_yuju='create table if not exists `{t}` ({v} varchar(20))'.format(t=table_names,v=tables)#字段需要标注格式
        ss=sql_yuju %(tuple(col_names))
        print(ss)
        self.conn.execute(ss)
        self.mysql.commit()

    def add_data(self,table_name,col_names,col_data):
        """

        :param table_name: 表名
        :param col_names: 列名，字段名
        :param col_data: 字段值
        :return:
        """
        colname=','.join(['%s']*len(col_names))
        data=','.join(['%s']*len(col_data))
        sql_yuju='INSERT INTO `{t}` ({name}) VALUES ({data});'.format(t=table_name,name=colname,data=data)
        ss=sql_yuju%(*col_names,*col_data)
        #print(ss)
        self.conn.execute(ss)
        self.mysql.commit()

第五：利用sqlalchemy的create_engine()方法

1、创建连接

import sqlalchemy

#engine=sqlalchemy.create_engine('mysql + mysqldb://root:[email protected]:3306/python_yuny')
engine=sqlalchemy.create_engine('mysql+mysqldb://{user}:{password}@{host}:3306/{database}'.format
                                (user=mysql_name,password=mysql_password,host=mysql_host,database=mysql_database))

2、利用pd.io.sql.to_sql()

pd.io.sql.to_sql(frame=data,name='yunying',con=engine,index=False,if_exists='append')

注意相关参数的设置。

此外，保存到mysql中，需要注意日期格式的列，因为在mysql对应的field设置格式为varchar(20)后，原始的日期2015-8-9，写入数据库，只有2015，这需要两步操作。

a、上面第二目录的，利用pandas.to_datetime(,format='%Y-%m-%d')       #format的格式要和原始字符2016-8-9格式一样

b、利用datetime库，实现format='%Y%m%d'

• x=data.shape[0]
  for i in range(x):
      col_data=list(df.iloc[i,:])
      col_data[1]=datetime.date.strftime(col_data[1],'%Y%d%m')

• 这一步后，日期格式由原始的2016-6-2，转为20160606，就可以以写入数据库对应的字段【其字段类型varchar(20)】

c、下一步在mysql font的操作，实际上是应用了date()函数

【date函数，对2017-8-7的字符串无能未来】

 事实上，可以写各sql语句，实现字符串到date格式的转化，链接

 

第六：利用str_to_date()，直接mysql新加一列，并实现字符串格式转日期格式

mysql表中新加一列，类型date，并赋值为原始日期字段【字符串类型存在】

use sales;

alter table abnormal_od add column date_order Date;

update abnormal_od set date_order = str_to_date(order_data,'%Y-%m-%d);

注意：update 直接+表名，否则【update table +表名】报错

 

第七：读取mysql的数据

df=pd.read_sql('select * from %s'%table_name,con=engine,index_col=None)

默认不设置索引列，可以自行指定索引列名。