2018/8/8-sqlserver读的数据转为数据框格式

今天特别气自己,想骂人。

今天还是北京奥运十周年。

之前连数据库用来同事发给我的代码去连,然后一般数据都是存在rows里。

    cursor.execute(sql)
    rows = cursor.fetchall()

我自己写是加了一个list,因为他这个每一行都是元组,元组又不能修改,也没什么方法。然后这个数据框是一行,我自己又写个for循环,将着一行两个变量拆开。我也知道for循环超慢,但是用apply就报错,因为里面的元组或者list并没有这个apply的方法可以使用,反正是很慢。今天就觉得这一个变量都有这么慢,所以想改进算法,一共30个变量。包括后续的处理,差不多哪一个变量至少40分钟,那30个,1200,20小时,想想头皮发麻,要不是我的方法不对,要不就是我写错了,不可能这么慢,肯定有路。

data=pd.DataFrame(list(rows),columns=['datetime'])

后来还和小伙伴讨论,用apply(lambda x:)这种方法,用列表循环,忙一上午,后来都开始想提取数据读入CSV,再读出,真是服了。最后才想起从源头看

df = pd.read_sql("select  * from dbo.biao",con=conn)

完全可以这样写,直接就是。一开始也看到了pd.read_sql,但是看的都不是我用的pyodbc这个包,都是pymysql这种以及其他连mysql的包,我以为这里不可以用,简直无知!!!!

后来终于用对了,可以直接数据框,豁然开朗,心情舒畅!走的弯路都懒得写,太多太多!

 

你可能感兴趣的:(python,日记)