ipynb文件
利用https://nbviewer.jupyter.org/ 可以快速加载ipynb文件： 假设要打开的ipynb文件： https://github.com/y/x.ipynb 将y/x.ipynb拼接到https://nbviewer.jupyter.org/github/后面，
得到https://nbviewer.jupyter.org/github/y/x.ipynb， 打开连接即可。
原文链接：https://blog.csdn.net/weiwei9363/article/details/79438908
设置清华镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
安装包超时：
pip --default-timeout=100 install 包名
设置工作路径
import os
os.chdir('要设置的当前目录')
os.getcwd() #获取当前工作目录
python 共享文件
进⼊到要共享⽂件的⽬录下并在命令⾏中运⾏:
python -m http.server
# 参考 https://blog.csdn.net/ma7986321/article/details/80669171
数据统计
#数据表转置
data_pivot = dat.pivot(index = 'ind1', columns = 'col1', values = 'value')
data_melt = data_pivot.melt(id_vars=['ind1'])
时序数据读取
dateparse = lambda dates: pd.datetime.strptime(dates, '%Y/%m/%d')
#---其中parse_dates 表明选择数据中的哪个column作为date-time信息，
#---index_col 告诉pandas以哪个column作为 index
#--- date_parser 使用一个function(本文用lambda表达式代替)，使一个string转换为一个datetime变量
dat = pd.read_csv('ts_data.csv', parse_dates=['date'], index_col='date', date_parser=dateparse)
dat.ds.dt.year # 获取年份
min_date = min(dat ['date'])
dat ['date'] = dat ['date'].apply(lambda i: (i-min_date).days) # 计算date-min(date)的天数, 天数转int (.days)
日期处理
# 产生指定日期间隔、指定个数的字符型日期列表
def dateRange(beginDate, delta, length):
""" 产生指定日期间隔、指定个数的日期字符串
:param beginDate: 起始日期
:param delta: 间隔天数
:param length: 产生日期个数
:return: 字符型日期列表
"""
dates = []
dt = datetime.datetime.strptime(beginDate, "%Y-%m-%d")
date = beginDate[:]
i = 1
while i <= length:
dates.append(date)
dt = dt + datetime.timedelta(delta)
date = dt.strftime("%Y-%m-%d")
i += 1
return dates
dateRange("2019-07-22",2, 4)
# 月份加减
import math
class TimeDealer():
def add_months(self, start_month, months):
#返回dt隔months个月后的日期，months相当于步长
datamonth = start_month[:4] + start_month[5:7]
month_list = ['01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12']
datamonth = int(datamonth)
num = int(months)
year = datamonth // 100
new_list = []
s = math.ceil(abs(num) / 12)
for i in range(int(-s), s + 1):
new_list += [str(year + i) + x for x in month_list]
new_list = [int(x) for x in new_list]
result = str(new_list[new_list.index(datamonth) + num])
return result[:4] + '-' + result[4:6]
def get_range_list(self, start_month, months):
# 产生指定范围的月份列表
result = []
for i in range(1, months+1):
result.append(self.add_months(start_month, i))
return result
dealer = TimeDealer()
dealer.add_months('2020-03',13) # '2021-04'
dealer.add_months('2020-03',-3) # '2019-12'
dealer.get_range_list('2020-03', 3) # ['2020-04', '2020-05', '2020-06']
数据写入csv或xlsx xls
# 写入csv
result.to_csv('计算结果'+use_col+'.csv')
# 写入xlsx
writer = pd.ExcelWriter('result'.xlsx')
result1.to_excel(writer, sheet_name = 'result1')
result2.to_excel(writer, sheet_name = 'result2')
writer.save()
lambda使用
dat=pd.DataFrame([[1,2],[4,5]], columns=['cn','yhat'])
f = lambda x, y : abs(y/x-1) if x>100 else abs(y-x)/100
dat['err'] = dat.apply(lambda x: f(x['cn'], x['yhat']), axis=1)
# 含有lambda函数的模型不能用cPickle模块中pickle保存模型，应用dill模块保存模型。
# 参考 https://cloud.tencent.com/developer/ask/34299
import dill
f = lambda x: x * 5
dill.dumps(f)
zip
# zip接受任意多个序列作为参数，合并后返回一个tuple列表.
a=[1,2]
b=[3,4]
list(zip(a,b)) # 返回[(1,3),(2,4)]
list(zip(*zip(a,b))) # 解压返回 [(1,2),(3,4)]
for i, j in zip(a,b):
print(i*2, j*3) # 返回2,9 4,12
map
add = lambda x,y : x+y
list(map(add, [1,2],[3,4])) # 返回[4,6]
copy和deepcopy
a=[1,2,3]
b=a
id(a) # 查看地址
id(b) # 与id(a)相同
b[1] = 4 # a,b均变为[1,4,3]，因a,b指向地址相同
a[2] = 5 # a,b均变为[1,4,5]
from copy import copy
c = copy(a)
print(id(c) == id(a)) # 返回False
c[1] = 2 # c变为[1,2,5], a为[1,4,5]
a = [1,2,[4,5]]
d = copy(a)
print(id(a) == id(d)) # 返回False
print(id(a[2]) == id(d[2])) # 返回True
a[0] = 2 # a为[2,2,[4,5]]，d为[1,2,[4,5]]
a[2][0] = 2 # a为[2,2,[2,5]]，d为[1,2,[2,5]]
# copy 将外层拷贝到新的地址空间，但内层的地址空间不变
a = [1,2,[4,5]]
from copy import deepcopy
e = deepcopy(a)
a[0] = 2 # a为[2,2,[4,5]]，e为[1,2,[4,5]]
a[2][0] = 2 # a为[2,2,[2,5]]，e为[1,2,[4,5]]
# deepcopy 将变量完全拷贝到新的地址空间
# python常用技巧
dir([1,2,3]) # 返回该列表所有的属性和方法
some_dict = {'a': 1, 'z': 3, 'b': 4}
{j:i for i, j in some_dict.items()} # key value 互换
try:
file = open('test.txt', 'rb')
except (IOError, EOFError) as e:
print("Error: {}".format(e.args[1]))
try:
#file = open('test.txt', 'rb')
file = 1
except Exception as e:
print("Error: {}".format(e.args[1]))
else:
print("b") # else只会在try没有异常时才会执行，且在finally之前
finally:
print("a") # finally从句中的代码不管异常是否触发都将会被执⾏
a = [(1, 2), (4, 1), (7, 10), (3, -3)]
a.sort(key=lambda x: x[1])
print(a)
# Output: [(3, -3), (4, 1), (1, 2), (7, 10)]