把.py脚本从python2转为python3
2to3 example.py
切换python版本为python2
conda create --name test_py2 python=2.7
激活环境
conda activate test_py2
conda activate
退出环境
conda deactivate
下载特定版本的包
pip install intervaltree==2.1.0
——————————————————————————————
以下均以jupyter notebook中的写法为例:
加载库
import pandas as pd
import numpy as np
from scipy import stats
导入文件
df1 = pd.read_csv('filename',sep=' ')
df1 = pd.read_csv('file',delim_whitespace = False)
csv的逗号分隔变为空格;
df1 = pd.read_csv('file.csv',nrows =5)
只读文件前5行;
df1 = pd.read_csv('file.csv',header = None,names = ['a','b','c'])
读取文件并添加表头;
df1 = pd.read_excel('filename.xls', 'Sheet1')
#读取单个excel工作表
存文件
dfa.to_csv (r'path/filename',sep = ' ',index=False)
清理数据
df.shape
查看矩阵大小;
df.insert(0,'Y',0)
在第一列插入列名为Y的列,值为0;
dt.insert(0,'Z',[22,33,55])
在第一列插入列名为Z的列,值为分别为22,33,55;
df['ID2'] = df['ID'].str[4:10]
新增一列ID2,为ID列从第4个字符串取到第10个;
df['ID2'] = df['ID'].str[4:]
新增一列ID2,为ID列从第4个字符串取到最后一个;
pd.df(df,columns = ['a','b'])
提取df中列名为a、b两列;
df.rename(columns={'chr_x':'chr'})
将列名 chr_x改为chr;
dfa1 = dfa [['CHR_x','SNP','BP_x','A1','A2','OR']]
提取其中某几列;
df2 = df1.iloc[:,2:18]
提取df1中某几列,按索引,从0开始数列;
df.drop(['a'])
删除索引为a的行;
df.drop(['b'], axis = 1)
drop函数默认删除行,列需要加axis = 1;
df1 = df1.dropna(axis=0, how='any')
删除所有含有空值的行;
df.drop(columns=["FID","IID"])
也可以用column定义删除整列;
df = pd.concat([df1,df2], axis=0)
把有相同列的两个文件接起来,上下接起来;
df = pd.concat([df1,df2], axis=1)
把两个文件按照行排,左右接起来;
df = pd.merge(df1,df2,left_on='SNP',right_on='rs')
两组数据合并;
df['FID']=df['FID'].apply(lambda x:str(x).zfill(6))
将FID这一列字符串规定宽度为6,前面自动补0;
print(df.sort_values(by=['rs','chr_bp'],ascending=False))
降序排序;
df1['id'] = df1['group'].rank(ascending=1,method='dense')
根据group列的信息给id从1开始递增编序号,遇到group值相同则id也为相同值;
df['a'] = df['a'].apply(str)
将a列转为字符串;
test['ID2'] = test['ID'].str[4:]
新加入一列ID2为ID列第5个字符开始到结尾;
df1 = df.replace('22',11)
将df中字符串22替换为字符串11;
df1 = df[df['a'].str.contains('11')]
保留a列中含有11的行;
df1 = df[~df['a'].str.contains('11')]
反选,删除a列中含有11的行;
df1['Allele1'] = df1['Allele1'].str.upper()
列表中Allele1的小写字母换为大写字母;大写换小写把upper改为lower;
df[df.b > 2]
提取b列大于2的所有行;
df = df1[df1['p']<0.05]
提取df1中p列<0.05的所有行;
df = df1[(df1['p']<1+2) & (df1['p']<2)]
提取df1中p列1
data.drop_duplicates()
去除重复项,data中一行元素全部相同时才去除
data.drop_duplicates(['a','b'])
去除重复项,data根据’a','b'组合列删除重复项,默认保留第一个出现的值组合。
data.drop_duplicates(['a','b'],keep='last')
去除重复项,传入参数keep='last'则保留最后一个
data.fillna(0)
填充数据中的空值为0.
#根据列循环,每列的空置填该列的均值;
for indexs in df1.columns:
df1[indexs] = df1[indexs].fillna(df1[indexs].mean())
df['P'] = np.power(10,-df['PVAL'])
对df中PVAL列求以10的-PVAL次方赋值给P
numpy.power(x1, x2)
x1的x2次方。x2可以是数字,也可以是数组,但是x1和x2的列数要相同;
df.isnull().any()
判断每一列是否有空值;
df['ID'].isnull().any()
判断ID列是否为空值;
df.isnull().sum()
判断每列空值的个数;
df[df['ID'].notna()]
删除ID列有空值的行;
df['a'] = stats.zscore(df['a'])
a列进行zscore
画图
直方图
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
df1 = pd.read_excel('for_figure.xlsx')
plt.figure(figsize=(35, 8),dpi=1200)
plt.xticks(rotation = 90) #x轴标签转90°竖着
sns.barplot(x="IDP",y="logP",data=df1)
plt.axhline(y=3.24, c="grey", ls="--", lw=2)
plt.savefig('img_2bk_lmm.png')
散点图
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
df1 = pd.read_excel(r'file.xlsx')
xValue = df1['WM_Task_2bk_Acc']
yValue = df1['FS_L_Cuneus_GrayVol']
plt.xlabel("2-back accuracy")
plt.ylabel("L_Cuneus_volume")
plt.scatter(xValue, yValue, s=20, c='b', marker='o')
箱图
fig = plt.figure()
sns.boxplot('center','age',data=df1)
plt.ylabel('age')
plt.xlabel('center')
plt.show()