爱读书的无业游民
爱读书的无业游民

pandas数据移位、数据转换、数据合并、数据导出和日期数据的处理，时间序列

pandas统计分析（下）

本文主要介绍使用pandas进行数据移位、数据转换、数据合并、数据导出和日期数据的处理，时间序列等。

数据移位

数据移位就是在分析数据时，需要移动到上一条，在pandas中，可以使用shift方法获得上一条数据。

shift(periods=1, freq=None, axis=0, fill_value=)
 
 
参数：
 
 
     
  
  • periods：表示移动的幅度，可正可负，默认为1。1表示移动一次。这里移动的都是数据，索引不移动，移动之后没有对应值的，赋值为NaN。
    •  
  
  • freq：可选参数，默认为None，只适用于时间序列，如果这个参数存在，那么会按照参数值移动时间索引，而数据值没有发生变化。
    •  
  
  • axis：axis = 1表示行，axis = 0表示列。默认为0
    •  
 
 
 
import pandas as pd
data =[110,105,99,120,115]
index = [1,2,3,4,5]
df = pd.DataFrame(data = data,index = index,columns=['英语'])
df['升降'] = df['英语']-df['英语'].shift()
print(df)

 
 
   英语  升降
1   110   NaN
2   105  -5.0
3    99  -6.0
4   120  21.0
5   115  -5.0

 
 
数据转换
 
 
数据转换包括一列数据转多行数据、行列转换、DataFrame转字典，DataFrame转列表，DataFrame转元组
 
 
一列数据转多列数据
 
 
split方法
 
 
pandas中的DataFrame对象中的str.split方法可以实现分割字符串
 
 
split(pat=None, n=-1, expand=False)

 
 
参数：
 
 
     
  
  • pat：字符串、符合或正则表达式，字符串分割的依据，默认以空格分割字符串
    •  
  
  • n：整型，分割次数，默认值是-1,0或1都将返回所有拆分
    •  
  
  • expand：布尔型，分割后的结果是否转为DataFrame，默认值是False
    •  
  
  • 返回值：系列、索引、DataFrame或多重索引。
    •  
 
 
 
import pandas as pd
#导入excel文件指定列数据（‘买家会员名’，‘收货地址’）
df = pd.read_excel('MR/Code/04/26/mrbooks.xls',usecols=['买家会员名','收货地址'])
#使用Split方法分割收货地址
series = df['收货地址'].str.split(' ',expand=True)
df['省'] = series[0]
df['市'] = series[1]
df['区'] = series[2]
df1 = df.head()

 
 
 
   
   
 
     
    买家会员名 
    收货地址 
    省 
    市 
    区 
   
 
   
   
   
 
    0 
    mr00001 
    重庆 重庆市 南岸区 
    重庆 
    重庆市 
    南岸区 
   
 
   
 
    1 
    mr00003 
    江苏省 苏州市 吴江区 吴江经济技术开发区亨通路 
    江苏省 
    苏州市 
    吴江区 
   
 
   
 
    2 
    mr00004 
    江苏省 苏州市 园区 苏州市工业园区唯亭镇阳澄湖大道维纳阳光花园... 
    江苏省 
    苏州市 
    园区 
   
 
   
 
    3 
    mr00002 
    重庆 重庆市 南岸区 长生桥镇茶园新区长电路11112号 
    重庆 
    重庆市 
    南岸区 
   
 
   
 
    4 
    mr00005 
    安徽省 滁州市 明光市 三界镇中心街10001号 
    安徽省 
    滁州市 
    明光市 
   
 
   
 
 
 
join方法和split方法结合
 
 
df = pd.read_excel('MR/Code/04/26/mrbooks.xls',usecols=['买家会员名','宝贝标题'])

df = df.join(df['宝贝标题'].str.split('，',expand=True))
df

 
 
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YiykdvDV-1650707196634)(C:\Users\85289\AppData\Roaming\Typora\typora-user-images\image-20220420171419643.png)]
 
 
对元组数据进行分割
 
 
import pandas as pd
df = pd.DataFrame({'a':[1,2,3,4,5],'b':[(1,2),(3,4),(5,6),(7,8),(9,10)]})
print(df)

 
 
   a        b
0  1   (1, 2)
1  2   (3, 4)
2  3   (5, 6)
3  4   (7, 8)
4  5  (9, 10)

 
 
df[['b1','b2']]=df['b'].apply(pd.Series)
print(df)
df = df.join(df['b'].apply(pd.Series))
print(df)

 
 
   a        b  b1  b2
0  1   (1, 2)   1   2
1  2   (3, 4)   3   4
2  3   (5, 6)   5   6
3  4   (7, 8)   7   8
4  5  (9, 10)   9  10
   a        b  b1  b2  0   1
0  1   (1, 2)   1   2  1   2
1  2   (3, 4)   3   4  3   4
2  3   (5, 6)   5   6  5   6
3  4   (7, 8)   7   8  7   8
4  5  (9, 10)   9  10  9  10

 
 
行列转换
 
 
使用stack和unstack及pivot方法进行行列转换或重排。
 
 
stack方法是将原来的列索引转换成最内层的行索引，unstack是将最内层的行索引转换成列索引
 
 
import pandas as pd
df=pd.read_excel('MR/Code/04/29/grade.xls')
pd.set_option('display.unicode.east_asian_width',True)
df = df.set_index(['班级','序号'])# 设置2级索引‘班级’和‘序号’
df.stack()
print(df)

 
 
            姓名  得分  排名
班级 序号                   
1班  1     王*亮    84    11
     2      杨**    82    17
     3     王*彬    78    37
2班  4     赛*琪    77    51
     5      刘**    76    64
     6     刘*彤    74    89
3班  7     张*扬    72   115
     8      尹**    72   115
     9     李*旸    72   115
4班  10    *华煦    72   115
     11    于*明    72   115
     12    袁*皓    70   151
5班  13      姜*    70   151
     14     窦**    68   195
     15    张*昕    68   195

 
 
pivot方法针对列的值，指定某列的值作为行索引，指定某列的值作为列索引，然后再指定哪些列作为索引对应的值。
 
 
pivot(index=None, columns=None, values=None)

 
 
df = pd.read_excel('MR/Code/04/31/grade.xls',sheet_name= '英语3')
df1 = df.pivot(index = '序号',columns='班级',values='得分')
df1

 
 
 
   
   
 
    班级 
    1班 
    2班 
    3班 
    4班 
    5班 
   
 
   
   
   
 
    序号 
     
     
     
     
     
   
 
   
 
    1 
    84 
    77 
    72 
    72 
    70 
   
 
   
 
    2 
    82 
    76 
    72 
    72 
    68 
   
 
   
 
    3 
    78 
    74 
    72 
    70 
    68 
   
 
   
 
 
 
DataFrame转换为字典
 
 
使用to_dict方法，以索引作为字典的键，列作为字典的值。
 
 
import pandas as pd
df = pd.read_excel('MR/Code/04/32/mrbooks.xls')
df1 = df.groupby(['宝贝标题'])['宝贝总数量'].sum().head()
mydict = df1.to_dict()
for i,j in mydict.items():
    print(i,':\t',j)

 
 
ASP.NET项目开发实战入门全彩版 :     32
ASP.NET项目开发实战入门全彩版，ASP.NET全能速查宝典 :   2
Android学习黄金组合套装 :    4
Android项目开发实战入门 :    1
C#+ASP.NET项目开发实战入门全彩版 :  1

 
 
DataFrame转列表
 
 
使用tolist转换
 
 
import pandas as pd
df = pd.read_excel('MR/Code/04/33/mrbooks.xls')
df1 = df[['买家会员名']].head()
list1 = df1['买家会员名'].values.tolist()
for s in list1:
    print(s)

 
 
mr00001
mr00003
mr00004
mr00002
mr00005

 
 
DataFrame转元组
 
 
先通过循环语句按行读取DataFrame数据，然后使用元组函数tuple()将其转换为元组
 
 
import pandas as pd
df = pd.read_excel('MR/Code/04/34/fl4.xls')
df1 = df[['label1','label2']].head()
tuples = [tuple(x) for x in df1.values]
for t in tuples:
    print(t)

 
 
('超巨星', '暗夜比夜星')
('黑矮星', '暗夜比夜星')
('灭霸', '暗夜比夜星')
('亡刃将军', '暗夜比夜星')
('乌木喉', '暗夜比夜星')

 
 
excel转换为html网页格式
 
 
使用to_html文件转换
 
 
import pandas as pd
df = pd.read_excel('MR/Code/04/35/mrbooks.xls')
df.to_html('mrbook.html',header=True,index = False)

 
 
数据合并
 
 
数据合并主要使用merge和concat方法
 
 
merge方法
 
 
merge是将两个DataFrame对象列名相同的列进行连接合并，两个DataFrame对象必须具有同名的列。
 
 
merge(left, right, how: str = 'inner', on=None, left_on=None, right_on=None, left_index: bool = False, right_index: bool = False, sort: bool = False, suffixes=('_x', '_y'), copy: bool = True, indicator: bool = False, validate=None)

 
 
参数说明：
 
 
     
  
  • right：合并对象
    •  
  
  •  
    how：合并类型，可以是left、right、outer或inner，默认为inner
     
   
       
    
    • left：只使用来自左数据集的键，类似于sql左外部联接，保留键的顺序
      •  
    
    • right：只使用来自右数据集的键，类似于sql右外部联接，保留键的顺序
      •  
    
    • outer：使用来自两个数据集的键，类似于sql外部连接，按字典顺序对键进行排序
      •  
    
    • inner：使用来自两个数据集的键的交集，类似于sql内部连接，保持左键的顺序
      •  
   
     
    •  
  
  • on：标签、列表、数组，默认为None，DataFrame对象连接的列或索引级别名称
    •  
  
  • left_on：要连接的左数据集的列或索引级名称
    •  
  
  • right_on：要连接的右数据集的列
    •  
  
  • left_index：布尔型，使用左数据集的索引作为连接键。如果是多重索引，则其他数据中的键数（索引或列数）必须匹配索引级别数
    •  
  
  • right_index：布尔型，使用右数据集的索引作为连接键
    •  
  
  • sort：在合并结果中按照字典顺序对连接键进行排序
    •  
  
  • suffixes：当左侧数据集和右侧数据集的列名相同时，数据合并后列名将带上'_x'和'_y'后缀
    •  
  
  • copy：是否复制数据，默认为True
    •  
  
  • indicator：布尔型或字符串，默认为false
    •  
  
  •  
    validate：字符串，检查合并数据是否为指定类型。
     
   
       
    
    • one_to_one或“1:1”：检查合并键在左右数据集中是否都是唯一的
      •  
    
    • one_to_many或“1:m”：检查合并键在左数据集中是否都是唯一的
      •  
    
    • many_to_one或“m:1”：检查合并键在右数据集中是否都是唯一的
      •  
    
    • many_to_many或“m:m”：允许但不检查
      •  
   
     
    •  
  
  •  
    返回值：DataFrame对象，两个合并对象的数据集
     
    常规合并
     
    import pandas as pd
df1 =pd.DataFrame({'编号':['mr001','mr002','mr003'],
                  '语文':[110,105,109],
                  '数学':[105,88,120],
                  '英语':[99,115,130]})
df2 = pd.DataFrame({'编号':['mr001','mr002','mr003'],
                   '体育':[34.5,39.7,38]})
df_merge = pd.merge(df1,df2,on = '编号')
print(df_merge)

     
        编号  语文  数学  英语  体育
0  mr001   110   105    99  34.5
1  mr002   105    88   115  39.7
2  mr003   109   120   130  38.0

     
    •  
 
 
 
df_merge = pd.merge(df1,df2,right_index=True,left_index=True)
print(df_merge)

  编号_x  语文  数学  英语 编号_y  体育
0  mr001   110   105    99  mr001  34.5
1  mr002   105    88   115  mr002  39.7
2  mr003   109   120   130  mr003  38.0


 
 
df_merge = pd.merge(df1,df2,on = '编号',how = 'left')
print(df_merge)

 
 
    编号  语文  数学  英语  体育
0  mr001   110   105    99  34.5
1  mr002   105    88   115  39.7
2  mr003   109   120   130  38.0

 
 
多对一的数据合并
 
 
多对一是指两个数据集的共有列中的数据不是一对一的关系
 
 
df2 =pd.DataFrame({'编号':['mr001','mr001','mr003'],
                  '语文':[110,105,109],
                  '数学':[105,88,120],
                  '英语':[99,115,130],
                  '时间':['1月','2月','1月']})
df1 = pd.DataFrame({'编号':['mr001','mr002','mr003'],
                   '学生姓名':['a','b','c']})
df_merge = pd.merge(df1,df2,on ='编号')
print(df_merge)

 
 
    编号 学生姓名  语文  数学  英语 时间
0  mr001        a   110   105    99  1月
1  mr001        a   105    88   115  2月
2  mr003        c   109   120   130  1月

 
 
多对多的数据合并
 
 
多对多是指两个数据集的共有列中的数据不全是一对一的关系，都有重复数据。
 
 
#合并数据并相互补全
import pandas as pd

df1 = pd.DataFrame({'编号':['mr001','mr002','mr003','mr001','mr001'],
                    '体育':[34.5,39.7,38,33,35]})

df2 = pd.DataFrame({'编号':['mr001','mr002','mr003','mr003','mr003'],
                    '语文':[110,105,109,110,108],
                    '数学':[105,88,120,123,119],
                    '英语':[99,115,130,109,128]})

df_merge=pd.merge(df1,df2)
print(df_merge)

 
 
    编号  体育  语文  数学  英语
0  mr001  34.5   110   105    99
1  mr001  33.0   110   105    99
2  mr001  35.0   110   105    99
3  mr002  39.7   105    88   115
4  mr003  38.0   109   120   130
5  mr003  38.0   110   123   109
6  mr003  38.0   108   119   128

 
 
concat方法
 
 
concat(objs: Union[Iterable[ForwardRef('NDFrame')], Mapping[Union[Hashable, NoneType], ForwardRef('NDFrame')]], axis=0, join='outer', ignore_index: bool = False, keys=None, levels=None, names=None, verify_integrity: bool = False, sort: bool = False, copy: bool = True)

 
 
参数：
 
 
     
  
  • objs：Series、DataFrame或panel对象的序列或映射。如果传入一个字典，则排序的键将用作键参数
    •  
  
  • axis：
    •  
  
  • join：值为inner（内连接）或outer（外连接），处理其他轴上的索引方式。默认为outer
    •  
  
  • ignore_index:布尔值，默认为false，保留索引
    •  
  
  • keys：序列，默认为none。使用传递的键作为最外层构建层次索引。如果为多索引，应该使用元组
    •  
  
  • levels：序列列表，默认为none。用于构建multiindex的特定级别（唯一值）；否则，他们将从键推断
    •  
  
  • names：list列表，默认为none，结果层次索引中的级别的名称
    •  
 
 
 
相同字段的表首位连接
 
 
表结构相同的数据直接合并，表首尾相接
 
 
dfs = [df1,df2,df3]
result = pd.concat(dfs)
result = pd.concat(dfs,keys = ['1月','2月','3月'])

 
 
横向表合并（行对齐）
 
 
当合并的数据列名称不一致，可以设置参数，concat（）方法将按行对齐，然后将不同列名的两组数据进行合并，缺失的用NaN填充
 
 
result = pd.concat([df1,df4],axis = 1)

 
 
交叉合并
 
 
交叉合并需要在代码中加上join参数，值为inner，则为两张表的交集，为outer，则为两张表的并集。
 
 
result = pd.concat([df1,df4],axis = 1,join = 'inner')

 
 
指定表对齐数据（行对齐）
 
 
如果指定参数join_axes，就可以指定根据哪张表来对齐数据。
 
 
result = pd.concat([df1,df4],axis = 1,join_axis = [df4.index])

 
 
数据导出
 
 
导出为excel文件
 
 
使用to_excel方法
 
 
to_excel(excel_writer, sheet_name: 'str' = 'Sheet1', na_rep: 'str' = '', float_format: 'Optional[str]' = None, columns=None, header=True, index=True, index_label=None, startrow=0, startcol=0, engine=None, merge_cells=True, encoding=None, inf_rep='inf', verbose=True, freeze_panes=None, storage_options: 'StorageOptions' = None)

 
 
df_merge.to_excel('merge.xlsx')

df1.to_excel('df1.xlsx',sheet_name='df1')

 
 
导出为csv文件
 
 
to_csv(path_or_buf: 'Optional[FilePathOrBuffer]' = None, sep: 'str' = ',', na_rep: 'str' = '', float_format: 'Optional[str]' = None, columns: 'Optional[Sequence[Label]]' = None, header: 'Union[bool_t, List[str]]' = True, index: 'bool_t' = True, index_label: 'Optional[IndexLabel]' = None, mode: 'str' = 'w', encoding: 'Optional[str]' = None, compression: 'CompressionOptions' = 'infer', quoting: 'Optional[int]' = None, quotechar: 'str' = '"', line_terminator: 'Optional[str]' = None, chunksize: 'Optional[int]' = None, date_format: 'Optional[str]' = None, doublequote: 'bool_t' = True, escapechar: 'Optional[str]' = None, decimal: 'str' = '.', errors: 'str' = 'strict', storage_options: 'StorageOptions' = None)

 
 
df.to_csv('Result.csv')

#分隔符
df.to_csv('result.csv',sep='?')

#替换空值
df.to_csv('result.csv',na_rep='NA')
#格式化数据，保留两位小数
df.to_csv('result.csv',float_format='%.2f')
# 保留某列数据，保存索引列和name列
df.to_csv('result.csv',columns=['name'])
#是否保留列名，不保留列名
df.to_csv('result.csv',header=True)
#是否保留行索引，不保留行索引
df.to_csv('result.csv',index = False)

 
 
导出多个sheet
 
 
导出多个sheet，首先使用pd.ExcelWriter方法打开一个excel文件，然后使用to_excel方法导出指定的sheet
 
 
df1.to_excel('df1.xlsx',name = 'df1')
work = pd.ExcelWriter('df2.xlsx')
df1.to_excel(work,sheet_name='df2')
df1['A'].to_excel(work,sheet_name='df3')
work.save()

 
 
日期数据处理
 
 
DataFrame的日期转换
 
 
日常工作中，日期格式的表达有很多种，我们可以通过pandas中的to_datetime方法来批量出路日期数据转换。
 
 
to_datetime(arg: Union[~DatetimeScalar, List, Tuple, ~ArrayLike, ForwardRef('Series')], errors: str = 'raise', dayfirst: bool = False, yearfirst: bool = False, utc: Union[bool, NoneType] = None, format: Union[str, NoneType] = None, exact: bool = True, unit: Union[str, NoneType] = None, infer_datetime_format: bool = False, origin='unix', cache: bool = True)

 
 
import pandas as pd
df = pd.DataFrame({'原日期':['14-Feb-20','02/14/2020',
                         '2020.02.14','20200214']})
df['转换后的日期'] = pd.to_datetime(df['原日期'])
print(df)

 
 
import pandas as pd
df = pd.DataFrame({'原日期':['14-Feb-20','02/14/2020',
                         '2020.02.14','20200214']})
df['转换后的日期'] = pd.to_datetime(df['原日期'])
print(df)
       原日期 转换后的日期
0   14-Feb-20   2020-02-14
1  02/14/2020   2020-02-14
2  2020.02.14   2020-02-14
3    20200214   2020-02-14

 
 
将一组数据组合为日期数据
 
 
import pandas as pd
df=  pd.DataFrame({'year':[2018,2019,2020],
                 'month':[1,3,2],
                 'day':[4,5,14],
                 'hour':[13,8,2],
                 'minute':[23,12,14],
                  'second':[2,4,0]}
                 )
df['组合后的日期'] = pd.to_datetime(df)
print(df)

 
 
   year  month  day  hour  minute  second        组合后的日期
0  2018      1    4    13      23       2 2018-01-04 13:23:02
1  2019      3    5     8      12       4 2019-03-05 08:12:04
2  2020      2   14     2      14       0 2020-02-14 02:14:00

 
 
dt对象的使用
 
 
dt对象是Series对象中用于获取日期属性的一个访问器对象，可以获取日期中的年、月、日、星期数、季节等，还可以判断日期是否处在年底。
 
 
Series.dt()

 
 
#获取年、月、日
df['年'],df['月'],df['日']=df['日期'].dt.year,df['日期'].dt.month,df['日期'].dt.day
#获取星期几
df['星期几']=df['日期'].dt.day_name()
#判断所处季度
df['季度']=df['日期'].dt.quarter
是否为年底最后一天
df['是否年底']=df['日期'].dt.is_year_end

 
 
import pandas as pd

df=pd.DataFrame({'原日期':['2019.1.05', '2019.2.15', '2019.3.25','2019.6.25','2019.9.15','2019.12.31']})
df['日期']=pd.to_datetime(df['原日期'])
df['年'],df['月'],df['日'] = df['日期'].dt.year,df['日期'].dt.month,df['日期'].dt.day
df['星期几'] = df['日期'].dt.day_name()
df['季度'] = df['日期'].dt.quarter
df['是否年底'] = df['日期'].dt.is_year_end
print(df)

 
 
       原日期       日期    年  月  日    星期几  季度  是否年底
0   2019.1.05 2019-01-05  2019   1   5  Saturday     1     False
1   2019.2.15 2019-02-15  2019   2  15    Friday     1     False
2   2019.3.25 2019-03-25  2019   3  25    Monday     1     False
3   2019.6.25 2019-06-25  2019   6  25   Tuesday     2     False
4   2019.9.15 2019-09-15  2019   9  15    Sunday     3     False
5  2019.12.31 2019-12-31  2019  12  31   Tuesday     4      True

 
 
获取日期区间的数据
 
 
获取日期区间的数据方法是直接在DataFrame中输入日期或日期区间，但前提是必须设置日期为索引。
 
 
import pandas as pd
df = pd.read_excel('MR/Code/04/47/mingribooks.xls')
df1 = df[['订单付款时间','买家会员名','联系手机','买家实际支付金额']]
df1 = df1.sort_values(by = ['订单付款时间'])
df1 = df1.set_index('订单付款时间')# 将日期设置为索引
#获取某个区间数据
df2 = df1['2018-05-11':'2018-06-10']
df2

 
 
 
   
   
 
     
    买家会员名 
    联系手机 
    买家实际支付金额 
   
 
   
   
   
 
    订单付款时间 
     
     
     
   
 
   
 
    2018-05-11 11:37:00 
    mrhy61 
    1********** 
    55.86 
   
 
   
 
    2018-05-11 13:03:00 
    mrhy80 
    1********** 
    268.00 
   
 
   
 
    2018-05-11 13:27:00 
    mrhy40 
    1********** 
    55.86 
   
 
   
 
    2018-05-12 02:23:00 
    mrhy27 
    1********** 
    48.86 
   
 
   
 
    2018-05-12 21:13:00 
    mrhy76 
    1********** 
    268.00 
   
 
   
 
    ... 
    ... 
    ... 
    ... 
   
 
   
 
    2018-06-09 21:17:00 
    yhhy47 
    1*********** 
    43.86 
   
 
   
 
    2018-06-09 22:42:00 
    yhhy6 
    1*********** 
    167.58 
   
 
   
 
    2018-06-10 08:22:00 
    yhhy4 
    1*********** 
    166.43 
   
 
   
 
    2018-06-10 09:06:00 
    yhhy14 
    1*********** 
    137.58 
   
 
   
 
    2018-06-10 21:11:00 
    yhhy24 
    1*********** 
    139.44 
   
 
   
 
 
 
按不同时期统计并显示数据
 
 
按时期统计数据
 
 
主要通过DataFrame对象的resample()方法结合数据计算函数实现。resample方法主要应用于时间序列频率转换和重采样。它可以从日期中获取年、月、日、星期、季节等，再结合数据计算函数就可以实现按照不同时期统计数据。
 
 
df1 = =df1.resample('AS').sum()#年
df1 = =df1.resample('Q').sum()#季度
df1 = =df1.resample('M').sum()#月
df1 = =df1.resample('W').sum()#星期
df1 = =df1.resample('D').sum()#天

 
 
resample函数要求索引项必须为日期型，可以使用如下代码转换
 
 
df1.index = pd.to_datetime(df1.index)
 
 
按时期显示数据
 
 
使用to_period()方法将时间转换为时期，从而实现按时期显示数据，日期必须设置为索引列。
 
 
to_period(freq=None, axis: 'Axis' = 0, copy: 'bool' = True)

 
 
参数：
 
 
     
  
  • freq：字符串，周期索引的频率，默认为None
    •  
  
  • axis：行列索引，axis = 0表示行索引，1表示列索引
    •  
  
  • copy：是否复制数据，默认为True
    •  
  
  • 返回值：带周期索引的时间序列
    •  
 
 
 
df1.to_period('A')#按年
df1.to_period('Q')#按季度
df1.to_period('M')#按月
df1.to_period('W')#按星期

 
 
按时期统计并显示数据
 
 
df2.resample('AS').sum().to_period('A')#按年统计数据
df2.resample('Q').sum().to_period('Q')#按季度统计数据
df2.resample('M').sum().to_period('M')#按月统计数据
df2.resample('W').sum().to_period('W')#按星期统计数据

 
 
时间序列
 
 
重采样（resample方法）
 
 
在pandas中对时间序列的频率的调整成为重新采样，即将时间序列从一个频率转换到另一个频率的处理过程。resample方法对常规时间序列重新采样和频率转换，包括降采样和升采样两种。
 
 
resample(rule, axis=0, closed: 'Optional[str]' = None, label: 'Optional[str]' = None, convention: 'str' = 'start', kind: 'Optional[str]' = None, loffset=None, base: 'Optional[int]' = None, on=None, level=None, origin: 'Union[str, TimestampConvertibleTypes]' = 'start_day', offset: 'Optional[TimedeltaConvertibleTypes]' = None)

 
 
参数说明：
 
 
     
  
  • rule：字符串，偏移量表示目标字符串或对象转换。
    •  
  
  • how：用于产生聚合值的函数名或数组函数
    •  
  
  • axis：axis= 0 表示列，axis= 1表示行
    •  
  
  • fill_method：升采样时所使用的填充方法，ffill（用前值填充）或bfill方法（用后值填充）
    •  
  
  • closed：降采样时，时间区间的开闭，其值为left或right，left（左闭右开），right（左开右闭），默认为right
    •  
  
  • label：降采样时，如何设置聚合之的标签
    •  
  
  • convention：当重采样时，将低频率转换为高频率时所采用的约定，其值为start或end，默认为start
    •  
  
  • kind：聚合到时期（period）或时间戳（timestamp），默认聚合到时间序列的索引类型
    •  
  
  • loffset：聚合标签的时间校正值，默认为None
    •  
  
  • limit：向前或向后填充时，允许填充的最大时期数，默认为None
    •  
  
  • base：整型，默认为0.对于均匀细分1天的频率，聚合间隔的‘原点’
    •  
  
  • on：字符串，可选参数，默认为None。对DataFrame对象使用列代替索引进行重新采样。列必须与日期时间类似
    •  
  
  • level：字符串或整型，可选参数，默认为None。用于多索引，重新采样的级别名称或级别编号，级别必须与日期时间类似。
    •  
  
  • 返回值：重新采样对象
    •  
 
 
 
一分钟的时间序列转换为3分钟的时间序列
 
 
import pandas as pd
index = pd.date_range('02/02/2020',periods=9,freq= 'T')
series = pd.Series(range(9),index = index)
print(series)
print(series.resample('3T').sum())

 
 
2020-02-02 00:00:00    0
2020-02-02 00:01:00    1
2020-02-02 00:02:00    2
2020-02-02 00:03:00    3
2020-02-02 00:04:00    4
2020-02-02 00:05:00    5
2020-02-02 00:06:00    6
2020-02-02 00:07:00    7
2020-02-02 00:08:00    8
Freq: T, dtype: int64
2020-02-02 00:00:00     3
2020-02-02 00:03:00    12
2020-02-02 00:06:00    21
Freq: 3T, dtype: int64

 
 
降采样处理
 
 
降采样是按照周期由高频率转向低频率。如将5min采样时间变为一天
 
 
降采样会涉及数据的聚合
 
 
import pandas as pd
df = pd.read_excel('MR/Code/04/50/time.xls')
df1 = df.set_index('订单付款时间')
print(df1.resample('W').sum().head())

 
 
            买家实际支付金额  宝贝总数量
订单付款时间                     
2018-01-07   5735.91     77
2018-01-14   4697.62     70
2018-01-21   5568.77     74
2018-01-28   5408.68     53
2018-02-04   1958.19     19

 
 
升采样处理
 
 
升采样时周期由低频率转向高频率，将数据从低频率转换到高频率时，就不需要聚合了，将其重采样到日频率，默认会引入缺失值
 
 
升采样涉及到数据的填充，根据填充的方法不同，填充的数据也不同。
 
 
     
  
  • 不填充：空值用NaN代替，使用asfreq（）方法
    •  
  
  • 用前值填充。用前面的值填充空值，使用ffill或pad，可以使用字母f代替。
    •  
  
  • 用后值填充，使用bfill方法，可以使用字母b代替。
    •  
 
 
 
import pandas as pd
import numpy as np
rng = pd.date_range('20200202',periods=2)
s1 = pd.Series(np.arange(1,3),index = rng)
s1_6h_asfreq = s1.resample('6H').asfreq()
print(s1_6h_asfreq)
s1_6h_pad = s1.resample('6H').pad()
print(s1_6h_pad)
s1_6h_ffill = s1.resample('6H').ffill()
print(s1_6h_ffill)
s1_6h_bfill = s1.resample('6H').bfill()
print(s1_6h_bfill)

 
 
2020-02-02 00:00:00    1.0
2020-02-02 06:00:00    NaN
2020-02-02 12:00:00    NaN
2020-02-02 18:00:00    NaN
2020-02-03 00:00:00    2.0
Freq: 6H, dtype: float64
2020-02-02 00:00:00    1
2020-02-02 06:00:00    1
2020-02-02 12:00:00    1
2020-02-02 18:00:00    1
2020-02-03 00:00:00    2
Freq: 6H, dtype: int32
2020-02-02 00:00:00    1
2020-02-02 06:00:00    1
2020-02-02 12:00:00    1
2020-02-02 18:00:00    1
2020-02-03 00:00:00    2
Freq: 6H, dtype: int32
2020-02-02 00:00:00    1
2020-02-02 06:00:00    2
2020-02-02 12:00:00    2
2020-02-02 18:00:00    2
2020-02-03 00:00:00    2
Freq: 6H, dtype: int32

 
 
时间序列数据汇总（ohlc函数）
 
 
使用ohlc函数可以得到金融领域的开始值（open）、结束值（close）、最高值（high）和最低值（low）
 
 
import pandas as pd
import numpy as np

rng = pd.date_range('2/2/2020',periods=12,freq = 'T')
s1 = pd.Series(np.arange(12),index = rng)
print(s1.resample('5min').ohlc())

 
 
                     open  high  low  close
2020-02-02 00:00:00     0     4    0      4
2020-02-02 00:05:00     5     9    5      9
2020-02-02 00:10:00    10    11   10     11

 
 
移动窗口数据计算（rolling函数）
 
 
由于时点的数据波动较大，某一点的数据就不能很好的表现它本身的特性，于是就有了“移动窗口”的概念，简单的说，为了提升数据的可靠性，将某个点的取值扩大到包含这个点的一段区间，用区间进行判断，这个区间就是窗口。
 
 
rolling(window: 'Union[int, timedelta, BaseOffset, BaseIndexer]', min_periods: 'Optional[int]' = None, center: 'bool_t' = False, win_type: 'Optional[str]' = None, on: 'Optional[str]' = None, axis: 'Axis' = 0, closed: 'Optional[str]' = None)

 
 
参数：
 
 
     
  
  • window：时间窗口的大小，有两种形式，即int或offset。如果使用int，则数值表示计算统计量的观测值的数量，即向前几个数据；如果使用offset，则表示时间窗口的大小。
    •  
  
  • min_periods：每个窗口最少包含的观测值数量，小于这个值的窗口结果为NA。值可以是int，默认值为None。offset情况下，默认值为1
    •  
  
  • center：吧窗口的标签设置为居中，默认为false，居右
    •  
  
  • win_type：窗口的类型。截取窗的各种函数。
    •  
  
  • on：可选参数
    •  
  
  • axis：axis= 0列，默认列
    •  
  
  • closed：定义区间的开闭
    •  
  
  • 返回值：为特定操作而生成的窗口或移动窗口子类。
    •  
 
 
 
import pandas as pd
index = pd.date_range('20200201','20200215')
data = [3,6,7,4,2,1,3,8,9,10,12,15,13,22,14]
s1_data = pd.Series(data,index = index)
print(s1_data)

s1_data.rolling(3).mean()

 
 
2020-02-01     3
2020-02-02     6
2020-02-03     7
2020-02-04     4
2020-02-05     2
2020-02-06     1
2020-02-07     3
2020-02-08     8
2020-02-09     9
2020-02-10    10
2020-02-11    12
2020-02-12    15
2020-02-13    13
2020-02-14    22
2020-02-15    14
Freq: D, dtype: int64

2020-02-01          NaN
2020-02-02          NaN
2020-02-03     5.333333
2020-02-04     5.666667
2020-02-05     4.333333
2020-02-06     2.333333
2020-02-07     2.000000
2020-02-08     4.000000
2020-02-09     6.666667
2020-02-10     9.000000
2020-02-11    10.333333
2020-02-12    12.333333
2020-02-13    13.333333
2020-02-14    16.666667
2020-02-15    16.333333
Freq: D, dtype: float64

 
 
s1_data.rolling(3,min_periods=1).mean()

 
 
2020-02-01     3.000000
2020-02-02     4.500000
2020-02-03     5.333333
2020-02-04     5.666667
2020-02-05     4.333333
2020-02-06     2.333333
2020-02-07     2.000000
2020-02-08     4.000000
2020-02-09     6.666667
2020-02-10     9.000000
2020-02-11    10.333333
2020-02-12    12.333333
2020-02-13    13.333333
2020-02-14    16.666667
2020-02-15    16.333333
Freq: D, dtype: float64

 
 
综合应用
 
 
excel多表合并
 
 
import pandas as pd
import glob
filearray = []
filelocation = glob.glob(r'MR/Code/04/example/01/aa/*.xlsx')#指定目录下所有的excel文件
# 遍历指定目录
for filename in filelocation:
    filearray.append(filename)
    print(filename)
res = pd.read_excel(filearray[0])#读取第一个excel文件
#顺序读取excel文件并进行合并
for i in range(1,len(filearray)):
    A = pd.read_excel(filearray[i])
    res = pd.concat([res,A],ignore_index=True,sort = False)
print(res.index)

#写入excel文件，并保持
writer = pd.ExcelWriter('all.xlsx')
res.to_excel(writer,'sheet1')
writer.save()

 
 
股票行情数据分析
 
 
股票数据包括开盘价、收盘价、最高价、最低价、成交量等多个指标。收盘价是当日行情的标准，也是下一个交易日开盘价的依据，可以预测未来证券市场行情，因此一般采用收盘价作为计算依据。
 
 
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
aa = r'MR/Code/04/example/02/000001.xlsx'
df = pd.DataFrame(pd.read_excel(aa))
df['date']= pd.to_datetime(df['date'])#将数据类型转换为日期类型
df = df.set_index('date')#将date设置为index
df = df[['close']]
df['20天'] = np.round(df['close'].rolling(window= 20,center = False).mean(),2)
df['50天'] = np.round(df['close'].rolling(window= 50,center = False).mean(),2)
df['200天'] = np.round(df['close'].rolling(window= 200,center = False).mean(),2)
plt.rcParams['font.sans-serif']=['SimHei']# 解决中文乱码
df.plot(secondary_y = ['收盘价','20','50','200'],grid = True)
plt.legend(('收盘价','20天','50天','200天'),loc = 'upper right')

 
 
 
  
 
   
  
   
 
  
 
  

    图片.png 
  
 
 
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    
                

            
        
    
    

        
你可能感兴趣的:(pandas数据移位、数据转换、数据合并、数据导出和日期数据的处理，时间序列)

        

            

                
    
                    
  • 斤斤计较的婚姻到底有多难？
                        白心之岂必有为

                        
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
    
                    
    • 
                    
  • 情绪觉察日记第37天
                        露露_e800

                        
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
    
                    
    • 
                    
  • 芦花鞋一四
                        许叶晗

                        
    又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
    
                    
    • 
                    
  • QQ群采集助手，精准引流必备神器
                        2401_87347160
其他经验分享
                        
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
    
                    
    • 
                    
  • 关于沟通这件事，项目经理不需要每次都面对面进行
                        流程大师兄

                        
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
    
                    
    • 
                    
  • 机器学习与深度学习间关系与区别
                        ℒℴѵℯ心·动ꦿ໊ོ꫞
人工智能学习深度学习python
                        
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
    
                    
    • 
                    
  • 铭刻于星（四十二）
                        随风至

                        
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
    
                    
    • 
                    
  • 底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说
                        造命者说

                        
    底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
    
                    
    • 
                    
  • 2020-01-25
                        晴岚85

                        
    郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
    
                    
    • 
                    
  • 随笔 | 仙一般的灵气
                        海思沧海

                        
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
    
                    
    • 
                    
  • 想家
                        爆米花机

                        
    也许不同于大家对家乡的思念，我对家乡甚至是疯狂的不舍。还未踏出车站就感觉到幸福，我享受这里的夕阳、这里的浓烈柴火味、这里每一口家常菜。我是宅女，我贪恋家的安逸。刚刚踏出大学校门，初出茅庐，无法适应每年只能国庆和春节回家。我焦虑、失眠、无端发脾气，是无法适应工作的节奏，是无法接受我将一步步离开家乡的事实。我不想承认自己胸无大志，选择再次踏上征程。图片发自App
    
                    
    • 
                    
  • 【iOS】MVC设计模式
                        Magnetic_h
iosmvc设计模式objective-c学习ui
                        
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
    
                    
    • 
                    
  • OC语言多界面传值五大方式
                        Magnetic_h
iosui学习objective-c开发语言
                        
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
    
                    
    • 
                    
  • 一百九十四章. 自相矛盾
                        巨木擎天

                        
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
    
                    
    • 
                    
  • UI学习——cell的复用和自定义cell
                        Magnetic_h
ui学习
                        
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
    
                    
    • 
                    
  • element实现动态路由+面包屑
                        软件技术NINI
vue案例vue.js前端
                        
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
    
                    
    • 
                    
  • 10月|愿你的青春不负梦想-读书笔记-01
                        Tracy的小书斋

                        
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
    
                    
    • 
                    
  • C语言宏函数
                        南林yan
C语言c语言
                        
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
                    
    • 
                    
  • 地推话术，如何应对地推过程中家长的拒绝
                        校师学

                        
    相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
    
                    
    • 
                    
  • 谢谢你们，爱你们！
                        鹿游儿

                        
    昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
    
                    
    • 
                    
  • C语言如何定义宏函数？
                        小九格物
c语言
                        
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
    
                    
    • 
                    
  • 微服务下功能权限与数据权限的设计与实现
                        nbsaas-boot
微服务java架构
                        
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
    
                    
    • 
                    
  • 理解Gunicorn：Python WSGI服务器的基石
                        范范0825
ipythonlinux运维
                        
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
    
                    
    • 
                    
  • 小丽成长记（四十三）
                        玲玲54321

                        
    小丽发现，即使她好不容易调整好自己的心态下一秒总会有不确定的伤脑筋的事出现，一个接一个的问题，人生就没有停下的时候，小问题不断出现。不过她今天看的书，她接受了人生就是不确定的，厉害的人就是不断创造确定性，在Ta的领域比别人多的确定性就能让自己脱颖而出，显示价值从而获得的比别人多的利益。正是这样的原因，因为从前修炼自己太少，使得她现在在人生道路上打怪起来困难重重，她似乎永远摆脱不了那种无力感，有种习
    
                    
    • 
                    
  • 学点心理知识，呵护孩子健康
                        静候花开_7090

                        
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
    
                    
    • 
                    
  • 2021年12月19日，春蕾教育集团团建活动感受——黄晓丹
                        黄错错加油

                        
    感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
    
                    
    • 
                    
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断
                        尐尐呅

                        
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
    
                    
    • 
                    
  • c++ 的iostream 和 c++的stdio的区别和联系
                        黄卷青灯77
c++算法开发语言iostreamstdio
                        
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
    
                    
    • 
                    
  • 瑶池防线
                        谜影梦蝶

                        
    冥华虽然逃过了影梦的军队，但他是一个忠臣，他选择上报战况。败给影梦后成逃兵，高层亡尔还活着，七重天失守......随便一条，即可处死冥华。冥华自然是知道以仙界高层的习性此信一发自己必死无疑，但他还选择上报实情，因为责任。同样此信送到仙宫后，知道此事的人，大多数人都认定冥华要完了，所以上到仙界高层，下到扫大街的，包括冥华自己，全都准备好迎接冥华之死。如果仙界现在还属于两方之争的话，冥华必死无疑。然而
    
                    
    • 
                    
  • 爬山后遗症
                        璃绛

                        
    爬山，攀登，一步一步走向制高点，是一种挑战。成功抵达是一种无法言语的快乐，在山顶吹吹风，看看风景，这是从未有过的体验。然而，爬山一时爽，下山腿打颤，颠簸的路，一路向下走，腿部力量不够，走起来抖到不行，停不下来了！第二天必定腿疼，浑身酸痛，坐立难安！
    
                    
    • 
                                
  • java数字签名三种方式
                                    知了ing
javajdk
                                    
    以下3钟数字签名都是基于jdk7的 
1，RSA 
 

String password="test";
			// 1.初始化密钥
			KeyPairGenerator keyPairGenerator = KeyPairGenerator.getInstance("RSA");
			keyPairGenerator.initialize(51
    
                                
    • 
                                
  • Hibernate学习笔记
                                    caoyong
Hibernate
                                    
    1>、Hibernate是数据访问层框架，是一个ORM(Object Relation Mapping)框架，作者为:Gavin King 
2>、搭建Hibernate的开发环境 
     a>、添加jar包: 
      aa>、hibernatte开发包中/lib/required/所
    
                                
    • 
                                
  • 设计模式之装饰器模式Decorator（结构型）
                                    漂泊一剑客
Decorator
                                    
    1. 概述 
 
 
       若你从事过面向对象开发，实现给一个类或对象增加行为，使用继承机制，这是所有面向对象语言的一个基本特性。如果已经存在的一个类缺少某些方法，或者须要给方法添加更多的功能（魅力），你也许会仅仅继承这个类来产生一个新类—这建立在额外的代码上。 
 
      
    
                                
    • 
                                
  • 读取磁盘文件txt，并输入String
                                    一炮送你回车库
String
                                    
    public static void main(String[] args) throws IOException { 
  
 String fileContent = readFileContent("d:/aaa.txt"); 
  
 System.out.println(fileContent); 
   

    
                                
    • 
                                
  • js三级联动下拉框
                                    3213213333332132
三级联动
                                    
    
//三级联动  
   省/直辖市<select id="province"></select>  
   市/省直辖<select id="city"></select>  
   县/区 <select id="area"></select>  
  
    
                                
    • 
                                
  • erlang之parse_transform编译选项的应用
                                    616050468
parse_transform游戏服务器属性同步abstract_code
                                    
             最近使用erlang重构了游戏服务器的所有代码，之前看过C++/lua写的服务器引擎代码，引擎实现了玩家属性自动同步给前端和增量更新玩家数据到数据库的功能，这也是现在很多游戏服务器的优化方向，在引擎层面去解决数据同步和数据持久化，数据发生变化了业务层不需要关心怎么去同步给前端。由于游戏过程中玩家每个业务中玩家数据更改的量其实是很少
    
                                
    • 
                                
  • JAVA JSON的解析
                                    darkranger
java
                                    
    
 
//		{
//			“Total”：“条数”，
//			 Code: 1,
//
//			“PaymentItems”:[
//			{
//			“PaymentItemID”:”支款单ID”,
//			“PaymentCode”:”支款单编号”,
//			“PaymentTime”:”支款日期”,
//			”ContractNo”:”合同号”，
//	
    
                                
    • 
                                
  • POJ-1273-Drainage Ditches
                                    aijuans
ACM_POJ
                                    
    POJ-1273-Drainage Ditches 
http://poj.org/problem?id=1273 
基本的最大流，按LRJ的白书写的 
 
#include<iostream>
#include<cstring>
#include<queue>
using namespace std;
#define INF 0x7fffffff
int ma
    
                                
    • 
                                
  • 工作流Activiti5表的命名及含义
                                    atongyeye
工作流Activiti
                                    
    activiti5 - http://activiti.org/designer/update在线插件安装 
 
activiti5一共23张表 
 
 
Activiti的表都以ACT_开头。 第二部分是表示表的用途的两个字母标识。 用途也和服务的API对应。 
 
ACT_RE_*: 'RE'表示repository。 这个前缀的表包含了流程定义和流程静态资源 （图片，规则，等等）。 
 
A
    
                                
    • 
                                
  • android的广播机制和广播的简单使用
                                    百合不是茶
android广播机制广播的注册
                                    
          Android广播机制简介  在Android中，有一些操作完成以后，会发送广播，比如说发出一条短信，或打出一个电话，如果某个程序接收了这个广播，就会做相应的处理。这个广播跟我们传统意义中的电台广播有些相似之处。之所以叫做广播，就是因为它只负责“说”而不管你“听不听”，也就是不管你接收方如何处理。另外，广播可以被不只一个应用程序所接收，当然也可能不被任何应
    
                                
    • 
                                
  • Spring事务传播行为详解
                                    bijian1013
javaspring事务传播行为
                                    
            在service类前加上@Transactional，声明这个service所有方法需要事务管理。每一个业务方法开始时都会打开一个事务。 
        Spring默认情况下会对运行期例外(RunTimeException)进行事务回滚。这
    
                                
    • 
                                
  • eidtplus operate
                                    征客丶
eidtplus
                                    
    开启列模式: Alt+C 鼠标选择   OR   Alt+鼠标左键拖动 
列模式替换或复制内容(多行): 
右键-->格式-->填充所选内容-->选择相应操作 
OR 
Ctrl+Shift+V(复制多行数据,必须行数一致) 
 
-------------------------------------------------------
    
                                
    • 
                                
  • 【Kafka一】Kafka入门
                                    bit1129
kafka
                                    
    这篇文章来自Spark集成Kafka(http://bit1129.iteye.com/blog/2174765)，这里把它单独取出来，作为Kafka的入门吧 
  下载Kafka 
 http://mirror.bit.edu.cn/apache/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz 
 2.10表示Scala的版本，而0.8.1.1表示Kafka
    
                                
    • 
                                
  • Spring 事务实现机制
                                    BlueSkator
spring代理事务
                                    
    Spring是以代理的方式实现对事务的管理。我们在Action中所使用的Service对象，其实是代理对象的实例，并不是我们所写的Service对象实例。既然是两个不同的对象，那为什么我们在Action中可以象使用Service对象一样的使用代理对象呢？为了说明问题，假设有个Service类叫AService，它的Spring事务代理类为AProxyService，AService实现了一个接口 
    
                                
    • 
                                
  • bootstrap源码学习与示例：bootstrap-dropdown（转帖）
                                    BreakingBad
bootstrapdropdown
                                    
    bootstrap-dropdown组件是个烂东西，我读后的整体感觉。 
一个下拉开菜单的设计： 
                  <ul class="nav pull-right">
                        <li id="fat-menu" class="dropdown">

    
                                
    • 
                                
  • 读《研磨设计模式》-代码笔记-中介者模式-Mediator
                                    bylijinnan
java设计模式
                                    
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 



/*
 * 中介者模式（Mediator）：用一个中介对象来封装一系列的对象交互。
 * 中介者使各对象不需要显式地相互引用，从而使其耦合松散，而且可以独立地改变它们之间的交互。
 * 
 * 在我看来，Mediator模式是把多个对象（
    
                                
    • 
                                
  • 常用代码记录
                                    chenjunt3
UIExcelJ#
                                    
      
1、单据设置某行或某字段不能修改

//i是行号,"cash"是字段名称
getBillCardPanelWrapper().getBillCardPanel().getBillModel().setCellEditable(i, "cash", false);
//取得单据表体所有项用以上语句做循环就能设置整行了
getBillC
    
                                
    • 
                                
  • 搜索引擎与工作流引擎
                                    comsci
算法工作搜索引擎网络应用
                                    
      
 
    最近在公司做和搜索有关的工作，(只是简单的应用开源工具集成到自己的产品中)工作流系统的进一步设计暂时放在一边了，偶然看到谷歌的研究员吴军写的数学之美系列中的搜索引擎与图论这篇文章中的介绍，我发现这样一个关系(仅仅是猜想) 
  -----搜索引擎和流程引擎的基础--都是图论，至少像在我在JWFD中引擎算法中用到的是自定义的广度优先
    
                                
    • 
                                
  • oracle Health Monitor
                                    daizj
oracleHealth Monitor
                                    
    About Health Monitor 
 
Beginning with Release 11g, Oracle Database includes a framework called Health Monitor for running diagnostic checks on the database. 
 
About Health Monitor Checks 
 
Health M
    
                                
    • 
                                
  • JSON字符串转换为对象
                                    dieslrae
javajson
                                    
        作为前言,首先是要吐槽一下公司的脑残编译部署方式,web和core分开部署本来没什么问题,但是这丫居然不把json的包作为基础包而作为web的包,导致了core端不能使用,而且我们的core是可以当web来用的(不要在意这些细节),所以在core中处理json串就是个问题.没办法,跟编译那帮人也扯不清楚,只有自己写json的解析了. 
  
    
                                
    • 
                                
  • C语言学习八结构体，综合应用，学生管理系统
                                    dcj3sjt126com
C语言
                                    
    实现功能的代码： 
# include <stdio.h>
# include <malloc.h>

struct Student
{
	int age;
	float score;
	char name[100];
};


int main(void)
{
	int len;
	struct Student * pArr;
	int i,
    
                                
    • 
                                
  • vagrant学习笔记
                                    dcj3sjt126com
vagrant
                                    
    想了解多主机是如何定义和使用的, 所以又学习了一遍vagrant 
  
1. vagrant virtualbox 下载安装 
https://www.vagrantup.com/downloads.html 
https://www.virtualbox.org/wiki/Downloads 
  
查看安装在命令行输入vagrant 
  
  
2.
    
                                
    • 
                                
  • 14.性能优化-优化-软件配置优化
                                    frank1234
软件配置性能优化
                                    
    1.Tomcat线程池 
 
修改tomcat的server.xml文件： 
<Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" maxThreads="1200" m
    
                                
    • 
                                
  • 一个不错的shell 脚本教程 入门级
                                    HarborChung
linuxshell
                                    
    一个不错的shell 脚本教程 入门级 
建立一个脚本 　　Linux中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在 bash的大姐，bourne shell中运行）。 　　如同其他语言一样
    
                                
    • 
                                
  • Spring4新特性——核心容器的其他改进
                                    jinnianshilongnian
spring动态代理spring4依赖注入
                                    
    Spring4新特性——泛型限定式依赖注入 
Spring4新特性——核心容器的其他改进 
Spring4新特性——Web开发的增强 
Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC  
Spring4新特性——Groovy Bean定义DSL 
Spring4新特性——更好的Java泛型操作API  
Spring4新
    
                                
    • 
                                
  • Linux设置tomcat开机启动
                                    liuxingguome
tomcatlinux开机自启动
                                    
    执行命令sudo gedit /etc/init.d/tomcat6 
 
然后把以下英文部分复制过去。（注意第一句#!/bin/sh如果不写，就不是一个shell文件。然后将对应的jdk和tomcat换成你自己的目录就行了。 
 
#!/bin/bash 
 
# 
 
# /etc/rc.d/init.d/tomcat 
 
# init script for tomcat precesses
    
                                
    • 
                                
  • 第13章 Ajax进阶（下）
                                    onestopweb
Ajax
                                    
    index.html 
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/
    
                                
    • 
                                
  • Troubleshooting Crystal Reports off BW
                                    blueoxygen
BO
                                    
    http://wiki.sdn.sap.com/wiki/display/BOBJ/Troubleshooting+Crystal+Reports+off+BW#TroubleshootingCrystalReportsoffBW-TracingBOE 
  
Quite useful, especially this part:  
SAP BW connectivity 
For t
    
                                
    • 
                                
  • Java开发熟手该当心的11个错误
                                    tomcat_oracle
javajvm多线程单元测试
                                    
    #1、不在属性文件或XML文件中外化配置属性。比如，没有把批处理使用的线程数设置成可在属性文件中配置。你的批处理程序无论在DEV环境中，还是UAT（用户验收 
测试）环境中，都可以顺畅无阻地运行，但是一旦部署在PROD 上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因可能是JDBC驱动版本不同，也可能是#2中讨论的问题。如果线程数目 可以在属性文件中配置，那么使它成为
    
                                
    • 
                                
  • 正则表达式大全
                                    yang852220741
html编程正则表达式
                                    
    今天向大家分享正则表达式大全，它可以大提高你的工作效率 
正则表达式也可以被当作是一门语言，当你学习一门新的编程语言的时候，他们是一个小的子语言。初看时觉得它没有任何的意义，但是很多时候，你不得不阅读一些教程，或文章来理解这些简单的描述模式。 
一、校验数字的表达式 
 
数字：^[0-9]*$ 
n位的数字：^\d{n}$ 
至少n位的数字：^\d{n,}$ 
m-n位的数字：^\d{m,n}$
    
                                
    •