杨大菲
杨大菲

Python数据分析笔记-09

1.DataFrame的合并

1)未指定基于哪一列合并

>>> import numpy as np

>>> import pandas as pd

>>> frame1=pd.DataFrame({'id':['ball','pencil','pen','mug','ashtray'],'price':[12.33,11.44,33.21,13.23,33.62]})

>>> frame1

    id price

0   ball 12.33

1  pencil 11.44

2   pen 33.21

3   mug 13.23

4 ashtray 33.62

>>> frame2=pd.DataFrame({'id':['pencil','pencil','ball','pen'],'color':['white','red','red','black']})

>>> frame2

  color   id

0 white pencil

1  red pencil

2  red  ball

3 black   pen

>>> pd.merge(frame1,frame2)  #frame1放到前，则依据frame1去合并，字段顺序也是先frame1的 后frame2的，且只保留二者都有的

    id price color

0  ball 12.33  red

1 pencil 11.44 white

2 pencil 11.44  red

3   pen 33.21 black

>>> pd.merge(frame2,frame1)

  color   id price

0 white pencil 11.44

1  red pencil 11.44

2  red  ball 12.33

3 black   pen 33.21

2）指定基于哪一列进行合并：当两个DataFrame对象有不止一个列名相同的时候，合并的时候需用指定依据哪个列进行合并

>>> import numpy as np

>>> import pandas as pd

>>> frame1=pd.DataFrame({'id':['ball','pencil','pen','mug','ashtray'],'color':['white','red','red','black','green'],'brand':['OMG','ABC','ABC','POD','POD']})

>>> frame1

 brand color    id

0  OMG white   ball

1  ABC  red  pencil

2  ABC  red   pen

3  POD black   mug

4  POD green ashtray

>>> frame2=pd.DataFrame({'id':['pencil','pencil','ball','pen'],'brand':['OMG','POD','ABD','POD']})

>>> frame2

 brand   id

0  OMG pencil

1  POD pencil

2  ABD  ball

3  POD   pen

>>> pd.merge(frame1,frame2)

Empty DataFrame

Columns: [brand, color, id]

Index: []

>>> pd.merge(frame1,frame2,on='id')

 brand_x color   id brand_y

0   OMG white  ball   ABD

1   ABC  red pencil   OMG

2   ABC  red pencil   POD

3   ABC  red   pen   POD

>>> pd.merge(frame1,frame2,on='brand')

 brand color   id_x  id_y

0  OMG white   ball pencil

1  POD black   mug pencil

2  POD black   mug   pen

3  POD green ashtray pencil

4  POD green ashtray   pen

>>> pd.merge(frame2,frame1,on='id')

 brand_x   id brand_y color

0   OMG pencil   ABC  red

1   POD pencil   ABC  red

2   ABD  ball   OMG white

3   POD   pen   ABC  red

>>> pd.merge(frame2,frame1,on='brand')

 brand  id_x color   id_y

0  OMG pencil white   ball

1  POD pencil black   mug

2  POD pencil green ashtray

3  POD   pen black   mug

4  POD   pen green ashtray

3）基于左对标和基于右对标：当两个DataFrame的列名不同时候，用left_on和right_on指定第一个dataframe用来对标的列和第二个dataframe用来对标的列，两列进行对标

>>> frame1

 brand color    id

0  OMG white   ball

1  ABC  red  pencil

2  ABC  red   pen

3  POD black   mug

4  POD green ashtray

>>> frame2

 brand   id

0  OMG pencil

1  POD pencil

2  ABD  ball

3  POD   pen

>>> frame2.columns=['brand','sid']

>>> frame2

 brand   sid

0  OMG pencil

1  POD pencil

2  ABD  ball

3  POD   pen

>>> pd.merge(frame1,frame2,left_on='id',right_on='sid')

 brand_x color   id brand_y   sid

0   OMG white  ball   ABD  ball

1   ABC  red pencil   OMG pencil

2   ABC  red pencil   POD pencil

3   ABC  red   pen   POD   pen

4）外链接：相当于把所有列聚合倒一起，还有左链接和右链接

>>> frame2

 brand   sid

0  OMG pencil

1  POD pencil

2  ABD  ball

3  POD   pen

>>> frame2.columns=['brand','id']

>>> frame2

 brand   id

0  OMG pencil

1  POD pencil

2  ABD  ball

3  POD   pen

>>> pd.merge(frame1,frame2,on='id')

 brand_x color   id brand_y

0   OMG white  ball   ABD

1   ABC  red pencil   OMG

2   ABC  red pencil   POD

3   ABC  red   pen   POD

>>> pd.merge(frame1,frame2,on='id',how='outer')

 brand_x color    id brand_y

0   OMG white   ball   ABD

1   ABC  red  pencil   OMG

2   ABC  red  pencil   POD

3   ABC  red   pen   POD

4   POD black   mug   NaN

5   POD green ashtray   NaN

>>> pd.merge(frame1,frame2,on='id',how='left')

 brand_x color    id brand_y

0   OMG white   ball   ABD

1   ABC  red  pencil   OMG

2   ABC  red  pencil   POD

3   ABC  red   pen   POD

4   POD black   mug   NaN

5   POD green ashtray   NaN

>>> pd.merge(frame1,frame2,on='id',how='right')

 brand_x color   id brand_y

0   OMG white  ball   ABD

1   ABC  red pencil   OMG

2   ABC  red pencil   POD

3   ABC  red   pen   POD

>>> pd.merge(frame1,frame2,on=['id','brand'],how='outer')

 brand color    id

0  OMG white   ball

1  ABC  red  pencil

2  ABC  red   pen

3  POD black   mug

4  POD green ashtray

5  OMG  NaN  pencil

6  POD  NaN  pencil

7  ABD  NaN   ball

8  POD  NaN   pen

5）根据索引合并

>>> frame1

 brand color    id

0  OMG white   ball

1  ABC  red  pencil

2  ABC  red   pen

3  POD black   mug

4  POD green ashtray

>>> frame2

 brand   id

0  OMG pencil

1  POD pencil

2  ABD  ball

3  POD   pen

>>> pd.merge(frame1,frame2,left_index=True,right_index=True)

 brand_x color  id_x brand_y  id_y

0   OMG white  ball   OMG pencil

1   ABC  red pencil   POD pencil

2   ABC  red   pen   ABD  ball

3   POD black   mug   POD   pen

6)join函数更适合利用所以进行合并索引相同列不一致的dataframe对象

列名相同的报错

>>> frame1

 brand color    id

0  OMG white   ball

1  ABC  red  pencil

2  ABC  red   pen

3  POD black   mug

4  POD green ashtray

>>> frame2

 brand   id

0  OMG pencil

1  POD pencil

2  ABD  ball

3  POD   pen

>>> frame1.join(frame2)#由于列名有重复的报错

Traceback (most recent call last):

 File "", line 1, in

 File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/pandas/core/frame.py", line 5316, in join

  rsuffix=rsuffix, sort=sort)

 File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/pandas/core/frame.py", line 5331, in _join_compat

  suffixes=(lsuffix, rsuffix), sort=sort)

 File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/pandas/core/reshape/merge.py", line 58, in merge

  return op.get_result()

 File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/pandas/core/reshape/merge.py", line 588, in get_result

  rdata.items, rsuf)

 File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/pandas/core/internals.py", line 5026, in items_overlap_with_suffix

  to_rename)

ValueError: columns overlap but no suffix specified: Index(['brand', 'id'], dtype='object')

修改frame2的列名后利用join函数进行相同索引不同列名的

>>> frame1

 brand color    id

0  OMG white   ball

1  ABC  red  pencil

2  ABC  red   pen

3  POD black   mug

4  POD green ashtray

>>> frame2

 brand   id

0  OMG pencil

1  POD pencil

2  ABD  ball

3  POD   pen

>>> frame2.columns=['brand2','id2']

>>> frame1.join(frame2)

 brand color    id brand2   id2

0  OMG white   ball  OMG pencil

1  ABC  red  pencil  POD pencil

2  ABC  red   pen  ABD  ball

3  POD black   mug  POD   pen

4  POD green ashtray  NaN   NaN

>>> frame2.join(frame1)

 brand2   id2 brand color   id

0  OMG pencil  OMG white  ball

1  POD pencil  ABC  red pencil

2  ABD  ball  ABC  red   pen

3  POD   pen  POD black   mug

2.拼接

1）numpy的nparray对象进行拼接，利用np.concatenate函数

>>> import numpy as np

>>> array1=([0,1,2],[3,4,5],[6,7,8])

>>> array1

([0, 1, 2], [3, 4, 5], [6, 7, 8])

>>> array2=np.arange(9).reshape(3,3)

>>> array2

array([[0, 1, 2],

    [3, 4, 5],

    [6, 7, 8]])

>>> np.concatenate([array1,array2],axis=1)

array([[0, 1, 2, 0, 1, 2],

    [3, 4, 5, 3, 4, 5],

    [6, 7, 8, 6, 7, 8]])

>>> np.concatenate([array1,array2],axis=0)

array([[0, 1, 2],

    [3, 4, 5],

    [6, 7, 8],

    [0, 1, 2],

    [3, 4, 5],

    [6, 7, 8]])

2）pandas及他的Series和DataFrame等数据结构实现了带编号的轴，pandas的concat函数实现了按照轴进行拼接

Series对象拼接

>>> ser1=pd.Series(np.random.rand(4),index=[1,2,3,4])

>>> ser1

1  0.835800

2  0.421464

3  0.859449

4  0.974251

dtype: float64

>>> ser2=pd.Series(np.random.rand(4),index=[5,6,7,8])

>>> ser2

5  0.296453

6  0.692925

7  0.098937

8  0.324647

dtype: float64

>>> pd.concat([ser1,ser2])#默认按照0轴（行）进行拼接

1  0.835800

2  0.421464

3  0.859449

4  0.974251

5  0.296453

6  0.692925

7  0.098937

8  0.324647

dtype: float64

>>> pd.concat([ser1,ser2],axis=1)

     0     1

1 0.835800    NaN

2 0.421464    NaN

3 0.859449    NaN

4 0.974251    NaN

5    NaN 0.296453

6    NaN 0.692925

7    NaN 0.098937

8    NaN 0.324647

>>> ser3=pd.concat([ser1,ser2],axis=1)

>>> ser3

     0     1

1 0.835800    NaN

2 0.421464    NaN

3 0.859449    NaN

4 0.974251    NaN

5    NaN 0.296453

6    NaN 0.692925

7    NaN 0.098937

8    NaN 0.324647

>>> ser1

1  0.835800

2  0.421464

3  0.859449

4  0.974251

dtype: float64

>>> pd.concat([ser1,ser3],axis=1,join='inner')

     0     0  1

1 0.835800 0.835800 NaN

2 0.421464 0.421464 NaN

3 0.859449 0.859449 NaN

4 0.974251 0.974251 NaN

>>> pd.concat([ser1,ser2],keys=[1,2])#在结果上创建等级

1 1  0.835800

  2  0.421464

  3  0.859449

  4  0.974251

2 5  0.296453

  6  0.692925

  7  0.098937

  8  0.324647

dtype: float64

>>> pd.concat([ser1,ser2],axis=1,keys=[1,2])#在1轴上拼接，生成DDAtaFrame对象

     1     2

1 0.835800    NaN

2 0.421464    NaN

3 0.859449    NaN

4 0.974251    NaN

5    NaN 0.296453

6    NaN 0.692925

7    NaN 0.098937

8    NaN 0.324647

DataFrame对象拼接

>>> frame1=pd.DataFrame(np.random.rand(9).reshape(3,3),index=[1,2,3])

>>> frame2=pd.DataFrame(np.random.rand(9).reshape(3,3),index=[4,5,6])

>>> frame1

     0     1     2

1 0.687920 0.176828 0.050595

2 0.174212 0.315637 0.780156

3 0.352718 0.613909 0.447205

>>> frame2

     0     1     2

4 0.216871 0.389312 0.363118

5 0.253215 0.312054 0.760887

6 0.437853 0.847273 0.300629

>>> pd.concat([frame1,frame2],axis=1)

     0     1     2     0     1     2

1 0.687920 0.176828 0.050595    NaN    NaN    NaN

2 0.174212 0.315637 0.780156    NaN    NaN    NaN

3 0.352718 0.613909 0.447205    NaN    NaN    NaN

4    NaN    NaN    NaN 0.216871 0.389312 0.363118

5    NaN    NaN    NaN 0.253215 0.312054 0.760887

6    NaN    NaN    NaN 0.437853 0.847273 0.300629

>>> pd.concat([frame1,frame2])

     0     1     2

1 0.687920 0.176828 0.050595

2 0.174212 0.315637 0.780156

3 0.352718 0.613909 0.447205

4 0.216871 0.389312 0.363118

5 0.253215 0.312054 0.760887

6 0.437853 0.847273 0.300629

3.组合

无法通过合并和拼接的办法进行组合数据，两个数据集索引完全或者部分重合

cmbine_first函数可以用来组合Series对象，同时对齐数据

>>> ser1=pd.Series(np.random.rand(5),index=[1,2,3,4,5])

>>> ser1

1  0.428280

2  0.350504

3  0.832672

4  0.746660

5  0.698320

dtype: float64

>>> ser2=pd.Series(np.random.rand(4),index=[2,4,5,6])

>>> ser2

2  0.173355

4  0.668513

5  0.766825

6  0.683407

dtype: float64

>>> ser1.combine_first(ser2)

1  0.428280

2  0.350504

3  0.832672

4  0.746660

5  0.698320

6  0.683407

dtype: float64

>>> ser2.combine_first(ser1)

1  0.428280

2  0.173355

3  0.832672

4  0.668513

5  0.766825

6  0.683407

dtype: float64

>>> ser1

1  0.428280

2  0.350504

3  0.832672

4  0.746660

5  0.698320

dtype: float64

>>> ser2

2  0.173355

4  0.668513

5  0.766825

6  0.683407

dtype: float64

>>> ser1[:3].combine_first(ser2[:3])

1  0.428280

2  0.350504

3  0.832672

4  0.668513

5  0.766825

dtype: float64

4.按等级索引旋转

1）入栈：旋转数据结构把列转换为行

2)出栈：把行转换为列

>>> frame1=pd.DataFrame(np.arange(9).reshape(3,3),index=['white','black','red'],columns=['ball','pen','pencil'])

>>> frame1

    ball pen pencil

white   0  1    2

black   3  4    5

red    6  7    8

>>> frame1.stack()

white ball   0

          pen    1

          pencil  2

black ball   3

          pen    4

    pencil  5

red    ball   6

    pen    7

    pencil  8

dtype: int64

>>> ser5=frame1.stack()

>>> ser5

white ball   0

          pen    1

          pencil  2

black ball   3

          pen    4

    pencil  5

red    ball   6

    pen    7

    pencil  8

dtype: int64

>>> ser5.unstack()

    ball pen pencil

white   0  1    2

black   3  4    5

red    6  7    8

>>> ser5.unstack(0)

    white black red

ball    0   3  6

pen     1   4  7

pencil   2   5  8

5.从长格式向宽格式转化

1)长格式数据

>>> longframe=pd.DataFrame({'color':['white','white','white','red','red','red','black','black','black'],'item':['ball','pen','mug','ball','pen','mug','ball','pen','mug'],'value':np.random.rand(9)})

>>> longframe

  color item   value

0 white ball 0.825575

1 white  pen 0.595834

2 white  mug 0.228163

3  red ball 0.543954

4  red  pen 0.150930

5  red  mug 0.285771

6 black ball 0.092283

7 black  pen 0.961326

8 black  mug 0.027581

2）转换成宽格式

>>> wideframe=longframe.pivot('color','item')

>>> wideframe

     value

item    ball            mug        pen

color

black 0.092283 0.027581 0.961326

red  0.543954 0.285771 0.150930

white 0.825575 0.228163 0.595834

6.删除

>>> frame1=pd.DataFrame(np.arange(9).reshape(3,3),index=['white','black','red'],columns=['ball','pen','pencil'])

>>> frame1

        ball pen pencil

white   0  1    2

black   3  4    5

red    6  7    8

>>> del frame1['ball'] #删除一列

>>> frame1

    pen pencil

white  1    2

black  4    5

red   7    8

>>> frame1.drop('white') #删除行

    pen pencil

black  4    5

red   7    8

7.删除重复元素

>>> import numpy as np

>>> import pandas as pd

>>> dframe=pd.DataFrame({'color':['white','white','red','red','white'],'value':[2,1,3,3,2]})

>>> dframe

  color value

0 white     2

1 white     1

2   red     3

3   red     3

4 white     2

>>> dframe.duplicated()

0   False

1   False

2   False

3    True

4    True

dtype: bool

>>> dframe[dframe.duplicated()]

  color value

3   red     3

4 white     2

>>> dframe.drop_duplicates()

  color value

0 white     2

1 white     1

2   red     3

8.映射

以下函数都以dict对象作为参数，也就是用能够承载映射的ditct字典对象作为参数

1）replace函数：替换元素

2）map函数：新建一列

3）rename函数：替换索引

用映射替换元素

>>> import numpy as np

>>> import pandas as pd

>>> frame=pd.DataFrame()

>>> frame=pd.DataFrame({'item':['ball','mug','pen','pencil','ashtray'],'color':['white','rosso','verde','black','yellow'],'price':[5.56,4.20,1.30,0.56,2.75]})

>>> frame

   color    item price

0  white    ball  5.56

1  rosso     mug  4.20

2  verde     pen  1.30

3  black  pencil  0.56

4 yellow ashtray  2.75

>>> newcolors={'rosso':'red','verde':'green'}

>>> frame.replace(newcolors)

   color    item price

0  white    ball  5.56

1    red     mug  4.20

2  green     pen  1.30

3  black  pencil  0.56

4 yellow ashtray  2.75

>>> ser=pd.Series([1,3,np.nan,4,6,np.nan,3])

>>> ser

0   1.0

1   3.0

2   NaN

3   4.0

4   6.0

5   NaN

6   3.0

dtype: float64

>>> ser.replace(np.nan,0)

0   1.0

1   3.0

2   0.0

3   4.0

4   6.0

5   0.0

6   3.0

dtype: float64

用映射添加元素

>>> frame=pd.DataFrame({'item':['ball','mug','pen','pencil','ashtray'],'color':['white','red','freen','black','yellow']})

>>> frame

   color    item

0  white    ball

1    red     mug

2  freen     pen

3  black  pencil

4 yellow ashtray

>>> price={'ball':5.56,'mug':4.20,'bottle':1.30,'scissors':3.41,'pen':1.30,'pencil':0.56,'ashtray':2.75}

>>> frame['price']=frame['item'].map(price)

>>> frame

   color    item price

0  white    ball  5.56

1    red     mug  4.20

2  freen     pen  1.30

3  black  pencil  0.56

4 yellow ashtray  2.75

重命名轴索引

>>> frame

   color    item price

0  white    ball  5.56

1    red     mug  4.20

2  freen     pen  1.30

3  black  pencil  0.56

4 yellow ashtray  2.75

>>> reindex={0:'frist',1:'second',2:'third',3:'fourth',4:'fifth'}

>>> frame.rename(reindex)

        color    item price

frist   white    ball  5.56

second    red     mug  4.20

third   freen     pen  1.30

fourth  black  pencil  0.56

fifth  yellow ashtray  2.75

>>> recolumns={'item':'object','price':'value'}

>>> frame.rename(index=reindex,columns=recolumns)

        color  object value

frist   white    ball  5.56

second    red     mug  4.20

third   freen     pen  1.30

fourth  black  pencil  0.56

fifth  yellow ashtray  2.75

>>> frame.rename(columns=recolumns)

   color  object value

0  white    ball  5.56

1    red     mug  4.20

2  freen     pen  1.30

3  black  pencil  0.56

4 yellow ashtray  2.75

你可能感兴趣的:(Python数据分析笔记-09)

  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • 《投行人生》读书笔记 小蘑菇的树洞
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
  • 【一起学Rust | 设计模式】习惯语法——使用借用类型作为参数、格式化拼接字符串、构造函数 广龙宇 一起学Rust#Rust设计模式rust设计模式开发语言
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用借用类型作为参数二、格式化拼接字符串三、使用构造函数总结前言Rust不是传统的面向对象编程语言，它的所有特性，使其独一无二。因此，学习特定于Rust的设计模式是必要的。本系列文章为作者学习《Rust设计模式》的学习笔记以及自己的见解。因此，本系列文章的结构也与此书的结构相同（后续可能会调成结构），基本上分为三个部分
  • Python数据分析与可视化实战指南 William数据分析 pythonpython数据
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
  • git常用命令笔记 咩酱-小羊 git笔记
    ###用习惯了idea总是不记得git的一些常见命令，需要用到的时候总是担心旁边站了人~~~记个笔记@_@，告诉自己看笔记不丢人初始化初始化一个新的Git仓库gitinit配置配置用户信息gitconfig--globaluser.name"YourName"gitconfig--globaluser.email"[email protected]"基本操作克隆远程仓库gitclone查看
  • 509. 斐波那契数(每日一题) lzyprime
    lzyprime博客(github)创建时间：2021.01.04qq及邮箱：2383518170leetcode笔记题目描述斐波那契数，通常用F(n)表示，形成的序列称为斐波那契数列。该数列由0和1开始，后面的每一项数字都是前面两项数字的和。也就是：F(0)=0，F(1)=1F(n)=F(n-1)+F(n-2)，其中n>1给你n，请计算F(n)。示例1：输入：2输出：1解释：F(2)=F(1)+
  • 拥有断舍离的心态，过精简生活--《断舍离》读书笔记 爱吃丸子的小樱桃
    不知不觉间房间里的东西越来越多，虽然摆放整齐，但也时常会觉得空间逼仄，令人心生烦闷。抱着断舍离的态度，我开始阅读《断舍离》这本书，希望从书中能找到一些有效的方法，帮助我实现空间、物品上的断舍离。《断舍离》是日本作家山下英子通过自己的经历、思考和实践总结而成的，整体内涵也从刚开始的私人生活哲学的“断舍离”升华成了“人生实践哲学”，接着又成为每个人都能实行的“改变人生的断舍离”，从“哲学”逐渐升华成“
  • 四章-32-点要素的聚合 彩云飘过
    本文基于腾讯课堂老胡的课《跟我学Openlayers--基础实例详解》做的学习笔记，使用的openlayers5.3.xapi。源码见1032.html，对应的官网示例https://openlayers.org/en/latest/examples/cluster.htmlhttps://openlayers.org/en/latest/examples/earthquake-clusters.
  • 高端密码学院笔记285 柚子_b4b4
    高端幸福密码学院（高级班）幸福使者：李华第（598）期《幸福》之回归内在深层生命原动力基础篇——揭秘“激励”成长的喜悦心理案例分析主讲：刘莉一，知识扩充:成功=艰苦劳动+正确方法+少说空话。贪图省力的船夫，目标永远下游。智者的梦再美，也不如愚人实干的脚印。幸福早课堂2020.10.16星期五一笔记:1，重视和珍惜的前提是知道它的价值非常重要，当你珍惜了，你就真正定下来，真正的学到身上。2，大家需要
  • Day17笔记-高阶函数 ~在杰难逃~ Python笔记python开发语言pycharm数据分析
    高阶函数【重点掌握】函数的本质：函数是一个变量，函数名是一个变量名，一个函数可以作为另一个函数的参数或返回值使用如果A函数作为B函数的参数，B函数调用完成之后，会得到一个结果，则B函数被称为高阶函数常用的高阶函数：map(),reduce(),filter(),sorted()1.map()map(func,iterable)，返回值是一个iterator【容器，迭代器】func:函数iterab
  • Day1笔记-Python简介&标识符和关键字&输入输出 ~在杰难逃~ Pythonpython开发语言大数据数据分析数据挖掘
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
  • node.js学习 小猿L node.jsnode.js学习vim
    node.js学习实操及笔记温故node.js，node.js学习实操过程及笔记~node.js学习视频node.js官网node.js中文网实操笔记githubcsdn笔记为什么学node.js可以让别人访问我们编写的网页为后续的框架学习打下基础，三大框架vuereactangular离不开node.jsnode.js是什么官网：node.js是一个开源的、跨平台的运行JavaScript的运行
  • 数据仓库——维度表一致性 墨染丶eye 背诵数据仓库
    数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
  • 【Git】常见命令(仅笔记) 好想有猫猫 GitLinux学习笔记git笔记elasticsearchlinuxc++
    文章目录创建/初始化本地仓库添加本地仓库配置项提交文件查看仓库状态回退仓库查看日志分支删除文件暂存工作区代码远程仓库使用`.gitigore`文件让git不追踪一些文件标签创建/初始化本地仓库gitinit添加本地仓库配置项gitconfig-l#以列表形式显示配置项gitconfiguser.name"ljh"#配置user.namegitconfiguser.email"[email protected]
  • 2021-08-09 杜永鹏
    京❤️达总店：杜永鹏2021年8月9日落地真经严格就是爱，放纵既是害目标确认目标:产值目标165000台次目标100油卡目标10体验：在工作中遇到问题不要盲目的去干，要多方面考虑问题，找到问题的关键克服困难并解决问题！
  • 《Python数据分析实战终极指南》 xjt921122 python数据分析开发语言
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
  • 为什么你总是对下属不满意? ZhaoWu1050
    【ZhaoWu的听课笔记】大多数公司，都存在两种问题。我创业四年，更是体会深切。这两种问题就是：老板经常不满意下属的表现；下属总是不知道老板想要什么；虽然这两种问题普遍存在，其实解决方法并不复杂。这节课，我们再聊聊第一个问题：为什么老板经常不满意下属表现?其实，这背后也是一条管理常识。管理学家德鲁克先生早就说过：管理者的任务，不是去改变人。*来自《卓有成效的管理者》只是大多数老板和我一样，都是一边
  • 母亲节如何做小红书营销 美橙传媒
    小红书的一举一动引起了外界的高度关注。通过爆款笔记和流行话题，我们可以看到“干货”类型的内容在小红书中偏向实用的生活经验共享和生活指南非常受欢迎。根据运营社的分析，这种现象是由小红书用户心智和内容社区背后机制共同决定的。首先，小红书将使用“强搜索”逻辑为用户提供特定的“搜索场景”。在“我必须这样生活”中，大量使用了满足小红书站用户喜好和需求的内容。内容社区自制的高质量内容也吸引了寻找营销新途径的品
  • 2022-09-13 海底_6031
    进地铁之前我刻意看了一眼我们第一眼见面的地方你就站在地铁口背对着我那天你穿着蓝色的外套我穿着黑色的衬衫我跑过去和你打招呼递给你一串“好柿花生”…
  • 读书笔记|《遇见孩子，遇见更好的自己》5 抹茶社长
    为人父母意味着放弃自己的过去，不要对以往没有实现的心愿耿耿于怀，只有这样，孩子们才能做回自己。985909803.jpg孩子在与父母保持亲密的同时更需要独立，唯有这样，孩子才会成为孩子，父母才会成其为父母。有耐心的人生往往更幸福，给孩子留点余地。认识到养儿育女是对耐心的考验。为失败做好心理准备，教会孩子控制情绪。了解自己的底线，说到底线，有一点很重要，父母之所以发脾气，真正的原因往往在于他们自己，
  • 2021-09-13一切向好发展 昀妡
    今天，一位学员在群里发了一条求助信息。问题是：一个学生小男孩3年级了，学习态度不端正不认真，也不和老师家长沟通，怎么办？我正好看到了这条消息，便加了她的微信。我问她是否方便电话沟通。在征求学员的同意后，我和她电话沟通了10分钟，给了她一些建议。通过这件事，我看到了自己积极主动的一面。之前，我总说自己消极被动，但其实，问题的根源在于目标不清晰。如果知道方向，还是会突破心理障碍往前走。比如，陌生感召。
  • 基于Python给出的PDF文档转Markdown文档的方法 程序媛了了 pythonpdf开发语言
    注：网上有很多将Markdown文档转为PDF文档的方法，但是却很少有将PDF文档转为Markdown文档的方法。就算有，比如某些网站声称可以将PDF文档转为Markdown文档，尝试过，不太符合自己的要求，而且无法保证文档没有泄露风险。于是本人为了解决这个问题，借助GPT（能使用GPT镜像或者有条件直接使用GPT的，反正能调用GPT接口就行）生成Python代码来完成这个功能。笔记、代码难免存在
  • 语文主题教学学习笔记之87 东哥杂谈
    “语文主题教学”学习笔记之八十七（0125）今天继续学习小学语文主题教学的实践样态。板块三：教学中体现“书艺”味道。作为四大名著之一的《水浒传》，堪称我国文学宝库之经典。对从《水浒传》中摘选的单元，教师就要了解其原生态，即评书体特点。这也要求教师要了解一些常用的评书行话术语，然后在教学时适时地加入一些，让学生体味其文本中原有的特色。学生也要尽可能地通过朗读的方式，而不单是分析讲解的方式进行学习。细
  • (159)时序收敛---＞(09)时序收敛九 FPGA系统设计指南针 FPGA系统设计(内训)fpga开发时序收敛
    1目录（a）FPGA简介（b）Verilog简介（c）时钟简介（d）时序收敛九（e）结束1FPGA简介（a）FPGA（FieldProgrammableGateArray）是在PAL（可编程阵列逻辑）、GAL（通用阵列逻辑）等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。（b）F
  • 每时每刻都是开始2019-03-09 Action熊猫
    过去有多少想了无数遍要做的，但实际并没有做到的。以没时间，或其他种种自己认为可以接受的理由，看着一天走啦，一月去啦，又是一年。最后笑一笑，新年不是来了吗！重新开始...如果在过去的365天里，每次醒来，都没能开始，那新年来了，又如何呢？何不把人生的每时每刻都作为起点，不等待，不期盼，不自欺，让每时每刻都在开始中...。
  • Armv8.3 体系结构扩展--原文版 代码改变世界ctw ARM-TEE-Androidarmv8嵌入式arm架构安全架构芯片TrustzoneSecureboot
    快速链接:.ARMv8/ARMv9架构入门到精通-[目录]付费专栏-付费课程【购买须知】:个人博客笔记导读目录(全部)TheArmv8.3architectureextensionTheArmv8.3architectureextensionisanextensiontoArmv8.2.Itaddsmandatoryandoptionalarchitecturalfeatures.Somefeat
  • springboot+vue项目实战一-创建SpringBoot简单项目 苹果酱0567 面试题汇总与解析springboot后端java中间件开发语言
    这段时间抽空给女朋友搭建一个个人博客，想着记录一下建站的过程，就当做笔记吧。虽然复制zjblog只要一个小时就可以搞定一个网站，或者用cms系统，三四个小时就可以做出一个前后台都有的网站，而且想做成啥样也都行。但是就是要从新做，自己做的意义不一样，更何况，俺就是专门干这个的，嘿嘿嘿要做一个网站，而且从零开始，首先呢就是技术选型了，经过一番思量决定选择-SpringBoot做后端，前端使用Vue做一
  • 阅读《认知觉醒》读书笔记 就看看书
    本周阅读了周岭的《认知觉醒开启自我改变的原动力》，启发较多，故做读书笔记一则，留待学习。全书共八章，讲述了大脑、潜意识、元认知、专注力、学习力、行动力、情绪力及成本最低的成长之道。具体描述了大脑、焦虑、耐心、模糊、感性、元认知、自控力、专注力、情绪专注、学习专注、匹配、深度、关联、体系、打卡、反馈、休息、清晰、傻瓜、行动、心智宽带、单一视角、游戏心态、早起、冥想、阅读、写作、运动等相关知识点。大脑
  • 2021-01-09 哥伦比亚 《梦中的欢快葬礼和十二个异乡故事》 加西亚·马尔克斯 著 罗秀 译 juneyale
    《梦中的欢快葬礼和十二个异乡故事》哥伦比亚加西亚·马尔克斯著罗秀译序《总统先生，一路走好！》“再给我一杯咖啡。”他用纯正的法语说。随即补充道：“要意式咖啡，能让人起死回生的那种。”并没有意识到话里的双关含义。当火车开始加速，荷马突然发现总统的手杖还在自己手中，于是跑到站台尽头，把手杖用力扔过去，希望总统能在半空中接住。但是手杖掉在了铁轨上，随即被碾得粉碎。那真是恐怖的一瞬。拉萨拉看到的最后一幕是那
  • 阅读笔记：阅读方法中的逻辑和转念 施吉涛
    聊聊一些阅读的方法论吧，别人家的读书方法刚开始想写，然后就不知道写什么了，因为作者写的非常的“精致”我有一种乡巴佬进城的感觉，看到精美的摆盘，精致的食材不知道该如何下口也就是《阅读的方法》，我们姑且来试一下强劲的大脑篇，第一节：逻辑通俗的来讲，也就是表达的排列和顺序，再进一步就是因果关系和关联实际上书已经看了大概一遍，但直到打算写一下笔记的时候，才发现作者讲的推理更多的是阅读的对象中呈现出的逻辑也
  • SQL的各种连接查询 xieke90 UNION ALLUNION外连接内连接JOIN
    一、内连接   概念：内连接就是使用比较运算符根据每个表共有的列的值匹配两个表中的行。                 内连接（join 或者inner join ）       SQL语法：       select * fron
  • java编程思想--复用类 百合不是茶 java继承代理组合final类
          复用类看着标题都不知道是什么,再加上java编程思想翻译的比价难懂,所以知道现在才看这本软件界的奇书   一:组合语法:就是将对象的引用放到新类中即可     代码:     package com.wj.reuse; /** * * @author Administrator 组
  • [开源与生态系统]国产CPU的生态系统 comsci cpu
          计算机要从娃娃抓起...而孩子最喜欢玩游戏....       要让国产CPU在国内市场形成自己的生态系统和产业链,国家和企业就不能够忘记游戏这个非常关键的环节....       投入一些资金和资源,人力和政策,让游
  • JVM内存区域划分Eden Space、Survivor Space、Tenured Gen，Perm Gen解释 商人shang jvm内存
    jvm区域总体分两类，heap区和非heap区。heap区又分：Eden Space（伊甸园）、Survivor Space(幸存者区)、Tenured Gen（老年代-养老区）。 非heap区又分：Code Cache(代码缓存区)、Perm Gen（永久代）、Jvm Stack(java虚拟机栈)、Local Method Statck(本地方法栈)。 HotSpot虚拟机GC算法采用分代收
  • 页面上调用 QQ oloz qq
    <A href="tencent://message/?uin=707321921&amp;Site=有事Q我&amp;Menu=yes">   <img style="border:0px;" src=http://wpa.qq.com/pa?p=1:707321921:1></a>
  • 一些问题 文强chu 问题
    1.eclipse 导出 doc  出现“The Javadoc command does not exist.” javadoc command 选择 jdk/bin/javadoc.exe 2.tomcate 配置 web 项目 ..... SQL:3.mysql  * 必须得放前面 否则  select&nbs
  • 生活没有安全感 小桔子 生活孤独安全感
           圈子好小，身边朋友没几个，交心的更是少之又少。在深圳，除了男朋友，没几个亲密的人。不知不觉男朋友成了唯一的依靠，毫不夸张的说，业余生活的全部。现在感情好，也很幸福的。但是说不准难免人心会变嘛，不发生什么大家都乐融融，发生什么很难处理。我想说如果不幸被分手(无论原因如何)，生活难免变化很大，在深圳，我没交心的朋友。明
  • php 基础语法 aichenglong php 基本语法
    1 .1 php变量必须以$开头 <?php $a=” b”; echo ?> 1 .2 php基本数据库类型 Integer  float/double Boolean string 1 .3 复合数据类型 数组array和对象 object 1 .4 特殊数据类型  null 资源类型(resource)    $co
  • mybatis tools 配置详解 AILIKES mybatis
    MyBatis Generator中文文档 MyBatis Generator中文文档地址： http://generator.sturgeon.mopaas.com/ 该中文文档由于尽可能和原文内容一致，所以有些地方如果不熟悉，看中文版的文档的也会有一定的障碍，所以本章根据该中文文档以及实际应用，使用通俗的语言来讲解详细的配置。 本文使用Markdown进行编辑，但是博客显示效
  • 继承与多态的探讨 百合不是茶 JAVA面向对象 继承 对象
    继承 extends   多态 继承是面向对象最经常使用的特征之一：继承语法是通过继承发、基类的域和方法 //继承就是从现有的类中生成一个新的类，这个新类拥有现有类的所有extends是使用继承的关键字：     在A类中定义属性和方法； class A{ //定义属性 int age； //定义方法 public void go
  • JS的undefined与null的实例 bijian1013 JavaScriptJavaScript
    <form name="theform" id="theform"> </form> <script language="javascript"> var a alert(typeof(b)); //这里提示undefined if(theform.datas
  • TDD实践（一） bijian1013 java敏捷TDD
    一.TDD概述         TDD：测试驱动开发，它的基本思想就是在开发功能代码之前，先编写测试代码。也就是说在明确要开发某个功能后，首先思考如何对这个功能进行测试，并完成测试代码的编写，然后编写相关的代码满足这些测试用例。然后循环进行添加其他功能，直到完全部功能的开发。     
  • [Maven学习笔记十]Maven Profile与资源文件过滤器 bit1129 maven
    什么是Maven Profile Maven Profile的含义是针对编译打包环境和编译打包目的配置定制，可以在不同的环境上选择相应的配置，例如DB信息，可以根据是为开发环境编译打包，还是为生产环境编译打包，动态的选择正确的DB配置信息   Profile的激活机制 1.Profile可以手工激活，比如在Intellij Idea的Maven Project视图中可以选择一个P
  • 【Hive八】Hive用户自定义生成表函数(UDTF) bit1129 hive
    1. 什么是UDTF   UDTF，是User Defined Table-Generating Functions，一眼看上去，貌似是用户自定义生成表函数，这个生成表不应该理解为生成了一个HQL Table， 貌似更应该理解为生成了类似关系表的二维行数据集   2. 如何实现UDTF 继承org.apache.hadoop.hive.ql.udf.generic
  • tfs restful api 加auth 2.0认计 ronin47
    　　目前思考如何给tfs的ngx-tfs api增加安全性。有如下两点： 　　一是基于客户端的ip设置。这个比较容易实现。 　　二是基于OAuth2.0认证，这个需要lua，实现起来相对于一来说，有些难度。 　　现在重点介绍第二种方法实现思路。 　　 前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGe
  • jdk环境变量配置 byalias javajdk
    进行java开发，首先要安装jdk，安装了jdk后还要进行环境变量配置： 1、下载jdk（http://java.sun.com/javase/downloads/index.jsp），我下载的版本是：jdk-7u79-windows-x64.exe 2、安装jdk-7u79-windows-x64.exe 3、配置环境变量：右击"计算机"-->&quo
  • 《代码大全》表驱动法-Table Driven Approach-2 bylijinnan java
    package com.ljn.base; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.Collections; import java.uti
  • SQL 数值四舍五入 小数点后保留2位 chicony 四舍五入
    1.round() 函数是四舍五入用，第一个参数是我们要被操作的数据，第二个参数是设置我们四舍五入之后小数点后显示几位。 2.numeric 函数的2个参数，第一个表示数据长度，第二个参数表示小数点后位数。 例如： 　　select   cast(round(12.5,2)   as   numeric(5,2))  
  • c++运算符重载 CrazyMizzz C++
    一、加+，减-，乘*，除/ 的运算符重载 Rational operator*(const Rational &x) const{ return Rational(x.a * this->a); } 在这里只写乘法的，加减除的写法类似 二、<<输出,>>输入的运算符重载      &nb
  • hive DDL语法汇总 daizj hive修改列DDL修改表
    hive DDL语法汇总 １、对表重命名 hive> ALTER TABLE table_name RENAME TO new_table_name;   2、修改表备注 hive> ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comm
  • jbox使用说明 dcj3sjt126com Web
    参考网址：http://www.kudystudio.com/jbox/jbox-demo.html jBox v2.3 beta [ 点击下载]  技术交流QQGroup：172543951 100521167 [2011-11-11] jBox v2.3 正式版 - [调整&修复] IE6下有iframe或页面有active、applet控件
  • UISegmentedControl 开发笔记 dcj3sjt126com
      //    typedef NS_ENUM(NSInteger, UISegmentedControlStyle) {     //        UISegmentedControlStylePlain,     // large plain   &
  • Slick生成表映射文件 ekian scala
    Scala添加SLICK进行数据库操作，需在sbt文件上添加slick-codegen包 "com.typesafe.slick" %% "slick-codegen" % slickVersion 因为我是连接SQL Server数据库，还需添加slick-extensions，jtds包 "com.typesa
  • ES-TEST gengzg test
    package com.MarkNum; import java.io.IOException; import java.util.Date; import java.util.HashMap; import java.util.Map; import javax.servlet.ServletException; import javax.servlet.annotation
  • 为何外键不再推荐使用 hugh.wang mysqlDB
    表的关联，是一种逻辑关系，并不需要进行物理上的“硬关联”，而且你所期望的关联，其实只是其数据上存在一定的联系而已，而这种联系实际上是在设计之初就定义好的固有逻辑。 在业务代码中实现的时候，只要按照设计之初的这种固有关联逻辑来处理数据即可，并不需要在数据库层面进行“硬关联”，因为在数据库层面通过使用外键的方式进行“硬关联”，会带来很多额外的资源消耗来进行一致性和完整性校验，即使很多时候我们并不
  • 领域驱动设计 julyflame VODAO设计模式DTOpo
    概念： VO（View Object）：视图对象，用于展示层，它的作用是把某个指定页面（或组件）的所有数据封装起来。 DTO（Data Transfer Object）：数据传输对象，这个概念来源于J2EE的设计模式，原来的目的是为了EJB的分布式应用提供粗粒度的数据实体，以减少分布式调用的次数，从而提高分布式调用的性能和降低网络负载，但在这里，我泛指用于展示层与服务层之间的数据传输对
  • 单例设计模式 hm4123660 javaSingleton单例设计模式懒汉式饿汉式
           单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问，从而方便对实例个数的控制并节约系统源。如果希望在系统中某个类的对象只能存在一个，单例模式是最好的解决方案。      &nb
  • logback zhb8015 loglogback
    一、logback的介绍      Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个 改良版本。此外logback-class
  • 整合Kafka到Spark Streaming——代码示例和挑战 Stark_Summer sparkstormzookeeperPARALLELISMprocessing
    作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版
  • spring-master-slave-commondao 王新春 DAOspringdataSourceslavemaster
    互联网的web项目，都有个特点：请求的并发量高，其中请求最耗时的db操作，又是系统优化的重中之重。 为此，往往搭建 db的 一主多从库的 数据库架构。作为web的DAO层，要保证针对主库进行写操作，对多个从库进行读操作。当然在一些请求中，为了避免主从复制的延迟导致的数据不一致性，部分的读操作也要到主库上。（这种需求一般通过业务垂直分开，比如下单业务的代码所部署的机器，读去应该也要从主库读取数
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他