Python数据分析学习系列一——Pandas入门学习

Pandas是一个强大的Python数据分析的工具包，是基于Numpy构建的
Pandas的主要功能
- 具备对其功能的数据结构DataFrame、Series
- 集成时间序列功能
- 提供丰富的数学运算和操作
- 灵活处理缺失数据
安装方法：pip install pandas
引用方法：import pandas as pd

1 Series-一维数据对象

Series是一种类似于一维数组的对象，由一维数据和一组与之相关的数据标签（索引）组成。
创建方式：pd.Series([1,2,3])
获取值数组和索引数组：values属性和index属性
Series比较像列表（数组）和字典的结合体

1.1 Series-使用特性

Series支持array的特性（下标）：
- 从arrar创建Series：Series(array)
- 与标量进行运算：sr*2
- 两个长度一样的Series运算：sr1+sr2
- 索引：sr[0], sr[[1,2,4]]
- 切片：sr[0:2]
- 通用函数：np.abs(sr)
- 布尔值索引：sr[sr>5]
Series支持字典的特性（标签）：
- 从字典创建Series：Series(dict)
- in运算：‘a’ in sr
- 键索引：sr[‘a’], sr[[‘a’,‘b’,‘d’]]

import pandas as pd

pd.Series([2,3,4,5])

0    2
1    3
2    4
3    5
dtype: int64

pd.Series([2,3,4,5], index=['a','b','c','d'])

a    2
b    3
c    4
d    5
dtype: int64

import numpy as np
pd.Series(np.arange(5))

0    0
1    1
2    2
3    3
4    4
dtype: int32

pd.Series({
     'a':1,
          'b':2,
          'c':3,
          'd':4})

a    1
b    2
c    3
d    4
dtype: int64

sr = pd.Series([2,3,4,5], index=['a','b','c','d'])
sr

a    2
b    3
c    4
d    5
dtype: int64

sr[0] # 可以通过位置进行索引

sr['a'] #也可以通过“索引（index）”进行索引

sr+2 # 可以像ndarray一样，与数值进行+、-、*、/运算

a    4
b    5
c    6
d    7
dtype: int64

sr+sr # 也可以ndarray一样，2个长度一样的Series进行运算

a     4
b     6
c     8
d    10
dtype: int64

sr[0:2] # 可以进行切片

a    2
b    3
dtype: int64

np.sum(sr) # 支持通用函数

sr[sr>3] # 支持布尔值索引

c    4
d    5
dtype: int64

sr = pd.Series({
     'a':1,'b':2})
sr

a    1
b    2
dtype: int64

'a' in sr # 可以像字典一样，用“in”查询索引（键）

True

sr.index # 获取索引

Index(['a', 'b'], dtype='object')

sr.values # 获取值

array([1, 2], dtype=int64)

sr = pd.Series([2,3,4,5], index=['a','b','c','d'])
sr

a    2
b    3
c    4
d    5
dtype: int64

sr[['a','c']]

a    2
c    4
dtype: int64

sr['a':'c'] # 通过键切片是前后都包括的

a    2
b    3
c    4
dtype: int64

1.2 Series-整数索引

sr = pd.Series(np.arange(20))
sr

0      0
1      1
2      2
3      3
4      4
5      5
6      6
7      7
8      8
9      9
10    10
11    11
12    12
13    13
14    14
15    15
16    16
17    17
18    18
19    19
dtype: int32

sr2 = sr[10:].copy()
sr2

10    10
11    11
12    12
13    13
14    14
15    15
16    16
17    17
18    18
19    19
dtype: int32

sr2[10] #整数索引既可以解释成标签，也可以解释成下标，pandas为了明确，全部定义为“标签”

sr2.loc[10] # 明确使用标签

sr2.iloc[9] # 明确解释成下标

sr2.iloc[0:3]

10    10
11    11
12    12
dtype: int32

1.3 Series-数据对齐

sr1 = pd.Series([12,23,34],index=['c','a','d']) # a与a相加，b与b相加...
sr2 = pd.Series([11,20,10],index=['d','c','a'])
sr1+sr2

a    33
c    32
d    45
dtype: int64

Pandas在运行两个Series对象的运算时，会按索引（标签）进行对齐，然后运算。

sr1 = pd.Series([12,23,34],index=['c','a','d'])
sr2 = pd.Series([11,20,10,21],index=['d','c','a','b'])
sr1+sr2

a    33.0
b     NaN
c    32.0
d    45.0
dtype: float64

sr1 = pd.Series([12,23,34],index=['c','a','d'])
sr2 = pd.Series([11,20,10],index=['b','c','a'])
sr1+sr2

a    33.0
b     NaN
c    32.0
d     NaN
dtype: float64

sr1 = pd.Series([12,23,34],index=['c','a','d'])
sr2 = pd.Series([11,20,10],index=['b','c','a'])
sr1.add(sr2, fill_value=0) 
# 想让没有的索引不显示nan，需要将“+”改成add（+）,此外还有sub（-）,div（/）,mul（*）。

a    33.0
b    11.0
c    32.0
d    34.0
dtype: float64

1.4 Series-缺失数据

# 方法一：去掉缺失数据isnull(),dropna()
sr = sr1+sr2
sr.isnull() # notnull()

a    False
b     True
c    False
d     True
dtype: bool

sr[sr.notnull()]

a    33.0
c    32.0
dtype: float64

sr[~sr.isnull()]

a    33.0
c    32.0
dtype: float64

sr.dropna()

a    33.0
c    32.0
dtype: float64

# 方法二：给缺失值赋值fillna()
sr.fillna(0)

a    33.0
b     0.0
c    32.0
d     0.0
dtype: float64

sr # numpy和pandas都是不会在sr的基础上修改的，所以需要进行赋值 sr = sr.fillna(0)

a    33.0
b     NaN
c    32.0
d     NaN
dtype: float64

sr.fillna(sr.mean())

a    33.0
b    32.5
c    32.0
d    32.5
dtype: float64

2 DataFrame-二维数据对象

DataFrame是一个表格型的数据结构，含有一组有序的列。DataFrame可以被看做是由Series组成的字典，并且共用一个行索引。
创建方式：
- pd.DataFrame({‘one’:[1,3.5.7],‘two’:[2,4,6,8]})
csv文件读取与写入：
- df.read_csv(‘filename.csv’)
- df.to_csv(‘filename.csv’)

d1 = pd.DataFrame({
     'one':[1,3,5,7],'two':[2,4,6,8]}) # 通过字典创建DataFrame时，不同列的行数必须一样
d1

	one	two
0	1	2
1	3	4
2	5	6
3	7	8

d1 = pd.DataFrame({
     'one':[1,3,5,7],'two':[2,4,6,8]},index=['a','b','c','d'])
d1

	one	two
a	1	2
b	3	4
c	5	6
d	7	8

d1 = pd.DataFrame({
     'one':pd.Series([1,3,5],index=['a','b','c']),'two':pd.Series([2,4,6,8],index=['a','b','c','d'])})
d1

	one	two
a	1.0	2
b	3.0	4
c	5.0	6
d	NaN	8

d1.dtypes

one    float64
two      int64
dtype: object

注：

1.当使用Series组成一个DataFrame的时候，两个Series位置按照标签对齐；
2.因为有nan（浮点型），所以“one”整列自动变成浮点型。

d2 = pd.read_csv('test.csv')
d2

	a	b	c
0	1	2	3
1	4	5	6
2	7	8	9

d1.to_csv('test2.csv')

2.1 DataFrame-常用属性

index:获取索引
T：转置
columns：获取列索引
values：获取值数组
describe()：获取快速统计(这是一个方法)

d1 = pd.DataFrame({
     'one':pd.Series([1,3,5],index=['a','b','c']),'two':pd.Series([2,4,6,8],index=['a','b','c','d'])})
d1

	one	two
a	1.0	2
b	3.0	4
c	5.0	6
d	NaN	8

d1.values

array([[ 1.,  2.],
       [ 3.,  4.],
       [ 5.,  6.],
       [nan,  8.]])

d1.T

	a	b	c	d
one	1.0	3.0	5.0	NaN
two	2.0	4.0	6.0	8.0

d1.dtypes

one    float64
two      int64
dtype: object

d1.describe()

	one	two
count	3.0	4.000000
mean	3.0	5.000000
std	2.0	2.581989
min	1.0	2.000000
25%	2.0	3.500000
50%	3.0	5.000000
75%	4.0	6.500000
max	5.0	8.000000

2.2 DataFrame-索引切片

DataFrame是一个二维数据类型，所以有行索引和列索引。
DataFrame同样可以通过标签和位置两种方法进行索引和切片
loc属性和iloc属性
- 使用方法：逗号隔开，前面是行索引，后面是列索引
- 行/列索引部分可以是常规索引、切片、布尔值索引、花式索引任意搭配

d1 = pd.DataFrame({
     'one':pd.Series([1,3,5],index=['a','b','c']),'two':pd.Series([2,4,6,8],index=['a','b','c','d'])})
d1

	one	two
a	1.0	2
b	3.0	4
c	5.0	6
d	NaN	8

d1['one']['a']

1.0

d1.loc['a','one']

1.0

d1.loc['a',:]

one    1.0
two    2.0
Name: a, dtype: float64

d1.loc['d','one']

nan

d1.loc[d1.one.isnull(),'one']

d   NaN
Name: one, dtype: float64

2.3 DataFrame-数据对齐与缺失值处理

DataFrame对象在运算时，同样会进行数据对齐，其行索引和列索引分别对齐。
DataFrame处理缺失数据的方法：
- dropna(axis=0,how=‘any’)
- fillna()
- isnull()
- notnull()

d2 = pd.DataFrame({
     'two':[1,2,3,4],'one':[4,5,6,7]},index=['c','d','b','a'])
d2

	two	one
c	1	4
d	2	5
b	3	6
a	4	7

d1+d2 # 行和列都要对齐

	one	two
a	8.0	6
b	9.0	7
c	9.0	7
d	NaN	10

d1.fillna(0)

	one	two
a	1.0	2
b	3.0	4
c	5.0	6
d	0.0	8

d1.dropna() # 这一行只要有一个缺失值，就会把整行删掉

	one	two
a	1.0	2
b	3.0	4
c	5.0	6

import numpy as np
d1.loc['d','two'] = np.nan
d1.loc['c','two'] = np.nan
d1

	one	two
a	1.0	2.0
b	3.0	4.0
c	5.0	NaN
d	NaN	NaN

d1.dropna(how='all')

	one	two
a	1.0	2.0
b	3.0	4.0
c	5.0	NaN

d2 = d1.dropna(how='all')
d2.dropna(axis=1)

	one
a	1.0
b	3.0
c	5.0

2.4 pandas-其他常用方法

mean(axis=0,skipna=False):对列（行）求平均值
sum(axis=1):对列（行）求和
sort_index(axis,…,ascending=True):对列（行）索引排序
sort_values(by,axis,ascending):按某一列（行）的值排序
Numpy的通用函数同样适用于pandas

d1

	one	two
a	1.0	2.0
b	3.0	4.0
c	5.0	NaN
d	NaN	NaN

d1.mean() # 返回的是一个对于每一列（行）求平均的Series

one    3.0
two    3.0
dtype: float64

d1.mean(axis=1)

a    1.5
b    3.5
c    5.0
d    NaN
dtype: float64

d1.mean(axis='columns')

a    1.5
b    3.5
c    5.0
d    NaN
dtype: float64

d1.sort_values(by='two')

	one	two
a	1.0	2.0
b	3.0	4.0
c	5.0	NaN
d	NaN	NaN

d1.sort_values(by='two', ascending=False) # 有缺失值的部分不参与排序，统一放在最后面

	one	two
b	3.0	4.0
a	1.0	2.0
c	5.0	NaN
d	NaN	NaN

d1.sort_values(by='a', axis=1,ascending=False)

	two	one
a	2.0	1.0
b	4.0	3.0
c	NaN	5.0
d	NaN	NaN

d1.sort_index()

	one	two
a	1.0	2.0
b	3.0	4.0
c	5.0	NaN
d	NaN	NaN

3 pandas-时间对象

3.1 pandas-时间对象处理

时间序列类型
- 时间戳：特定时刻
- 固定时期：如2020年12月
- 时间间隔：起始时间-结束时间
Python标准库处理时间对象：datetime
灵活处理时间对象：dateutil
- dateutil.parser.parse()
成组处理时间对象：pandas
- pd.to_datetime()

import datetime
datetime.datetime.strptime('2020-01-01','%Y-%m-%d') # strptime的p代表parse，strftime的f代表format

datetime.datetime(2020, 1, 1, 0, 0)

import dateutil
dateutil.parser.parse('2020-01-01')

datetime.datetime(2020, 1, 1, 0, 0)

dateutil.parser.parse('02/03/2020')

datetime.datetime(2020, 2, 3, 0, 0)

dateutil.parser.parse('20200203')

datetime.datetime(2020, 2, 3, 0, 0)

pd.to_datetime(['2001-01-01','2002/01/01'])

DatetimeIndex(['2001-01-01', '2002-01-01'], dtype='datetime64[ns]', freq=None)

3.2 pandas-时间对象生成

pd.date_range?

pd.date_range('2010-01-01','2010-05-01')

DatetimeIndex(['2010-01-01', '2010-01-02', '2010-01-03', '2010-01-04',
               '2010-01-05', '2010-01-06', '2010-01-07', '2010-01-08',
               '2010-01-09', '2010-01-10',
               ...
               '2010-04-22', '2010-04-23', '2010-04-24', '2010-04-25',
               '2010-04-26', '2010-04-27', '2010-04-28', '2010-04-29',
               '2010-04-30', '2010-05-01'],
              dtype='datetime64[ns]', length=121, freq='D')

pd.date_range('2010-01-01',periods=10)

DatetimeIndex(['2010-01-01', '2010-01-02', '2010-01-03', '2010-01-04',
               '2010-01-05', '2010-01-06', '2010-01-07', '2010-01-08',
               '2010-01-09', '2010-01-10'],
              dtype='datetime64[ns]', freq='D')

pd.date_range('2010-01-01',periods=10,freq='w') # 生成每个周日

DatetimeIndex(['2010-01-03', '2010-01-10', '2010-01-17', '2010-01-24',
               '2010-01-31', '2010-02-07', '2010-02-14', '2010-02-21',
               '2010-02-28', '2010-03-07'],
              dtype='datetime64[ns]', freq='W-SUN')

pd.date_range('2010-01-01',periods=10,freq='w-MON') # 生成每个周一

DatetimeIndex(['2010-01-04', '2010-01-11', '2010-01-18', '2010-01-25',
               '2010-02-01', '2010-02-08', '2010-02-15', '2010-02-22',
               '2010-03-01', '2010-03-08'],
              dtype='datetime64[ns]', freq='W-MON')

pd.date_range('2010-01-01',periods=10,freq='B') # 生成每个工作日

DatetimeIndex(['2010-01-01', '2010-01-04', '2010-01-05', '2010-01-06',
               '2010-01-07', '2010-01-08', '2010-01-11', '2010-01-12',
               '2010-01-13', '2010-01-14'],
              dtype='datetime64[ns]', freq='B')

dt = pd.date_range('2010-01-01',periods=10,freq='B')
dt[0]

Timestamp('2010-01-01 00:00:00', freq='B')

dt[0].to_pydatetime()

datetime.datetime(2010, 1, 1, 0, 0)

pd.date_range('2010-01-01',periods=10,freq='1h20min') # 还可以间隔1小时20分钟

DatetimeIndex(['2010-01-01 00:00:00', '2010-01-01 01:20:00',
               '2010-01-01 02:40:00', '2010-01-01 04:00:00',
               '2010-01-01 05:20:00', '2010-01-01 06:40:00',
               '2010-01-01 08:00:00', '2010-01-01 09:20:00',
               '2010-01-01 10:40:00', '2010-01-01 12:00:00'],
              dtype='datetime64[ns]', freq='80T')

4 pandas-时间序列

时间序列就是以时间对象为索引的Series或DataFrame。
datetime对象作为索引时是存储在DatetimeIndex对象中的。
时间序列特殊功能：
- 传入“年”或“月”作为切片当时
- 传入日期范围作为切片方式
- 丰富的函数支持：resample(),truncate(),…

pd.date_range('2010-01-01','2010-05-01')

DatetimeIndex(['2010-01-01', '2010-01-02', '2010-01-03', '2010-01-04',
               '2010-01-05', '2010-01-06', '2010-01-07', '2010-01-08',
               '2010-01-09', '2010-01-10',
               ...
               '2010-04-22', '2010-04-23', '2010-04-24', '2010-04-25',
               '2010-04-26', '2010-04-27', '2010-04-28', '2010-04-29',
               '2010-04-30', '2010-05-01'],
              dtype='datetime64[ns]', length=121, freq='D')

sr = pd.Series(np.arange(1000), index=pd.date_range('2020-01-01', periods=1000))
sr

2020-01-01      0
2020-01-02      1
2020-01-03      2
2020-01-04      3
2020-01-05      4
             ... 
2022-09-22    995
2022-09-23    996
2022-09-24    997
2022-09-25    998
2022-09-26    999
Freq: D, Length: 1000, dtype: int32

sr.index

DatetimeIndex(['2020-01-01', '2020-01-02', '2020-01-03', '2020-01-04',
               '2020-01-05', '2020-01-06', '2020-01-07', '2020-01-08',
               '2020-01-09', '2020-01-10',
               ...
               '2022-09-17', '2022-09-18', '2022-09-19', '2022-09-20',
               '2022-09-21', '2022-09-22', '2022-09-23', '2022-09-24',
               '2022-09-25', '2022-09-26'],
              dtype='datetime64[ns]', length=1000, freq='D')

sr['2020-03'] # 可以选取某一年或月的数据

2020-03-01    60
2020-03-02    61
2020-03-03    62
2020-03-04    63
2020-03-05    64
2020-03-06    65
2020-03-07    66
2020-03-08    67
2020-03-09    68
2020-03-10    69
2020-03-11    70
2020-03-12    71
2020-03-13    72
2020-03-14    73
2020-03-15    74
2020-03-16    75
2020-03-17    76
2020-03-18    77
2020-03-19    78
2020-03-20    79
2020-03-21    80
2020-03-22    81
2020-03-23    82
2020-03-24    83
2020-03-25    84
2020-03-26    85
2020-03-27    86
2020-03-28    87
2020-03-29    88
2020-03-30    89
2020-03-31    90
Freq: D, dtype: int32

sr['2020']

2020-01-01      0
2020-01-02      1
2020-01-03      2
2020-01-04      3
2020-01-05      4
             ... 
2020-12-27    361
2020-12-28    362
2020-12-29    363
2020-12-30    364
2020-12-31    365
Freq: D, Length: 366, dtype: int32

sr['2020-05':'2020-10']

2020-05-01    121
2020-05-02    122
2020-05-03    123
2020-05-04    124
2020-05-05    125
             ... 
2020-10-27    300
2020-10-28    301
2020-10-29    302
2020-10-30    303
2020-10-31    304
Freq: D, Length: 184, dtype: int32

sr['2020-05-01':'2020-10-31']

2020-05-01    121
2020-05-02    122
2020-05-03    123
2020-05-04    124
2020-05-05    125
             ... 
2020-10-27    300
2020-10-28    301
2020-10-29    302
2020-10-30    303
2020-10-31    304
Freq: D, Length: 184, dtype: int32

sr.resample('W').sum() # 每周的求和

2020-01-05      10
2020-01-12      56
2020-01-19     105
2020-01-26     154
2020-02-02     203
              ... 
2022-09-04    6818
2022-09-11    6867
2022-09-18    6916
2022-09-25    6965
2022-10-02     999
Freq: W-SUN, Length: 144, dtype: int32

sr.resample('M').mean() # 每月的平均

2020-01-31     15.0
2020-02-29     45.0
2020-03-31     75.0
2020-04-30    105.5
2020-05-31    136.0
2020-06-30    166.5
2020-07-31    197.0
2020-08-31    228.0
2020-09-30    258.5
2020-10-31    289.0
2020-11-30    319.5
2020-12-31    350.0
2021-01-31    381.0
2021-02-28    410.5
2021-03-31    440.0
2021-04-30    470.5
2021-05-31    501.0
2021-06-30    531.5
2021-07-31    562.0
2021-08-31    593.0
2021-09-30    623.5
2021-10-31    654.0
2021-11-30    684.5
2021-12-31    715.0
2022-01-31    746.0
2022-02-28    775.5
2022-03-31    805.0
2022-04-30    835.5
2022-05-31    866.0
2022-06-30    896.5
2022-07-31    927.0
2022-08-31    958.0
2022-09-30    986.5
Freq: M, dtype: float64

sr.truncate(before='2020-05-01',after='2020-10-01')

2020-05-01    121
2020-05-02    122
2020-05-03    123
2020-05-04    124
2020-05-05    125
             ... 
2020-09-27    270
2020-09-28    271
2020-09-29    272
2020-09-30    273
2020-10-01    274
Freq: D, Length: 154, dtype: int32

5 pandas-文件处理

5.1 pandas-读取文件

数据文件常用格式：csv（以某间隔符分割的数据）
pandas读取文件：从文件名、url、文件对象中加载数据
- read_csv 默认分隔符为逗号
- read_tabel 默认分隔符为制表符
read_csv,read_tabel函数主要参数：
- sep 指定分隔符，可以用正则表达式如’\s+’
- header=None 指定文件无列名
- names 指定列名
- index_col 指定某列作为索引
- skip_row 指定跳过某些行
- na_values 指定某些字符串表示缺失值
- parse_dates 指定某些列是否被解析为日期，输入类型为布尔值或列表

pd.read_csv('399300.csv')

	日期	股票代码	名称	收盘价	最高价	最低价	开盘价	前收盘	涨跌额	涨跌幅	成交量	成交金额
0	2021/1/29	'399300	沪深300	5351.9646	5430.2015	5288.0955	5413.9684	5377.1427	-25.1781	-0.4682	18217878400	390,287,690,019.00
1	2021/1/28	'399300	沪深300	5377.1427	5462.2352	5360.3766	5450.3695	5528.0034	-150.8607	-2.729	17048558500	376,166,523,178.00
2	2021/1/27	'399300	沪深300	5528.0034	5534.9928	5449.6385	5505.7708	5512.9678	15.0356	0.2727	16019084100	376,892,605,839.00
3	2021/1/26	'399300	沪深300	5512.9678	5600.9017	5505.9962	5600.9017	5625.9232	-112.9554	-2.0078	17190459000	415,008,069,865.00
4	2021/1/25	'399300	沪深300	5625.9232	5655.4795	5543.2663	5564.1237	5569.776	56.1472	1.0081	19704701900	508,166,980,802.00
...	...	...	...	...	...	...	...	...	...	...	...	...
4625	2002/1/10	'399300	沪深300	1281.2600	1281.2600	1281.2600	1281.2600	1272.65	8.61	0.6765	0	-
4626	2002/1/9	'399300	沪深300	1272.6500	1272.6500	1272.6500	1272.6500	1292.71	-20.06	-1.5518	0	-
4627	2002/1/8	'399300	沪深300	1292.7100	1292.7100	1292.7100	1292.7100	1302.08	-9.37	-0.7196	0	-
4628	2002/1/7	'399300	沪深300	1302.0800	1302.0800	1302.0800	1302.0800	1316.46	-14.38	-1.0923	0	-
4629	2002/1/4	'399300	沪深300	1316.4600	1316.4600	1316.4600	1316.4600	None	None	None	0	-

4630 rows × 12 columns

pd.read_csv('399300.csv', index_col='日期')

	股票代码	名称	收盘价	最高价	最低价	开盘价	前收盘	涨跌额	涨跌幅	成交量	成交金额
日期
2021/1/29	'399300	沪深300	5351.9646	5430.2015	5288.0955	5413.9684	5377.1427	-25.1781	-0.4682	18217878400	390,287,690,019.00
2021/1/28	'399300	沪深300	5377.1427	5462.2352	5360.3766	5450.3695	5528.0034	-150.8607	-2.729	17048558500	376,166,523,178.00
2021/1/27	'399300	沪深300	5528.0034	5534.9928	5449.6385	5505.7708	5512.9678	15.0356	0.2727	16019084100	376,892,605,839.00
2021/1/26	'399300	沪深300	5512.9678	5600.9017	5505.9962	5600.9017	5625.9232	-112.9554	-2.0078	17190459000	415,008,069,865.00
2021/1/25	'399300	沪深300	5625.9232	5655.4795	5543.2663	5564.1237	5569.776	56.1472	1.0081	19704701900	508,166,980,802.00
...	...	...	...	...	...	...	...	...	...	...	...
2002/1/10	'399300	沪深300	1281.2600	1281.2600	1281.2600	1281.2600	1272.65	8.61	0.6765	0	-
2002/1/9	'399300	沪深300	1272.6500	1272.6500	1272.6500	1272.6500	1292.71	-20.06	-1.5518	0	-
2002/1/8	'399300	沪深300	1292.7100	1292.7100	1292.7100	1292.7100	1302.08	-9.37	-0.7196	0	-
2002/1/7	'399300	沪深300	1302.0800	1302.0800	1302.0800	1302.0800	1316.46	-14.38	-1.0923	0	-
2002/1/4	'399300	沪深300	1316.4600	1316.4600	1316.4600	1316.4600	None	None	None	0	-

4630 rows × 11 columns

df = _

df.index # 日期被解释成一个字符串

Index(['2021/1/29', '2021/1/28', '2021/1/27', '2021/1/26', '2021/1/25',
       '2021/1/22', '2021/1/21', '2021/1/20', '2021/1/19', '2021/1/18',
       ...
       '2002/1/17', '2002/1/16', '2002/1/15', '2002/1/14', '2002/1/11',
       '2002/1/10', '2002/1/9', '2002/1/8', '2002/1/7', '2002/1/4'],
      dtype='object', name='日期', length=4630)

# df = pd.read_csv('399300.csv',index_col='日期',parse_dates=True) # 把所有能解释成日期的都解释成时间对象
df = pd.read_csv('399300.csv',index_col='日期',parse_dates=['日期']) # 把冲入的列解释成时间对象
df

	股票代码	名称	收盘价	最高价	最低价	开盘价	前收盘	涨跌额	涨跌幅	成交量	成交金额
日期
2021-01-29	'399300	沪深300	5351.9646	5430.2015	5288.0955	5413.9684	5377.1427	-25.1781	-0.4682	18217878400	390,287,690,019.00
2021-01-28	'399300	沪深300	5377.1427	5462.2352	5360.3766	5450.3695	5528.0034	-150.8607	-2.729	17048558500	376,166,523,178.00
2021-01-27	'399300	沪深300	5528.0034	5534.9928	5449.6385	5505.7708	5512.9678	15.0356	0.2727	16019084100	376,892,605,839.00
2021-01-26	'399300	沪深300	5512.9678	5600.9017	5505.9962	5600.9017	5625.9232	-112.9554	-2.0078	17190459000	415,008,069,865.00
2021-01-25	'399300	沪深300	5625.9232	5655.4795	5543.2663	5564.1237	5569.776	56.1472	1.0081	19704701900	508,166,980,802.00
...	...	...	...	...	...	...	...	...	...	...	...
2002-01-10	'399300	沪深300	1281.2600	1281.2600	1281.2600	1281.2600	1272.65	8.61	0.6765	0	-
2002-01-09	'399300	沪深300	1272.6500	1272.6500	1272.6500	1272.6500	1292.71	-20.06	-1.5518	0	-
2002-01-08	'399300	沪深300	1292.7100	1292.7100	1292.7100	1292.7100	1302.08	-9.37	-0.7196	0	-
2002-01-07	'399300	沪深300	1302.0800	1302.0800	1302.0800	1302.0800	1316.46	-14.38	-1.0923	0	-
2002-01-04	'399300	沪深300	1316.4600	1316.4600	1316.4600	1316.4600	None	None	None	0	-

4630 rows × 11 columns

df.index

DatetimeIndex(['2021-01-29', '2021-01-28', '2021-01-27', '2021-01-26',
               '2021-01-25', '2021-01-22', '2021-01-21', '2021-01-20',
               '2021-01-19', '2021-01-18',
               ...
               '2002-01-17', '2002-01-16', '2002-01-15', '2002-01-14',
               '2002-01-11', '2002-01-10', '2002-01-09', '2002-01-08',
               '2002-01-07', '2002-01-04'],
              dtype='datetime64[ns]', name='日期', length=4630, freq=None)

df = pd.read_csv('399300-2.csv',header=None) # 如果原文件中没有列名，可以让header=None，自动生成列名
df

	0	1	2	3	4	5	6	7	8	9	10	11
0	2021/1/29	'399300	沪深300	5351.9646	5430.2015	5288.0955	5413.9684	5377.1427	-25.1781	-0.4682	18217878400	390,287,690,019.00
1	2021/1/28	'399300	沪深300	5377.1427	5462.2352	5360.3766	5450.3695	5528.0034	-150.8607	-2.729	17048558500	376,166,523,178.00
2	2021/1/27	'399300	沪深300	5528.0034	5534.9928	5449.6385	5505.7708	5512.9678	15.0356	0.2727	16019084100	376,892,605,839.00
3	2021/1/26	'399300	沪深300	5512.9678	5600.9017	5505.9962	5600.9017	5625.9232	-112.9554	-2.0078	17190459000	415,008,069,865.00
4	2021/1/25	'399300	沪深300	5625.9232	5655.4795	5543.2663	5564.1237	5569.776	56.1472	1.0081	19704701900	508,166,980,802.00
...	...	...	...	...	...	...	...	...	...	...	...	...
4625	2002/1/10	'399300	沪深300	1281.2600	1281.2600	1281.2600	1281.2600	1272.65	8.61	0.6765	0	-
4626	2002/1/9	'399300	沪深300	1272.6500	1272.6500	1272.6500	1272.6500	1292.71	-20.06	-1.5518	0	-
4627	2002/1/8	'399300	沪深300	1292.7100	1292.7100	1292.7100	1292.7100	1302.08	-9.37	-0.7196	0	-
4628	2002/1/7	'399300	沪深300	1302.0800	1302.0800	1302.0800	1302.0800	1316.46	-14.38	-1.0923	0	-
4629	2002/1/4	'399300	沪深300	1316.4600	1316.4600	1316.4600	1316.4600	None	None	None	0	-

4630 rows × 12 columns

# 如果原文件中没有列名，可以让header=None，同时自己命名
df = pd.read_csv('399300-2.csv',header=None, names=['股票代码', '名称', '收盘价', '最高价', '最低价',
                                                    '开盘价', '前收盘', '涨跌额', '涨跌幅', '成交量','成交金额 ']) 
df

	股票代码	名称	收盘价	最高价	最低价	开盘价	前收盘	涨跌额	涨跌幅	成交量	成交金额
2021/1/29	'399300	沪深300	5351.9646	5430.2015	5288.0955	5413.9684	5377.1427	-25.1781	-0.4682	18217878400	390,287,690,019.00
2021/1/28	'399300	沪深300	5377.1427	5462.2352	5360.3766	5450.3695	5528.0034	-150.8607	-2.729	17048558500	376,166,523,178.00
2021/1/27	'399300	沪深300	5528.0034	5534.9928	5449.6385	5505.7708	5512.9678	15.0356	0.2727	16019084100	376,892,605,839.00
2021/1/26	'399300	沪深300	5512.9678	5600.9017	5505.9962	5600.9017	5625.9232	-112.9554	-2.0078	17190459000	415,008,069,865.00
2021/1/25	'399300	沪深300	5625.9232	5655.4795	5543.2663	5564.1237	5569.776	56.1472	1.0081	19704701900	508,166,980,802.00
...	...	...	...	...	...	...	...	...	...	...	...
2002/1/10	'399300	沪深300	1281.2600	1281.2600	1281.2600	1281.2600	1272.65	8.61	0.6765	0	-
2002/1/9	'399300	沪深300	1272.6500	1272.6500	1272.6500	1272.6500	1292.71	-20.06	-1.5518	0	-
2002/1/8	'399300	沪深300	1292.7100	1292.7100	1292.7100	1292.7100	1302.08	-9.37	-0.7196	0	-
2002/1/7	'399300	沪深300	1302.0800	1302.0800	1302.0800	1302.0800	1316.46	-14.38	-1.0923	0	-
2002/1/4	'399300	沪深300	1316.4600	1316.4600	1316.4600	1316.4600	None	None	None	0	-

4630 rows × 11 columns

df = pd.read_csv('399300.csv',index_col='日期',parse_dates=['日期'], skiprows=[1,2,3])
df

	股票代码	名称	收盘价	最高价	最低价	开盘价	前收盘	涨跌额	涨跌幅	成交量	成交金额
日期
2021-01-26	'399300	沪深300	5512.9678	5600.9017	5505.9962	5600.9017	5625.9232	-112.9554	-2.0078	17190459000	415,008,069,865.00
2021-01-25	'399300	沪深300	5625.9232	5655.4795	5543.2663	5564.1237	5569.776	56.1472	1.0081	19704701900	508,166,980,802.00
2021-01-22	'399300	沪深300	5569.7760	5573.6594	5513.8769	5562.3790	5564.9693	4.8067	0.0864	19930002000	456,622,193,436.00
2021-01-21	'399300	沪深300	5564.9693	5593.1058	5490.5626	5492.9587	5476.4336	88.5357	1.6167	20995019700	453,183,684,479.00
2021-01-20	'399300	沪深300	5476.4336	5496.0493	5426.5357	5439.9111	5437.5234	38.9102	0.7156	17091326000	373,770,384,496.00
...	...	...	...	...	...	...	...	...	...	...	...
2002-01-10	'399300	沪深300	1281.2600	1281.2600	1281.2600	1281.2600	1272.65	8.61	0.6765	0	-
2002-01-09	'399300	沪深300	1272.6500	1272.6500	1272.6500	1272.6500	1292.71	-20.06	-1.5518	0	-
2002-01-08	'399300	沪深300	1292.7100	1292.7100	1292.7100	1292.7100	1302.08	-9.37	-0.7196	0	-
2002-01-07	'399300	沪深300	1302.0800	1302.0800	1302.0800	1302.0800	1316.46	-14.38	-1.0923	0	-
2002-01-04	'399300	沪深300	1316.4600	1316.4600	1316.4600	1316.4600	None	None	None	0	-

4627 rows × 11 columns

df = pd.read_csv('399300.csv',index_col='日期',parse_dates=['日期'], na_values=['None','NA','nan']) # 那些解释成缺失值

5.2 pandas-写入文件

写入到csv文件：to_csv函数
写入文件函数的主要参数
- sep 指定文件分隔符
- na_rep 指定缺失值转换的字符串，默认为空字符串
- header=False 不输出列名一行
- index=False 不输出索引一列
- columns 指定输出的列，传入列表

df.iloc[1,1] = np.nan

df.to_csv('test.csv', header=False, index=False, na_rep='None',encoding='ANSI')

你可能感兴趣的:(Python学习,python,pandas)

【Python】一文详细介绍 py格式文件高斯小哥 Python基础【高质量合集】python 新手入门学习
【Python】一文详细介绍py格式文件个人主页：高斯小哥高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程希望得到您的订阅和支持~创作高质量博文(平均质量分92+)，分享更多关于深度学习、PyTorch、Python领域的优质内容！（希望得到您的关注~）文章目录一、py格式文件简介二、如何创建和编辑py格式文件三、如何运行py
python抓包与解包_Python—网络抓包与解包（pcap、dpkt） weixin_39691055 python抓包与解包
pcap安装[root@localhost~]#pipinstallpypcap抓包与解包#-*-coding:utf-8-*-importpcap,dpktimportre,threading,requests__black_ip=['103.224.249.123','203.66.1.212']#抓包：param1eth_name网卡名，如：eth0,eth3。param2p_type日志捕
华为OD机试 - 单向链表中间节点（Java & JS & Python & C & C++）华为OD题库华为od 链表 java
须知哈喽，本题库完全免费，收费是为了防止被爬，大家订阅专栏后可以私信联系退款。感谢支持文章目录须知题目描述输出描述解析代码题目描述给定一个单链表L，请编写程序输出L中间结点保存的数据。如果有两个中间结点，则输出第二个中间结点保存的数据。例如：给定L为1→7→5，则输出应该为7；给定L为1→2→3→4，则输出应该为3；输入描述每个输入包含1个测试用例。每个测试用例：第一行给出链表首结点的地址、结点总
python 推导式(派生、衍生) sanduo112 人工智能 python windows 开发语言
python推导式一、推导式(派生、衍生)1.Python推导式是一种独特的数据处理方式，可以从一个数据序列构建另一个新的数据序列的结构体。2.列表(list)推导式3.字典(dict)推导式4.集合(set)推导式5.元组(tuple)推导式二、代码概述一、推导式(派生、衍生)1.Python推导式是一种独特的数据处理方式，可以从一个数据序列构建另一个新的数据序列的结构体。Python支持各种数
数据挖掘|数据预处理|基于Python的数据标准化方法皖山文武数据挖掘数据建模与分析 python 数据挖掘开发语言
基于Python的数据标准化方法1.z-score方法2.极差标准化方法3.最大绝对值标准化方法在数据分析之前，通常需要先将数据标准化（Standardization），利用标准化后的数据进行数据分析，以避免属性之间不同度量和取值范围差异造成数据对分析结果的影响。1.z-score方法Z-score方法是基于原始数据的均值和标准差来进行数据标准化的，处理后的数据均值为0，方差为1，符合标准正态分布
CSV指南：Python程序获取大型CSV文件行数孤独打铁匠Julian 笔记经验分享 python
本指南提供了几种使用Python来获取大型CSV文件行数的方法，并解释了每种方法的适用场景。方法1:使用csv.reader处理复杂CSV文件当你的CSV文件中包含多行字段（即某些字段的值中包含换行符）时，使用csv.reader是一个可靠的选择，因为它能够正确处理这些复杂情况。这个方法适用于大多数大小的CSV文件，但是对于非常大的文件，读取整个文件可能会占用较多的时间和内存。对于极大的文件，考虑
谷歌浏览器驱动Chromedriver（114-120版本）文件以及驱动下载教程 pigerr杨 Python python chrome drivers
ChromeDriver官方网站GitHub||GoogleChromeLabs/chrome-for-testingChromeDriver113-125_JSONChromeforTestingavailability123-125zip白月黑羽Python基础|进阶|Qt图形界面|Django|自动化测试|性能测试|JS语言|JS前端|原理与安装
大创项目推荐深度学习 opencv python 公式识别(图像识别机器视觉) laafeer python
文章目录0前言1课题说明2效果展示3具体实现4关键代码实现5算法综合效果6最后0前言优质竞赛项目系列，今天要分享的是基于深度学习的数学公式识别算法实现该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：4分创新点：4分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate1课题
python转码 Desamond python 开发语言
转码在许多场景中都有应用，以下是一些常见的场景：网页开发：当用户在网页上输入文本时，可能需要将特殊字符（如空格、引号、特殊符号等）进行转码，以防止这些字符对URL或HTML代码产生干扰。文件名处理：在处理文件名时，可能需要将特殊字符进行转码，以避免文件名被错误地解析或显示。数据传输：在数据传输过程中，为了确保数据的完整性和正确性，可能需要将数据中的特殊字符进行转码。数据存储：在数据库或数据存储中，
排序算法太多？常用排序都在这了，一篇文章总结和实现所有面试会考的排序算法（基于Python实现）宇宙之一粟不归路之Python #IT面试题收集与总结数据结构与算法算法数据结构排序算法 python java
文章目录排序算法1.常见的排序算法1.1选择排序1.1.1思想1.1.2实现**1.1.3选择排序分析**1.2冒泡排序**1.2.1思想****1.2.2实现****1.2.3冒泡排序分析**1.3插入排序**1.3.1思想****1.3.2实现****1.3.3插入排序分析**1.4归并排序☆☆★**1.4.1思想****1.4.2实现****1.4.3归并排序分析**1.5快速排序☆★★**
27.Python从入门到精通—Python异常处理抛出异常用户自定义异常定义清理行为预定义的清理行为以山河作礼。 #Python基础入门—详解版 python java 服务器
27.从入门到精通：Python异常处理抛出异常用户自定义异常定义清理行为预定义的清理行为异常处理抛出异常用户自定义异常定义清理行为预定义的清理行为异常处理在Python中，异常处理是一种处理程序在执行期间可能遇到的错误的方法。当Python解释器遇到错误时，它会引发异常。异常是一种Python对象，它包含有关错误的信息，例如错误类型和错误位置。为了处理异常，您可以使用try-except语句。在
python清华大学出版社答案_Python机器学习及实践 weixin_39805119 python清华大学出版社答案
第1章机器学习的基础知识1.1何谓机器学习1.1.1传感器和海量数据1.1.2机器学习的重要性1.1.3机器学习的表现1.1.4机器学习的主要任务1.1.5选择合适的算法1.1.6机器学习程序的步骤1.2综合分类1.3推荐系统和深度学习1.3.1推荐系统1.3.2深度学习1.4何为Python1.4.1使用Python软件的由来1.4.2为什么使用Python1.4.3Python设计定位1.4.
Python | Redis工具类 -拟墨画扇- Python redis 数据库缓存 python
一、需求自动连接Redis数据库，通过连接池处理数据对输出结果进行Log打印并保存到文件二、代码Utils.redisUtils.py#!/usr/bin/envpython#-*-coding:utf-8-*-importredisfromUtils.loggerimportlog"""Redis数据格式(1)字符串|存储形式:key-value:str-存储二进制数据:可以存储任意类型的数据，
Python dict字符串转json对象，小数精度丢失问题朝如青丝暮成雪 json python
一前言JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式，dict是Python的一种数据格式。本篇介绍一个float数据转换时精度丢失的案例。二问题描述importjsontest_str1='{"π":3.1415926535897932384626433832795028841971}'test_str2='{"value":10.00000}'print
Numpy、Pandas库的使用貮叁量化投资分析 python python 数据分析
目录Numpy1、概述2、基础操作2.1生成一个numpy的array数组：2.2自定义一个新的数据类型：np.dtype()3、并行化思想4、量化分析应用4.1索引选取和切片选择4.2数据转换与规整4.3逻辑条件进行数据筛选4.4通用序列函数4.5文件保存与读取Pandas1、简介2、Series和DataFrame的使用2.1Series2.2DataFrame3、量化分析应用3.1形成一个p
Python+Requests模拟发送GET请求爱学习的执念自动化测试软件测试技术分享 python 开发语言
模拟发送GET请求前置条件：导入requests库一、发送不带参数的get请求代码如下：以百度首页为例importrequests#发送get请求response=requests.get(url="http://www.baidu.com")print(response.content.decode("utf-8"))#以utf-8的编码输出内容二、发送带参数的get请求发送带参数的get请求有
Python极速入门：五分钟开启实战之旅！知白守黑V Python 编程语言系统运维 python 编程语言 python开发 python学习 python入门 python数据分析
1.Python基础语法和结构：了解Python的基本语法，包括变量、数据类型、运算符、注释等。控制流：掌握条件语句（if-elif-else）、循环（for和while）及其控制（break和continue）。函数：学习如何定义和使用函数，包括参数传递、返回值、作用域和闭包。模块和包：理解如何导入和使用模块，以及如何创建和使用自己的包。2.数据处理列表、元组和集合：学习这些序列类型的操作和方法
Python Flask 使用数据库安果移不动 python flask 开发语言
pipinstallflask_sqlalchemy官方文档：Flask-SQLAlchemy—Flask-SQLAlchemyDocumentation(3.1.x)为了不报错也需要导入另外两个库#pipinstallflask_sqlalchemy#pipinstallmysqlclient完整代码importosfromflaskimportFlaskfromflask_sqlalchemy
PaperWeekly sapienst Papers PaperwithCode General ML
1.Python软件包解决DL在未见过的数据分布下性能差的问题：（1）神经网络和损失分离的模块化设计（2）强大便捷的基准测试能力（3）易于使用但难以修改（4）github:https://github.com/marrlab/domainlabTrainer和Models之间是什么关系Trainer和Models是DomainLab中的两个核心概念。Trainer是一个用于指导数据流向模型并计算S
使用Python读取Excel文件并计算平均分嘻嘻爱编码 Python从入门到放弃 python excel 开发语言
在这篇博客中，我们将探讨如何使用Python的pandas库来读取Excel文件，并计算其中数据的平均分。pandas是一个强大的数据分析工具，它允许我们以简单直观的方式处理表格数据。安装必要的库在开始之前，确保你的环境中安装了pandas和openpyxl库。可以使用以下命令进行安装：pipinstallpandasopenpyxl读取Excel文件首先，我们需要读取Excel文件。假设我们有一
python项目练习——7.网站访问日志分析器 F—— python项目练习 python 信息可视化数据分析数据挖掘开发语言学习
项目功能分析：这个项目可以读取网站的访问日志文件，统计访问量、独立访客数、访问来源等信息，并以图表或表格的形式展示出来。这个项目涉及到文件操作、数据处理、数据可视化等方面的技术。示例代码：importrefromcollectionsimportCounterimportmatplotlib.pyplotaspltdefparse_log_file(log_file):#读取日志文件内容witho
python的while双重循环九九乘法表 Jinm_R python 开发语言
a=1whilea<=9:b=1#乘数每次需要从1开始whileb<=a:print(f"{a}*{b}={a*b}\t",end='')#\t为制表符使乘法表整齐end=''代表用空格代替换行b+=1a+=1print()#乘数每加一换行
【Python】成功解决ModuleNotFoundError: No module named ‘torchinfo‘ 高斯小哥 BUG解决方案合集 python pytorch 新手入门学习 debug
【Python】成功解决ModuleNotFoundError:Nomodulenamed‘torchinfo’个人主页：高斯小哥高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程希望得到您的订阅和支持~创作高质量博文(平均质量分92+)，分享更多关于深度学习、PyTorch、Python领域的优质内容！（希望得到您的关注~）文
Python自动化测试web常见框架汇总自动化测试薰儿软件测试技术分享 python 前端开发语言
1、前言目前，有非常多的Python框架，用来帮助你更轻松的创建web应用。这些框架把相应的模块组织起来，使得构建应用的时候可以更快捷，也不用去关注一些细节（例如socket和协议），所以需要的都在框架里了。接下来我们会介绍不同的选项。经过初期的不起眼，Python已经成为互联网最流行的服务端编程语言之一。根据W3Techs的统计，它被用于很多的大流量的站点很多的大流量的站点很多的大流量的站点，超
python安装jupter在线ide 晚风拂柳颜生活小经验 python3 ide jupter
我在虚拟3.6.8的环境里面安装的，具体用了以下命令；pipinstallipython-ihttps://mirrors.aliyun.com/pypi/simple/pipinstalljupyter-ihttps://mirrors.aliyun.com/pypi/simple/jupyternotebook当然，jupter可以直接通过python环境里script目录下的jupyter-
opencv 十八 python下实现0缓存掉线重连的rtsp直播流播放器摸鱼的机器猫 opencv实战 opencv python 缓存
使用opencv打开rtsp视频流时，会因为网络问题导致VideoCapture掉线；也会因为图像的后处理阶段耗时过长导致opencv缓冲区数据堆积，从而使程序无法及时处理最新的数据。为此对cv2.VideoCapture进行封装，实现0缓存掉线重连的rtsp直播流播放器，让程序能一直处理最新的数据。代码实现fromcollectionsimportdequeimportthreadingimpo
Windows如何安装poppler库，python的PDF转PPTX项目跨不过 pdf
资源库在这里下载https://github.com/oschwartz10612/poppler-windows/releases/tag/v21.03.0其他的参考这篇博客，里面提到的资源链接失效了https://blog.csdn.net/wy01415/article/details/110257130
用Python批量更改图片大小马达马达达 AI python
#提取目录下所有图片,更改尺寸后保存到另一目录fromPILimportImageimportos.pathimportglobdefconvertjpg(jpgfile,outdir,width=128,height=128):img=Image.open(jpgfile)try:new_img=img.resize((width,height),Image.BILINEAR)new_img.s
3.Python数据分析—数据分析入门知识图谱&索引(知识体系中篇) 以山河作礼。 Python数据分析项目数据分析知识图谱数据挖掘 python 开发语言
3.Python数据分析—数据分析入门知识图谱&索引-知识体系中篇一·个人简介二·数据获取和处理2.1数据来源：2.2数据清洗：2.2.1缺失值处理：2.2.2异常值处理：2.3数据转换：2.3.1数据类型转换：2.3.2数据编码：2.4数据合并与重塑：2.4.1数据合并：2.4.2数据拼接：2.4.3数据重塑：三·数据探索与分析3.1描述性统计分析3.2数据可视化原则和技巧3.3探索性数据分析（
SWIFT环境配置及大模型微调实践 weixin_43870390 swift 开发语言 ios
SWIFT环境配置及大模型微调实践SWIFT环境配置基础配置增量配置SWIFTQwen_audio_chat大模型微调实践问题1:问题2:问题定位解决方法手动安装pytorchSWIFT介绍参考：这里SWIFT环境配置基础配置condacreate-nswiftpython=3.8pipinstallms-swift[all]-U#下载项目gitclonehttps://github.com/mo
SQL的各种连接查询 xieke90 UNION ALL UNION 外连接内连接 JOIN
一、内连接概念：内连接就是使用比较运算符根据每个表共有的列的值匹配两个表中的行。内连接（join 或者inner join ） SQL语法： select * fron
java编程思想--复用类百合不是茶 java 继承代理组合 final类
复用类看着标题都不知道是什么,再加上java编程思想翻译的比价难懂,所以知道现在才看这本软件界的奇书一:组合语法:就是将对象的引用放到新类中即可代码: package com.wj.reuse; /** * * @author Administrator 组
[开源与生态系统]国产CPU的生态系统 comsci cpu
计算机要从娃娃抓起...而孩子最喜欢玩游戏.... 要让国产CPU在国内市场形成自己的生态系统和产业链,国家和企业就不能够忘记游戏这个非常关键的环节.... 投入一些资金和资源,人力和政策,让游
JVM内存区域划分Eden Space、Survivor Space、Tenured Gen，Perm Gen解释商人shang jvm内存
jvm区域总体分两类，heap区和非heap区。heap区又分：Eden Space（伊甸园）、Survivor Space(幸存者区)、Tenured Gen（老年代-养老区）。非heap区又分：Code Cache(代码缓存区)、Perm Gen（永久代）、Jvm Stack(java虚拟机栈)、Local Method Statck(本地方法栈)。 HotSpot虚拟机GC算法采用分代收
页面上调用 QQ oloz qq
<A href="tencent://message/?uin=707321921&Site=有事Q我&Menu=yes"> <img style="border:0px;" src=http://wpa.qq.com/pa?p=1:707321921:1></a>
一些问题文强chu 问题
1.eclipse 导出 doc 出现“The Javadoc command does not exist.” javadoc command 选择 jdk/bin/javadoc.exe 2.tomcate 配置 web 项目 ..... SQL:3.mysql * 必须得放前面否则 select&nbs
生活没有安全感小桔子生活孤独安全感
圈子好小，身边朋友没几个，交心的更是少之又少。在深圳，除了男朋友，没几个亲密的人。不知不觉男朋友成了唯一的依靠，毫不夸张的说，业余生活的全部。现在感情好，也很幸福的。但是说不准难免人心会变嘛，不发生什么大家都乐融融，发生什么很难处理。我想说如果不幸被分手(无论原因如何)，生活难免变化很大，在深圳，我没交心的朋友。明
php 基础语法 aichenglong php 基本语法
1 .1 php变量必须以$开头 <?php $a=” b”; echo ?> 1 .2 php基本数据库类型 Integer float/double Boolean string 1 .3 复合数据类型数组array和对象 object 1 .4 特殊数据类型 null 资源类型(resource) $co
mybatis tools 配置详解 AILIKES mybatis
MyBatis Generator中文文档 MyBatis Generator中文文档地址： http://generator.sturgeon.mopaas.com/ 该中文文档由于尽可能和原文内容一致，所以有些地方如果不熟悉，看中文版的文档的也会有一定的障碍，所以本章根据该中文文档以及实际应用，使用通俗的语言来讲解详细的配置。本文使用Markdown进行编辑，但是博客显示效
继承与多态的探讨百合不是茶 JAVA面向对象继承对象
继承 extends 多态继承是面向对象最经常使用的特征之一：继承语法是通过继承发、基类的域和方法 //继承就是从现有的类中生成一个新的类，这个新类拥有现有类的所有extends是使用继承的关键字：在A类中定义属性和方法； class A{ //定义属性 int age； //定义方法 public void go
JS的undefined与null的实例 bijian1013 JavaScript JavaScript
<form name="theform" id="theform"> </form> <script language="javascript"> var a alert(typeof(b)); //这里提示undefined if(theform.datas
TDD实践（一） bijian1013 java 敏捷 TDD
一.TDD概述 TDD：测试驱动开发，它的基本思想就是在开发功能代码之前，先编写测试代码。也就是说在明确要开发某个功能后，首先思考如何对这个功能进行测试，并完成测试代码的编写，然后编写相关的代码满足这些测试用例。然后循环进行添加其他功能，直到完全部功能的开发。
[Maven学习笔记十]Maven Profile与资源文件过滤器 bit1129 maven
什么是Maven Profile Maven Profile的含义是针对编译打包环境和编译打包目的配置定制，可以在不同的环境上选择相应的配置，例如DB信息，可以根据是为开发环境编译打包，还是为生产环境编译打包，动态的选择正确的DB配置信息 Profile的激活机制 1.Profile可以手工激活，比如在Intellij Idea的Maven Project视图中可以选择一个P
【Hive八】Hive用户自定义生成表函数(UDTF) bit1129 hive
1. 什么是UDTF UDTF，是User Defined Table-Generating Functions，一眼看上去，貌似是用户自定义生成表函数，这个生成表不应该理解为生成了一个HQL Table，貌似更应该理解为生成了类似关系表的二维行数据集 2. 如何实现UDTF 继承org.apache.hadoop.hive.ql.udf.generic
tfs restful api 加auth 2.0认计 ronin47
　　目前思考如何给tfs的ngx-tfs api增加安全性。有如下两点：　　一是基于客户端的ip设置。这个比较容易实现。　　二是基于OAuth2.0认证，这个需要lua，实现起来相对于一来说，有些难度。　　现在重点介绍第二种方法实现思路。　　前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGe
jdk环境变量配置 byalias java jdk
进行java开发，首先要安装jdk，安装了jdk后还要进行环境变量配置： 1、下载jdk（http://java.sun.com/javase/downloads/index.jsp），我下载的版本是：jdk-7u79-windows-x64.exe 2、安装jdk-7u79-windows-x64.exe 3、配置环境变量：右击"计算机"-->&quo
《代码大全》表驱动法-Table Driven Approach-2 bylijinnan java
package com.ljn.base; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.Collections; import java.uti
SQL 数值四舍五入小数点后保留2位 chicony 四舍五入
1.round() 函数是四舍五入用，第一个参数是我们要被操作的数据，第二个参数是设置我们四舍五入之后小数点后显示几位。 2.numeric 函数的2个参数，第一个表示数据长度，第二个参数表示小数点后位数。例如：　　select cast(round(12.5,2) as numeric(5,2))
c++运算符重载 CrazyMizzz C++
一、加+，减-，乘*，除/ 的运算符重载 Rational operator*(const Rational &x) const{ return Rational(x.a * this->a); } 在这里只写乘法的，加减除的写法类似二、<<输出,>>输入的运算符重载 &nb
hive DDL语法汇总 daizj hive 修改列 DDL 修改表
hive DDL语法汇总１、对表重命名 hive> ALTER TABLE table_name RENAME TO new_table_name; 2、修改表备注 hive> ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comm
jbox使用说明 dcj3sjt126com Web
参考网址：http://www.kudystudio.com/jbox/jbox-demo.html jBox v2.3 beta [ 点击下载] 技术交流QQGroup：172543951 100521167 [2011-11-11] jBox v2.3 正式版 - [调整&修复] IE6下有iframe或页面有active、applet控件
UISegmentedControl 开发笔记 dcj3sjt126com
// typedef NS_ENUM(NSInteger, UISegmentedControlStyle) { // UISegmentedControlStylePlain, // large plain &
Slick生成表映射文件 ekian scala
Scala添加SLICK进行数据库操作，需在sbt文件上添加slick-codegen包 "com.typesafe.slick" %% "slick-codegen" % slickVersion 因为我是连接SQL Server数据库，还需添加slick-extensions，jtds包 "com.typesa
ES-TEST gengzg test
package com.MarkNum; import java.io.IOException; import java.util.Date; import java.util.HashMap; import java.util.Map; import javax.servlet.ServletException; import javax.servlet.annotation
为何外键不再推荐使用 hugh.wang mysql DB
表的关联，是一种逻辑关系，并不需要进行物理上的“硬关联”，而且你所期望的关联，其实只是其数据上存在一定的联系而已，而这种联系实际上是在设计之初就定义好的固有逻辑。在业务代码中实现的时候，只要按照设计之初的这种固有关联逻辑来处理数据即可，并不需要在数据库层面进行“硬关联”，因为在数据库层面通过使用外键的方式进行“硬关联”，会带来很多额外的资源消耗来进行一致性和完整性校验，即使很多时候我们并不
领域驱动设计 julyflame VO DAO 设计模式 DTO po
概念： VO（View Object）：视图对象，用于展示层，它的作用是把某个指定页面（或组件）的所有数据封装起来。 DTO（Data Transfer Object）：数据传输对象，这个概念来源于J2EE的设计模式，原来的目的是为了EJB的分布式应用提供粗粒度的数据实体，以减少分布式调用的次数，从而提高分布式调用的性能和降低网络负载，但在这里，我泛指用于展示层与服务层之间的数据传输对
单例设计模式 hm4123660 java Singleton 单例设计模式懒汉式饿汉式
单例模式是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例类的特殊类。通过单例模式可以保证系统中一个类只有一个实例而且该实例易于外界访问，从而方便对实例个数的控制并节约系统源。如果希望在系统中某个类的对象只能存在一个，单例模式是最好的解决方案。 &nb
logback zhb8015 log logback
一、logback的介绍 Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个改良版本。此外logback-class
整合Kafka到Spark Streaming——代码示例和挑战 Stark_Summer spark storm zookeeper PARALLELISM processing
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版
spring-master-slave-commondao 王新春 DAO spring dataSource slave master
互联网的web项目，都有个特点：请求的并发量高，其中请求最耗时的db操作，又是系统优化的重中之重。为此，往往搭建 db的一主多从库的数据库架构。作为web的DAO层，要保证针对主库进行写操作，对多个从库进行读操作。当然在一些请求中，为了避免主从复制的延迟导致的数据不一致性，部分的读操作也要到主库上。（这种需求一般通过业务垂直分开，比如下单业务的代码所部署的机器，读去应该也要从主库读取数