codexxs
codexxs

数据挖掘学习笔记

第一章 python基础

1.4 python基本数据类型

#1.41数值类型
int,float,bool
#1.42字符串str
s1='abcd'
s2='''ab cd'''

1.4.3列表List

L1=[1,'a1',2,'aa']
#[1, 'a1', 2, 'aa']

1.4.4元组Tuple

处在元组中的元素不能修改

T1=(1,'a1')
T1=(1,'C1','A1')
#(1, 'C1', 'A1')

T1[1]=2
# 'tuple' object does not support item assignment
​
 
  
1.4.5集合
 
  
集合保持了元素的唯一性，对于重复的元素只取一个，集合不支持由序列取值
 
  
J1={266,3,'h'}
#{266, 3, 'h'}
​
J2={266,3,3,'h','a','A','h'}
#{'A', 3, 266, 'h', 'a'} 
​
J2[0]
#'set' object does not support indexing
 
  
 
  
1.4.6字典
 
  
①{键 : 值}
 
  
②键必须唯一，值不必唯一
 
  
③（1）键可以是数值，字符。
 
  
（2）值可以是数值，字符或者其他python数据结构
 
  
④需要由键取值
 
  
d1={1:1,'J':{266,2,2},'T':(3,'A'),'L':[5,5],3:'''6'''}
#{1: 1, 'J': {2, 266}, 'T': (3, 'A'), 'L': [5, 5], 3: '6'}
​
d1[3]
#'6'
 
  
1.5 python公有方法
 
  
1.5.2切片
 
  
#通用
s2='hello world!'
​
s2[0:]
#'hello world!'
​
s2[0:1]
#'h' 
#包左不包右
​
s2[:]
#'hello world!'
​
s2[-1]
#'!'
​
s2[0:5:2]
#'hlo'
#从s2[0]开始两步截取一次
#[开始索引：结束索引：步长]


s2[::-1]
#'!dlrow olleh'

 
  
1.5.3长度
 
  
(1)字符串的长度为字符串中所有字符的长度（空格也算）
 
  
（2）列表，元组，集合的长度为元素的个数
 
  
（3）字典的长度为键的个数
 
  
len(s2)
 
  
 
  
1.5.4统计
 
  
字符串，列表，元组可以进行统计
 
  
s2='hello world!'
max(s2)
#'w'
 
  
1.5.5确定成员变量
 
  
'e'in s2
#True
 
  
1.5.6删除变量
 
  
s2='''ab cd'''
del s2
s2
# name 's2' is not defined
 
  
1.6方法
 
  
1.6.1列表方法
 
  
L1=[1,'a1',2,'aa']
#1创建空列表 
L=list()
#L=[]

#2添加元素
L.append('H')

#3扩展列表
L.extend(L1)#可以和元组做一下对比

#某元素计数
L.count('H')

#返回某元素下标
L.index('H')

#元素排序 需要同为str或者int时
L.sort()

 
  
 
 1.6.2元组方法
 
  
#1创建空元组
T=tuple()
T=()
#2元素计数
T1.count('a1')
#3返回下标
T1.index('a1')

#4元组连接
T+T1 #和列表做一下对比
 
  
1.6.3字符串方法
 
  
s1='abcd'
#创建空字符串
S=str()
​
#查找子串 查找子串开始出现的索引位置,没有找到则返回—1
#第一个参数为需要查找的子串,第二个参数为指定待查字符串的开始位置，第三个参数为指定待查字符串的长度
s1.find('a',1,len(s1))
​
#替换子串
#(被替换子串，替换子串)
s1.replace('a','aa')
​
#字符串连接 和元组一样用+ 和列表不一样
s1+S
​
#字符串比较
S==s1
 
  
1.6.4字典方法
 
  
#创建字典
d=dict()
d={}

#可以将嵌套元素转为字典(必须嵌套，length只能为2（1键1值）)
d1=dict([[1,'aa']])
​
#获取字典值 由键获取对应的值 
d1.get(1)
​
#字典赋值
d.setdefault(2,['a','b'])

# 第一种 若键不存在则会抛出KeyError异常
person['city']
# 第二种 不会抛出异常，不存在则返回None,也可以设置默认返回值
person.get('city',"上海")
# 第三种 与第二种类似，区别在于setdefault方法会更新字典
person.setdefault('city', '上海')
————————————————
版权声明：本文为CSDN博主「从小就拽」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/q5841818/article/details/80551413
 
  
1.9函数
 
  
数据挖掘学习笔记_第1张图片
 
  
 
  
1 无返回值
 
  
2有一个返回值
 
  
数据挖掘学习笔记_第2张图片
 
  
3有多个返回值
 
  
 
  
 
  
def work(r):
    import math
    c=2*math.pi*r
    s=math.pi*r*r
    return(c,s)
work(1)
 
  
第二章 科学计算包numpy
 
  
1Numpy的核心基础是N维数组
 
  
数组中的元素要求同质即数据类型相同
 
  
（以下代码默认导入numpy包）
 
  
2.2.1创建数组
 
  

#嵌套列表(元素为元祖) 转为二维数组
L3=[(1,2),(3,4)]
L4=np.array(L3)
#嵌套元祖(元素为元祖) 转为三维数组
L5=((1,2),(3,4),(5,6))
L6=np.array(L5)
 
  
#numpy多维数组中的子数组必须具有相同的长度
d3 = [[1,2,3],[4,5,6],[7,8,9,10]]
A33 = np.array(d3)
 
  
 
 
  
 
  
 
  
2.2.2内置函数创建数组
 
  
#创建3行4列元素全为1的数组
z1 = np.ones((3,4))
#创建3行4列元素全为0的数组
z2 = np.zeros((3,4))

 
  
 
  
 
  

#创建默认初始值为0 默认步长为1 末值为9的一维数组 
z3 = np.arange(10)

#创建初始值为2 步长为2 末值为9的一维数组
z4 = np.arrange(2,10,2)
#array([2, 4, 6, 8])

 
  
 2.3数组尺寸
 
  
通过数组的shape属性返回数组的尺寸，返回值为元组
 
  
#一维数组 仅返回一个元素 代表这个数组的长度
d11 = np.array([1,2,3,4,5,7])
s11 = d11.shape
s11
#(6,)

#二维数组 返回元组中有两个值 (行数，列数）
d2 = [[1,2,3],[4,5,6],[7,8,9]]
A22 = np.array(d2)
s22 = d22.shape
s22
#(3, 3)

 
  
数组重排
 
  
r = np.array(range(10))
r1 = r.reshape((2,5))
r1
 
  
 
  
 2.4数组运算
 
  
 
  
A = np.array([[1,2],[3,4]])
B = np.array([[5,6],[7,8]])
#A数组所有元素取平方 然后与B数组对应元素之间相除
C1 = A**2/B

#数学运算
M1 = np.sqrt(A)         #取平方根
M2 = np.abs([-1,-2,10]) #取绝对值
 
  
2.5数组切片
 
  
2.5.1常见的数组切片
 
  
#D[①，②] ①控制行下标 ②控制列下标  下标从零开始 
#取所有行或所有列 用:代替
D = np.array([[1,2,3,4],[5,6,7,8],[9,10,11,12]])
D12 = D[1,0]       #访问行为1 列为0的数据
#5
D03 = D[:,[0,3]]   #访问0，3列数据
 
  
#*行控制 还可以通过逻辑列表来实现
D0 = D[D[:,0]>4,:]        #取满足0列大于4所有列数据
D31 = D[D[:,0]>5,[3,1]]   #取满足第0列大于4的3列数据 和 第0列大于5的1列数据
D31
#array([ 8, 10])
 
  
TF = [False,True,True]
Dtf = D[TF,[3,1]]
Dtf
#array([ 8, 10])
 
  
2.5.2 利用ix_()函数进行数组切片
 
  
数组切片也可以通过ix_()函数构造 行，列 下标索引器
 
  
D = np.array([[1,2,3,4],[5,6,7,8],[9,10,11,12]])
print(D[:,0]>4)
#[False  True  True]

print(np.ix_(D[:,0]>4 ))
#(array([1, 2], dtype=int64),)
 
  
Dix1 = D[np.ix_(D[:,0]>4),[3,1]]
print(Dix1)
print("-------这里注意看区别--------")
Dix2 = D[np.ix_(D[:,0]>4,[3,1])]
print(Dix2)
 
  
数据挖掘学习笔记_第3张图片
 
  
 2.6 数组连接
 
  
数组连接有水平连接【hstack()】和垂直连接【vstack()】两种方式
 
  
import numpy as np
A = np.array([[1,2],[3,4]])
B = np.array([[5,6],[7,8]])
C_s = np.hstack((A,B))  #水平连接要求行数相同
C_v = np.vstack((A,B))  #垂直链接要求列数相同
C_v
 
  
数据挖掘学习笔记_第4张图片
 
  
 2.7 数据存取
 
  
利用numpy包中的save()函数 ，可以将数据集保存为二进制数据文件，数据名扩展为.npy
 
  
#存
np.save('data77',C_v)
 
  
 
  
#加载数据集
np.load('data77.npy')
 
  
数据挖掘学习笔记_第5张图片
 
  
2.8数组形态变换
 
  
Numpy包提供了reshape()函数，ravel()函数用于改变数组的形状 不改变原始数据的值
 
  
#一维变二维
arr = np.arange(12).reshape(3,4)

#二维变一维
arr1 = arr.ravel()

 
  
2.9数组的排序与搜索
 
  
sort函数 直接将数组元素值按照从小到大的顺序进行直接排序
 
  
arr2 = np.array([1,4,33,22,66,777,2,33,777])
arr3 = np.sort(arr2)
#array([  1,   2,   4,  22,  33,  33,  66, 777,777])
 
  
 argmax()和argmin()函数可以返回待搜索数组最大值和最小值元素的索引值
 
  
如果存在多个最大（小）值则返回第一次出现的索引值
 
  
maxIndex = np.argmax(arr2)
minIndex = np.argmin(arr2)
maxIndex
#5
 
  
arr4 = arr2.reshape(3,3)
print(arr4)
maxIndex2 = np.argmax(arr4)
maxIndex2
 
  
 数据挖掘学习笔记_第6张图片
 
  
 
  
 对于二维数组 可以通过设置axis= 0 或者 axis = 1来返回各列或者各行最大(小）值的索引值
 
  
maxIndex3 = np.argmax(arr4,axis = 0) #各列最大值的索引值
#array([1, 1, 1], dtype=int64)
minIndex3 = np.argmin(arr4,axis = 1) #各行最小值的索引值
#array([0, 0, 0], dtype=int64)
 
  
 2.10矩阵与线性代数运算
 
  
第三章 数据处理包Pandas
 
  
(本章默认导入numpy包和pandas包）
 
  
Pandas基于Nump而构建，可以处理不同数据类型
 
  
同时有十分利于数据处理的数据结构：序列（对象）（Series)和数据框（对象）(DataFrame)
 
  
3.2 序列
 
  
序列存储一维数据，有两部分组成，一部分是索引，另一部分是对应的值
 
  
①默认情况下索引从0开始按照从小到大的顺序排列，每个索引对应一个值。
 
  
 
  
s1 = pd.Series([1,-2,2,3,'hq'])
s1
 
  
 数据挖掘学习笔记_第7张图片
 
  
 
  
②可以通过指定列表，元组，数组创建默认序列
 
  
s2 = pd.Series(np.array([1,2,77]))
s2
 
  
 数据挖掘学习笔记_第8张图片
 
  
 
  
③可以通过指定索引创建个性化序列，也可以通过字典来创建序列，字典的键转化为索引，值为序列的值
 
  
s4 = pd.Series([1,-2,2,3,'hq'],index=['a','b','c','d','e'])
s4
 
  
 数据挖掘学习笔记_第9张图片
 
  
 
  
s3 = pd.Series({'red':200,'blue':1000,'yellow':222})
s3
 
  
数据挖掘学习笔记_第10张图片
 
  
 序列中元素的访问通过索引即可访问对应的元素值
 
  
s1[0]
#1

s4['a']
#1

s3['red']
#200
 
  
3.2.2 序列属性
 
  
序列有两个属性（內部值），值(values属性)和索引(index属性)，
 
  
s1 = pd.Series([1,-2,2,3,'hq'])
s1.values
#array([1, -2, 2, 3, 'hq'], dtype=object)
s1.index
#RangeIndex(start=0, stop=5, step=1)
#这里注意stop=5

s3 = pd.Series({'red':200,'blue':1000,'yellow':222})
s3.values
#array([ 200, 1000,  222], dtype=int64) #也是数组
s3.index
#Index(['red', 'blue', 'yellow'], dtype='object')
 
  
 3.2.3 序列方法
 
  
1 unique() 可以去掉序列中重复的元素值，使元素值唯一
 
  
S5 = pd.Series([1,'xl','xl',2,3,'pd'])
S5
 
  
数据挖掘学习笔记_第11张图片
 
  
S51 = S5.unique()
S51
#array([1, 'xl', 2, 3, 'pd'], dtype=object)
 
  
 2 isin()方法 依次判断元素值的存在性。存在返回True
 
  
 
  
S5 = pd.Series([1,'xl','xl',2,3,'pd'])
S52 = S5.isin([1,'xl'])
S52
 
  
3 value4_counts()方法 统计序列元素值出现的次数
 
  
（有时也起到与unique()相同的效果，即去掉序列数据中的重复值，保障了 数据的唯一性，而且获得了重复的次数，在金融数据处理中被广泛应用）
 
  
S5 = pd.Series([1,'xl','xl',2,3,'pd'])
S53 = S5.value_counts()
S53
 
  
数据挖掘学习笔记_第12张图片
 
  
 4空值处理方法
 
  
在序列中处理空值的方法有3个：isnull(), notnull() , dropna()
 
  
isnull()判断序列中是否有空值 是空值返回True 不是空值返回Flase
 
  
s6 = pd.Series([10,'hq','hq',np.nan])#np.nan为空值
s6.isnull()
 
  
 数据挖掘学习笔记_第13张图片
 
  
s6[s6.isnull()]
#3    NaN

 
  
notnull()判断序列是否有非空值 是非空值返回True 不是非空值返回flase
 
  
dropna()清洗序列中的空值可以配合使用空值处理函数
 
  
#~为取反 采用逻辑数组通过索引获取数据
s61 = s6[~s6.isnull()]

s62 = s6[s6.notnull()]

s63 = s6.dropna

#三者执行结果一样
 
  
 数据挖掘学习笔记_第14张图片
 
  
3.2.4序列切片
 
  
序列元素的访问是通过索引完成的，可以给定一组索引（列表或逻辑数组）来实现切片的访问
 
  
s1 = pd.Series([1,-2,7,'hq','dd'],index=['a','b','c','d','e'])
#索引连续
print(s1[0:2])

 
  
数据挖掘学习笔记_第15张图片
 
  
#索引不连续
s1[[0,1,3]]
 
  
 数据挖掘学习笔记_第16张图片
 
  
 
  
#索引为连续数组
s2 = pd.Series([1,2,4.5,7,9])
s2[s2>4]
 
  
 数据挖掘学习笔记_第17张图片
 
  
 3.2.5 序列聚合运算
 
  
主要包括对序列中的元素求和，平均值，最大值，最小值，方差，标准差
 
  
s = pd.Series([1,2,4,5,6,7,8,9,10])
ssum = s.sum()
print(ssum)#52

smax = s.max()
print(smax)#10

smin = s.min()
print(smin)#1

#求平均值
smean = s.mean()
print(smean)#5.777777777777778
#求标准差
sstd = s.std()
print(sstd)#3.0731814857642954
 
  
3.3数据框
 
  
3.3.1数据框创建
 
  
坠了 写半天突然闪退了 竟然还没有没有保存 人在图书馆心在天堂
 
  
3.3.2数据框属性
 
  
3.3.3数据框方法
 
  
1dropna（）方法
 
  
2 fillna()方法
 
  
数据挖掘学习笔记_第18张图片
 
  
 数据挖掘学习笔记_第19张图片
 
  

 3 sort_values()方法 指定列按值排列 对应列随之改变
 
  
dic2 = {'a':[7,2,9,6],'b':['a','q','4','r'],'c':[3,4,5,9]}
df2 = pd.DataFrame(dic2)

print(df2)
dfsv = df2.sort_values('a',ascending='False')#默认True为降序
dfsv
 
  
数据挖掘学习笔记_第20张图片
 
  
4 sort_index()按照索引排序
 
  
数据挖掘学习笔记_第21张图片
 
  
5 head()方法读取数据集中前n行
 
  
数据挖掘学习笔记_第22张图片
 
  
 6 drop()删掉数据集中的 指定列
 
  
数据挖掘学习笔记_第23张图片
 
  
7 join（）两个数据框之间的水平连接
 
  
8 as_martrix() 将数据框转换为Numpy数组的形式
 
  
9 to_excel() 可以将数据框导出到Excel文件中
 
  
10 统计方法
 
  
  （1）sum()方法求和
 
  
  （2） mean()方法
 
  
3.2.4数据框切片
 
  
1 iloc属性
 
  
1 数据框中的iloc属性可以实现 下标值或者逻辑值定位索引并进行切片操作
 
  
2 访问或者切片的数据为DF.iloc[①，②]
 
  
  （1）①为对数据框的行下标控制 ②为对数据框的列下标控制
 
  
  （2）行列获取也可以通过：获取
 
  
  （3）行控制还可以通过逻辑列表来实现
 
  
2 loc属性
 
  
1 数据框中的loc属性主要基于列标签进行筛选定位，再通过指定列从而实现数据切片操作
 
  
第四章 Matplotlib
 
  
 
  
这章主要介绍数据可视化包Matplotlib
 
  
1数据可视化时通过各种类型的图像来展现数据的分析结果或者分析过程
 
  
2可通过Matplotlib包中的pyplot模块实现常见图像的绘制
 
  
【以下默认导入】
 
  
import Matplotlib.pyplot as plt
 
  
import numpy as np
 
  
数据挖掘学习笔记_第24张图片
 
  
4.1.2 Matplotlib绘图基本流程
 
  
数据挖掘学习笔记_第25张图片
 
  
数据挖掘学习笔记_第26张图片
 
  
#第一部分 创建画布与子图
#1创建画布
plt.figure(1)
#2将figue分成不同块 实现分面绘图
plt.subplot(2,1,1)#分为2×1图形阵 选择第一张图片绘图

#第二部分 添加画布内容
plt.title("y = x^2 & y = x") #添加标题
plt.xlabel("x") #添加x轴名称
plt.ylabel("y") #添加y轴名称
plt.xlim((0,1))   #指定x轴范围
plt.ylim((0,1))   #指定y轴范围
plt.xticks([0,0.3,0.6,1]) #设置x轴刻度
plt.yticks([0,0.5,1])     #设置y轴刻度
x = np.linspace(0,1,1000) #返回间隔类均匀的数值序列（start,stop,num)
plt.plot(x,x**2)
plt.plot(x,x)
plt.legend(['y=*^2','y=x']) #绘制图形之后添加图列

#第三部分 图形保存与展示
plt.savefig('1.png')
plt.show

 
  
 数据挖掘学习笔记_第27张图片
 
  
 
  
4.1.3中文字符显示
 
  
# 这里没有创建画布是因为 只要调用绘图命令 系统会默认创建画布
plt.rcParams['font.sans-serif'] = 'SimHei'#设置字体 否则中文无法正常显示
plt.rcParams['axes.unicode_minus'] = False
plt.title('sin曲线')
x = np.arange(0,10,0.2)
y = np.sin(x)
plt.plot(x,y)
plt.savefig('3.png')
plt.show()

 
  
数据挖掘学习笔记_第28张图片
 
  
4.2 Matplotlib常用图形绘制
 
  
 1散点图的绘图函数scatter(x,y,[可选项]) 可选项包括颜色，透明度
 
  
4.2.1散点图
 
  
对D02日每日上车人数绘制散点图
 
  
数据是这样的（不知道咋上传文件）
 
  
数据挖掘学习笔记_第29张图片
 
  
#绘制某车次某日上车人数
#读取文件
data = pd.read_excel('car1.xlsx')
#筛选车次这列值为DO2的，指定日期，上车人数这两列，以日期值做降序排列
filterData = data.loc[data['车次'] == 'D02',['日期','上车人数']].sort_values('日期')
#设置x , y 值并绘图
x1 = np.arange(1,len(filterData.iloc[:,0])+1)
y1 = filterData.iloc[:,1]
plt.scatter(x1,y1)
plt.rcParams['font.sans-serif'] = 'SimHei'
plt.title('D02车次上车人数散点图')
plt.xlabel('日期')
plt.ylabel('上车人数')
#设置x轴的数目和取值
plt.xticks([1,5,10,15,20,24],filterData['日期'].values[[0,4,9,14,19,23]],rotation = 90)
plt.show()
 
  
 数据挖掘学习笔记_第30张图片
 
  
4.2.2线性图
 
  
线性图的绘图函数为plot(x,y,[可选项])
 
  
数据挖掘学习笔记_第31张图片
 
  
 数据依旧是‘车次上车人数统计’  ，绘制D02,D03车次上车人数线性图
 
  
 
  
data = pd.read_excel('car1.xlsx')

xd02 = data.loc[data['车次'] == 'D02',['日期','上车人数']]
x2 = np.arange(1,len(xd02.iloc[:,0])+1)
y2 = xd.iloc[:,1]

xd03 = data.loc[data['车次'] == 'D03',['日期','上车人数']]
x3 = np.arange(1,len(xd03.iloc[:,0])+1)
y3 = xd03.iloc[:,1]

plt.plot(x2,y2,'r*--')
plt.plot(x3,y3,'b*--')
plt.xticks([1,5,10,15,20,24],filterData['日期'].values[[0,4,9,14,19,23]])

plt.rcParams['font.sans-serif'] == 'SimHei'
plt.title('D02,D03上车人数走势图')
plt.xlabel('日期')
plt.ylabel('人数')
plt.legend(['D02','D03'])
plt.show()
 
  
数据挖掘学习笔记_第32张图片
 
  
4.2.3 柱状图
 
  
柱状图的绘图函数为bar(x,y[可选项])
 
  
4.2.3直方图
 
  
直方图的绘制函数为hist(x,[可选项])，直方图的y轴往往表示对应的x的频数
 
  
4.2.4饼图
 
  
1饼图发绘图函数为pie(x,y,[可选项])
 
  
2 x表示待绘制的数据序列，y表示对应的标签，可选项表示绘图设置，这里绘图设置为百分比的小数位
 
  
4.2.6箱线图
 
  
4.2.7 子图
 
  
指在同一个绘图界面上绘制不同类型的图像
 
  
第五章 机器学习与实现
 
  
5.1 scikit-learn简介
 
  
scikit-learn的基本功能主要分为6大部分： 数据预处理，数据降维，回归，分类，聚类和模型选择
 
  
数据挖掘学习笔记_第33张图片
 
  
五种回归模型： 线性回归 多项式拟合 岭回归 Lasso回归 弹性网络回归（ElasticNet Regression）
 
  
五种分类模型：逻辑回归、神经网络，朴素贝叶斯、决策树、支持向量机、随机森林、
 
  
5.2 数据预处理
 
  
数据挖掘学习笔记_第34张图片
 
  
5.2.1缺失值处理
 
  
1 常用的三种填充方法为：均值填充，中位数填充，最繁值填充
 
  
   填充方式有两种：按行，按列
 
  
2 按行均值填充或按列均值填充就是对某行或某列中所用缺失值用该行或该列非缺失值的平均值表  示
 
  
中位数填充和最繁值填充同理
 
  
3 填充的数据结构要求为数组或数据框，类型为数值类型
 
  
基本步骤如下：
 
  
 
  
数据挖掘学习笔记_第35张图片
 
  
 
  
import pandas as pd
import numpy as np
#数据填充前
c = np.array([[1,2,3,4,],[4,5,6,np.nan],[5,6,7,8],[9,4,np.nan,0]])
C= pd.DataFrame(c)
C
 
  
#1导入数据预处理需要的填充模块Imputer
from sklearn.preprocessing import Imputer
 
  
#2利用Imputer创建填充对象imp
imp = Imputer(missing_values = 'NaN',strategy = 'mean',axis=0)
#3调用imp中的fit()拟合方法，对待填充数据进行拟合训练
imp.fit(C)
#4调用imp中的transform方法，返回填充后的数据集
tc = imp.transform(C)
tc
 
  
 数据挖掘学习笔记_第36张图片
 
  
5.2.2 数据规范化
 
  
1防止由于变量单位不同导致模型失真需要对数据进行规范化处理
 
  
2两种常用的规范化处理方法：均值-方差规范化，极差规范化
 
  
①均值—方差规范化
 
  
数据是这样的
 
  
b = np.array([[1,999999,3,4,],[4,5,6,np.nan],[5,66666666,7,8],[9,4,np.nan,0]])
B= pd.DataFrame(b)
B
 
  
数据挖掘学习笔记_第37张图片
 
  
 
  
#1进行规范化之前需要填充处理
imp1 = Imputer(missing_values= np.nan,strategy='median',axis=1)
imp1.fit(B)
tB = imp1.transform(B)
 
  
 
  
X = tB
#2导入均值-方差规范化处理模块
from sklearn.preprocessing import StandardScaler
#3利用StandardScalar创建均值—方差规范化对象scaler
scalar = StandardScaler()
#4调用scalar对象中的fit拟合方法 对数据就行拟合训练
scalar.fit(X)
#5transform返回规范后的数据集
tX = scalar.transform(X)
tX
 
  
 数据挖掘学习笔记_第38张图片
 
  
 
  
②极差规范化处理
 
  
X1 = tB
from sklearn.preprocessing import MinMaxScaler
min_max_Scalar = MinMaxScaler()
min_max_Scalar.fit(X1)
min_max_Scalar.transform(X1)
 
  
 
  
 5.2.3 主成分分析
 
  
1在分析与挖掘中，遇到的众多变量之间往往具有一定的相关性
 
  
2如果众多指标之间具有较强的相关性，不仅会会增加计算复杂度，也会影响模型分析结果
 
  
3所以可以把众多的 变量转换为少数几个互补相关的综合变量，同时又不影响原来变量所反映的信息，这种方法在数学上成为主成分分析
 
  
数据挖掘学习笔记_第39张图片
 
  
如何定义和计算综合指标呢
 
  
 
  
 
  
5.2.4 主成分分析应用举例
 
  
进行主成分分析并基于主成分给出其综合排名数据挖掘学习笔记_第40张图片
 
  
#首先要进行数据预处理 
X = data.iloc[:,1:]

#1空值填充
#①导入数据预处理需要的填充模块Imputer
from sklearn.preprocessing import Imputer
#②利用Imputer创建填充对象imp
imp = Imputer(missing_values = 'NaN',strategy = 'median',axis=0)
#③调用imp中的fit()拟合方法，对待填充数据进行拟合训练
imp.fit(X)
#④调用imp中的transform方法，返回填充后的数据集
tc = imp.transform(X)
tc
 
  
 
 
  
数据挖掘学习笔记_第41张图片
 
  
#2进行数据规范化
X1 = tc
from sklearn.preprocessing import MinMaxScaler
min_max_Scalar = MinMaxScaler()
min_max_Scalar.fit(X1)
X1=min_max_Scalar.transform(X1)
X1
 
  
数据挖掘学习笔记_第42张图片
 
  
#对标准化后的X1做主成分分析
#①导入主成分分析模块PCA
from sklearn.decomposition import PCA
#②利用PCA创建主成分分析对象pca 设置累计贡献率在95%以上
pca = PCA(n_components=0.95)
#③调用pca中的fit()拟合方法，对待填充数据进行拟合训练
pca.fit(X1)
#④调用pca中的transform方法，返回提取的主成分
Y= pca.transform(X1)
Y
 
  
数据挖掘学习笔记_第43张图片 
 
  
#⑤返回pca对象属性
# 特征向量
tzxl  = pca.components_
#特征值
tzz = pca.explained_variance_
#返回主成分方差百分比（贡献率）
gxl = pca.explained_variance_ratio_
#主成分表达式及验证
Y00 = sum(X1[0,:]*tzxl[0,:])
Y01 = sum(X1[1,:]*tzxl[0,:])
Y02 = sum(X1[2,:]*tzxl[0,:])
Y03 = sum(X1[3,:]*tzxl[0,:])
 
  
#综合得分 = 各个主成分X贡献率之和
F=gxl[0]*Y[:,0]+gxl[1]*Y[:,1]+gxl[2]*Y[:,2]
dq=list(data['地区'].values)  #提取地区
Rs=pd.Series(F,index=dq)           #以地区作为index，综合得分为值，构建序列
Rs=Rs.sort_values(ascending=False) #按综合得分降序进行排序
pd.DataFrame(Rs,columns=['综合得分'])
 
  
 数据挖掘学习笔记_第44张图片
 
  
 
 
  
 
 
  
 
 
  
 
 
  
课本P89稍后补上具体过程
 
  
5.3线性回归
 
  
5.3.1一元线性回归
 
  
#综合得分 = 各个主成分X贡献率之和
F=gxl[0]*Y[:,0]+gxl[1]*Y[:,1]+gxl[2]*Y[:,2]
dq=list(data['地区'].values)  #提取地区
Rs=pd.Series(F,index=dq)           #以地区作为index，综合得分为值，构建序列
Rs=Rs.sort_values(ascending=False) #按综合得分降序进行排序
pd.DataFrame(Rs,columns=['综合得分'])
 
  
5.3.2多元线性回归模型
 
  
 
  
5.3.3 Python线性回归应用举例
 
  
数据是这样的
 
  
数据挖掘学习笔记_第45张图片
 
  
题目：
 
  
数据挖掘学习笔记_第46张图片
 
  
import pandas as pd
data = pd.read_excel('发电场数据.xlsx')

#1线性回归分析
#①确定自变量x和因变量y
x = data.iloc[:,0:4]  #x = data.iloc[:,0:4].as_matrix
y = data.iloc[:,4]

#②导入线性回归模块
from sklearn.linear_model import LinearRegression as LR

#③创建线性回归对象lr
lr = LR()
#④调用lr对象中的fit()方法 对数据进行拟合训练
lr.fit(x,y)

#⑤调用lr对象中的score()方法，返回其拟合优度（判定系数），观察其线性关系是否显著
Rlr = lr.score(x,y)#判定系数R^2

#⑥取lr对象中的coef_,intercept_属性，返回x对应的回归系数和回归系数常数项
c_x = lr.coef_      #lr对象中的coef_属性
c_b = lr.intercept_ #lr对象中的intercept_

#2利用线性回归模型进行预测
#⑦预测
#方法①：利用lr对象中的predict()方法进行预测
import numpy as np
rx = np.array([11,22,33.3,55.5]).reshape(1,4)
#方法②：利用线性回归方程进行预测
r1 = x1*c_x
R2 = r1.sum()+c_b

 
  
数据挖掘学习笔记_第47张图片
 
  
5.4 逻辑回归
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
 
 


                            

                        

                    

                    
                    

                    
                    
                    

                

                

                    
                

            

        

    

    

        
你可能感兴趣的:(python,机器学习,数据挖掘)

        

            

                
    
                    
  • 机器学习与深度学习间关系与区别
                        ℒℴѵℯ心·动ꦿ໊ོ꫞
人工智能学习深度学习python
                        
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
    
                    
    • 
                    
  • 理解Gunicorn：Python WSGI服务器的基石
                        范范0825
ipythonlinux运维
                        
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
    
                    
    • 
                    
  • Python数据分析与可视化实战指南
                        William数据分析
pythonpython数据
                        
    在数据驱动的时代，Python因其简洁的语法、强大的库生态系统以及活跃的社区，成为了数据分析与可视化的首选语言。本文将通过一个详细的案例，带领大家学习如何使用Python进行数据分析，并通过可视化来直观呈现分析结果。一、环境准备1.1安装必要库在开始数据分析和可视化之前，我们需要安装一些常用的库。主要包括pandas、numpy、matplotlib和seaborn等。这些库分别用于数据处理、数学
    
                    
    • 
                    
  • python os.environ
                        江湖偌大
python深度学习
                        
    os.environ['TF_CPP_MIN_LOG_LEVEL']='0'#默认值，输出所有信息os.environ['TF_CPP_MIN_LOG_LEVEL']='1'#屏蔽通知信息（INFO）os.environ['TF_CPP_MIN_LOG_LEVEL']='2'#屏蔽通知信息和警告信息（INFO\WARNING）os.environ['TF_CPP_MIN_LOG_LEVEL']='
    
                    
    • 
                    
  • Python中os.environ基本介绍及使用方法
                        鹤冲天Pro
#Pythonpython服务器开发语言
                        
    文章目录python中os.environos.environ简介os.environ进行环境变量的增删改查python中os.environ的使用详解1.简介2.key字段详解2.1常见key字段3.os.environ.get()用法4.环境变量的增删改查和判断是否存在4.1新增环境变量4.2更新环境变量4.3获取环境变量4.4删除环境变量4.5判断环境变量是否存在python中os.envi
    
                    
    • 
                    
  • Pyecharts数据可视化大屏：打造沉浸式数据分析体验
                        我的运维人生
信息可视化数据分析数据挖掘运维开发技术共享
                        
    Pyecharts数据可视化大屏：打造沉浸式数据分析体验在当今这个数据驱动的时代，如何将海量数据以直观、生动的方式展现出来，成为了数据分析师和企业决策者关注的焦点。Pyecharts，作为一款基于Python的开源数据可视化库，凭借其丰富的图表类型、灵活的配置选项以及高度的定制化能力，成为了构建数据可视化大屏的理想选择。本文将深入探讨如何利用Pyecharts打造数据可视化大屏，并通过实际代码案例
    
                    
    • 
                    
  • Python教程：一文了解使用Python处理XPath
                        旦莫
Python进阶python开发语言
                        
    目录1.环境准备1.1安装lxml1.2验证安装2.XPath基础2.1什么是XPath？2.2XPath语法2.3示例XML文档3.使用lxml解析XML3.1解析XML文档3.2查看解析结果4.XPath查询4.1基本路径查询4.2使用属性查询4.3查询多个节点5.XPath的高级用法5.1使用逻辑运算符5.2使用函数6.实战案例6.1从网页抓取数据6.1.1安装Requests库6.1.2代
    
                    
    • 
                    
  • python os.environ_python os.environ 读取和设置环境变量
                        weixin_39605414
pythonos.environ
                        
    >>>importos>>>os.environ.keys()['LC_NUMERIC','GOPATH','GOROOT','GOBIN','LESSOPEN','SSH_CLIENT','LOGNAME','USER','HOME','LC_PAPER','PATH','DISPLAY','LANG','TERM','SHELL','J2REDIR','LC_MONETARY','QT_QPA
    
                    
    • 
                    
  • 使用Faiss进行高效相似度搜索
                        llzwxh888
faisspython
                        
    在现代AI应用中，快速和高效的相似度搜索是至关重要的。Faiss（FacebookAISimilaritySearch）是一个专门用于快速相似度搜索和聚类的库，特别适用于高维向量。本文将介绍如何使用Faiss来进行相似度搜索，并结合Python代码演示其基本用法。什么是Faiss？Faiss是一个由FacebookAIResearch团队开发的开源库，主要用于高维向量的相似性搜索和聚类。Faiss
    
                    
    • 
                    
  • python是什么意思中文-在python中%是什么意思
                        编程大乐趣

                        
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
    
                    
    • 
                    
  • Day1笔记-Python简介&标识符和关键字&输入输出
                        ~在杰难逃~
Pythonpython开发语言大数据数据分析数据挖掘
                        
    大家好，从今天开始呢，杰哥开展一个新的专栏，当然，数据分析部分也会不定时更新的，这个新的专栏主要是讲解一些Python的基础语法和知识，帮助0基础的小伙伴入门和学习Python，感兴趣的小伙伴可以开始认真学习啦！一、Python简介【了解】1.计算机工作原理编程语言就是用来定义计算机程序的形式语言。我们通过编程语言来编写程序代码，再通过语言处理程序执行向计算机发送指令，让计算机完成对应的工作，编程
    
                    
    • 
                    
  • python八股文面试题分享及解析(1)
                        Shawn________
python
                        
    #1.'''a=1b=2不用中间变量交换a和b'''#1.a=1b=2a,b=b,aprint(a)print(b)结果：21#2.ll=[]foriinrange(3):ll.append({'num':i})print(11)结果:#[{'num':0},{'num':1},{'num':2}]#3.kk=[]a={'num':0}foriinrange(3):#0,12#可变类型，不仅仅改变
    
                    
    • 
                    
  • 每日算法&面试题，大厂特训二十八天——第二十天（树）
                        肥学
⚡算法题⚡面试题每日精进java算法数据结构
                        
    目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
    
                    
    • 
                    
  • Python快速入门 —— 第三节：类与对象
                        孤华暗香
Python快速入门python开发语言
                        
    第三节：类与对象目标：了解面向对象编程的基础概念，并学会如何定义类和创建对象。内容：类与对象：定义类：class关键字。类的构造函数：__init__()。类的属性和方法。对象的创建与使用。示例：classStudent:def__init__(self,name,age,major):self.name&#
    
                    
    • 
                    
  • pyecharts——绘制柱形图折线图
                        2224070247
信息可视化pythonjava数据可视化
                        
    一、pyecharts概述自2013年6月百度EFE(ExcellentFrontEnd）数据可视化团队研发的ECharts1.0发布到GitHub网站以来，ECharts一直备受业界权威的关注并获得广泛好评，成为目前成熟且流行的数据可视化图表工具，被应用到诸多数据可视化的开发领域。Python作为数据分析领域最受欢迎的语言，也加入ECharts的使用行列，并研发出方便Python开发者使用的数据
    
                    
    • 
                    
  • Python 实现图片裁剪（附代码） | Python工具
                        剑客阿良_ALiang

                        
    前言本文提供将图片按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考我的另一篇文章：windowsffmpeg安装部署_阿良的博客-CSDN博客本文主要使用到的不是ffmpeg，而是ffprobe也在上面这篇文章中的zip包中。ffmpy安装：pipinstallffmpy-ihttps://pypi.douban.com/simple代码不废话了，上代码
    
                    
    • 
                    
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（4)
                        算法大师
华为od面试python
                        
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选**1.Python中的`with`**用途和功能自动资源管理示例：文件操作上下文管理协议示例代码工作流程解析优点2.\_\_new\_\_和**\_\_init\_\_**区别__new____init__区别总结3.**切片（Slicing）操作**基本切片语法
    
                    
    • 
                    
  • python os 环境变量
                        CV矿工
python开发语言numpy
                        
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
    
                    
    • 
                    
  • Python爬虫解析工具之xpath使用详解
                        eqa11
python爬虫开发语言
                        
    文章目录Python爬虫解析工具之xpath使用详解一、引言二、环境准备1、插件安装2、依赖库安装三、xpath语法详解1、路径表达式2、通配符3、谓语4、常用函数四、xpath在Python代码中的使用1、文档树的创建2、使用xpath表达式3、获取元素内容和属性五、总结Python爬虫解析工具之xpath使用详解一、引言在Python爬虫开发中，数据提取是一个至关重要的环节。xpath作为一门
    
                    
    • 
                    
  • 【华为OD技术面试真题 - 技术面】- python八股文真题题库（1）
                        算法大师
华为od面试python
                        
    华为OD面试真题精选专栏：华为OD面试真题精选目录:2024华为OD面试手撕代码真题目录以及八股文真题目录文章目录华为OD面试真题精选1.数据预处理流程数据预处理的主要步骤工具和库2.介绍线性回归、逻辑回归模型线性回归（LinearRegression）模型形式：关键点：逻辑回归（LogisticRegression）模型形式：关键点：参数估计与评估：3.python浅拷贝及深拷贝浅拷贝（Shal
    
                    
    • 
                    
  • 数字里的世界17期：2021年全球10大顶级数据中心，中国移动榜首
                        张三叨

                        
    你知道吗？2016年，全球的数据中心共计用电4160亿千瓦时，比整个英国的发电量还多40％！前言每天，我们都会创造超过250万TB的数据。并且随着物联网（IOT）的不断普及，这一数据将持续增长。如此庞大的数据被存储在被称为“数据中心”的专用设施中。虽然最早的数据中心建于20世纪40年代，但直到1997-2000年的互联网泡沫期间才逐渐成为主流。当前人类的技术，比如人工智能和机器学习，已经将我们推向
    
                    
    • 
                    
  • nosql数据库技术与应用知识点
                        皆过客，揽星河
NoSQLnosql数据库大数据数据分析数据结构非关系型数据库
                        
    Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
    
                    
    • 
                    
  • 《Python数据分析实战终极指南》
                        xjt921122
python数据分析开发语言
                        
    对于分析师来说，大家在学习Python数据分析的路上，多多少少都遇到过很多大坑**，有关于技能和思维的**：Excel已经没办法处理现有的数据量了，应该学Python吗？找了一大堆Python和Pandas的资料来学习，为什么自己动手就懵了？跟着比赛类公开数据分析案例练了很久，为什么当自己面对数据需求还是只会数据处理而没有分析思路？学了对比、细分、聚类分析，也会用PEST、波特五力这类分析法，为啥
    
                    
    • 
                    
  • Python中深拷贝与浅拷贝的区别
                        yuxiaoyu.

                        
    转自：http://blog.csdn.net/u014745194/article/details/70271868定义：在Python中对象的赋值其实就是对象的引用。当创建一个对象，把它赋值给另一个变量的时候，python并没有拷贝这个对象，只是拷贝了这个对象的引用而已。浅拷贝：拷贝了最外围的对象本身，内部的元素都只是拷贝了一个引用而已。也就是，把对象复制一遍，但是该对象中引用的其他对象我不复
    
                    
    • 
                    
  • Python开发常用的三方模块如下：
                        换个网名有点难
python开发语言
                        
    Python是一门功能强大的编程语言，拥有丰富的第三方库，这些库为开发者提供了极大的便利。以下是100个常用的Python库，涵盖了多个领域：1、NumPy，用于科学计算的基础库。2、Pandas，提供数据结构和数据分析工具。3、Matplotlib，一个绘图库。4、Scikit-learn，机器学习库。5、SciPy，用于数学、科学和工程的库。6、TensorFlow，由Google开发的开源机
    
                    
    • 
                    
  • Python编译器
                        鹿鹿~
Python编译器Pythonpython开发语言后端
                        
    嘿嘿嘿我又来了啊有些小盆友可能不知道Python其实是有编译器的，也就是PyCharm。你们可能会问到这个是干嘛的又不可以吃也不可以穿好像没有什么用，其实你还说对了这个还真的不可以吃也不可以穿，但是它用来干嘛的呢。用来编译你所打出的代码进行运行（可能这里说的有点不对但是只是个人认为）现在我们来说说PyCharm是用来干嘛的。PyCharm是一种PythonIDE，带有一整套可以帮助用户在使用Pyt
    
                    
    • 
                    
  • 一文掌握python面向对象魔术方法（二）
                        程序员neil
pythonpython开发语言
                        
    接上篇：一文掌握python面向对象魔术方法（一）-CSDN博客目录六、迭代和序列化：1、__iter__(self):定义迭代器，使得类可以被for循环迭代。2、__getitem__(self,key):定义索引操作，如obj[key]。3、__setitem__(self,key,value):定义赋值操作，如obj[key]=value。4、__delitem__(self,key):定义
    
                    
    • 
                    
  • 一文掌握python常用的list（列表）操作
                        程序员neil
pythonpython开发语言
                        
    目录一、创建列表1.直接创建列表：2.使用list()构造器3.使用列表推导式4.创建空列表二、访问列表元素1.列表支持通过索引访问元素，索引从0开始：2.还可以使用切片操作访问列表的一部分：三、修改列表元素四、添加元素1.append()：在末尾添加元素2.insert()：在指定位置插入元素五、删除元素1.del：删除指定位置的元素2.remove()：删除指定值的第一个匹配项3.pop()：
    
                    
    • 
                    
  • Python实现简单的机器学习算法
                        master_chenchengg
pythonpython办公效率python开发IT
                        
    Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
    
                    
    • 
                    
  • python中的深拷贝与浅拷贝
                        anshejd70787
python
                        
    深拷贝和浅拷贝浅拷贝的时候，修改原来的对象，浅拷贝的对象不会发生改变。1、对象的赋值对象的赋值实际上是对象之间的引用：当创建一个对象，然后将这个对象赋值给另外一个变量的时候，python并没有拷贝这个对象，而只是拷贝了这个对象的引用。当对对象做赋值或者是参数传递或者作为返回值的时候，总是传递原始对象的引用，而不是一个副本。如下所示：>>>aList=["kel","abc",123]>>>bLis
    
                    
    • 
                                
  • rust的指针作为函数返回值是直接传递，还是先销毁后创建？
                                    wudixiaotie
返回值
                                    
     这是我自己想到的问题，结果去知呼提问，还没等别人回答， 我自己就想到方法实验了。。 
fn main() {
    let mut a = 34;
    println!("a's addr:{:p}", &a);
    let p = &mut a;
    println!("p's addr:{:p}", &a
    
                                
    • 
                                
  • java编程思想 -- 数据的初始化
                                    百合不是茶
java数据的初始化
                                    
      
1.使用构造器确保数据初始化 
     
/*
 *在ReckInitDemo类中创建Reck的对象 
 */
public class ReckInitDemo {
	

	public static void main(String[] args) {
		//创建Reck对象
		new Reck();
	}
	
	
}
    
                                
    • 
                                
  • [航天与宇宙]为什么发射和回收航天器有档期
                                    comsci

                                    
     
 
 
       地球的大气层中有一个时空屏蔽层,这个层次会不定时的出现,如果该时空屏蔽层出现,那么将导致外层空间进入的任何物体被摧毁,而从地面发射到太空的飞船也将被摧毁... 
 
       所以,航天发射和飞船回收都需要等待这个时空屏蔽层消失之后,再进行 
 
&
    
                                
    • 
                                
  • linux下批量替换文件内容
                                    商人shang
linux替换
                                    
    1、网络上现成的资料 
　　格式: sed -i "s/查找字段/替换字段/g" `grep 查找字段 -rl 路径` 
　　linux sed 批量替换多个文件中的字符串 
　　sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir` 
　　例如：替换/home下所有文件中的www.admi
    
                                
    • 
                                
  • 网页在线天气预报
                                    oloz
天气预报
                                    
    网页在线调用天气预报

<%@ page language="java" contentType="text/html; charset=utf-8"
 pageEncoding="utf-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transit
    
                                
    • 
                                
  • SpringMVC和Struts2比较
                                    杨白白
springMVC
                                    
    1. 入口 
spring mvc的入口是servlet，而struts2是filter（这里要指出，filter和servlet是不同的。以前认为filter是servlet的一种特殊），这样就导致了二者的机制不同，这里就牵涉到servlet和filter的区别了。 
参见：http://blog.csdn.net/zs15932616453/article/details/8832343 
2
    
                                
    • 
                                
  • refuse copy, lazy girl!
                                    小桔子
copy
                                    
           妹妹坐船头啊啊啊啊！都打算一点点琢磨呢。文字编辑也写了基本功能了。。今天查资料，结果查到了人家写得完完整整的。我清楚的认识到： 
1.那是我自己觉得写不出的高度 
2.如果直接拿来用，很快就能解决问题 
3.然后就是抄咩~~ 
4.肿么可以这样子，都不想写了今儿个，留着作参考吧！拒绝大抄特抄，慢慢一点点写！ 
  
    
                                
    • 
                                
  • apache与php整合
                                    aichenglong
php apache web
                                    
    一  apache web服务器 
 1 apeche web服务器的安装 
  1)下载Apache web服务器 
  2)配置域名(如果需要使用要在DNS上注册) 
  3)测试安装访问http://localhost/验证是否安装成功 
 2 apache管理 
  1)service.msc进行图形化管理 
  2)命令管理，配
    
                                
    • 
                                
  • Maven常用内置变量
                                    AILIKES
maven
                                    
    Built-in properties 
 
  ${basedir} represents the directory containing pom.xml 
  ${version} equivalent to ${project.version} (deprecated: ${pom.version})  
 Pom/Project properties 
Al
    
                                
    • 
                                
  • java的类和对象
                                    百合不是茶
JAVA面向对象 类 对象
                                    
    java中的类： 
  
  java是面向对象的语言，解决问题的核心就是将问题看成是一个类，使用类来解决 
  
java使用 class 类名   来创建类 ，在Java中类名要求和构造方法，Java的文件名是一样的 
  
创建一个A类： 
class A{
} 
  
java中的类：将某两个事物有联系的属性包装在一个类中，再通
    
                                
    • 
                                
  • JS控制页面输入框为只读
                                    bijian1013
JavaScript
                                    
    在WEB应用开发当中，增、删除、改、查功能必不可少，为了减少以后维护的工作量，我们一般都只做一份页面，通过传入的参数控制其是新增、修改或者查看。而修改时需将待修改的信息从后台取到并显示出来，实际上就是查看的过程，唯一的区别是修改时，页面上所有的信息能修改，而查看页面上的信息不能修改。因此完全可以将其合并，但通过前端JS将查看页面的所有信息控制为只读，在信息量非常大时，就比较麻烦。 
  
    
                                
    • 
                                
  • AngularJS与服务器交互
                                    bijian1013
JavaScriptAngularJS$http
                                    
            对于AJAX应用（使用XMLHttpRequests）来说，向服务器发起请求的传统方式是：获取一个XMLHttpRequest对象的引用、发起请求、读取响应、检查状态码，最后处理服务端的响应。整个过程示例如下： 
var xmlhttp = new XMLHttpRequest();

xmlhttp.onreadystatechange
    
                                
    • 
                                
  • [Maven学习笔记八]Maven常用插件应用
                                    bit1129
maven
                                    
    常用插件及其用法位于：http://maven.apache.org/plugins/ 
  
1. Jetty server plugin 
2. Dependency copy plugin 
3. Surefire Test plugin 
4. Uber jar plugin 
  
  
  
  
  
1. Jetty Pl
    
                                
    • 
                                
  • 【Hive六】Hive用户自定义函数(UDF)
                                    bit1129
自定义函数
                                    
    1. 什么是Hive UDF 
Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： 
 
 文件格式：Text File，Sequence File 
 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 
 用户提供的 map/reduce 脚本：不管什么
    
                                
    • 
                                
  • 杀掉nginx进程后丢失nginx.pid，如何重新启动nginx
                                    ronin47
nginx 重启 pid丢失
                                    
    nginx进程被意外关闭，使用nginx -s reload重启时报如下错误：nginx: [error] open() “/var/run/nginx.pid” failed (2: No such file or directory)这是因为nginx进程被杀死后pid丢失了，下一次再开启nginx -s reload时无法启动解决办法：nginx -s reload 只是用来告诉运行中的ng
    
                                
    • 
                                
  • UI设计中我们为什么需要设计动效
                                    brotherlamp
UIui教程ui视频ui资料ui自学
                                    
    随着国际大品牌苹果和谷歌的引领，最近越来越多的国内公司开始关注动效设计了，越来越多的团队已经意识到动效在产品用户体验中的重要性了，更多的UI设计师们也开始投身动效设计领域。 
但是说到底，我们到底为什么需要动效设计？或者说我们到底需要什么样的动效？做动效设计也有段时间了，于是尝试用一些案例，从产品本身出发来说说我所思考的动效设计。 
一、加强体验舒适度 
嗯，就是让用户更加爽更加爽的用你的产品。 
    
                                
    • 
                                
  • Spring中JdbcDaoSupport的DataSource注入问题
                                    bylijinnan
javaspring
                                    
    参考以下两篇文章： 
 
http://www.mkyong.com/spring/spring-jdbctemplate-jdbcdaosupport-examples/ 
 
http://stackoverflow.com/questions/4762229/spring-ldap-invoking-setter-methods-in-beans-configuration 
 
Sprin
    
                                
    • 
                                
  • 数据库连接池的工作原理
                                    chicony
数据库连接池
                                    
           随着信息技术的高速发展与广泛应用，数据库技术在信息技术领域中的位置越来越重要，尤其是网络应用和电子商务的迅速发展，都需要数据库技术支持动 态Web站点的运行，而传统的开发模式是：首先在主程序（如Servlet、Beans）中建立数据库连接；然后进行SQL操作，对数据库中的对象进行查 询、修改和删除等操作；最后断开数据库连接。使用这种开发模式，对
    
                                
    • 
                                
  • java 关键字
                                    CrazyMizzz
java
                                    
     
关键字是事先定义的，有特别意义的标识符，有时又叫保留字。对于保留字，用户只能按照系统规定的方式使用，不能自行定义。 
 
Java中的关键字按功能主要可以分为以下几类： 
   （1）访问修饰符 
      public,private,protected 
      p
    
                                
    • 
                                
  • Hive中的排序语法
                                    daizj
排序hiveorder byDISTRIBUTE BYsort by
                                    
    Hive中的排序语法 2014.06.22  ORDER BY 
hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。 
与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。
    
                                
    • 
                                
  • 单态设计模式
                                    dcj3sjt126com
设计模式
                                    
      单例模式（Singleton）用于为一个类生成一个唯一的对象。最常用的地方是数据库连接。 使用单例模式生成一个对象后，该对象可以被其它众多对象所使用。    
<?phpclass Example{    // 保存类实例在此属性中    private static&
    
                                
    • 
                                
  • svn locked
                                    dcj3sjt126com
Lock
                                    
    post-commit hook failed (exit code 1) with output: 
svn: E155004: Working copy 'D:\xx\xxx' locked 
svn: E200031: sqlite: attempt to write a readonly database 
svn: E200031: sqlite: attempt to write a 
    
                                
    • 
                                
  •  ARM寄存器学习
                                    e200702084
数据结构C++cC#F#
                                    
    无论是学习哪一种处理器，首先需要明确的就是这种处理器的寄存器以及工作模式。 
    ARM有37个寄存器，其中31个通用寄存器，6个状态寄存器。 
1、不分组寄存器（R0-R7） 
    不分组也就是说说，在所有的处理器模式下指的都时同一物理寄存器。在异常中断造成处理器模式切换时，由于不同的处理器模式使用一个名字相同的物理寄存器，就是
    
                                
    • 
                                
  • 常用编码资料
                                    gengzg
编码
                                    
    		List<UserInfo> list=GetUserS.GetUserList(11);
		String json=JSON.toJSONString(list);
		HashMap<Object,Object> hs=new HashMap<Object, Object>();
		for(int i=0;i<10;i++)
		{

    
                                
    • 
                                
  • 进程 vs. 线程
                                    hongtoushizi
线程linux进程
                                    
    我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。 
首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。 
如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。 
如果用多线程实现
    
                                
    • 
                                
  • Linux定时Job：crontab -e 与 /etc/crontab 的区别
                                    Josh_Persistence
linuxcrontab
                                    
    一、linux中的crotab中的指定的时间只有5个部分：* * * * * 
分别表示：分钟，小时，日，月，星期，具体说来： 
第一段 代表分钟 0—59 
第二段 代表小时 0—23 
第三段 代表日期 1—31 
第四段 代表月份 1—12 
第五段 代表星期几，0代表星期日 0—6 
  
如： 
*/1 * * * *   每分钟执行一次。 
* 
    
                                
    • 
                                
  • KMP算法详解
                                    hm4123660
数据结构C++算法字符串KMP
                                    
         字符串模式匹配我们相信大家都有遇过，然而我们也习惯用简单匹配法（即Brute-Force算法)，其基本思路就是一个个逐一对比下去，这也是我们大家熟知的方法，然而这种算法的效率并不高，但利于理解。 
  
    假设主串s="ababcabcacbab",模式串为t="
    
                                
    • 
                                
  • 枚举类型的单例模式
                                    zhb8015
单例模式
                                    
    E.编写一个包含单个元素的枚举类型[极推荐]。代码如下： 
 
 public enum MaYun {himself; //定义一个枚举的元素，就代表MaYun的一个实例private String anotherField;MaYun() {//MaYun诞生要做的事情//这个方法也可以去掉。将构造时候需要做的事情放在instance赋值的时候：/** himself = MaYun() {*
    
                                
    • 
                                
  • Kafka+Storm+HDFS
                                    ssydxa219
storm
                                    
    cd /myhome/usr/stormbin/storm nimbus &amp;bin/storm supervisor &amp;bin/storm ui &amp;Kafka+Storm+HDFS整合实践kafka_2.9.2-0.8.1.1.tgzapache-storm-0.9.2-incubating.tar.gzKafka安装配置我们使用3台机器搭建Kafk
    
                                
    • 
                                
  • Java获取本地服务器的IP
                                    中华好儿孙
javaWeb获取服务器ip地址
                                    
    
        System.out.println("getRequestURL:"+request.getRequestURL());
		System.out.println("getLocalAddr:"+request.getLocalAddr());
		System.out.println("getLocalPort:&quo
    
                                
    • 
                

            

        

    




    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他