Db2测试单表插入速度一段通用程序

首先，还是通过export命令将某表数据导出为del格式

1. --Startofgeneratedscriptfor192.168.0.85-INFO85-INFOSPY(db2inst1)
2. --Oct-11-2008at14:53:28
4. EXPORTTO'C:\DATA_WHITELISTS_R.del'OFDEL
5. SELECT*FROM"DB2INST1"."DATA_WHITELISTS_R";
7. #SYNC10;
11. --Endofgeneratedscriptfor192.168.0.85-INFO85-INFOSPY(db2inst1)

通过以下程序，将这个del格式的数据进行分离

1. #-*-coding:cp936-*-
2. #===============================================================================
3. #开发需求：与数据时间片分析工具共同使用，该程序主要用来分析数据表del文件
4. #1.可将del数据源文件，按照时间分割为新的数据文件
5. #2.可将del数据源文件，按字定义大小进行分割split_record
6. #===============================================================================
7. importos,time
8. #需要分析的del文件名
9. DelName="DATA_ALARM_BA.del"
10. path=os.getcwd()+"\%s"%(DelName)
11. #分析后的输出路径
12. os.system("mkdirAnalyse")
13. analyse_path=os.getcwd()+r"\Analyse"
14. #每个文件分割的大小
15. split_record=10000
16. #需要分析的时间字段，比如是按del第4列数据，进行日期数据分割
17. split_filed=4
18. DataObject=open(path,'r')
19. Data_List=DataObject.readlines()
20. print"共需要转换的总次数：",int(len(Data_List)/split_record),"表总数：",int(len(Data_List))
21. foriinrange(len(Data_List)):
22. datatime=""
23. foryinData_List[i].split(',')[split_filed][1:11].split('-'):
24. datatime+=y
25. globaltemp
26. temp=datatime
27. ifint(datatime)-int(temp)<>0:
28. printos.getcwd()
29. os.system("mdAnalyse\\%s"%(datatime))
30. newpath="%s\\%s\\%s%s_%s.del"%(analyse_path,datatime,DelName[:-4],temp,str("%04d"%(i/split_record)))
31. list=open(newpath,'a')
32. list.writelines(Data_List[i])
33. else:
34. printos.getcwd()
35. printtemp
36. os.system("mdAnalyse\\%s"%(temp))
37. newpath="%s\\%s\\%s%s_%s.del"%(analyse_path,temp,DelName[:-4],datatime,str("%04d"%(i/split_record)))
38. list=open(newpath,'a')
39. list.writelines(Data_List[i])
40. print"转化成功"

将上段py脚本与导出DATA_ALARM_BA.del文件放置在一个目录下，分析后会创建Analyse目录

请将数据，进行手工分离：

在Analyse目录下创建时间格式为2008-10-10为例的文件夹，将分离后的分析数据归档

使用以下脚本开始分析数据：需要自行定义以下参数：

#1.设定一个分析时间片,单位为分钟，AnalyseTimeArea，默认为5分钟
#2.可设定需要分析数据库表所在字段，AnalyseField，默认为第四个字段(时间字段请确认)

1. #!/usr/bin/envpython
2. #-*-coding:cp936-*-
3. #===============================================================================
4. #开发需求：与数据分离工具共同使用，该程序主要用来分析单位时间的单表入库平均值
5. #1.设定一个分析时间片,单位为分钟，AnalyseTimeArea
6. #2.可设定需要分析数据库表所在字段，AnalyseField
7. #===============================================================================
8. importthreading,os,time
10. classReadConfig():
12. defBase_Config(self):
14. #配置话单路径
15. TelPath=os.getcwd()+"\\Analyse"
16. #printTelPath
17. returnTelPath
20. classGetPath(ReadConfig):
22. defGet_Path(self):
24. #获取路径下分析文件，建立字典
25. dict={}
26. dir_temp=[]
27. file_temp=[]
28. basepath=self.Base_Config()
29. #printbasepath
30. forroot,dirs,filesinos.walk(self.Base_Config()):
31. #获取文件夹节点，获取文件夹对应文件
32. fordirindirs:
33. dir_temp.append(dir)
34. dir_temp.sort()
35. foriindir_temp:
36. #printself.Base_Config()+"\\"+str(i)
37. forroot,dirs,filesinos.walk(self.Base_Config()+"\\"+str(i)):
38. #获取对应文件夹下的数据
39. file_temp.append(files)
40. foriinrange(len(dir_temp)):
41. #建立数据字典
42. dict[dir_temp[i]]=file_temp[i]
43. returnbasepath,dict
45. classThreadMain(threading.Thread,GetPath):
47. def__init__(self):
49. #设定一个分析时间片,单位为分钟
50. self.AnalyseTimeArea=5
51. #需要分析数据库表所在字段
52. self.AnalyseField=4
53. basepath,dict=self.Get_Path()
54. #printbasepath,dict
55. self.dict=dict
56. self.basepath=basepath
58. defThread_Contorl(self):
60. #读取字典的索引，索引为文件夹节点self.dict.keys()[i]
61. self.Add_Tel_Path_temp2=[]
62. #printself.dict.keys()
63. foriinrange(len(self.dict.keys())):
64. self.Add_Tel_Path_temp1=[]
65. #printself.dict.keys()[i],self.dict[self.dict.keys()[i]]
66. foryinrange(len(self.dict[self.dict.keys()[i]])):
67. #printself.dict.keys()[i],self.dict[self.dict.keys()[i]]
68. #printlen(self.dict[self.dict.keys()[i]])
69. self.Add_Tel_Path=self.basepath+"\\"+self.dict.keys()[i]+"\\"+self.dict[self.dict.keys()[i]][y]
70. self.Add_Tel_Path_temp1.append(self.Add_Tel_Path)
71. #printAdd_Tel_Path_temp1
72. self.Add_Tel_Path_temp2.append(self.Add_Tel_Path_temp1)
73. #Add_Tel_Path_temp2得到已文件夹节点分类数组，格式如下[[2008-3-8],[2008-3-10],[2008-3-9]]
74. returnself.Add_Tel_Path_temp2
76. #================================================================================
77. #已文件夹为单位进行时间分割计算每日的话单总流量
78. #MethodName：AnalyseMethod_Countdayflow
79. #Author：xinkaiAdd:2008-3-10
80. #================================================================================
81. defAnalyseMethod_Countdayflow(self):
83. self.CountFlow=0
84. #由线程类获得分析数组
85. self.AnalyseList=self.Thread_Contorl()
86. #printAnalyseList
87. foriinrange(len(self.AnalyseList)):
88. #printself.dict.keys()[i],AnalyseList[i]
89. #===============================================================================
90. #此处需要加判断日期以及有效话单
91. #===============================================================================
92. foryinrange(len(self.AnalyseList[i])):
93. #printAnalyseList[i][y]
94. self.AnalyseData=open(self.AnalyseList[i][y],'r')
95. #self.CountFlow+=len(self.AnalyseData.readlines())
96. print"执行过程[%s]：第%s文件大小为%s文件"%(self.dict.keys()[i],y,len(self.AnalyseData.readlines()))
97. self.CountFlow+=len(self.AnalyseData.readlines())
98. #printself.dict.keys()[i]+str(len(AnalyseData.readlines()))+"\n"
99. #print"[",self.dict.keys()[i]+"]当日数据总流量为:"+str(self.CountFlow)
101. #================================================================================
102. #已文件夹为单位进行时间分割按照划定的时间片对每日话单分时流量进行统计
103. #MethodName：AnalyseMethod_CountTimeFlow
104. #Author：xinkaiAdd:2008-3-10
105. #================================================================================
106. defAnalyseMethod_CountTimeFlow(self):
108. #Analyse_CountTimeFlow=open('Analyse_CountTimeFlow.log','w')
109. #由线程类获得分析数组
110. self.AnalyseList=self.Thread_Contorl()
111. foriinrange(len(self.AnalyseList)):
112. temp=[]
113. self.AnalyseStack=[]
114. self.AnalyseStackSend=[]
115. foryinrange(len(self.AnalyseList[i])):
116. #已时间文件夹为分割点，分类读取话单进行分析
117. #用来计算每个文件中每个话单记录的时间堆栈
118. self.AnalyseData=open(self.AnalyseList[i][y],'r')
119. self.AnalyseStackSend.append(self.AnalyseData.readlines())
120. #用来计算基础时间轴的堆栈AnalyseStack
121. self.AnalyseData=open(self.AnalyseList[i][y],'r')
122. self.AnalyseStack.append(self.AnalyseData.readlines()[0])
123. #已文件夹时间点分割，获取基础时间轴
124. self.BaseTimeCenter=self.AnalyseStack[0].split(',')[self.AnalyseField]
125. #转化话单发送时间为整数
126. self.ChangeBaseTime=self.ChageTime(self.BaseTimeCenter)
127. forhinrange(len(self.AnalyseList[i])):
128. forzinself.AnalyseStackSend[h]:
129. self.TelTime=self.ChageTime(z.split(',')[self.AnalyseField])
130. #printstr(self.TelTime)+"//\\"+str(self.ChangeBaseTime)
131. importmath
132. #获得已基础时间为轴的时间差值
133. #printint(math.fabs(self.TelTime-self.ChangeBaseTime))/60
134. temp.append((int(math.fabs(self.TelTime-self.ChangeBaseTime))/60)/self.AnalyseTimeArea)
135. #Analyse_CountTimeFlow.writelines("话单时间:%s\n初始时间片时间片分时流量\n"%(self.dict.keys()[i]))
136. #Analyse_CountTimeFlow.close()
137. printself.BaseTimeCenter[1:11]
138. forjinrange(1440/int(self.AnalyseTimeArea)):
139. iftemp.count(j)<>0:
140. #Analyse_CountTimeFlow=open('Analyse_CountTimeFlow.log','a')
141. print"分析日期:%s;分析时间片:%s分钟;第%s时间片;分时流量为%s条;"%(self.BaseTimeCenter[1:11],self.AnalyseTimeArea,j,temp.count(j))
142. #Analyse_CountTimeFlow.writelines("%s%s%s\n"%(self.AnalyseTimeArea,j,temp.count(j)))
144. defChageTime(self,datatime):
146. #初始化变量
147. self.YearMD=""
148. self.TimeCS=""
150. #引用时间参数
151. self.datatime=datatime
152. self.SplitDataTime2=self.datatime[1:11].split('-')
153. self.SplitDataTime3=self.datatime[12:20].split('.')
154. #分割结果['2008','03','10']['11','18','18']
156. #组合分割数据转换时间为整数
157. foriinself.SplitDataTime2:
158. self.YearMD+=i
159. forhinself.SplitDataTime3:
160. self.TimeCS+=h
161. self.newTime=self.YearMD+self.TimeCS
162. returnint(self.newTime)
164. def__del__(self):
165. pass
167. classControlThread(ThreadMain):
169. def__init__(self):
171. basepath,dict=self.Get_Path()
172. self.dict=dict
173. self.basepath=basepath
175. defControl_Thread(self):
177. #控制使用分析线程
178. print"-----------------------------------------"
179. ObjectThread=ThreadMain()
180. print"开始计算每日流量："
181. ObjectThread.AnalyseMethod_Countdayflow()
182. print"计算结束"
183. print"-----------------------------------------"
184. importtime
185. time.sleep(0.01)
186. print"开始计算分时流量："
187. ObjectThread.AnalyseMethod_CountTimeFlow()
188. print"计算结束"
189. print"-----------------------------------------"
191. if__name__=="__main__":
193. ObjectControl=ControlThread()
194. ObjectControl.Control_Thread()
195. #path=ReadConfig(path)

这里的重点，你可以根据自己数据的特点，重新定义。

self.SplitDataTime2 = self.datatime[1:11].split('-')
self.SplitDataTime3 = self.datatime[12:20].split('.')
#分割结果['2008', '03', '10'] ['11', '18', '18']

运行程序后，会生成以下日志：

1. 分析后数据如下：
2. -----------------------------------------
3. 开始计算每日流量：
4. 执行过程[20080930]：第0文件大小为4文件
5. 执行过程[20080929]：第0文件大小为103文件
6. 计算结束
7. -----------------------------------------
8. 开始计算分时流量：
9. 2008-09-30
10. 分析日期:2008-09-30;分析时间片:5分钟;第0时间片;分时流量为4条;
11. 2008-09-29
12. 分析日期:2008-09-29;分析时间片:5分钟;第0时间片;分时流量为95条;
13. 分析日期:2008-09-29;分析时间片:5分钟;第1时间片;分时流量为4条;
14. 分析日期:2008-09-29;分析时间片:5分钟;第2时间片;分时流量为4条;
15. 计算结束
16. -----------------------------------------