atitit.提升备份文件复制速度(1) -----分析统计问题and解决方案
1. 现在的情形 1
2. 硬盘信息 大概50mb/s, 50iops 1
3. 统计小的文件比率 2
4. 复制速度估计.. 2
5. 小文件类型比率按照扩展名 2
6. 速度慢的原因:::iops太低的... 4
7. 解决之道::: 4
7.1. 提升到ssd 硬盘. 4
7.2. 清理垃圾 4
7.3. 清理重复文件 5
7.4. 移动pic/isho文件.. 5
7.5. 打包文件.. . 5
8. 清理后的情形 5
9. 硬盘详细速度测试报告80g+160G 5
SELECT * FROM `foldercount` where file not in (select file from foldercountclraftr )
1. 现在的情形
10.6g , 40370个文件. 2894个文件夹.....两个硬盘中间复制使用了19min
复制要好长时候..从pc电脑到移动硬盘.,硬盘都是通常硬盘..usb电线是2.0的,可以支持40MB/s,,所以,速度问题不在这个地方...
应该是iops不足...
2. 硬盘信息 大概50mb/s, 50iops
要以最慢的那个硬盘计算了...
作者:: 老哇的爪子 Attilax 艾龙， EMAIL:[email protected]
转载请注明来源： http://blog.csdn.net/attilax
3. 统计小的文件比率
走十马个工具,,只好嘎自写兰...
遍历文件夹,不个文件名称,尺寸, java 17s走生成sql兰...放得个数据库黑头...在统计...
范围::: 0-----500KB, 500Kb--1.5M ,1.5 M ......
1M 在下面按照radom rw ..... 1Mabover 按照 顺序io rw
select COUNT(*) from foldercount where size<500000 >>>38320
select COUNT(*) from foldercount where size<1500000 and size>500000 >> 694
-----大的文件..
select COUNT(*) from foldercount where size>1500000 >>687
select sum(size) from foldercount where size>1500000 9605MB
别的ehr
select COUNT(*) from foldercount where size<20000 >>>25530 个文件.
4. 复制速度估计..
Lit file less than 500kb copy 38320/50iops=13Min
Lit file 500---1.5MB ::: 694/30 iops=23S
Big file copy 10G/50mps=3.2Min
5. 小文件类型比率按照扩展名
select COUNT(*) from foldercount where size<20000 >>>25530 个文件.
select count(*) sum,extname from foldercount where size<20000 GROUP BY extname HAVING sum>5 order by sum DESC
5732 gif ok
3150 jpg ok
2506 htm ok
2426 js ok
1991 txt ok
1067 cs ok
1015 css ok
1010
888 png ok
589 URL ok
484 vcf ok.
440 php ok
342 aspx ok
256 class ok
230 html
225 java
184 Old
153 swf
131 lnk
125 resx
111 Extra
104 dat
103 doc
96 rar
91 xls
81 dll
79 xml
75 resources
74 ps
68 jsp
62 bat
59 ico
55 sql
54 she
54 ssk
53 9]
52 ashx
50 7]
47 jpeg
45 scc
43 tlog
40 cache
39 ahk
38 bak
30 asp
29 csproj
29 log
28 config
27 docx
27 csv
27 json
27 5]
25 refresh
25 zip
25 bmp
25 2]
25 10]
24 1]
23 exe
22 reg
22 s
21 map
20 jar
19 sln
17 user
17 db
16 thmx
16 data
15 xsd
15 tab
15 h
14 vbs
14 ini
12 settings
10 ascx
10 tpl
10 CFG
9 manifest
9 suo
6. 速度慢的原因:::iops太低的...
7. 解决之道:::
7.1. 提升到ssd 硬盘.
Ssd的iops常常是普通硬盘的20倍多...
7.2. 清理垃圾
垃圾 csv ,,svn 垃圾文件夹...大小还大的...删除...
垃圾图片的规则
Gif
Jpg::width/height 过小的..size 大小过小的180*180在下面...pc图片(马元数据)
7.3. 清理重复文件
7.4. 移动pic/isho文件..
7.5. 打包文件.. .
可以use winrar tag 到per 文件夹..
8. 清理后的情形
Ori 10.6g , 40370个文件. 2894个文件夹
而个 10.1g...File 14378 ,, folder 1459
9. 硬盘详细速度测试报告80g+160G
HD Tune Pro: ST380815A File Benchmark 80g
Drive C:
传输速率测试
文件大小: 500 MB
Sequential read 55074KB/秒
写入循序 50811KB/秒
随机读取 137 IOPS
随机写入 300 IOPS
Random read (queue depth = 32) 154 IOPS
Random write (queue depth = 32) 258 IOPS
HD Tune Pro: WDC WD1600AAJS-00B8D File Benchmark 160g
Drive U:
传输速率测试
文件大小: 500 MB
Sequential read 99937KB/秒
写入循序 91575KB/秒
随机读取 104 IOPS
随机写入 340 IOPS
Random read (queue depth = 32) 150 IOPS
Random write (queue depth = 32) 323 IOPS
HD Tune Pro: ST380815A Random Access
Test capacity: full
Read test
Transfer size operations / sec avg. access time max. access time avg. speed
512 字节
4 KB 59 IOPS 16.740 ms 72.026 ms 0.233 MB/秒
64 KB 57 IOPS 17.410 ms 42.229 ms 3.590 MB/秒
1 MB 29 IOPS 33.651 ms 60.259 ms 29.716 MB/秒
Random 36 IOPS 27.175 ms 89.132 ms 18.857 MB/秒
HD Tune Pro: WDC WD1600AAJS-00B8D Random Access
Test capacity: full
Read test
Transfer size operations / sec avg. access time max. access time avg. speed
512 字节
4 KB 57 IOPS 17.303 ms 653.923 ms 0.226 MB/秒
64 KB 52 IOPS 18.937 ms 297.883 ms 3.300 MB/秒
1 MB 34 IOPS 29.347 ms 308.293 ms 34.075 MB/秒
Random 41 IOPS 23.852 ms 308.929 ms 21.484 MB/秒