a2011480169

如何利用MapReduce的分治策略提高KNN算法的运行速度

集群环境介绍：

hadoop2.4.1 64位
6台服务器：
hadoop11   NameNode 、SecondaryNameNode
hadoop22   ResourceManager
hadoop33   DataNode、NodeManager
hadoop44   DataNode、NodeManager
hadoop55   DataNode、NodeManager
hadoop66   DataNode、NodeManager

实验1：训练集train.txt样例个数为245057（3.24M）测试集test.txt样例个数为51444（640kb），并将全部测试集都存放在test.txt中

[root@hadoop11 local]# hadoop fs -lsr /dir6/
-rw-r--r--   3 root supergroup    3400816 2016-07-17 19:28 /dir6/test.txt
注意：此时所有的测试集都在一个文本中(test.txt)存放，作为输入路径

ＫＮＮ算法运行日志：

16/07/17 19:32:24 INFO client.RMProxy: Connecting to ResourceManager at hadoop22/10.187.84.51:8032
16/07/17 19:32:25 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/07/17 19:32:25 INFO input.FileInputFormat: Total input paths to process : 1
16/07/17 19:32:25 INFO mapreduce.JobSubmitter: number of splits:1
16/07/17 19:32:26 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1468752229715_0016
16/07/17 19:32:26 INFO impl.YarnClientImpl: Submitted application application_1468752229715_0016
16/07/17 19:32:26 INFO mapreduce.Job: The url to track the job: http://hadoop22:8088/proxy/application_1468752229715_0016/
16/07/17 19:32:26 INFO mapreduce.Job: Running job: job_1468752229715_0016
16/07/17 19:32:32 INFO mapreduce.Job: Job job_1468752229715_0016 running in uber mode : false
16/07/17 19:32:32 INFO mapreduce.Job:  map 0% reduce 0%
16/07/17 19:32:49 INFO mapreduce.Job:  map 1% reduce 0%
16/07/17 19:33:05 INFO mapreduce.Job:  map 2% reduce 0%
16/07/17 19:33:20 INFO mapreduce.Job:  map 3% reduce 0%
16/07/17 19:33:35 INFO mapreduce.Job:  map 4% reduce 0%
16/07/17 19:33:50 INFO mapreduce.Job:  map 5% reduce 0%
16/07/17 19:34:02 INFO mapreduce.Job:  map 6% reduce 0%
16/07/17 19:34:17 INFO mapreduce.Job:  map 7% reduce 0%
16/07/17 19:34:32 INFO mapreduce.Job:  map 8% reduce 0%
16/07/17 19:34:47 INFO mapreduce.Job:  map 9% reduce 0%
16/07/17 19:35:02 INFO mapreduce.Job:  map 10% reduce 0%
16/07/17 19:35:14 INFO mapreduce.Job:  map 11% reduce 0%
16/07/17 19:35:29 INFO mapreduce.Job:  map 12% reduce 0%
16/07/17 19:35:44 INFO mapreduce.Job:  map 13% reduce 0%
16/07/17 19:35:59 INFO mapreduce.Job:  map 14% reduce 0%
16/07/17 19:36:12 INFO mapreduce.Job:  map 15% reduce 0%
16/07/17 19:36:27 INFO mapreduce.Job:  map 16% reduce 0%
16/07/17 19:36:42 INFO mapreduce.Job:  map 17% reduce 0%
16/07/17 19:36:57 INFO mapreduce.Job:  map 18% reduce 0%
16/07/17 19:37:12 INFO mapreduce.Job:  map 19% reduce 0%
16/07/17 19:37:27 INFO mapreduce.Job:  map 20% reduce 0%
16/07/17 19:37:39 INFO mapreduce.Job:  map 21% reduce 0%
16/07/17 19:37:54 INFO mapreduce.Job:  map 22% reduce 0%
16/07/17 19:38:09 INFO mapreduce.Job:  map 23% reduce 0%
16/07/17 19:38:24 INFO mapreduce.Job:  map 24% reduce 0%
16/07/17 19:38:39 INFO mapreduce.Job:  map 25% reduce 0%
16/07/17 19:38:51 INFO mapreduce.Job:  map 26% reduce 0%
16/07/17 19:39:06 INFO mapreduce.Job:  map 27% reduce 0%
16/07/17 19:39:22 INFO mapreduce.Job:  map 28% reduce 0%
16/07/17 19:39:37 INFO mapreduce.Job:  map 29% reduce 0%
16/07/17 19:39:52 INFO mapreduce.Job:  map 30% reduce 0%
16/07/17 19:40:07 INFO mapreduce.Job:  map 31% reduce 0%
16/07/17 19:40:22 INFO mapreduce.Job:  map 32% reduce 0%
16/07/17 19:40:37 INFO mapreduce.Job:  map 33% reduce 0%
16/07/17 19:40:52 INFO mapreduce.Job:  map 34% reduce 0%
16/07/17 19:41:04 INFO mapreduce.Job:  map 35% reduce 0%
16/07/17 19:41:22 INFO mapreduce.Job:  map 36% reduce 0%
16/07/17 19:41:37 INFO mapreduce.Job:  map 37% reduce 0%
16/07/17 19:41:52 INFO mapreduce.Job:  map 38% reduce 0%
16/07/17 19:42:07 INFO mapreduce.Job:  map 39% reduce 0%
16/07/17 19:42:22 INFO mapreduce.Job:  map 40% reduce 0%
16/07/17 19:42:37 INFO mapreduce.Job:  map 41% reduce 0%
16/07/17 19:42:53 INFO mapreduce.Job:  map 42% reduce 0%
16/07/17 19:43:08 INFO mapreduce.Job:  map 43% reduce 0%
16/07/17 19:43:23 INFO mapreduce.Job:  map 44% reduce 0%
16/07/17 19:43:41 INFO mapreduce.Job:  map 45% reduce 0%
16/07/17 19:43:56 INFO mapreduce.Job:  map 46% reduce 0%
16/07/17 19:44:12 INFO mapreduce.Job:  map 47% reduce 0%
16/07/17 19:44:30 INFO mapreduce.Job:  map 48% reduce 0%
16/07/17 19:44:45 INFO mapreduce.Job:  map 49% reduce 0%
16/07/17 19:45:00 INFO mapreduce.Job:  map 50% reduce 0%
16/07/17 19:45:15 INFO mapreduce.Job:  map 51% reduce 0%
16/07/17 19:45:30 INFO mapreduce.Job:  map 52% reduce 0%
16/07/17 19:45:48 INFO mapreduce.Job:  map 53% reduce 0%
16/07/17 19:46:03 INFO mapreduce.Job:  map 54% reduce 0%
16/07/17 19:46:18 INFO mapreduce.Job:  map 55% reduce 0%
16/07/17 19:46:33 INFO mapreduce.Job:  map 56% reduce 0%
16/07/17 19:46:49 INFO mapreduce.Job:  map 57% reduce 0%
16/07/17 19:47:07 INFO mapreduce.Job:  map 58% reduce 0%
16/07/17 19:47:22 INFO mapreduce.Job:  map 59% reduce 0%
16/07/17 19:47:37 INFO mapreduce.Job:  map 60% reduce 0%
16/07/17 19:47:55 INFO mapreduce.Job:  map 61% reduce 0%
16/07/17 19:48:10 INFO mapreduce.Job:  map 62% reduce 0%
16/07/17 19:48:25 INFO mapreduce.Job:  map 63% reduce 0%
16/07/17 19:48:43 INFO mapreduce.Job:  map 64% reduce 0%
16/07/17 19:48:58 INFO mapreduce.Job:  map 65% reduce 0%
16/07/17 19:49:13 INFO mapreduce.Job:  map 66% reduce 0%
16/07/17 19:49:28 INFO mapreduce.Job:  map 67% reduce 0%
16/07/17 19:49:30 INFO mapreduce.Job:  map 100% reduce 0%
16/07/17 19:49:37 INFO mapreduce.Job:  map 100% reduce 100%
16/07/17 19:49:38 INFO mapreduce.Job: Job job_1468752229715_0016 completed successfully
16/07/17 19:49:39 INFO mapreduce.Job: Counters: 49
        File System Counters
                FILE: Number of bytes read=2892255
                FILE: Number of bytes written=5971253
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=4056338
                HDFS: Number of bytes written=861195
                HDFS: Number of read operations=7
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2
        Job Counters 
                Launched map tasks=1
                Launched reduce tasks=1
                Data-local map tasks=1
                Total time spent by all maps in occupied slots (ms)=1016177
                Total time spent by all reduces in occupied slots (ms)=4948
                Total time spent by all map tasks (ms)=1016177
                Total time spent by all reduce tasks (ms)=4948
                Total vcore-seconds taken by all map tasks=1016177
                Total vcore-seconds taken by all reduce tasks=4948
                Total megabyte-seconds taken by all map tasks=1040565248
                Total megabyte-seconds taken by all reduce tasks=5066752
        Map-Reduce Framework
                Map input records=51444
                Map output records=154332
                Map output bytes=2583585
                Map output materialized bytes=2892255
                Input split bytes=103
                Combine input records=0
                Combine output records=0
                Reduce input groups=51444
                Reduce shuffle bytes=2892255
                Reduce input records=154332
                Reduce output records=51444
                Spilled Records=308664
                Shuffled Maps =1
                Failed Shuffles=0
                Merged Map outputs=1
                GC time elapsed (ms)=5836
                CPU time spent (ms)=1033510
                Physical memory (bytes) snapshot=517627904
                Virtual memory (bytes) snapshot=1786634240
                Total committed heap usage (bytes)=306774016
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=655419
        File Output Format Counters 
                Bytes Written=861195

统计：

精确度：51444   51367
CPU time spent (ms)=1033510
map tasks=1

实验2：训练集train.txt样例个数为245057不变测试集test.txt样例个数为51444，并将全部测试集存放在
test1.txt（25568）和test2.txt（25857）中

[root@hadoop11 local]# hadoop fs -lsr /dir6/
-rw-r--r--   3 root supergroup     368774 2016-07-17 20:15 /dir6/test1.txt
-rw-r--r--   3 root supergroup     312210 2016-07-17 20:15 /dir6/test2.txt

ＫＮＮ算法运行日志：
先看进程日志：

[root@hadoop66 ~]# jps
24659 YarnChild  （mapper任务）
22777 DataNode
25592 Jps
24660 YarnChild  （mapper任务）
24557 MRAppMaster
22622 NodeManager

计数器日志：

[root@hadoop11 local]# app1.sh
16/07/17 20:21:03 INFO client.RMProxy: Connecting to ResourceManager at hadoop22/10.187.84.51:8032
16/07/17 20:21:03 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/07/17 20:21:03 INFO input.FileInputFormat: Total input paths to process : 2
16/07/17 20:21:03 INFO mapreduce.JobSubmitter: number of splits:2
16/07/17 20:21:03 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1468752229715_0019
16/07/17 20:21:04 INFO impl.YarnClientImpl: Submitted application application_1468752229715_0019
16/07/17 20:21:04 INFO mapreduce.Job: The url to track the job: http://hadoop22:8088/proxy/application_1468752229715_0019/
16/07/17 20:21:04 INFO mapreduce.Job: Running job: job_1468752229715_0019
16/07/17 20:21:10 INFO mapreduce.Job: Job job_1468752229715_0019 running in uber mode : false
16/07/17 20:21:10 INFO mapreduce.Job:  map 0% reduce 0%
16/07/17 20:21:21 INFO mapreduce.Job:  map 1% reduce 0%
16/07/17 20:21:30 INFO mapreduce.Job:  map 2% reduce 0%
16/07/17 20:21:40 INFO mapreduce.Job:  map 3% reduce 0%
16/07/17 20:21:46 INFO mapreduce.Job:  map 4% reduce 0%
16/07/17 20:21:55 INFO mapreduce.Job:  map 5% reduce 0%
16/07/17 20:22:01 INFO mapreduce.Job:  map 6% reduce 0%
16/07/17 20:22:10 INFO mapreduce.Job:  map 7% reduce 0%
16/07/17 20:22:17 INFO mapreduce.Job:  map 8% reduce 0%
16/07/17 20:22:26 INFO mapreduce.Job:  map 9% reduce 0%
16/07/17 20:22:35 INFO mapreduce.Job:  map 10% reduce 0%
16/07/17 20:22:41 INFO mapreduce.Job:  map 11% reduce 0%
16/07/17 20:22:47 INFO mapreduce.Job:  map 12% reduce 0%
16/07/17 20:22:56 INFO mapreduce.Job:  map 13% reduce 0%
16/07/17 20:23:05 INFO mapreduce.Job:  map 14% reduce 0%
16/07/17 20:23:11 INFO mapreduce.Job:  map 15% reduce 0%
16/07/17 20:23:17 INFO mapreduce.Job:  map 16% reduce 0%
16/07/17 20:23:26 INFO mapreduce.Job:  map 17% reduce 0%
16/07/17 20:23:35 INFO mapreduce.Job:  map 18% reduce 0%
16/07/17 20:23:41 INFO mapreduce.Job:  map 19% reduce 0%
16/07/17 20:23:50 INFO mapreduce.Job:  map 20% reduce 0%
16/07/17 20:23:56 INFO mapreduce.Job:  map 21% reduce 0%
16/07/17 20:24:05 INFO mapreduce.Job:  map 22% reduce 0%
16/07/17 20:24:11 INFO mapreduce.Job:  map 23% reduce 0%
16/07/17 20:24:20 INFO mapreduce.Job:  map 24% reduce 0%
16/07/17 20:24:26 INFO mapreduce.Job:  map 25% reduce 0%
16/07/17 20:24:35 INFO mapreduce.Job:  map 26% reduce 0%
16/07/17 20:24:42 INFO mapreduce.Job:  map 27% reduce 0%
16/07/17 20:24:51 INFO mapreduce.Job:  map 28% reduce 0%
16/07/17 20:24:57 INFO mapreduce.Job:  map 29% reduce 0%
16/07/17 20:25:06 INFO mapreduce.Job:  map 30% reduce 0%
16/07/17 20:25:12 INFO mapreduce.Job:  map 31% reduce 0%
16/07/17 20:25:21 INFO mapreduce.Job:  map 32% reduce 0%
16/07/17 20:25:27 INFO mapreduce.Job:  map 33% reduce 0%
16/07/17 20:25:36 INFO mapreduce.Job:  map 34% reduce 0%
16/07/17 20:25:42 INFO mapreduce.Job:  map 35% reduce 0%
16/07/17 20:25:51 INFO mapreduce.Job:  map 36% reduce 0%
16/07/17 20:25:57 INFO mapreduce.Job:  map 37% reduce 0%
16/07/17 20:26:06 INFO mapreduce.Job:  map 38% reduce 0%
16/07/17 20:26:12 INFO mapreduce.Job:  map 39% reduce 0%
16/07/17 20:26:21 INFO mapreduce.Job:  map 40% reduce 0%
16/07/17 20:26:30 INFO mapreduce.Job:  map 41% reduce 0%
16/07/17 20:26:36 INFO mapreduce.Job:  map 42% reduce 0%
16/07/17 20:26:45 INFO mapreduce.Job:  map 43% reduce 0%
16/07/17 20:26:51 INFO mapreduce.Job:  map 44% reduce 0%
16/07/17 20:27:00 INFO mapreduce.Job:  map 45% reduce 0%
16/07/17 20:27:06 INFO mapreduce.Job:  map 46% reduce 0%
16/07/17 20:27:15 INFO mapreduce.Job:  map 47% reduce 0%
16/07/17 20:27:21 INFO mapreduce.Job:  map 48% reduce 0%
16/07/17 20:27:30 INFO mapreduce.Job:  map 49% reduce 0%
16/07/17 20:27:36 INFO mapreduce.Job:  map 50% reduce 0%
16/07/17 20:27:45 INFO mapreduce.Job:  map 51% reduce 0%
16/07/17 20:27:51 INFO mapreduce.Job:  map 52% reduce 0%
16/07/17 20:28:01 INFO mapreduce.Job:  map 53% reduce 0%
16/07/17 20:28:07 INFO mapreduce.Job:  map 54% reduce 0%
16/07/17 20:28:16 INFO mapreduce.Job:  map 55% reduce 0%
16/07/17 20:28:23 INFO mapreduce.Job:  map 56% reduce 0%
16/07/17 20:28:31 INFO mapreduce.Job:  map 57% reduce 0%
16/07/17 20:28:38 INFO mapreduce.Job:  map 58% reduce 0%
16/07/17 20:28:46 INFO mapreduce.Job:  map 59% reduce 0%
16/07/17 20:28:53 INFO mapreduce.Job:  map 60% reduce 0%
16/07/17 20:29:02 INFO mapreduce.Job:  map 61% reduce 0%
16/07/17 20:29:10 INFO mapreduce.Job:  map 62% reduce 0%
16/07/17 20:29:17 INFO mapreduce.Job:  map 63% reduce 0%
16/07/17 20:29:26 INFO mapreduce.Job:  map 64% reduce 0%
16/07/17 20:29:32 INFO mapreduce.Job:  map 65% reduce 0%
16/07/17 20:29:41 INFO mapreduce.Job:  map 66% reduce 0%
16/07/17 20:29:42 INFO mapreduce.Job:  map 83% reduce 0%
16/07/17 20:29:52 INFO mapreduce.Job:  map 83% reduce 17%
16/07/17 20:29:54 INFO mapreduce.Job:  map 100% reduce 17%
16/07/17 20:29:55 INFO mapreduce.Job:  map 100% reduce 70%
16/07/17 20:29:56 INFO mapreduce.Job:  map 100% reduce 100%
16/07/17 20:29:56 INFO mapreduce.Job: Job job_1468752229715_0019 completed successfully
16/07/17 20:29:56 INFO mapreduce.Job: Counters: 49
        File System Counters
                FILE: Number of bytes read=2892255
                FILE: Number of bytes written=6064619
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=7482816
                HDFS: Number of bytes written=861195
                HDFS: Number of read operations=11
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2
        Job Counters 
                Launched map tasks=2
                Launched reduce tasks=1
                Data-local map tasks=2
                Total time spent by all maps in occupied slots (ms)=1032086
                Total time spent by all reduces in occupied slots (ms)=11757
                Total time spent by all map tasks (ms)=1032086
                Total time spent by all reduce tasks (ms)=11757
                Total vcore-seconds taken by all map tasks=1032086
                Total vcore-seconds taken by all reduce tasks=11757
                Total megabyte-seconds taken by all map tasks=1056856064
                Total megabyte-seconds taken by all reduce tasks=12039168
        Map-Reduce Framework
                Map input records=51444
                Map output records=154332
                Map output bytes=2583585
                Map output materialized bytes=2892261
                Input split bytes=200
                Combine input records=0
                Combine output records=0
                Reduce input groups=51444
                Reduce shuffle bytes=2892261
                Reduce input records=154332
                Reduce output records=51444
                Spilled Records=308664
                Shuffled Maps =2
                Failed Shuffles=0
                Merged Map outputs=2
                GC time elapsed (ms)=8264
                CPU time spent (ms)=1045670
                Physical memory (bytes) snapshot=762257408
                Virtual memory (bytes) snapshot=2654359552
                Total committed heap usage (bytes)=496762880
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=680984
        File Output Format Counters 
                Bytes Written=861195
16/07/17 20:29:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop22/10.187.84.51:8032
16/07/17 20:29:59 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/07/17 20:29:59 INFO input.FileInputFormat: Total input paths to process : 1
16/07/17 20:29:59 INFO mapreduce.JobSubmitter: number of splits:1
16/07/17 20:29:59 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1468752229715_0020
16/07/17 20:29:59 INFO impl.YarnClientImpl: Submitted application application_1468752229715_0020
16/07/17 20:30:00 INFO mapreduce.Job: The url to track the job: http://hadoop22:8088/proxy/application_1468752229715_0020/
16/07/17 20:30:00 INFO mapreduce.Job: Running job: job_1468752229715_0020
16/07/17 20:30:05 INFO mapreduce.Job: Job job_1468752229715_0020 running in uber mode : false
16/07/17 20:30:05 INFO mapreduce.Job:  map 0% reduce 0%
16/07/17 20:30:12 INFO mapreduce.Job:  map 100% reduce 0%
16/07/17 20:30:18 INFO mapreduce.Job:  map 100% reduce 100%
16/07/17 20:30:18 INFO mapreduce.Job: Job job_1468752229715_0020 completed successfully
16/07/17 20:30:18 INFO mapreduce.Job: Counters: 49
        File System Counters
                FILE: Number of bytes read=24
                FILE: Number of bytes written=186173
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=861298
                HDFS: Number of bytes written=12
                HDFS: Number of read operations=6
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2
        Job Counters 
                Launched map tasks=1
                Launched reduce tasks=1
                Data-local map tasks=1
                Total time spent by all maps in occupied slots (ms)=3973
                Total time spent by all reduces in occupied slots (ms)=3243
                Total time spent by all map tasks (ms)=3973
                Total time spent by all reduce tasks (ms)=3243
                Total vcore-seconds taken by all map tasks=3973
                Total vcore-seconds taken by all reduce tasks=3243
                Total megabyte-seconds taken by all map tasks=4068352
                Total megabyte-seconds taken by all reduce tasks=3320832
        Map-Reduce Framework
                Map input records=51444
                Map output records=1
                Map output bytes=16
                Map output materialized bytes=24
                Input split bytes=103
                Combine input records=0
                Combine output records=0
                Reduce input groups=1
                Reduce shuffle bytes=24
                Reduce input records=1
                Reduce output records=1
                Spilled Records=2
                Shuffled Maps =1
                Failed Shuffles=0
                Merged Map outputs=1
                GC time elapsed (ms)=70
                CPU time spent (ms)=2340
                Physical memory (bytes) snapshot=451612672
                Virtual memory (bytes) snapshot=1790021632
                Total committed heap usage (bytes)=309002240
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=861195
        File Output Format Counters 
                Bytes Written=12

统计：

精确度：51444   51367
CPU time spent (ms)=1045670  （时间之所以长：在于mapper任务的创建花费了时间，并且两个mapper任务都在同一个服务器hadoop66运行）
map tasks=2

实验3：训练集train.txt样例个数为245057不变测试集test.txt样例个数为51444，并将全部测试集存放在
test1.txt（25402）和test2.txt（15224）和test3.txt(10818)中

[root@hadoop11 local]# hadoop fs -lsr /dir6/
lsr: DEPRECATED: Please use 'ls -R' instead.
-rw-r--r--   3 root supergroup     128161 2016-07-17 20:54 /dir6/test1.txt
-rw-r--r--   3 root supergroup     366313 2016-07-17 20:54 /dir6/test2.txt
-rw-r--r--   3 root supergroup     201566 2016-07-17 20:54 /dir6/test3.txt

先看进程日志：

[root@hadoop33 ~]# jps
26501 Jps
26279 YarnChild  （mapper任务）
2399 QuorumPeerMain
26280 YarnChild  （mapper任务）
23800 DataNode
23648 NodeManager
26133 MRAppMaster
[root@hadoop66 ~]# jps
22777 DataNode
26652 Jps
26302 YarnChild  （mapper任务）
22622 NodeManager
此时可以看出，此时mapper任务的执行有两台服务器来执行---分而治之！

具体运行日志：

[root@hadoop11 local]# app1.sh
16/07/17 20:55:17 INFO client.RMProxy: Connecting to ResourceManager at hadoop22/10.187.84.51:8032
16/07/17 20:55:18 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/07/17 20:55:18 INFO input.FileInputFormat: Total input paths to process : 3
16/07/17 20:55:18 INFO mapreduce.JobSubmitter: number of splits:3
16/07/17 20:55:18 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1468752229715_0021
16/07/17 20:55:19 INFO impl.YarnClientImpl: Submitted application application_1468752229715_0021
16/07/17 20:55:19 INFO mapreduce.Job: The url to track the job: http://hadoop22:8088/proxy/application_1468752229715_0021/
16/07/17 20:55:19 INFO mapreduce.Job: Running job: job_1468752229715_0021
16/07/17 20:55:25 INFO mapreduce.Job: Job job_1468752229715_0021 running in uber mode : false
16/07/17 20:55:25 INFO mapreduce.Job:  map 0% reduce 0%
16/07/17 20:55:37 INFO mapreduce.Job:  map 1% reduce 0%
16/07/17 20:55:40 INFO mapreduce.Job:  map 2% reduce 0%
16/07/17 20:55:45 INFO mapreduce.Job:  map 3% reduce 0%
16/07/17 20:55:49 INFO mapreduce.Job:  map 4% reduce 0%
16/07/17 20:55:54 INFO mapreduce.Job:  map 5% reduce 0%
16/07/17 20:55:58 INFO mapreduce.Job:  map 6% reduce 0%
16/07/17 20:56:03 INFO mapreduce.Job:  map 7% reduce 0%
16/07/17 20:56:07 INFO mapreduce.Job:  map 8% reduce 0%
16/07/17 20:56:12 INFO mapreduce.Job:  map 9% reduce 0%
16/07/17 20:56:16 INFO mapreduce.Job:  map 10% reduce 0%
16/07/17 20:56:20 INFO mapreduce.Job:  map 11% reduce 0%
16/07/17 20:56:24 INFO mapreduce.Job:  map 12% reduce 0%
16/07/17 20:56:29 INFO mapreduce.Job:  map 13% reduce 0%
16/07/17 20:56:33 INFO mapreduce.Job:  map 14% reduce 0%
16/07/17 20:56:37 INFO mapreduce.Job:  map 15% reduce 0%
16/07/17 20:56:42 INFO mapreduce.Job:  map 16% reduce 0%
16/07/17 20:56:47 INFO mapreduce.Job:  map 17% reduce 0%
16/07/17 20:56:51 INFO mapreduce.Job:  map 18% reduce 0%
16/07/17 20:56:56 INFO mapreduce.Job:  map 19% reduce 0%
16/07/17 20:57:00 INFO mapreduce.Job:  map 20% reduce 0%
16/07/17 20:57:05 INFO mapreduce.Job:  map 21% reduce 0%
16/07/17 20:57:08 INFO mapreduce.Job:  map 22% reduce 0%
16/07/17 20:57:13 INFO mapreduce.Job:  map 23% reduce 0%
16/07/17 20:57:18 INFO mapreduce.Job:  map 24% reduce 0%
16/07/17 20:57:23 INFO mapreduce.Job:  map 25% reduce 0%
16/07/17 20:57:27 INFO mapreduce.Job:  map 26% reduce 0%
16/07/17 20:57:32 INFO mapreduce.Job:  map 27% reduce 0%
16/07/17 20:57:36 INFO mapreduce.Job:  map 28% reduce 0%
16/07/17 20:57:41 INFO mapreduce.Job:  map 29% reduce 0%
16/07/17 20:57:45 INFO mapreduce.Job:  map 30% reduce 0%
16/07/17 20:57:50 INFO mapreduce.Job:  map 31% reduce 0%
16/07/17 20:57:54 INFO mapreduce.Job:  map 32% reduce 0%
16/07/17 20:57:59 INFO mapreduce.Job:  map 33% reduce 0%
16/07/17 20:58:03 INFO mapreduce.Job:  map 34% reduce 0%
16/07/17 20:58:08 INFO mapreduce.Job:  map 35% reduce 0%
16/07/17 20:58:12 INFO mapreduce.Job:  map 36% reduce 0%
16/07/17 20:58:15 INFO mapreduce.Job:  map 37% reduce 0%
16/07/17 20:58:20 INFO mapreduce.Job:  map 38% reduce 0%
16/07/17 20:58:24 INFO mapreduce.Job:  map 39% reduce 0%
16/07/17 20:58:29 INFO mapreduce.Job:  map 40% reduce 0%
16/07/17 20:58:33 INFO mapreduce.Job:  map 41% reduce 0%
16/07/17 20:58:38 INFO mapreduce.Job:  map 42% reduce 0%
16/07/17 20:58:42 INFO mapreduce.Job:  map 43% reduce 0%
16/07/17 20:58:47 INFO mapreduce.Job:  map 44% reduce 0%
16/07/17 20:58:51 INFO mapreduce.Job:  map 45% reduce 0%
16/07/17 20:58:56 INFO mapreduce.Job:  map 46% reduce 0%
16/07/17 20:59:00 INFO mapreduce.Job:  map 58% reduce 0%
16/07/17 20:59:06 INFO mapreduce.Job:  map 59% reduce 0%
16/07/17 20:59:11 INFO mapreduce.Job:  map 59% reduce 11%
16/07/17 20:59:15 INFO mapreduce.Job:  map 60% reduce 11%
16/07/17 20:59:21 INFO mapreduce.Job:  map 61% reduce 11%
16/07/17 20:59:30 INFO mapreduce.Job:  map 62% reduce 11%
16/07/17 20:59:39 INFO mapreduce.Job:  map 63% reduce 11%
16/07/17 20:59:48 INFO mapreduce.Job:  map 64% reduce 11%
16/07/17 20:59:58 INFO mapreduce.Job:  map 65% reduce 11%
16/07/17 21:00:04 INFO mapreduce.Job:  map 66% reduce 11%
16/07/17 21:00:13 INFO mapreduce.Job:  map 67% reduce 11%
16/07/17 21:00:23 INFO mapreduce.Job:  map 68% reduce 11%
16/07/17 21:00:26 INFO mapreduce.Job:  map 79% reduce 11%
16/07/17 21:00:27 INFO mapreduce.Job:  map 79% reduce 22%
16/07/17 21:00:35 INFO mapreduce.Job:  map 80% reduce 22%
16/07/17 21:00:59 INFO mapreduce.Job:  map 81% reduce 22%
16/07/17 21:01:20 INFO mapreduce.Job:  map 82% reduce 22%
16/07/17 21:01:44 INFO mapreduce.Job:  map 83% reduce 22%
16/07/17 21:02:08 INFO mapreduce.Job:  map 84% reduce 22%
16/07/17 21:02:32 INFO mapreduce.Job:  map 85% reduce 22%
16/07/17 21:02:56 INFO mapreduce.Job:  map 86% reduce 22%
16/07/17 21:03:17 INFO mapreduce.Job:  map 87% reduce 22%
16/07/17 21:03:41 INFO mapreduce.Job:  map 88% reduce 22%
16/07/17 21:04:06 INFO mapreduce.Job:  map 89% reduce 22%
16/07/17 21:04:15 INFO mapreduce.Job:  map 100% reduce 22%
16/07/17 21:04:16 INFO mapreduce.Job:  map 100% reduce 90%
16/07/17 21:04:17 INFO mapreduce.Job:  map 100% reduce 100%
16/07/17 21:04:17 INFO mapreduce.Job: Job job_1468752229715_0021 completed successfully
16/07/17 21:04:17 INFO mapreduce.Job: Counters: 50
        File System Counters
                FILE: Number of bytes read=2892255
                FILE: Number of bytes written=6158011
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=10898788
                HDFS: Number of bytes written=861195
                HDFS: Number of read operations=15
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2
        Job Counters 
                Killed map tasks=2
                Launched map tasks=5
                Launched reduce tasks=1
                Data-local map tasks=5
                Total time spent by all maps in occupied slots (ms)=1417294
                Total time spent by all reduces in occupied slots (ms)=313657
                Total time spent by all map tasks (ms)=1417294
                Total time spent by all reduce tasks (ms)=313657
                Total vcore-seconds taken by all map tasks=1417294
                Total vcore-seconds taken by all reduce tasks=313657
                Total megabyte-seconds taken by all map tasks=1451309056
                Total megabyte-seconds taken by all reduce tasks=321184768
        Map-Reduce Framework
                Map input records=51444
                Map output records=154332
                Map output bytes=2583585
                Map output materialized bytes=2892267
                Input split bytes=300
                Combine input records=0
                Combine output records=0
                Reduce input groups=51444
                Reduce shuffle bytes=2892267
                Reduce input records=154332
                Reduce output records=51444
                Spilled Records=308664
                Shuffled Maps =3
                Failed Shuffles=0
                Merged Map outputs=3
                GC time elapsed (ms)=9078
                CPU time spent (ms)=1054730
                Physical memory (bytes) snapshot=1011130368
                Virtual memory (bytes) snapshot=3553914880
                Total committed heap usage (bytes)=575209472
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=696040
        File Output Format Counters 
                Bytes Written=861195
16/07/17 21:04:19 INFO client.RMProxy: Connecting to ResourceManager at hadoop22/10.187.84.51:8032
16/07/17 21:04:19 WARN mapreduce.JobSubmitter: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/07/17 21:04:20 INFO input.FileInputFormat: Total input paths to process : 1
16/07/17 21:04:20 INFO mapreduce.JobSubmitter: number of splits:1
16/07/17 21:04:20 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1468752229715_0022
16/07/17 21:04:20 INFO impl.YarnClientImpl: Submitted application application_1468752229715_0022
16/07/17 21:04:20 INFO mapreduce.Job: The url to track the job: http://hadoop22:8088/proxy/application_1468752229715_0022/
16/07/17 21:04:20 INFO mapreduce.Job: Running job: job_1468752229715_0022
16/07/17 21:04:27 INFO mapreduce.Job: Job job_1468752229715_0022 running in uber mode : false
16/07/17 21:04:27 INFO mapreduce.Job:  map 0% reduce 0%
16/07/17 21:04:33 INFO mapreduce.Job:  map 100% reduce 0%
16/07/17 21:04:38 INFO mapreduce.Job:  map 100% reduce 100%
16/07/17 21:04:38 INFO mapreduce.Job: Job job_1468752229715_0022 completed successfully
16/07/17 21:04:38 INFO mapreduce.Job: Counters: 49
        File System Counters
                FILE: Number of bytes read=24
                FILE: Number of bytes written=186173
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=861298
                HDFS: Number of bytes written=12
                HDFS: Number of read operations=6
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2
        Job Counters 
                Launched map tasks=1
                Launched reduce tasks=1
                Data-local map tasks=1
                Total time spent by all maps in occupied slots (ms)=3580
                Total time spent by all reduces in occupied slots (ms)=3393
                Total time spent by all map tasks (ms)=3580
                Total time spent by all reduce tasks (ms)=3393
                Total vcore-seconds taken by all map tasks=3580
                Total vcore-seconds taken by all reduce tasks=3393
                Total megabyte-seconds taken by all map tasks=3665920
                Total megabyte-seconds taken by all reduce tasks=3474432
        Map-Reduce Framework
                Map input records=51444
                Map output records=1
                Map output bytes=16
                Map output materialized bytes=24
                Input split bytes=103
                Combine input records=0
                Combine output records=0
                Reduce input groups=1
                Reduce shuffle bytes=24
                Reduce input records=1
                Reduce output records=1
                Spilled Records=2
                Shuffled Maps =1
                Failed Shuffles=0
                Merged Map outputs=1
                GC time elapsed (ms)=89
                CPU time spent (ms)=2360
                Physical memory (bytes) snapshot=435548160
                Virtual memory (bytes) snapshot=1775456256
                Total committed heap usage (bytes)=310444032
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=861195
        File Output Format Counters 
                Bytes Written=12

统计：

精确度：51444   51367
CPU time spent (ms)=1054730  （此时看来数据量很小的时候，不太适合分而治之，间接说明了hadoop适合大数据）
map tasks=3

总结：MapReduce在处理大数据的时候，会逐渐发挥集群的优势，通过mapper任务的并行处理，提高大数据的处理速度！

你可能感兴趣的:(mapreduce,kNN算法,分之策略)

机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习 python
一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务 java 架构
在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
Goolge earth studio 进阶4——路径修改与平滑陟彼高冈yu Google earth studio 进阶教程旅游
如果我们希望在大约中途时获得更多的城市鸟瞰视角。可以将相机拖动到这里并创建一个新的关键帧。camera_target_clip_7EarthStudio会自动平滑我们的路径，所以当我们通过这个关键帧时，不是一个生硬的角度，而是一个平滑的曲线。camera_target_clip_8路径上有贝塞尔控制手柄，允许我们调整路径的形状。右键单击，我们可以选择“平滑路径”，这是默认的自动平滑算法，或者我们可
基于社交网络算法优化的二维最大熵图像分割智能算法研学社（Jack旭）智能优化算法应用图像分割算法 php 开发语言
智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码文章目录智能优化算法应用：基于社交网络优化的二维最大熵图像阈值分割-附代码1.前言2.二维最大熵阈值分割原理3.基于社交网络优化的多阈值分割4.算法结果：5.参考文献：6.Matlab代码摘要：本文介绍基于最大熵的图像分割，并且应用社交网络算法进行阈值寻优。1.前言阅读此文章前，请阅读《图像分割：直方图区域划分及信息统计介绍》htt
121. 买卖股票的最佳时机薄荷糖的味道_fb40
给定一个数组，它的第i个元素是一支给定股票第i天的价格。如果你最多只允许完成一笔交易（即买入和卖出一支股票），设计一个算法来计算你所能获取的最大利润。注意你不能在买入股票前卖出股票。示例1:输入:[7,1,5,3,6,4]输出:5解释:在第2天（股票价格=1）的时候买入，在第5天（股票价格=6）的时候卖出，最大利润=6-1=5。注意利润不能是7-1=6,因为卖出价格需要大于买入价格。示例2:输入:
每日算法&面试题，大厂特训二十八天——第二十天（树）肥学 ⚡算法题⚡面试题每日精进 java 算法数据结构
目录标题导读算法特训二十八天面试题点击直接资料领取导读肥友们为了更好的去帮助新同学适应算法和面试题，最近我们开始进行专项突击一步一步来。上一期我们完成了动态规划二十一天现在我们进行下一项对各类算法进行二十八天的一个小总结。还在等什么快来一起肥学进行二十八天挑战吧！！特别介绍小白练手专栏，适合刚入手的新人欢迎订阅编程小白进阶python有趣练手项目里面包括了像《机器人尬聊》《恶搞程序》这样的有趣文章
回溯算法-重新安排行程 chirou_ 算法数据结构图论 c++图搜索
leetcode332.重新安排行程这题我还没自己ac过，只能现在凭着刚学完的热乎劲把我对题解的理解记下来。本题我认为对数据结构的考察比较多，用什么数据结构去存数据，去读取数据，都是很重要的。classSolution{private:unordered_map>targets;boolbacktracking(intticketNum,vector&result){//1.确定参数和返回值//2
怎么做淘客赚钱(2022最新免费淘客盈利的方法) 高省_飞智666600
很多人都不知道什么是淘宝客，今天小编为大家解答一下吧。淘宝客，现在简称淘客，是时下比较流行的一个词语，特质为淘宝店推广商品获取提成的人，这些人没有自己的产品，只是在淘宝里面选择适合自己的产品，在自己比较熟悉的领域推广，把产品卖出去之后，会从淘宝店家那里获得百分之五到百分之五十左右的佣金。淘宝客付出的是什么呢？时间。你需要花时间去选适合自己推广的产品，需要花时间去选自己的推广方法，如果你打算自己做个
Faiss：高效相似性搜索与聚类的利器网络·魚大数据 faiss
Faiss是一个针对大规模向量集合的相似性搜索库，由FacebookAIResearch开发。它提供了一系列高效的算法和数据结构，用于加速向量之间的相似性搜索，特别是在大规模数据集上。本文将介绍Faiss的原理、核心功能以及如何在实际项目中使用它。Faiss原理：近似最近邻搜索：Faiss的核心功能之一是近似最近邻搜索，它能够高效地在大规模数据集中找到与给定查询向量最相似的向量。这种搜索是近似的，
对于写作者最重要的两点：热情和分享鱼和熊掌兼得
【热情】在开头，塔奇曼提到光有热情是不够的。但是，要想长期的坚持写作，没有热情是不行的。很多人都说，这是一个对写作者很优待的时代，也有很多人前仆后继的写作。在写作这条路上的人，始终很多，一些人来了，一些人走了，但是能坚持下来的却只有那么几个。不知道什么时候开始，写作变现这个词火了起来。不管是谁，都想来分一杯羹。可是写作变现真的没有这么容易，鱼哥说过，写作的人千千万万，能变现的也不过是其中的千分之一
insert into select 主键自增_mybatis拦截器实现主键自动生成 weixin_39521651 insert into select 主键自增 mybatis delete返回值 mybatis insert返回主键 mybatis insert返回对象 mybatis plus insert返回主键 mybatis plus 插入生成id
前言前阵子和朋友聊天，他说他们项目有个需求，要实现主键自动生成，不想每次新增的时候，都手动设置主键。于是我就问他，那你们数据库表设置主键自动递增不就得了。他的回答是他们项目目前的id都是采用雪花算法来生成，因此为了项目稳定性，不会切换id的生成方式。朋友问我有没有什么实现思路，他们公司的orm框架是mybatis，我就建议他说，不然让你老大把mybatis切换成mybatis-plus。mybat
k均值聚类算法考试例题_k均值算法(k均值聚类算法计算题) 寻找你83497 k均值聚类算法考试例题
?算法：第一步：选K个初始聚类中心，z1(1),z2(1)，…，zK(1)，其中括号内的序号为寻找聚类中心的迭代运算的次序号。聚类中心的向量值可任意设定，例如可选开始的K个.k均值聚类：---------一种硬聚类算法，隶属度只有两个取值0或1，提出的基本根据是“类内误差平方和最小化”准则；模糊的c均值聚类算法：--------一种模糊聚类算法，是.K均值聚类算法是先随机选取K个对象作为初始的聚类
2022-08-28 蔚蓝一片晴
初三暑假培训收获点滴从8月25至8月27日三天两晚的培训结束了，回到家中，该静下心来整理一下触动心灵的收获，成为成长的积淀。1.在优秀团队中快速成长与提升，做一名反思成长型教师一名专业型教师的教学指导包括了教学原理知识、案例知识、策略知识。面对教学中的遇到的有趣的情形、问题会去研究其理，寻找更好的教法学法对策。从新手到成熟型教师，再走向专业型教师，需要的是觉醒与反思，多进行案例研究，从案例中观察、
TDengine 签约前晨汽车，解锁智能出行的无限潜力涛思数据（TDengine） tdengine 汽车大数据
在全球汽车产业转型升级的背景下，智能网联和新能源技术正迅速成为商用车行业的重要发展方向。随着市场对环保和智能化需求的日益增强，企业必须在技术创新和数据管理上不断突破，以满足客户对高效、安全和智能出行的期待。在这一背景下，前晨汽车凭借其在新能源智能商用车领域的前瞻性布局和技术实力，成为行业中的佼佼者。前晨汽车采用整车数据采集和全车数据打通策略，能够实时将数据推送至APP端客户。然而，这导致整体写入和
Python实现简单的机器学习算法 master_chenchengg python python 办公效率 python开发 IT
Python实现简单的机器学习算法开篇：初探机器学习的奇妙之旅搭建环境：一切从安装开始必备工具箱第一步：安装Anaconda和JupyterNotebook小贴士：如何配置Python环境变量算法初体验：从零开始的Python机器学习线性回归：让数据说话数据准备：从哪里找数据编码实战：Python实现线性回归模型评估：如何判断模型好坏逻辑回归：从分类开始理论入门：什么是逻辑回归代码实现：使用skl
推荐算法_隐语义-梯度下降 _feivirus_ 算法机器学习和数学推荐算法机器学习隐语义
importnumpyasnp1.模型实现"""inputrate_matrix:M行N列的评分矩阵，值为P*Q.P:初始化用户特征矩阵M*K.Q:初始化物品特征矩阵K*N.latent_feature_cnt:隐特征的向量个数max_iteration:最大迭代次数alpha:步长lamda:正则化系数output分解之后的P和Q"""defLFM_grad_desc(rate_matrix,l
K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习 K近邻
importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
大都会资本BMAN的2018年终总结非线性思考
1投资的本质是认知变现赚钱=足够的认知*高效的的变现。2投资的三大基石策略:提升认知高效变现知行合一3如果你亏钱了要么是认知的问题，要么是变现的问题，要么而是知行合一的问题。4投资需要知行合一，很简单的道理，却拦住了很多高手，是因为认知和行动中间还隔着人性。顶级的高手能把自己从贪嗔痴中抽离出来，顶级高手没有人性，只有原则。5如果你玩的是空气币，就不要幻想拿着它改变世界，那是你套出了幻觉，眼光放短一
数据结构 | 栈和队列 TT-Kun 数据结构与算法数据结构栈队列 C语言
文章目录栈和队列1.栈：后进先出（LIFO）的数据结构1.1概念与结构1.2栈的实现2.队列：先进先出（FIFO）的数据结构2.1概念与结构2.2队列的实现3.栈和队列算法题3.1有效的括号3.2用队列实现栈3.3用栈实现队列3.4设计循环队列结论栈和队列在计算机科学中，栈和队列是两种基本且重要的数据结构，它们在处理数据存储和访问顺序方面有着独特的规则和应用。本文将详细介绍栈和队列的概念、结构、实
[Python] 数据结构详解及代码 AIAdvocate 算法 python 数据结构链表
今日内容大纲介绍数据结构介绍列表链表1.数据结构和算法简介程序大白话翻译,程序=数据结构+算法数据结构指的是存储,组织数据的方式.算法指的是为了解决实际业务问题而思考思路和方法,就叫:算法.2.算法的5大特性介绍算法具有独立性算法是解决问题的思路和方式,最重要的是思维,而不是语言,其(算法)可以通过多种语言进行演绎.5大特性有输入,需要传入1或者多个参数有输出,需要返回1个或者多个结果有穷性,执行
Python算法L5：贪心算法小熊同学哦 Python算法算法 python 贪心算法
Python贪心算法简介目录Python贪心算法简介贪心算法的基本步骤贪心算法的适用场景经典贪心算法问题1.**零钱兑换问题**2.**区间调度问题**3.**背包问题**贪心算法的优缺点优点：缺点：结语贪心算法（GreedyAlgorithm）是一种在每一步选择中都采取当前最优或最优解的算法。它的核心思想是，在保证每一步局部最优的情况下，希望通过贪心选择达到全局最优解。虽然贪心算法并不总能得到全
【RabbitMQ 项目】服务端：数据管理模块之绑定管理月夜星辉雪 rabbitmq 分布式
文章目录一.编写思路二.代码实践一.编写思路定义绑定信息类交换机名称队列名称绑定关键字：交换机的路由交换算法中会用到没有是否持久化的标志，因为绑定是否持久化取决于交换机和队列是否持久化，只有它们都持久化时绑定才需要持久化。绑定就好像一根绳子，两端连接着交换机和队列，当一方不存在，它就没有存在的必要了定义绑定持久化类构造函数：如果数据库文件不存在则创建，打开数据库，创建binding_table插入
《转介绍方法论》学习笔记小可乐的妈妈
一、高效转介绍的流程：价值观---执行----方案一）转介绍发生的背景：1、对象：谁向谁转介绍？全员营销，人人参与。①员工的激励政策、客户的转介绍诱因制作客户画像：a信任；支付能力；意愿度；便利度（根据家长具备四个特征的个数分为四类）B性格分类C职业分类D年龄性别②执行：套路，策略，方法，流程2、诱因：为什么要转介绍？认同信任；多方共赢；传递美好；零风险承诺打动人心，超越期待。选择做教育，就是选择
非对称加密算法原理与应用2——RSA私钥加密文件私语茶馆云部署与开发架构及产品灵感记录 RSA2048 私钥加密
作者：私语茶馆1.相关章节（1）非对称加密算法原理与应用1——秘钥的生成-CSDN博客第一章节讲述的是创建秘钥对，并将公钥和私钥导出为文件格式存储。本章节继续讲如何利用私钥加密内容，包括从密钥库或文件中读取私钥，并用RSA算法加密文件和String。2.私钥加密的概述本文主要基于第一章节的RSA2048bit的非对称加密算法讲述如何利用私钥加密文件。这种加密后的文件，只能由该私钥对应的公钥来解密。
粒子群优化 (PSO) 在三维正弦波函数中的应用 subject625Ruben 机器学习人工智能 matlab 算法
在这篇博客中，我们将展示如何使用粒子群优化（PSO）算法求解三维正弦波函数，并通过增加正弦波扰动，使优化过程更加复杂和有趣。本文将介绍目标函数的定义、PSO参数设置以及算法执行的详细过程，并展示搜索空间中的动态过程和收敛曲线。1.目标函数定义我们使用的目标函数是一个三维正弦波函数，定义如下：objectiveFunc=@(x)sin(sqrt(x(1).^2+x(2).^2))+0.5*sin(5
2020年学习什么知识比较好？互联网行业依然是发展较佳编程仔
2019年余额已不足，不少职场人心里也在盘点这一年的工作得失，琢磨新一年的奋斗策略，是继续冲刺还是换个跑道？今年跳槽更难吗？image互联网行业一直以相对较丰厚的薪酬和广阔的发展前景吸引着各界人才。但最近，互联网行业寒冬、互联网企业裁员等话题再次引起热议。正在从前些年的高速发展期转向发展调整期的互联网行业真的步入了“寒冬”？该行业依旧具有吸引力吗？什么职位又最热门呢？image互联网行业仍保持较高
融开心告诉你：银行怎么靠你的信用卡赚钱骊驰商学院
办卡送礼、刷卡返现……信用卡无论办卡还是用卡，福利不要太爽哦~~很多人出于种种原因，办理了多张信用卡。然而却不知道：只要你用信用卡消费，银行就已经开始用你的卡来赚钱了。银行怎么靠你的信用卡赚钱，骊驰融开心告诉你这些：银行怎么靠你的信用卡赚钱？1、信用卡利息收入。持卡人透支信用额度所支付的利息，这一部分是信用卡收入的主要部分。如持卡人逾期、还最低还款额时，利息就产生，日息万分之五哦~~2、信用卡年费
非对称加密算法————RSA理论及详情 hu19930613
转自：https://www.kancloud.cn/kancloud/rsa_algorithm/48484一、一点历史1976年以前，所有的加密方法都是同一种模式：（1）甲方选择某一种加密规则，对信息进行加密；（2）乙方使用同一种规则，对信息进行解密。由于加密和解密使用同样规则（简称"密钥"），这被称为"对称加密算法"（Symmetric-keyalgorithm）。这种加密模式有一个最大弱点
线上到线下：相亲交友系统如何打造全方位恋爱体验 h17711347205 人工智能大数据
在数字化时代，相亲交友系统正逐渐成为单身人士寻找伴侣的重要渠道。我们的目标是打造一个全方位的恋爱体验，将线上的便捷性与线下的真实互动相结合，为用户提供一个无缝衔接的交友平台。以下是如何从运营角度出发，实现这一目标的详细策略。线上到线下：相亲交友系统如何打造全方位恋爱体验在快节奏的现代社会，相亲交友系统为单身人士提供了一个便捷的相识途径17711347205。然而，真正的恋爱体验往往需要线下的真实互
ai绘画工具midjourney怎么下载？附作品管理教程设计师早上好
Midjourney是一款功能强大的AI绘画工具，它使用机器学习技术和深度神经网络等算法，可以生成各种艺术风格的绘画作品。在创意设计、广告宣传等方面有着广泛的应用前景。那么，ai绘画工具midjourney怎么下载？本文将为您介绍Midjourney的下载以及作品的相关管理。一、Midjourney下载Midjourney的下载非常简单，只需打开Midjourney官网（点击“GetMidjour
java数字签名三种方式知了ing java jdk
以下3钟数字签名都是基于jdk7的 1，RSA String password="test"; // 1.初始化密钥 KeyPairGenerator keyPairGenerator = KeyPairGenerator.getInstance("RSA"); keyPairGenerator.initialize(51
Hibernate学习笔记 caoyong Hibernate
1>、Hibernate是数据访问层框架，是一个ORM(Object Relation Mapping)框架，作者为:Gavin King 2>、搭建Hibernate的开发环境 a>、添加jar包: aa>、hibernatte开发包中/lib/required/所
设计模式之装饰器模式Decorator（结构型）漂泊一剑客 Decorator
1. 概述若你从事过面向对象开发，实现给一个类或对象增加行为，使用继承机制，这是所有面向对象语言的一个基本特性。如果已经存在的一个类缺少某些方法，或者须要给方法添加更多的功能（魅力），你也许会仅仅继承这个类来产生一个新类—这建立在额外的代码上。
读取磁盘文件txt，并输入String 一炮送你回车库 String
public static void main(String[] args) throws IOException { String fileContent = readFileContent("d:/aaa.txt"); System.out.println(fileContent);
js三级联动下拉框 3213213333332132 三级联动
//三级联动省/直辖市<select id="province"></select> 市/省直辖<select id="city"></select> 县/区 <select id="area"></select>
erlang之parse_transform编译选项的应用 616050468 parse_transform 游戏服务器属性同步 abstract_code
最近使用erlang重构了游戏服务器的所有代码，之前看过C++/lua写的服务器引擎代码，引擎实现了玩家属性自动同步给前端和增量更新玩家数据到数据库的功能，这也是现在很多游戏服务器的优化方向，在引擎层面去解决数据同步和数据持久化，数据发生变化了业务层不需要关心怎么去同步给前端。由于游戏过程中玩家每个业务中玩家数据更改的量其实是很少
JAVA JSON的解析 darkranger java
// { // “Total”：“条数”， // Code: 1, // // “PaymentItems”:[ // { // “PaymentItemID”:”支款单ID”, // “PaymentCode”:”支款单编号”, // “PaymentTime”:”支款日期”, // ”ContractNo”:”合同号”， //
POJ-1273-Drainage Ditches aijuans ACM_POJ
POJ-1273-Drainage Ditches http://poj.org/problem?id=1273 基本的最大流，按LRJ的白书写的 #include<iostream> #include<cstring> #include<queue> using namespace std; #define INF 0x7fffffff int ma
工作流Activiti5表的命名及含义 atongyeye 工作流 Activiti
activiti5 - http://activiti.org/designer/update在线插件安装 activiti5一共23张表 Activiti的表都以ACT_开头。第二部分是表示表的用途的两个字母标识。用途也和服务的API对应。 ACT_RE_*: 'RE'表示repository。这个前缀的表包含了流程定义和流程静态资源（图片，规则，等等）。 A
android的广播机制和广播的简单使用百合不是茶 android 广播机制广播的注册
Android广播机制简介在Android中，有一些操作完成以后，会发送广播，比如说发出一条短信，或打出一个电话，如果某个程序接收了这个广播，就会做相应的处理。这个广播跟我们传统意义中的电台广播有些相似之处。之所以叫做广播，就是因为它只负责“说”而不管你“听不听”，也就是不管你接收方如何处理。另外，广播可以被不只一个应用程序所接收，当然也可能不被任何应
Spring事务传播行为详解 bijian1013 java spring 事务传播行为
在service类前加上@Transactional，声明这个service所有方法需要事务管理。每一个业务方法开始时都会打开一个事务。 Spring默认情况下会对运行期例外(RunTimeException)进行事务回滚。这
eidtplus operate 征客丶 eidtplus
开启列模式: Alt+C 鼠标选择 OR Alt+鼠标左键拖动列模式替换或复制内容(多行): 右键-->格式-->填充所选内容-->选择相应操作 OR Ctrl+Shift+V(复制多行数据,必须行数一致) -------------------------------------------------------
【Kafka一】Kafka入门 bit1129 kafka
这篇文章来自Spark集成Kafka(http://bit1129.iteye.com/blog/2174765)，这里把它单独取出来，作为Kafka的入门吧下载Kafka http://mirror.bit.edu.cn/apache/kafka/0.8.1.1/kafka_2.10-0.8.1.1.tgz 2.10表示Scala的版本，而0.8.1.1表示Kafka
Spring 事务实现机制 BlueSkator spring 代理事务
Spring是以代理的方式实现对事务的管理。我们在Action中所使用的Service对象，其实是代理对象的实例，并不是我们所写的Service对象实例。既然是两个不同的对象，那为什么我们在Action中可以象使用Service对象一样的使用代理对象呢？为了说明问题，假设有个Service类叫AService，它的Spring事务代理类为AProxyService，AService实现了一个接口
bootstrap源码学习与示例：bootstrap-dropdown（转帖） BreakingBad bootstrap dropdown
bootstrap-dropdown组件是个烂东西，我读后的整体感觉。一个下拉开菜单的设计： <ul class="nav pull-right"> <li id="fat-menu" class="dropdown">
读《研磨设计模式》-代码笔记-中介者模式-Mediator bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ /* * 中介者模式（Mediator）：用一个中介对象来封装一系列的对象交互。 * 中介者使各对象不需要显式地相互引用，从而使其耦合松散，而且可以独立地改变它们之间的交互。 * * 在我看来，Mediator模式是把多个对象（
常用代码记录 chenjunt3 UI Excel J#
1、单据设置某行或某字段不能修改 //i是行号,"cash"是字段名称 getBillCardPanelWrapper().getBillCardPanel().getBillModel().setCellEditable(i, "cash", false); //取得单据表体所有项用以上语句做循环就能设置整行了 getBillC
搜索引擎与工作流引擎 comsci 算法工作搜索引擎网络应用
最近在公司做和搜索有关的工作，(只是简单的应用开源工具集成到自己的产品中)工作流系统的进一步设计暂时放在一边了，偶然看到谷歌的研究员吴军写的数学之美系列中的搜索引擎与图论这篇文章中的介绍，我发现这样一个关系(仅仅是猜想) -----搜索引擎和流程引擎的基础--都是图论，至少像在我在JWFD中引擎算法中用到的是自定义的广度优先
oracle Health Monitor daizj oracle Health Monitor
About Health Monitor Beginning with Release 11g, Oracle Database includes a framework called Health Monitor for running diagnostic checks on the database. About Health Monitor Checks Health M
JSON字符串转换为对象 dieslrae java json
作为前言,首先是要吐槽一下公司的脑残编译部署方式,web和core分开部署本来没什么问题,但是这丫居然不把json的包作为基础包而作为web的包,导致了core端不能使用,而且我们的core是可以当web来用的(不要在意这些细节),所以在core中处理json串就是个问题.没办法,跟编译那帮人也扯不清楚,只有自己写json的解析了.
C语言学习八结构体，综合应用，学生管理系统 dcj3sjt126com C语言
实现功能的代码： # include <stdio.h> # include <malloc.h> struct Student { int age; float score; char name[100]; }; int main(void) { int len; struct Student * pArr; int i,
vagrant学习笔记 dcj3sjt126com vagrant
想了解多主机是如何定义和使用的, 所以又学习了一遍vagrant 1. vagrant virtualbox 下载安装 https://www.vagrantup.com/downloads.html https://www.virtualbox.org/wiki/Downloads 查看安装在命令行输入vagrant 2.
14.性能优化-优化-软件配置优化 frank1234 软件配置性能优化
1.Tomcat线程池修改tomcat的server.xml文件： <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" maxThreads="1200" m
一个不错的shell 脚本教程入门级 HarborChung linux shell
一个不错的shell 脚本教程入门级建立一个脚本　　Linux中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在 bash的大姐，bourne shell中运行）。　　如同其他语言一样
Spring4新特性——核心容器的其他改进 jinnianshilongnian spring 动态代理 spring4 依赖注入
Spring4新特性——泛型限定式依赖注入 Spring4新特性——核心容器的其他改进 Spring4新特性——Web开发的增强 Spring4新特性——集成Bean Validation 1.1(JSR-349)到SpringMVC Spring4新特性——Groovy Bean定义DSL Spring4新特性——更好的Java泛型操作API Spring4新
Linux设置tomcat开机启动 liuxingguome tomcat linux 开机自启动
执行命令sudo gedit /etc/init.d/tomcat6 然后把以下英文部分复制过去。（注意第一句#!/bin/sh如果不写，就不是一个shell文件。然后将对应的jdk和tomcat换成你自己的目录就行了。 #!/bin/bash # # /etc/rc.d/init.d/tomcat # init script for tomcat precesses
第13章 Ajax进阶（下） onestopweb Ajax
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
Troubleshooting Crystal Reports off BW blueoxygen BO
http://wiki.sdn.sap.com/wiki/display/BOBJ/Troubleshooting+Crystal+Reports+off+BW#TroubleshootingCrystalReportsoffBW-TracingBOE Quite useful, especially this part: SAP BW connectivity For t
Java开发熟手该当心的11个错误 tomcat_oracle java jvm 多线程单元测试
#1、不在属性文件或XML文件中外化配置属性。比如，没有把批处理使用的线程数设置成可在属性文件中配置。你的批处理程序无论在DEV环境中，还是UAT（用户验收测试）环境中，都可以顺畅无阻地运行，但是一旦部署在PROD 上，把它作为多线程程序处理更大的数据集时，就会抛出IOException，原因可能是JDBC驱动版本不同，也可能是#2中讨论的问题。如果线程数目可以在属性文件中配置，那么使它成为
正则表达式大全 yang852220741 html 编程正则表达式
今天向大家分享正则表达式大全，它可以大提高你的工作效率正则表达式也可以被当作是一门语言，当你学习一门新的编程语言的时候，他们是一个小的子语言。初看时觉得它没有任何的意义，但是很多时候，你不得不阅读一些教程，或文章来理解这些简单的描述模式。一、校验数字的表达式数字：^[0-9]*$ n位的数字：^\d{n}$ 至少n位的数字：^\d{n,}$ m-n位的数字：^\d{m,n}$