yongjian_luo
yongjian_luo

spark 官方动手练习二：用spark浏览维基百科的数据<转>

在本章中，我们将首先使用Spark shell以交互方式浏览维基百科的数据。然后，我们会给出一个简要介绍了编写spark的程序。请记住，Spark是建立在Hadoop分布式文件系统（HDFS）之上的开源的计算引擎。

交互数据分析

现在，让我们用spark办对数据集中的进行排序和统计。首先，启动spark shell：
[root@hadoop spark-0.8.0]# spark-shell
Welcome to
      ____              __  
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 0.8.0
      /_/                  


Using Scala version 2.9.3 (Java HotSpot(TM) Client VM, Java 1.6.0_24)
Initializing interpreter...
13/12/30 18:21:53 INFO server.Server: jetty-7.x.y-SNAPSHOT
13/12/30 18:21:53 INFO server.AbstractConnector: Started [email protected]:40248
Creating SparkContext...
13/12/30 18:22:10 INFO slf4j.Slf4jEventHandler: Slf4jEventHandler started
13/12/30 18:22:10 INFO spark.SparkEnv: Registering BlockManagerMaster
13/12/30 18:22:10 INFO storage.MemoryStore: MemoryStore started with capacity 326.7 MB.
13/12/30 18:22:10 INFO storage.DiskStore: Created local directory at /tmp/spark-local-20131230182210-e790
13/12/30 18:22:10 INFO network.ConnectionManager: Bound socket to port 36326 with id = ConnectionManagerId(hadoop,36326)
13/12/30 18:22:10 INFO storage.BlockManagerMaster: Trying to register BlockManager
13/12/30 18:22:10 INFO storage.BlockManagerMasterActor$BlockManagerInfo: Registering block manager hadoop:36326 with 326.7 MB RAM
13/12/30 18:22:10 INFO storage.BlockManagerMaster: Registered BlockManager
13/12/30 18:22:10 INFO server.Server: jetty-7.x.y-SNAPSHOT
13/12/30 18:22:10 INFO server.AbstractConnector: Started [email protected]:36168
13/12/30 18:22:10 INFO broadcast.HttpBroadcast: Broadcast server started at http://192.168.223.135:36168
13/12/30 18:22:10 INFO spark.SparkEnv: Registering MapOutputTracker
13/12/30 18:22:11 INFO spark.HttpFileServer: HTTP File server directory is /tmp/spark-41e1f8f5-140e-4a28-abec-94031bb75be7
13/12/30 18:22:11 INFO server.Server: jetty-7.x.y-SNAPSHOT
13/12/30 18:22:11 INFO server.AbstractConnector: Started [email protected]:47315
13/12/30 18:22:11 INFO server.Server: jetty-7.x.y-SNAPSHOT
13/12/30 18:22:11 INFO handler.ContextHandler: started o.e.j.s.h.ContextHandler{/storage/rdd,null}
13/12/30 18:22:11 INFO handler.ContextHandler: started o.e.j.s.h.ContextHandler{/storage,null}
13/12/30 18:22:11 INFO handler.ContextHandler: started o.e.j.s.h.ContextHandler{/stages/stage,null}
13/12/30 18:22:11 INFO handler.ContextHandler: started o.e.j.s.h.ContextHandler{/stages/pool,null}
13/12/30 18:22:11 INFO handler.ContextHandler: started o.e.j.s.h.ContextHandler{/stages,null}
13/12/30 18:22:11 INFO handler.ContextHandler: started o.e.j.s.h.ContextHandler{/environment,null}
13/12/30 18:22:11 INFO handler.ContextHandler: started o.e.j.s.h.ContextHandler{/executors,null}
13/12/30 18:22:11 INFO handler.ContextHandler: started o.e.j.s.h.ContextHandler{/metrics/json,null}
13/12/30 18:22:11 INFO handler.ContextHandler: started o.e.j.s.h.ContextHandler{/static,null}
13/12/30 18:22:11 INFO handler.ContextHandler: started o.e.j.s.h.ContextHandler{/,null}
13/12/30 18:22:11 INFO server.AbstractConnector: Started [email protected]:4040
13/12/30 18:22:11 INFO ui.SparkUI: Started Spark Web UI at http://hadoop:4040
Spark context available as sc.
Type in expressions to have them evaluated.
Type :help for more information.

scala> 

1.通过创建一个RDD（弹性分布式数据集）名为输入文件pagecounts。在Spark shell，SparkContext已经为您创建为变量SC。

scala> sc
res0: org.apache.spark.SparkContext = org.apache.spark.SparkContext@15978e7


scala> val pagecounts = sc.textFile("/wiki/pagecounts")
13/12/30 18:32:07 WARN util.SizeEstimator: Failed to check whether UseCompressedOops is set; assuming yes
13/12/30 18:32:08 INFO storage.MemoryStore: ensureFreeSpace(32207) called with curMem=0, maxMem=342526525
13/12/30 18:32:08 INFO storage.MemoryStore: Block broadcast_0 stored as values to memory (estimated size 31.5 KB, free 326.6 MB)
pagecounts: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at <console>:12

2.让我们看一下数据。您可以使用RDD（弹性分布式数据集）的take()来获取前K个记录。这里，K= 10

scala> pagecounts.take(10)
13/12/30 18:35:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/12/30 18:35:08 WARN snappy.LoadSnappy: Snappy native library not loaded
13/12/30 18:35:08 INFO mapred.FileInputFormat: Total input paths to process : 1
13/12/30 18:35:08 INFO spark.SparkContext: Starting job: take at <console>:15
13/12/30 18:35:08 INFO scheduler.DAGScheduler: Got job 0 (take at <console>:15) with 1 output partitions (allowLocal=true)
13/12/30 18:35:08 INFO scheduler.DAGScheduler: Final stage: Stage 0 (take at <console>:15)
13/12/30 18:35:08 INFO scheduler.DAGScheduler: Parents of final stage: List()
13/12/30 18:35:08 INFO scheduler.DAGScheduler: Missing parents: List()
13/12/30 18:35:08 INFO scheduler.DAGScheduler: Computing the requested partition locally
13/12/30 18:35:08 INFO rdd.HadoopRDD: Input split: file:/wiki/pagecounts/wiki-cout.txt:0+3460512
13/12/30 18:35:08 INFO spark.SparkContext: Job finished: take at <console>:15, took 0.085379768 s
res1: Array[String] = Array(20090507-040000 aa ?page=http://www.stockphotosharing.com/Themes/Images/users_raw/id.txt 3 39267, 20090507-040000 aa Main_Page 7 51309, 20090507-040000 aa Special:Boardvote 1 11631, 20090507-040000 aa Special:Imagelist 1 931, 20090507-040000 aa ?page=http://www.stockphotosharing.com/Themes/Images/users_raw/id.txt 3 39267, 20090507-040000 aa Main_Page 7 51309, 20090507-040000 aa Special:Boardvote 1 11631, 20090507-040000 aa Special:Imagelist 1 931, 20090507-040000 aa ?page=http://www.stockphotosharing.com/Themes/Images/users_raw/id.txt 3 39267, 20090507-040000 aa Main_Page 7 51309)

不幸的是，输出的信息是不可读，因为take()返回一个数组和Scala简单地打印该数组由逗号分隔的每个元素。我们可以让它通过遍历数组来更漂亮打印每一行的每个记录。

scala> pagecounts.take(10).foreach(println)
13/12/30 18:40:20 INFO spark.SparkContext: Starting job: take at <console>:15
13/12/30 18:40:20 INFO scheduler.DAGScheduler: Got job 1 (take at <console>:15) with 1 output partitions (allowLocal=true)
13/12/30 18:40:20 INFO scheduler.DAGScheduler: Final stage: Stage 1 (take at <console>:15)
13/12/30 18:40:20 INFO scheduler.DAGScheduler: Parents of final stage: List()
13/12/30 18:40:20 INFO scheduler.DAGScheduler: Missing parents: List()
13/12/30 18:40:20 INFO scheduler.DAGScheduler: Computing the requested partition locally
13/12/30 18:40:20 INFO rdd.HadoopRDD: Input split: file:/wiki/pagecounts/wiki-cout.txt:0+3460512
13/12/30 18:40:20 INFO spark.SparkContext: Job finished: take at <console>:15, took 0.007811997 s
20090507-040000 aa ?page=http://www.stockphotosharing.com/Themes/Images/users_raw/id.txt 3 39267
20090507-040000 aa Main_Page 7 51309
20090507-040000 aa Special:Boardvote 1 11631
20090507-040000 aa Special:Imagelist 1 931
20090507-040000 aa ?page=http://www.stockphotosharing.com/Themes/Images/users_raw/id.txt 3 39267
20090507-040000 aa Main_Page 7 51309
20090507-040000 aa Special:Boardvote 1 11631
20090507-040000 aa Special:Imagelist 1 931
20090507-040000 aa ?page=http://www.stockphotosharing.com/Themes/Images/users_raw/id.txt 3 39267
20090507-040000 aa Main_Page 7 51309


scala> 

3.让我们看看在这个数据集有多少条记录（由于运行时会预读数据集，所以该命令将需要一段时间）。

scala> pagecounts.count
13/12/30 18:44:34 INFO spark.SparkContext: Starting job: count at <console>:15
13/12/30 18:44:34 INFO scheduler.DAGScheduler: Got job 2 (count at <console>:15) with 1 output partitions (allowLocal=false)
13/12/30 18:44:34 INFO scheduler.DAGScheduler: Final stage: Stage 2 (count at <console>:15)
13/12/30 18:44:34 INFO scheduler.DAGScheduler: Parents of final stage: List()
13/12/30 18:44:34 INFO scheduler.DAGScheduler: Missing parents: List()
13/12/30 18:44:34 INFO scheduler.DAGScheduler: Submitting Stage 2 (MappedRDD[1] at textFile at <console>:12), which has no missing parents
13/12/30 18:44:34 INFO scheduler.DAGScheduler: Submitting 1 missing tasks from Stage 2 (MappedRDD[1] at textFile at <console>:12)
13/12/30 18:44:35 INFO local.LocalTaskSetManager: Size of task 0 is 1570 bytes
13/12/30 18:44:35 INFO local.LocalScheduler: Running 0
13/12/30 18:44:35 INFO rdd.HadoopRDD: Input split: file:/wiki/pagecounts/wiki-cout.txt:0+3460512
13/12/30 18:44:35 INFO local.LocalScheduler: Finished 0
13/12/30 18:44:35 INFO scheduler.DAGScheduler: Completed ResultTask(2, 0)
13/12/30 18:44:35 INFO scheduler.DAGScheduler: Stage 2 (count at <console>:15) finished in 0.385 s
13/12/30 18:44:35 INFO spark.SparkContext: Job finished: count at <console>:15, took 0.644667004 s
res3: Long = 61248


scala> 13/12/30 18:44:35 INFO local.LocalScheduler: Remove TaskSet 2.0 from pool 

scala> 
由于我这里使用的数据集很小，执行时间很短。
你可以打开星火Web控制台来查看进度。要做到这一点，打开你喜欢的浏览器，并输入以下URL。


包含http://hadoop：4040
spark 官方动手练习二：用spark浏览维基百科的数据<转>_第1张图片

需要注意的是，如果你有一个激活的job或spark shell,此页才可用。
你应该会看到spark的应用状况的web界面，类似于以下内容：

在此界面中的链接允许您跟踪作业的进度和有关其执行情况，包括任务持续时间和缓存统计各种指标。


此外，spark单机集群状态的Web界面显示与整个星火集群信息。要查看此用户界面，浏览到


http://hadoop:8080
由于我的spark是单节点的，所以只能看到Master的状况。

您应该看到类似于以下内容的页面：
spark 官方动手练习二：用spark浏览维基百科的数据<转>_第2张图片




4.从上面记得，当我们描述的数据集的格式，第二个字段是“project code”，并包含有关网页的语言信息。例如，project code为“en”表示英文页面。让我们来算出含pagecounts里只有英文网页个数。这可以通过应用一个过滤器功能，以pagecounts来完成。对于每个记录，我们可以通过字段分隔符（即一个空格）分开，并得到了第二区域， 然后用字符串“en”和他做比较。


为了避免在执行我们的RDD任何操作都是从从每个磁盘的读取，我们也将缓存RDD到内存中。这是spark真正开始大放异彩的地方。

scala> val enPages = pagecounts.filter(_.split(" ")(1) == "en").cache
enPages: org.apache.spark.rdd.RDD[String] = FilteredRDD[2] at filter at <console>:14

当您键入此命令，进入spark shell，spark定义RDD，而是因为lazy评估，所以将不计算做。任何下一次调用enPages，spark将读取集群中缓存在内存中的数据集。

5.有多少记录在英文网页？

scala> enPages.count
13/12/30 19:12:54 INFO spark.SparkContext: Starting job: count at <console>:17
13/12/30 19:12:54 INFO scheduler.DAGScheduler: Got job 3 (count at <console>:17) with 1 output partitions (allowLocal=false)
13/12/30 19:12:54 INFO scheduler.DAGScheduler: Final stage: Stage 3 (count at <console>:17)
13/12/30 19:12:54 INFO scheduler.DAGScheduler: Parents of final stage: List()
13/12/30 19:12:54 INFO scheduler.DAGScheduler: Missing parents: List()
13/12/30 19:12:54 INFO scheduler.DAGScheduler: Submitting Stage 3 (FilteredRDD[2] at filter at <console>:14), which has no missing parents
13/12/30 19:12:54 INFO scheduler.DAGScheduler: Submitting 1 missing tasks from Stage 3 (FilteredRDD[2] at filter at <console>:14)
13/12/30 19:12:54 INFO local.LocalTaskSetManager: Size of task 1 is 1655 bytes
13/12/30 19:12:54 INFO local.LocalScheduler: Running 1
13/12/30 19:12:54 INFO spark.CacheManager: Cache key is rdd_2_0
13/12/30 19:12:54 INFO spark.CacheManager: Computing partition org.apache.spark.rdd.HadoopPartition@691
13/12/30 19:12:54 INFO rdd.HadoopRDD: Input split: file:/wiki/pagecounts/wiki-cout.txt:0+3460512
13/12/30 19:12:54 INFO storage.MemoryStore: ensureFreeSpace(104) called with curMem=32207, maxMem=342526525
13/12/30 19:12:54 INFO storage.MemoryStore: Block rdd_2_0 stored as values to memory (estimated size 104.0 B, free 326.6 MB)
13/12/30 19:12:54 INFO storage.BlockManagerMasterActor$BlockManagerInfo: Added rdd_2_0 in memory on hadoop:36326 (size: 104.0 B, free: 326.7 MB)
13/12/30 19:12:54 INFO storage.BlockManagerMaster: Updated info of block rdd_2_0
13/12/30 19:12:54 INFO local.LocalScheduler: Finished 1
13/12/30 19:12:55 INFO local.LocalScheduler: Remove TaskSet 3.0 from pool 
13/12/30 19:12:55 INFO scheduler.DAGScheduler: Completed ResultTask(3, 0)
13/12/30 19:12:55 INFO scheduler.DAGScheduler: Stage 3 (count at <console>:17) finished in 0.985 s
13/12/30 19:12:55 INFO spark.SparkContext: Job finished: count at <console>:17, took 1.003093064 s
res4: Long = 0


scala> 

第一次运行此命令，类似于我们做的最后一次计算，这将需要2 - 3分钟，而在整个数据spark扫描磁盘上的设置。但是，由于enPages被标记为在上一步“缓存”，如果你再次运行在相同的RDD计算，它应该返回一个数量级速度提高。
13/12/30 19:14:27 INFO spark.SparkContext: Job finished: count at <console>:17, took 0.014903482 s

如果您检查控制台日志观察，你会看到这样的线索，它显示一些数据被添加到缓存中：
13/12/30 19:12:54 INFO storage.MemoryStore: Block rdd_2_0 stored as values to memory (estimated size 104.0 B, free 326.6 MB)

6.让我们尝试一些更华丽的操作。来计算在维基百科里的英文页面中的数据里，所表示的日期范围内的总页面访问量（5月5日至5月7日，2009）的直方图。我们会产生每一行的键值对如下。首先，我们生成一个键值对的每一行，关键是日期（第一域的前八个字符），该值是浏览量该日期数量（第四域）

scala> val enTuples = enPages.map(line => line.split(" "))
enTuples: org.apache.spark.rdd.RDD[Array[java.lang.String]] = MappedRDD[3] at map at <console>:16


scala> val enKeyValuePairs = enTuples.map(line => (line(0).substring(0, 8), line(3).toInt))
enKeyValuePairs: org.apache.spark.rdd.RDD[(java.lang.String, Int)] = MappedRDD[4] at map at <console>:18


scala> 
接下来，我们来shuffle数据集，然后将所有相同的key的数据和分组中并且相加。最后，我们将每个键的数据进行合计。目前正是这种模式下，在spark中有一个称为reduceByKey一个方法。请注意，第二个参数reduceByKey决定reduce使用的数量。默认情况下，星火假定reduce函数是交换律和结合，在所用的mapper阶段会应用combiners。既然我们知道有一个非常有限的在这种情况下，key的数量（因为在我们的数据集里只有3个的特定的日期），让我们只用一个reduce。

scala> enKeyValuePairs.reduceByKey(_+_, 1).collect
13/12/30 19:26:09 INFO spark.SparkContext: Starting job: collect at <console>:21
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Registering RDD 5 (reduceByKey at <console>:21)
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Got job 5 (collect at <console>:21) with 1 output partitions (allowLocal=false)
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Final stage: Stage 5 (collect at <console>:21)
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Parents of final stage: List(Stage 6)
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Missing parents: List(Stage 6)
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Submitting Stage 6 (MapPartitionsRDD[5] at reduceByKey at <console>:21), which has no missing parents
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Submitting 1 missing tasks from Stage 6 (MapPartitionsRDD[5] at reduceByKey at <console>:21)
13/12/30 19:26:09 INFO local.LocalTaskSetManager: Size of task 3 is 2013 bytes
13/12/30 19:26:09 INFO local.LocalScheduler: Running 3
13/12/30 19:26:09 INFO spark.CacheManager: Cache key is rdd_2_0
13/12/30 19:26:09 INFO spark.CacheManager: Found partition in cache!
13/12/30 19:26:09 INFO local.LocalScheduler: Finished 3
13/12/30 19:26:09 INFO local.LocalScheduler: Remove TaskSet 6.0 from pool 
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Completed ShuffleMapTask(6, 0)
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Stage 6 (reduceByKey at <console>:21) finished in 0.039 s
13/12/30 19:26:09 INFO scheduler.DAGScheduler: looking for newly runnable stages
13/12/30 19:26:09 INFO scheduler.DAGScheduler: running: Set()
13/12/30 19:26:09 INFO scheduler.DAGScheduler: waiting: Set(Stage 5)
13/12/30 19:26:09 INFO scheduler.DAGScheduler: failed: Set()
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Missing parents for Stage 5: List()
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Submitting Stage 5 (MapPartitionsRDD[7] at reduceByKey at <console>:21), which is now runnable
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Submitting 1 missing tasks from Stage 5 (MapPartitionsRDD[7] at reduceByKey at <console>:21)
13/12/30 19:26:09 INFO local.LocalTaskSetManager: Size of task 4 is 1918 bytes
13/12/30 19:26:09 INFO local.LocalScheduler: Running 4
13/12/30 19:26:09 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 19:26:09 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  12 ms
13/12/30 19:26:09 INFO local.LocalScheduler: Finished 4
13/12/30 19:26:09 INFO local.LocalScheduler: Remove TaskSet 5.0 from pool 
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Completed ResultTask(5, 0)
13/12/30 19:26:09 INFO scheduler.DAGScheduler: Stage 5 (collect at <console>:21) finished in 0.091 s
13/12/30 19:26:09 INFO spark.SparkContext: Job finished: collect at <console>:21, took 0.323184943 s
res6: Array[(java.lang.String, Int)] = Array()


scala> 

在最后的收集方法将结果从RDD转换到一个数组中。需要注意的是，当我们没有为命令的结果指定一个名称（如var enTuples），一个变量为resN被自动创建。


我们可以结合前面的三个命令为一个：
scala> enPages.map(line => line.split(" ")).map(line => (line(0).substring(0, 8), line(3).toInt)).reduceByKey(_+_, 1).collect
13/12/30 19:42:41 INFO spark.SparkContext: Starting job: collect at <console>:17
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Registering RDD 10 (reduceByKey at <console>:17)
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Got job 6 (collect at <console>:17) with 1 output partitions (allowLocal=false)
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Final stage: Stage 7 (collect at <console>:17)
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Parents of final stage: List(Stage 8)
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Missing parents: List(Stage 8)
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Submitting Stage 8 (MapPartitionsRDD[10] at reduceByKey at <console>:17), which has no missing parents
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Submitting 1 missing tasks from Stage 8 (MapPartitionsRDD[10] at reduceByKey at <console>:17)
13/12/30 19:42:41 INFO local.LocalTaskSetManager: Size of task 5 is 2001 bytes
13/12/30 19:42:41 INFO local.LocalScheduler: Running 5
13/12/30 19:42:41 INFO spark.CacheManager: Cache key is rdd_2_0
13/12/30 19:42:41 INFO spark.CacheManager: Found partition in cache!
13/12/30 19:42:41 INFO local.LocalScheduler: Finished 5
13/12/30 19:42:41 INFO local.LocalScheduler: Remove TaskSet 8.0 from pool 
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Completed ShuffleMapTask(8, 0)
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Stage 8 (reduceByKey at <console>:17) finished in 0.016 s
13/12/30 19:42:41 INFO scheduler.DAGScheduler: looking for newly runnable stages
13/12/30 19:42:41 INFO scheduler.DAGScheduler: running: Set()
13/12/30 19:42:41 INFO scheduler.DAGScheduler: waiting: Set(Stage 7)
13/12/30 19:42:41 INFO scheduler.DAGScheduler: failed: Set()
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Missing parents for Stage 7: List()
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Submitting Stage 7 (MapPartitionsRDD[12] at reduceByKey at <console>:17), which is now runnable
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Submitting 1 missing tasks from Stage 7 (MapPartitionsRDD[12] at reduceByKey at <console>:17)
13/12/30 19:42:41 INFO local.LocalTaskSetManager: Size of task 6 is 1899 bytes
13/12/30 19:42:41 INFO local.LocalScheduler: Running 6
13/12/30 19:42:41 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 19:42:41 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  5 ms
13/12/30 19:42:41 INFO local.LocalScheduler: Finished 6
13/12/30 19:42:41 INFO local.LocalScheduler: Remove TaskSet 7.0 from pool 
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Completed ResultTask(7, 0)
13/12/30 19:42:41 INFO scheduler.DAGScheduler: Stage 7 (collect at <console>:17) finished in 0.017 s
13/12/30 19:42:41 INFO spark.SparkContext: Job finished: collect at <console>:17, took 0.083322742 s
res7: Array[(java.lang.String, Int)] = Array()


scala> 

7.假设我们要发现在属于我们的数据集三天被浏览了超过20万次的页面。从概念上讲，这个任务是类似于前面的查询。但是，考虑到大量的页面（23百万个不同的页面名称），新的任务是非常昂贵的。我们正在做用大量数据的网络shuffle来做gruop by操作。



总括来说，首先我们把每行数据分离到其各自的域。接下来，我们提取的页面名称和页面浏览数的字段。我们通过40 reduce来对key进行reduce操作，这个时候。然后，我们筛选出的网页，少于200,000总浏览量。
scala> enPages.map(l => l.split(" ")).map(l => (l(2), l(3).toInt)).reduceByKey(_+_, 40).filter(x => x._2 > 200000).map(x => (x._2, x._1)).collect.foreach(println)
13/12/30 20:21:56 INFO spark.SparkContext: Starting job: collect at <console>:17
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Registering RDD 22 (reduceByKey at <console>:17)
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Got job 8 (collect at <console>:17) with 40 output partitions (allowLocal=false)
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Final stage: Stage 11 (collect at <console>:17)
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Parents of final stage: List(Stage 12)
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Missing parents: List(Stage 12)
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Submitting Stage 12 (MapPartitionsRDD[22] at reduceByKey at <console>:17), which has no missing parents
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Submitting 1 missing tasks from Stage 12 (MapPartitionsRDD[22] at reduceByKey at <console>:17)
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 48 is 2002 bytes
13/12/30 20:21:56 INFO local.LocalScheduler: Running 48
13/12/30 20:21:56 INFO spark.CacheManager: Cache key is rdd_2_0
13/12/30 20:21:56 INFO spark.CacheManager: Found partition in cache!
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 48
13/12/30 20:21:56 INFO local.LocalScheduler: Remove TaskSet 12.0 from pool 
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ShuffleMapTask(12, 0)
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Stage 12 (reduceByKey at <console>:17) finished in 0.026 s
13/12/30 20:21:56 INFO scheduler.DAGScheduler: looking for newly runnable stages
13/12/30 20:21:56 INFO scheduler.DAGScheduler: running: Set()
13/12/30 20:21:56 INFO scheduler.DAGScheduler: waiting: Set(Stage 11)
13/12/30 20:21:56 INFO scheduler.DAGScheduler: failed: Set()
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Missing parents for Stage 11: List()
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Submitting Stage 11 (MappedRDD[26] at map at <console>:17), which is now runnable
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Submitting 40 missing tasks from Stage 11 (MappedRDD[26] at map at <console>:17)
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 49 is 1944 bytes
13/12/30 20:21:56 INFO local.LocalScheduler: Running 49
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 49
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 50 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 0)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 50
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 50
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 51 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 1)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 51
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 51
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 52 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 2)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 52
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 52
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 53 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 3)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 53
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 53
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 54 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 4)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 54
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 54
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 55 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 5)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 55
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 55
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 56 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 6)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 56
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 56
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 57 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 7)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 57
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 57
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 58 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 8)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 58
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 58
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 59 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 9)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 59
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 59
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 60 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 10)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 60
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 60
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 61 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 11)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 61
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 61
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 62 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 12)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 62
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 62
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 63 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 13)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 63
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 63
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 64 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 14)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 64
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 64
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 65 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 15)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 65
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  1 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 65
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 66 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 16)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 66
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  2 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 66
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 67 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 17)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 67
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 67
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 68 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 18)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 68
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 68
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 69 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 19)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 69
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 69
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 70 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 20)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 70
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 70
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 71 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 21)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 71
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  19 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 71
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 72 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 22)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 72
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  1 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 72
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 73 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 23)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 73
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 73
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 74 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 24)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 74
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 74
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 75 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 25)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 75
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  1 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 75
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 76 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 26)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 76
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 76
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 77 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 27)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 77
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 77
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 78 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 28)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 78
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  1 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 78
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 79 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 29)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 79
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 79
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 80 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 30)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 80
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 80
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 81 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 31)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 81
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 81
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 32)
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 82 is 1944 bytes
13/12/30 20:21:56 INFO local.LocalScheduler: Running 82
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  1 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 82
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 33)
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 83 is 1944 bytes
13/12/30 20:21:56 INFO local.LocalScheduler: Running 83
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 83
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 84 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 34)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 84
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  1 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 84
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 85 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 35)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 85
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 85
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 86 is 1944 bytes
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 36)
13/12/30 20:21:56 INFO local.LocalScheduler: Running 86
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 86
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 37)
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 87 is 1944 bytes
13/12/30 20:21:56 INFO local.LocalScheduler: Running 87
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 87
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 38)
13/12/30 20:21:56 INFO local.LocalTaskSetManager: Size of task 88 is 1944 bytes
13/12/30 20:21:56 INFO local.LocalScheduler: Running 88
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Getting 0 non-zero-bytes blocks out of 1 blocks
13/12/30 20:21:56 INFO storage.BlockFetcherIterator$BasicBlockFetcherIterator: Started 0 remote gets in  0 ms
13/12/30 20:21:56 INFO local.LocalScheduler: Finished 88
13/12/30 20:21:56 INFO local.LocalScheduler: Remove TaskSet 11.0 from pool 
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Completed ResultTask(11, 39)
13/12/30 20:21:56 INFO scheduler.DAGScheduler: Stage 11 (collect at <console>:17) finished in 0.434 s
13/12/30 20:21:56 INFO spark.SparkContext: Job finished: collect at <console>:17, took 0.561397556 s


scala> 

对于一个给定问题，没有一成不变的方法来计算reduce的最优数量，您将通过使用不同的值尝试，随着时间的推移会建立一种直觉。


离开spark shell，键入exit提示。

8.您可以通过浏览的Java/ Scala的或Python API文档浏览全部RDD的API。

运行单机的spark 程序
由于时间限制，在本教程中，我们专注于使用Spark特设风格分析。然而，对于许多任务，它更有意义编写一个单机的spark 程序。我们将回到这个在sprak下stream，在那里你会真正写一个独立的spark 下的stream作业。我们不打算讨论如何构建，编译，并在这里单机的spark作业，但在我们继续之前，我们在这里列出有关单机spark的资源,来为你将来回来可以浏览。


首先，在AMI在本教程中，我们已把“模板”项目，为Scala和Java单机spark程序和sprak下stream。spark那些可以在 /root/scala-app-template 和/root/java-app-template的应用程序模板目录中找到（我们将在后面讨论的流媒体的） 。随意浏览这些目录的内容。您还可以找到建立在Java和Scala中运行单机spark程序的spark快速入门指南的一部分的例子。如需更详细信息，请参见Matei Zaharia’s 在第一次AMP训练营中的幻灯片和视频中聊关于独立spark工作。

你可能感兴趣的:(spark 官方动手练习二：用spark浏览维基百科的数据<转>)

  • 斤斤计较的婚姻到底有多难？ 白心之岂必有为
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 芦花鞋一四 许叶晗
    又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 关于沟通这件事，项目经理不需要每次都面对面进行 流程大师兄
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • 铭刻于星（四十二） 随风至
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
  • 底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说 造命者说
    底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
  • 2020-01-25 晴岚85
    郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
  • 随笔 | 仙一般的灵气 海思沧海
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
  • 想家 爆米花机
    也许不同于大家对家乡的思念，我对家乡甚至是疯狂的不舍。还未踏出车站就感觉到幸福，我享受这里的夕阳、这里的浓烈柴火味、这里每一口家常菜。我是宅女，我贪恋家的安逸。刚刚踏出大学校门，初出茅庐，无法适应每年只能国庆和春节回家。我焦虑、失眠、无端发脾气，是无法适应工作的节奏，是无法接受我将一步步离开家乡的事实。我不想承认自己胸无大志，选择再次踏上征程。图片发自App
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • UI学习——cell的复用和自定义cell Magnetic_h ui学习
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • C语言宏函数 南林yan C语言c语言
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
  • 地推话术，如何应对地推过程中家长的拒绝 校师学
    相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
  • 谢谢你们，爱你们！ 鹿游儿
    昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • 小丽成长记（四十三） 玲玲54321
    小丽发现，即使她好不容易调整好自己的心态下一秒总会有不确定的伤脑筋的事出现，一个接一个的问题，人生就没有停下的时候，小问题不断出现。不过她今天看的书，她接受了人生就是不确定的，厉害的人就是不断创造确定性，在Ta的领域比别人多的确定性就能让自己脱颖而出，显示价值从而获得的比别人多的利益。正是这样的原因，因为从前修炼自己太少，使得她现在在人生道路上打怪起来困难重重，她似乎永远摆脱不了那种无力感，有种习
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • 2021年12月19日，春蕾教育集团团建活动感受——黄晓丹 黄错错加油
    感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断 尐尐呅
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
  • c++ 的iostream 和 c++的stdio的区别和联系 黄卷青灯77 c++算法开发语言iostreamstdio
    在C++中，iostream和C语言的stdio.h都是用于处理输入输出的库，但它们在设计、用法和功能上有许多不同。以下是两者的区别和联系：区别1.编程风格iostream（C++风格）：C++标准库中的输入输出流类库，支持面向对象的输入输出操作。典型用法是cin（输入）和cout（输出），使用>操作符来处理数据。更加类型安全，支持用户自定义类型的输入输出。#includeintmain(){in
  • 瑶池防线 谜影梦蝶
    冥华虽然逃过了影梦的军队，但他是一个忠臣，他选择上报战况。败给影梦后成逃兵，高层亡尔还活着，七重天失守......随便一条，即可处死冥华。冥华自然是知道以仙界高层的习性此信一发自己必死无疑，但他还选择上报实情，因为责任。同样此信送到仙宫后，知道此事的人，大多数人都认定冥华要完了，所以上到仙界高层，下到扫大街的，包括冥华自己，全都准备好迎接冥华之死。如果仙界现在还属于两方之争的话，冥华必死无疑。然而
  • 爬山后遗症 璃绛
    爬山，攀登，一步一步走向制高点，是一种挑战。成功抵达是一种无法言语的快乐，在山顶吹吹风，看看风景，这是从未有过的体验。然而，爬山一时爽，下山腿打颤，颠簸的路，一路向下走，腿部力量不够，走起来抖到不行，停不下来了！第二天必定腿疼，浑身酸痛，坐立难安！
  • 算法 单链的创建与删除 换个号韩国红果果 c算法
    先创建结构体 struct student { int data; //int tag;//标记这是第几个 struct student *next; }; // addone 用于将一个数插入已从小到大排好序的链中 struct student *addone(struct student *h,int x){ if(h==NULL) //??????
  • 《大型网站系统与Java中间件实践》第2章读后感 白糖_ java中间件
           断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章，这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难，但每一个屏障都会有解决方案，最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。          看完整章内容，
  • zeus持久层spring事务单元测试 deng520159 javaDAOspringjdbc
    今天把zeus事务单元测试放出来,让大家指出他的毛病, 1.ZeusTransactionTest.java 单元测试   package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Test; import
  • Rss 订阅 开发 周凡杨 htmlxml订阅rss规范
                    RSS是 Really Simple Syndication的缩写（对rss2.0而言，是这三个词的缩写，对rss1.0而言则是RDF Site Summary的缩写，1.0与2.0走的是两个体系）。   RSS
  • 分页查询实现 g21121 分页查询
    在查询列表时我们常常会用到分页，分页的好处就是减少数据交换，每次查询一定数量减少数据库压力等等。 按实现形式分前台分页和服务器分页： 前台分页就是一次查询出所有记录，在页面中用js进行虚拟分页，这种形式在数据量较小时优势比较明显，一次加载就不必再访问服务器了，但当数据量较大时会对页面造成压力，传输速度也会大幅下降。 服务器分页就是每次请求相同数量记录，按一定规则排序，每次取一定序号直接的数据
  • spring jms异步消息处理 510888780 jms
    spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器，常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量，以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理，进一步提高性能，减少侦听器的阻塞。具体配置如下：
  • highCharts柱状图 布衣凌宇 hightCharts柱图
    第一步：导入 exporting.js,grid.js,highcharts.js;第二步：写controller   @Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController {  private UserServi
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans springmvcSpring 教程spring3 教程Spring 入门
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • TLS java简单实现 antlove javasslkeystoretlssecure
      1. SSLServer.java package ssl; import java.io.FileInputStream; import java.io.InputStream; import java.net.ServerSocket; import java.net.Socket; import java.security.KeyStore; import
  • Zip解压压缩文件 百合不是茶 Zip格式解压Zip流的使用文件解压
       ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件; ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));     &n
  • underscore.js 学习（一） bijian1013 JavaScriptunderscore
            工作中需要用到underscore.js，发现这是一个包括了很多基本功能函数的js库，里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。       学
  • java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon) bijian1013 javajvmjstatd
    1.介绍         jstatd是一个基于RMI（Remove Method Invocation）的服务程序，它用于监控基于HotSpot的JVM中资源的创建及销毁，并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。         jstatd是基于RMI的，所以在运行jstatd的服务
  • 【Spring框架三】Spring常用注解之Transactional bit1129 transactional
    Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力，如下是@Transactional注解的定义：   /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version
  • 我(程序员)的前进方向 bitray 程序员
    作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
  • nginx lua开发经验总结 ronin47
    使用nginx lua已经两三个月了，项目接开发完毕了，这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的，跟PHP的占比差不多持平了，因此在开发中遇到一些问题备忘一下 1：content_by_lua中代码容量有限制，一般不要写太多代码，正常编写代码一般在100行左右（具体容量没有细心测哈哈，在4kb左右），如果超出了则重启nginx的时候会报 too long pa
  • java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。颠倒之后的栈为{5,4,3,2,1}，5处在栈顶 bylijinnan java
    import java.util.Stack; public class ReverseStackRecursive { /** * Q 66.颠倒栈。 * 题目：用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。 * 颠倒之后的栈为{5,4,3,2,1}，5处在栈顶。 *1. Pop the top element *2. Revers
  • 正确理解Linux内存占用过高的问题 cfyme linux
    Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上： Mem:   3889836k total,  3341868k used,   547968k free,   286044k buffers Swap:  6127608k total,&nb
  • [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题 comsci 工作流
         当我们的流程引擎进入IRC阶段的时候，当循环反馈模型出现之后，每次循环都会导致一大堆节点内存数据残留在系统内存中，循环的次数越多，这些残留数据将导致系统内存溢出，并使得引擎崩溃。。。。。。       而解决办法就是利用汇编语言或者其它系统编程语言，在引擎运行时，把这些残留数据清除掉。
  • 自定义类的equals函数 dai_lm equals
    仅作笔记使用 public class VectorQueue { private final Vector<VectorItem> queue; private class VectorItem { private final Object item; private final int quantity; public VectorI
  • Linux下安装R语言 datageek R语言 linux
    命令如下：sudo gedit  /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
  • 如何修改mysql 并发数(连接数)最大值 dcj3sjt126com mysql
    MySQL的连接数最大值跟MySQL没关系，主要看系统和业务逻辑了   方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可 　　方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppass
  • 单一功能原则 dcj3sjt126com 面向对象的程序设计软件设计编程原则
    单一功能原则[ 编辑]     SOLID 原则 单一功能原则 开闭原则 Liskov代换原则 接口隔离原则 依赖反转原则 查   论   编 在面向对象编程领域中，单一功能原则（Single responsibility principle）规定每个类都应该有
  • POJO、VO和JavaBean区别和联系 fanmingxing VOPOJOjavabean
    POJO和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Plain Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比POJO复杂很多，JavaBean是一种组件技术，就好像你做了一个扳子，而这个扳子会在很多地方被
  • SpringSecurity3.X--LDAP：AD配置 hanqunfeng SpringSecurity
    前面介绍过基于本地数据库验证的方式，参考http://hanqunfeng.iteye.com/blog/1155226，这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证，权限依旧存储在本地数据库中】。   将配置文件中的如下部分删除： <!-- 认证管理器，使用自定义的UserDetailsService，并对密码采用md5加密-->
  • mac mysql 修改密码 IXHONG mysql
    $ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码（注意，这是第一次MySQL密码为空的时候的设置命令，如果是修改密码，还需在-
  • 设计模式--抽象工厂模式 kerryg 设计模式
    抽象工厂模式：     工厂模式有一个问题就是，类的创建依赖于工厂类，也就是说，如果想要拓展程序，必须对工厂类进行修改，这违背了闭包原则。我们采用抽象工厂模式，创建多个工厂类，这样一旦需要增加新的功能，直接增加新的工厂类就可以了，不需要修改之前的代码。     总结：这个模式的好处就是，如果想增加一个功能，就需要做一个实现类，
  • 评"高中女生军训期跳楼” nannan408
       首先，先抛出我的观点，各位看官少点砖头。那就是，中国的差异化教育必须做起来。    孔圣人有云：有教无类。不同类型的人，都应该有对应的教育方法。目前中国的一体化教育，不知道已经扼杀了多少创造性人才。我们出不了爱迪生，出不了爱因斯坦，很大原因，是我们的培养思路错了，我们是第一要“顺从”。如果不顺从，我们的学校，就会用各种方法，罚站，罚写作业，各种罚。军
  • scala如何读取和写入文件内容？ qindongliang1922 javajvmscala
    直接看如下代码： package file import java.io.RandomAccessFile import java.nio.charset.Charset import scala.io.Source import scala.reflect.io.{File, Path} /** * Created by qindongliang on 2015/
  • C语言算法之百元买百鸡 qiufeihu c算法
    中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”，鸡翁一，值钱五，鸡母一，值钱三，鸡雏三，值钱一，百钱买百鸡，问翁，母，雏各几何？ 代码如下： #include <stdio.h> int main() { int cock,hen,chick; /*定义变量为基本整型*/ for(coc
  • Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode wyz2009107220 NameNode
    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image 优点：Hadoop较早的版本都自带，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他