谁用了尧哥这个昵称

Spark入门--求中位数

数据如下：

1 2 3 4 5 6 8 9 11 12 13 15 18 20 22 23 25 27 29

代码如下：

import org.apache.spark.{SparkConf, SparkContext}
import scala.util.control.Breaks._
/**
 * Created by xuyao on 15-7-24.
 * 求中位数，数据是分布式存储的
 * 将整体的数据分为K个桶，统计每个桶内的数据量，然后统计整个数据量
 * 根据桶的数量和总的数据量，可以判断数据落在哪个桶里，以及中位数的偏移量
 * 取出这个中位数
 */
object Median {
   def main (args: Array[String]) {
    val conf =new SparkConf().setAppName("Median")
     val sc=new SparkContext(conf)
     //通过textFile读入的是字符串型，所以要进行类型转换
     val data =sc.textFile("data").flatMap(x=>x.split(' ')).map(x=>x.toInt)
     //将数据分为4组，当然我这里的数据少
     val  mappeddata =data.map(x=>(x/4,x)).sortByKey()
     //p_count为每个分组的个数
     val p_count =data.map(x=>(x/4,1)).reduceByKey(_+_).sortByKey()
     p_count.foreach(println)
     //p_count是一个RDD，不能进行Map集合操作，所以要通过collectAsMap方法将其转换成scala的集合
     val scala_p_count=p_count.collectAsMap()
     //根据key值得到value值
     println(scala_p_count(0))
     //sum_count是统计总的个数，不能用count(),因为会得到多少个map对。
     val sum_count = p_count.map(x=>x._2).sum().toInt
     println(sum_count)
     var temp =0//中值所在的区间累加的个数
     var temp2=0//中值所在区间的前面所有的区间累加的个数
     var index=0//中值的区间
     var mid= 0
     if(sum_count%2!=0){
        mid =sum_count/2+1//中值在整个数据的偏移量
     }
     else{
        mid =sum_count/2
     }
     val pcount=p_count.count()
     breakable{
       for(i <- 0 to pcount.toInt-1){
         temp =temp + scala_p_count(i)
         temp2 =temp-scala_p_count(i)
         if(temp>=mid){
           index=i
           break
         }
       }
     }
     println(mid+" "+index+" "+temp+" "+temp2)
     //中位数在桶中的偏移量
     val offset =mid-temp2
     //takeOrdered它默认可以将key从小到大排序后，获取rdd中的前n个元素
     val result =mappeddata.filter(x=>x._1==index).takeOrdered(offset)
     println(result(offset-1)._2)
     sc.stop()
  }

}

运行结果如下：

/usr/lib/jvm/java-7-sun/bin/java -Dspark.master=local -Didea.launcher.port=7535 -Didea.launcher.bin.path=/opt/idea/bin -Dfile.encoding=UTF-8 -classpath /usr/lib/jvm/java-7-sun/jre/lib/jfr.jar:/usr/lib/jvm/java-7-sun/jre/lib/javaws.jar:/usr/lib/jvm/java-7-sun/jre/lib/resources.jar:/usr/lib/jvm/java-7-sun/jre/lib/plugin.jar:/usr/lib/jvm/java-7-sun/jre/lib/jfxrt.jar:/usr/lib/jvm/java-7-sun/jre/lib/jsse.jar:/usr/lib/jvm/java-7-sun/jre/lib/charsets.jar:/usr/lib/jvm/java-7-sun/jre/lib/deploy.jar:/usr/lib/jvm/java-7-sun/jre/lib/management-agent.jar:/usr/lib/jvm/java-7-sun/jre/lib/rt.jar:/usr/lib/jvm/java-7-sun/jre/lib/jce.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/sunpkcs11.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/sunjce_provider.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/sunec.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/dnsns.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/zipfs.jar:/usr/lib/jvm/java-7-sun/jre/lib/ext/localedata.jar:/opt/IdeaProjects/SparkTest/target/scala-2.10/classes:/home/xuyao/.sbt/boot/scala-2.10.4/lib/scala-library.jar:/home/xuyao/spark/lib/spark-assembly-1.4.0-hadoop2.4.0.jar:/opt/idea/lib/idea_rt.jar com.intellij.rt.execution.application.AppMain Median
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
15/07/29 12:43:28 INFO SparkContext: Running Spark version 1.4.0
15/07/29 12:43:28 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/07/29 12:43:29 WARN Utils: Your hostname, hadoop resolves to a loopback address: 127.0.1.1; using 192.168.73.129 instead (on interface eth0)
15/07/29 12:43:29 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
15/07/29 12:43:29 INFO SecurityManager: Changing view acls to: xuyao
15/07/29 12:43:29 INFO SecurityManager: Changing modify acls to: xuyao
15/07/29 12:43:29 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(xuyao); users with modify permissions: Set(xuyao)
15/07/29 12:43:30 INFO Slf4jLogger: Slf4jLogger started
15/07/29 12:43:31 INFO Remoting: Starting remoting
15/07/29 12:43:32 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:58364]
15/07/29 12:43:32 INFO Utils: Successfully started service 'sparkDriver' on port 58364.
15/07/29 12:43:32 INFO SparkEnv: Registering MapOutputTracker
15/07/29 12:43:33 INFO SparkEnv: Registering BlockManagerMaster
15/07/29 12:43:33 INFO DiskBlockManager: Created local directory at /tmp/spark-329d9ad9-4ed6-4a79-97f3-254cab1a13b8/blockmgr-f9da5521-a9c0-4801-bffb-3a92f089d1cd
15/07/29 12:43:33 INFO MemoryStore: MemoryStore started with capacity 131.6 MB
15/07/29 12:43:33 INFO HttpFileServer: HTTP File server directory is /tmp/spark-329d9ad9-4ed6-4a79-97f3-254cab1a13b8/httpd-fd2adba3-06b9-4035-9c2b-6733e379207a
15/07/29 12:43:33 INFO HttpServer: Starting HTTP Server
15/07/29 12:43:33 INFO Utils: Successfully started service 'HTTP file server' on port 58175.
15/07/29 12:43:33 INFO SparkEnv: Registering OutputCommitCoordinator
15/07/29 12:43:38 INFO Utils: Successfully started service 'SparkUI' on port 4040.
15/07/29 12:43:38 INFO SparkUI: Started SparkUI at http://192.168.73.129:4040
15/07/29 12:43:39 INFO Executor: Starting executor ID driver on host localhost
15/07/29 12:43:39 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 56974.
15/07/29 12:43:39 INFO NettyBlockTransferService: Server created on 56974
15/07/29 12:43:39 INFO BlockManagerMaster: Trying to register BlockManager
15/07/29 12:43:39 INFO BlockManagerMasterEndpoint: Registering block manager localhost:56974 with 131.6 MB RAM, BlockManagerId(driver, localhost, 56974)
15/07/29 12:43:39 INFO BlockManagerMaster: Registered BlockManager
15/07/29 12:43:40 WARN SizeEstimator: Failed to check whether UseCompressedOops is set; assuming yes
15/07/29 12:43:41 INFO MemoryStore: ensureFreeSpace(137512) called with curMem=0, maxMem=137948037
15/07/29 12:43:41 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 134.3 KB, free 131.4 MB)
15/07/29 12:43:41 INFO MemoryStore: ensureFreeSpace(12633) called with curMem=137512, maxMem=137948037
15/07/29 12:43:41 INFO MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 12.3 KB, free 131.4 MB)
15/07/29 12:43:41 INFO BlockManagerInfo: Added broadcast_0_piece0 in memory on localhost:56974 (size: 12.3 KB, free: 131.5 MB)
15/07/29 12:43:41 INFO SparkContext: Created broadcast 0 from textFile at Median.scala:15
15/07/29 12:43:41 INFO FileInputFormat: Total input paths to process : 1
15/07/29 12:43:41 INFO SparkContext: Starting job: foreach at Median.scala:20
15/07/29 12:43:41 INFO DAGScheduler: Registering RDD 6 (map at Median.scala:19)
15/07/29 12:43:41 INFO DAGScheduler: Registering RDD 7 (reduceByKey at Median.scala:19)
15/07/29 12:43:41 INFO DAGScheduler: Got job 0 (foreach at Median.scala:20) with 1 output partitions (allowLocal=false)
15/07/29 12:43:41 INFO DAGScheduler: Final stage: ResultStage 2(foreach at Median.scala:20)
15/07/29 12:43:41 INFO DAGScheduler: Parents of final stage: List(ShuffleMapStage 1)
15/07/29 12:43:41 INFO DAGScheduler: Missing parents: List(ShuffleMapStage 1)
15/07/29 12:43:41 INFO DAGScheduler: Submitting ShuffleMapStage 0 (MapPartitionsRDD[6] at map at Median.scala:19), which has no missing parents
15/07/29 12:43:41 INFO MemoryStore: ensureFreeSpace(4168) called with curMem=150145, maxMem=137948037
15/07/29 12:43:41 INFO MemoryStore: Block broadcast_1 stored as values in memory (estimated size 4.1 KB, free 131.4 MB)
15/07/29 12:43:41 INFO MemoryStore: ensureFreeSpace(2376) called with curMem=154313, maxMem=137948037
15/07/29 12:43:41 INFO MemoryStore: Block broadcast_1_piece0 stored as bytes in memory (estimated size 2.3 KB, free 131.4 MB)
15/07/29 12:43:41 INFO BlockManagerInfo: Added broadcast_1_piece0 in memory on localhost:56974 (size: 2.3 KB, free: 131.5 MB)
15/07/29 12:43:41 INFO SparkContext: Created broadcast 1 from broadcast at DAGScheduler.scala:874
15/07/29 12:43:41 INFO DAGScheduler: Submitting 1 missing tasks from ShuffleMapStage 0 (MapPartitionsRDD[6] at map at Median.scala:19)
15/07/29 12:43:41 INFO TaskSchedulerImpl: Adding task set 0.0 with 1 tasks
15/07/29 12:43:42 INFO TaskSetManager: Starting task 0.0 in stage 0.0 (TID 0, localhost, PROCESS_LOCAL, 1399 bytes)
15/07/29 12:43:42 INFO Executor: Running task 0.0 in stage 0.0 (TID 0)
15/07/29 12:43:42 INFO HadoopRDD: Input split: file:/opt/IdeaProjects/SparkTest/data:0+49
15/07/29 12:43:42 INFO deprecation: mapred.tip.id is deprecated. Instead, use mapreduce.task.id
15/07/29 12:43:42 INFO deprecation: mapred.task.id is deprecated. Instead, use mapreduce.task.attempt.id
15/07/29 12:43:42 INFO deprecation: mapred.task.is.map is deprecated. Instead, use mapreduce.task.ismap
15/07/29 12:43:42 INFO deprecation: mapred.task.partition is deprecated. Instead, use mapreduce.task.partition
15/07/29 12:43:42 INFO deprecation: mapred.job.id is deprecated. Instead, use mapreduce.job.id
15/07/29 12:43:42 INFO Executor: Finished task 0.0 in stage 0.0 (TID 0). 2001 bytes result sent to driver
15/07/29 12:43:42 INFO DAGScheduler: ShuffleMapStage 0 (map at Median.scala:19) finished in 0.435 s
15/07/29 12:43:42 INFO DAGScheduler: looking for newly runnable stages
15/07/29 12:43:42 INFO DAGScheduler: running: Set()
15/07/29 12:43:42 INFO DAGScheduler: waiting: Set(ShuffleMapStage 1, ResultStage 2)
15/07/29 12:43:42 INFO DAGScheduler: failed: Set()
15/07/29 12:43:42 INFO DAGScheduler: Missing parents for ShuffleMapStage 1: List()
15/07/29 12:43:42 INFO TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 411 ms on localhost (1/1)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 
15/07/29 12:43:42 INFO DAGScheduler: Missing parents for ResultStage 2: List(ShuffleMapStage 1)
15/07/29 12:43:42 INFO DAGScheduler: Submitting ShuffleMapStage 1 (ShuffledRDD[7] at reduceByKey at Median.scala:19), which is now runnable
15/07/29 12:43:42 INFO MemoryStore: ensureFreeSpace(2608) called with curMem=156689, maxMem=137948037
15/07/29 12:43:42 INFO MemoryStore: Block broadcast_2 stored as values in memory (estimated size 2.5 KB, free 131.4 MB)
15/07/29 12:43:42 INFO MemoryStore: ensureFreeSpace(1586) called with curMem=159297, maxMem=137948037
15/07/29 12:43:42 INFO MemoryStore: Block broadcast_2_piece0 stored as bytes in memory (estimated size 1586.0 B, free 131.4 MB)
15/07/29 12:43:42 INFO BlockManagerInfo: Added broadcast_2_piece0 in memory on localhost:56974 (size: 1586.0 B, free: 131.5 MB)
15/07/29 12:43:42 INFO SparkContext: Created broadcast 2 from broadcast at DAGScheduler.scala:874
15/07/29 12:43:42 INFO DAGScheduler: Submitting 1 missing tasks from ShuffleMapStage 1 (ShuffledRDD[7] at reduceByKey at Median.scala:19)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Adding task set 1.0 with 1 tasks
15/07/29 12:43:42 INFO TaskSetManager: Starting task 0.0 in stage 1.0 (TID 1, localhost, PROCESS_LOCAL, 1154 bytes)
15/07/29 12:43:42 INFO Executor: Running task 0.0 in stage 1.0 (TID 1)
15/07/29 12:43:42 INFO ShuffleBlockFetcherIterator: Getting 1 non-empty blocks out of 1 blocks
15/07/29 12:43:42 INFO ShuffleBlockFetcherIterator: Started 0 remote fetches in 3 ms
15/07/29 12:43:42 INFO Executor: Finished task 0.0 in stage 1.0 (TID 1). 1095 bytes result sent to driver
15/07/29 12:43:42 INFO DAGScheduler: ShuffleMapStage 1 (reduceByKey at Median.scala:19) finished in 0.071 s
15/07/29 12:43:42 INFO DAGScheduler: looking for newly runnable stages
15/07/29 12:43:42 INFO DAGScheduler: running: Set()
15/07/29 12:43:42 INFO DAGScheduler: waiting: Set(ResultStage 2)
15/07/29 12:43:42 INFO DAGScheduler: failed: Set()
15/07/29 12:43:42 INFO DAGScheduler: Missing parents for ResultStage 2: List()
15/07/29 12:43:42 INFO DAGScheduler: Submitting ResultStage 2 (ShuffledRDD[8] at sortByKey at Median.scala:19), which is now runnable
15/07/29 12:43:42 INFO MemoryStore: ensureFreeSpace(2456) called with curMem=160883, maxMem=137948037
15/07/29 12:43:42 INFO MemoryStore: Block broadcast_3 stored as values in memory (estimated size 2.4 KB, free 131.4 MB)
15/07/29 12:43:42 INFO MemoryStore: ensureFreeSpace(1501) called with curMem=163339, maxMem=137948037
15/07/29 12:43:42 INFO MemoryStore: Block broadcast_3_piece0 stored as bytes in memory (estimated size 1501.0 B, free 131.4 MB)
15/07/29 12:43:42 INFO TaskSetManager: Finished task 0.0 in stage 1.0 (TID 1) in 85 ms on localhost (1/1)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Removed TaskSet 1.0, whose tasks have all completed, from pool 
15/07/29 12:43:42 INFO BlockManagerInfo: Added broadcast_3_piece0 in memory on localhost:56974 (size: 1501.0 B, free: 131.5 MB)
15/07/29 12:43:42 INFO SparkContext: Created broadcast 3 from broadcast at DAGScheduler.scala:874
15/07/29 12:43:42 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 2 (ShuffledRDD[8] at sortByKey at Median.scala:19)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Adding task set 2.0 with 1 tasks
15/07/29 12:43:42 INFO TaskSetManager: Starting task 0.0 in stage 2.0 (TID 2, localhost, PROCESS_LOCAL, 1165 bytes)
15/07/29 12:43:42 INFO Executor: Running task 0.0 in stage 2.0 (TID 2)
15/07/29 12:43:42 INFO ShuffleBlockFetcherIterator: Getting 1 non-empty blocks out of 1 blocks
15/07/29 12:43:42 INFO ShuffleBlockFetcherIterator: Started 0 remote fetches in 2 ms
(0,3)
(1,3)
(2,3)
(3,3)
(4,1)
(5,3)
(6,2)
(7,1)
15/07/29 12:43:42 INFO Executor: Finished task 0.0 in stage 2.0 (TID 2). 886 bytes result sent to driver
15/07/29 12:43:42 INFO DAGScheduler: ResultStage 2 (foreach at Median.scala:20) finished in 0.015 s
15/07/29 12:43:42 INFO TaskSetManager: Finished task 0.0 in stage 2.0 (TID 2) in 23 ms on localhost (1/1)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Removed TaskSet 2.0, whose tasks have all completed, from pool 
15/07/29 12:43:42 INFO DAGScheduler: Job 0 finished: foreach at Median.scala:20, took 0.882846 s
15/07/29 12:43:42 INFO SparkContext: Starting job: collectAsMap at Median.scala:22
15/07/29 12:43:42 INFO MapOutputTrackerMaster: Size of output statuses for shuffle 1 is 143 bytes
15/07/29 12:43:42 INFO MapOutputTrackerMaster: Size of output statuses for shuffle 0 is 143 bytes
15/07/29 12:43:42 INFO DAGScheduler: Got job 1 (collectAsMap at Median.scala:22) with 1 output partitions (allowLocal=false)
15/07/29 12:43:42 INFO DAGScheduler: Final stage: ResultStage 5(collectAsMap at Median.scala:22)
15/07/29 12:43:42 INFO DAGScheduler: Parents of final stage: List(ShuffleMapStage 4)
15/07/29 12:43:42 INFO DAGScheduler: Missing parents: List()
15/07/29 12:43:42 INFO DAGScheduler: Submitting ResultStage 5 (ShuffledRDD[8] at sortByKey at Median.scala:19), which has no missing parents
15/07/29 12:43:42 INFO MemoryStore: ensureFreeSpace(2552) called with curMem=164840, maxMem=137948037
15/07/29 12:43:42 INFO MemoryStore: Block broadcast_4 stored as values in memory (estimated size 2.5 KB, free 131.4 MB)
15/07/29 12:43:42 INFO MemoryStore: ensureFreeSpace(1502) called with curMem=167392, maxMem=137948037
15/07/29 12:43:42 INFO MemoryStore: Block broadcast_4_piece0 stored as bytes in memory (estimated size 1502.0 B, free 131.4 MB)
15/07/29 12:43:42 INFO BlockManagerInfo: Added broadcast_4_piece0 in memory on localhost:56974 (size: 1502.0 B, free: 131.5 MB)
15/07/29 12:43:42 INFO SparkContext: Created broadcast 4 from broadcast at DAGScheduler.scala:874
15/07/29 12:43:42 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 5 (ShuffledRDD[8] at sortByKey at Median.scala:19)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Adding task set 5.0 with 1 tasks
15/07/29 12:43:42 INFO TaskSetManager: Starting task 0.0 in stage 5.0 (TID 3, localhost, PROCESS_LOCAL, 1165 bytes)
15/07/29 12:43:42 INFO Executor: Running task 0.0 in stage 5.0 (TID 3)
15/07/29 12:43:42 INFO ShuffleBlockFetcherIterator: Getting 1 non-empty blocks out of 1 blocks
15/07/29 12:43:42 INFO ShuffleBlockFetcherIterator: Started 0 remote fetches in 2 ms
15/07/29 12:43:42 INFO Executor: Finished task 0.0 in stage 5.0 (TID 3). 1179 bytes result sent to driver
15/07/29 12:43:42 INFO DAGScheduler: ResultStage 5 (collectAsMap at Median.scala:22) finished in 0.009 s
15/07/29 12:43:42 INFO DAGScheduler: Job 1 finished: collectAsMap at Median.scala:22, took 0.063031 s
15/07/29 12:43:42 INFO TaskSetManager: Finished task 0.0 in stage 5.0 (TID 3) in 18 ms on localhost (1/1)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Removed TaskSet 5.0, whose tasks have all completed, from pool 
3
15/07/29 12:43:42 INFO SparkContext: Starting job: sum at Median.scala:26
15/07/29 12:43:42 INFO DAGScheduler: Got job 2 (sum at Median.scala:26) with 1 output partitions (allowLocal=false)
15/07/29 12:43:42 INFO DAGScheduler: Final stage: ResultStage 8(sum at Median.scala:26)
15/07/29 12:43:42 INFO DAGScheduler: Parents of final stage: List(ShuffleMapStage 7)
15/07/29 12:43:42 INFO DAGScheduler: Missing parents: List()
15/07/29 12:43:42 INFO DAGScheduler: Submitting ResultStage 8 (MapPartitionsRDD[10] at numericRDDToDoubleRDDFunctions at Median.scala:26), which has no missing parents
15/07/29 12:43:42 INFO MemoryStore: ensureFreeSpace(3464) called with curMem=168894, maxMem=137948037
15/07/29 12:43:42 INFO MemoryStore: Block broadcast_5 stored as values in memory (estimated size 3.4 KB, free 131.4 MB)
15/07/29 12:43:42 INFO MemoryStore: ensureFreeSpace(2011) called with curMem=172358, maxMem=137948037
15/07/29 12:43:42 INFO MemoryStore: Block broadcast_5_piece0 stored as bytes in memory (estimated size 2011.0 B, free 131.4 MB)
15/07/29 12:43:42 INFO BlockManagerInfo: Added broadcast_5_piece0 in memory on localhost:56974 (size: 2011.0 B, free: 131.5 MB)
15/07/29 12:43:42 INFO SparkContext: Created broadcast 5 from broadcast at DAGScheduler.scala:874
15/07/29 12:43:42 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 8 (MapPartitionsRDD[10] at numericRDDToDoubleRDDFunctions at Median.scala:26)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Adding task set 8.0 with 1 tasks
15/07/29 12:43:42 INFO TaskSetManager: Starting task 0.0 in stage 8.0 (TID 4, localhost, PROCESS_LOCAL, 1165 bytes)
15/07/29 12:43:42 INFO Executor: Running task 0.0 in stage 8.0 (TID 4)
15/07/29 12:43:42 INFO ShuffleBlockFetcherIterator: Getting 1 non-empty blocks out of 1 blocks
15/07/29 12:43:42 INFO ShuffleBlockFetcherIterator: Started 0 remote fetches in 0 ms
15/07/29 12:43:42 INFO Executor: Finished task 0.0 in stage 8.0 (TID 4). 926 bytes result sent to driver
15/07/29 12:43:42 INFO TaskSetManager: Finished task 0.0 in stage 8.0 (TID 4) in 11 ms on localhost (1/1)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Removed TaskSet 8.0, whose tasks have all completed, from pool 
15/07/29 12:43:42 INFO DAGScheduler: ResultStage 8 (sum at Median.scala:26) finished in 0.006 s
15/07/29 12:43:42 INFO DAGScheduler: Job 2 finished: sum at Median.scala:26, took 0.038065 s
15/07/29 12:43:42 INFO SparkContext: Starting job: count at Median.scala:38
19
15/07/29 12:43:42 INFO DAGScheduler: Got job 3 (count at Median.scala:38) with 1 output partitions (allowLocal=false)
15/07/29 12:43:42 INFO DAGScheduler: Final stage: ResultStage 11(count at Median.scala:38)
15/07/29 12:43:42 INFO DAGScheduler: Parents of final stage: List(ShuffleMapStage 10)
15/07/29 12:43:42 INFO DAGScheduler: Missing parents: List()
15/07/29 12:43:42 INFO DAGScheduler: Submitting ResultStage 11 (ShuffledRDD[8] at sortByKey at Median.scala:19), which has no missing parents
15/07/29 12:43:42 INFO MemoryStore: ensureFreeSpace(2376) called with curMem=174369, maxMem=137948037
15/07/29 12:43:42 INFO MemoryStore: Block broadcast_6 stored as values in memory (estimated size 2.3 KB, free 131.4 MB)
15/07/29 12:43:42 INFO MemoryStore: ensureFreeSpace(1451) called with curMem=176745, maxMem=137948037
15/07/29 12:43:42 INFO MemoryStore: Block broadcast_6_piece0 stored as bytes in memory (estimated size 1451.0 B, free 131.4 MB)
15/07/29 12:43:42 INFO BlockManagerInfo: Added broadcast_6_piece0 in memory on localhost:56974 (size: 1451.0 B, free: 131.5 MB)
15/07/29 12:43:42 INFO SparkContext: Created broadcast 6 from broadcast at DAGScheduler.scala:874
15/07/29 12:43:42 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 11 (ShuffledRDD[8] at sortByKey at Median.scala:19)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Adding task set 11.0 with 1 tasks
15/07/29 12:43:42 INFO TaskSetManager: Starting task 0.0 in stage 11.0 (TID 5, localhost, PROCESS_LOCAL, 1165 bytes)
15/07/29 12:43:42 INFO Executor: Running task 0.0 in stage 11.0 (TID 5)
15/07/29 12:43:42 INFO ShuffleBlockFetcherIterator: Getting 1 non-empty blocks out of 1 blocks
15/07/29 12:43:42 INFO ShuffleBlockFetcherIterator: Started 0 remote fetches in 0 ms
15/07/29 12:43:42 INFO BlockManagerInfo: Removed broadcast_5_piece0 on localhost:56974 in memory (size: 2011.0 B, free: 131.5 MB)
15/07/29 12:43:42 INFO Executor: Finished task 0.0 in stage 11.0 (TID 5). 924 bytes result sent to driver
15/07/29 12:43:42 INFO TaskSetManager: Finished task 0.0 in stage 11.0 (TID 5) in 9 ms on localhost (1/1)
15/07/29 12:43:42 INFO TaskSchedulerImpl: Removed TaskSet 11.0, whose tasks have all completed, from pool 
15/07/29 12:43:42 INFO DAGScheduler: ResultStage 11 (count at Median.scala:38) finished in 0.010 s
15/07/29 12:43:42 INFO DAGScheduler: Job 3 finished: count at Median.scala:38, took 0.167034 s
10 3 12 9
15/07/29 12:43:42 INFO BlockManagerInfo: Removed broadcast_4_piece0 on localhost:56974 in memory (size: 1502.0 B, free: 131.5 MB)
15/07/29 12:43:42 INFO BlockManagerInfo: Removed broadcast_3_piece0 on localhost:56974 in memory (size: 1501.0 B, free: 131.5 MB)
15/07/29 12:43:42 INFO BlockManagerInfo: Removed broadcast_2_piece0 on localhost:56974 in memory (size: 1586.0 B, free: 131.5 MB)
15/07/29 12:43:42 INFO BlockManagerInfo: Removed broadcast_1_piece0 on localhost:56974 in memory (size: 2.3 KB, free: 131.5 MB)
15/07/29 12:43:43 INFO SparkContext: Starting job: takeOrdered at Median.scala:53
15/07/29 12:43:43 INFO DAGScheduler: Registering RDD 4 (map at Median.scala:17)
15/07/29 12:43:43 INFO DAGScheduler: Got job 4 (takeOrdered at Median.scala:53) with 1 output partitions (allowLocal=false)
15/07/29 12:43:43 INFO DAGScheduler: Final stage: ResultStage 13(takeOrdered at Median.scala:53)
15/07/29 12:43:43 INFO DAGScheduler: Parents of final stage: List(ShuffleMapStage 12)
15/07/29 12:43:43 INFO DAGScheduler: Missing parents: List(ShuffleMapStage 12)
15/07/29 12:43:43 INFO DAGScheduler: Submitting ShuffleMapStage 12 (MapPartitionsRDD[4] at map at Median.scala:17), which has no missing parents
15/07/29 12:43:43 INFO MemoryStore: ensureFreeSpace(4328) called with curMem=153972, maxMem=137948037
15/07/29 12:43:43 INFO MemoryStore: Block broadcast_7 stored as values in memory (estimated size 4.2 KB, free 131.4 MB)
15/07/29 12:43:43 INFO MemoryStore: ensureFreeSpace(2424) called with curMem=158300, maxMem=137948037
15/07/29 12:43:43 INFO MemoryStore: Block broadcast_7_piece0 stored as bytes in memory (estimated size 2.4 KB, free 131.4 MB)
15/07/29 12:43:43 INFO BlockManagerInfo: Added broadcast_7_piece0 in memory on localhost:56974 (size: 2.4 KB, free: 131.5 MB)
15/07/29 12:43:43 INFO SparkContext: Created broadcast 7 from broadcast at DAGScheduler.scala:874
15/07/29 12:43:43 INFO DAGScheduler: Submitting 1 missing tasks from ShuffleMapStage 12 (MapPartitionsRDD[4] at map at Median.scala:17)
15/07/29 12:43:43 INFO TaskSchedulerImpl: Adding task set 12.0 with 1 tasks
15/07/29 12:43:43 INFO TaskSetManager: Starting task 0.0 in stage 12.0 (TID 6, localhost, PROCESS_LOCAL, 1399 bytes)
15/07/29 12:43:43 INFO Executor: Running task 0.0 in stage 12.0 (TID 6)
15/07/29 12:43:43 INFO HadoopRDD: Input split: file:/opt/IdeaProjects/SparkTest/data:0+49
15/07/29 12:43:43 INFO Executor: Finished task 0.0 in stage 12.0 (TID 6). 2001 bytes result sent to driver
15/07/29 12:43:43 INFO TaskSetManager: Finished task 0.0 in stage 12.0 (TID 6) in 9 ms on localhost (1/1)
15/07/29 12:43:43 INFO TaskSchedulerImpl: Removed TaskSet 12.0, whose tasks have all completed, from pool 
15/07/29 12:43:43 INFO DAGScheduler: ShuffleMapStage 12 (map at Median.scala:17) finished in 0.004 s
15/07/29 12:43:43 INFO DAGScheduler: looking for newly runnable stages
15/07/29 12:43:43 INFO DAGScheduler: running: Set()
15/07/29 12:43:43 INFO DAGScheduler: waiting: Set(ResultStage 13)
15/07/29 12:43:43 INFO DAGScheduler: failed: Set()
15/07/29 12:43:43 INFO DAGScheduler: Missing parents for ResultStage 13: List()
15/07/29 12:43:43 INFO DAGScheduler: Submitting ResultStage 13 (MapPartitionsRDD[12] at takeOrdered at Median.scala:53), which is now runnable
15/07/29 12:43:43 INFO MemoryStore: ensureFreeSpace(3600) called with curMem=160724, maxMem=137948037
15/07/29 12:43:43 INFO MemoryStore: Block broadcast_8 stored as values in memory (estimated size 3.5 KB, free 131.4 MB)
15/07/29 12:43:43 INFO MemoryStore: ensureFreeSpace(2075) called with curMem=164324, maxMem=137948037
15/07/29 12:43:43 INFO MemoryStore: Block broadcast_8_piece0 stored as bytes in memory (estimated size 2.0 KB, free 131.4 MB)
15/07/29 12:43:43 INFO BlockManagerInfo: Added broadcast_8_piece0 in memory on localhost:56974 (size: 2.0 KB, free: 131.5 MB)
15/07/29 12:43:43 INFO SparkContext: Created broadcast 8 from broadcast at DAGScheduler.scala:874
15/07/29 12:43:43 INFO DAGScheduler: Submitting 1 missing tasks from ResultStage 13 (MapPartitionsRDD[12] at takeOrdered at Median.scala:53)
15/07/29 12:43:43 INFO TaskSchedulerImpl: Adding task set 13.0 with 1 tasks
15/07/29 12:43:43 INFO TaskSetManager: Starting task 0.0 in stage 13.0 (TID 7, localhost, PROCESS_LOCAL, 1165 bytes)
15/07/29 12:43:43 INFO Executor: Running task 0.0 in stage 13.0 (TID 7)
15/07/29 12:43:43 INFO ShuffleBlockFetcherIterator: Getting 1 non-empty blocks out of 1 blocks
15/07/29 12:43:43 INFO ShuffleBlockFetcherIterator: Started 0 remote fetches in 1 ms
15/07/29 12:43:43 INFO Executor: Finished task 0.0 in stage 13.0 (TID 7). 1486 bytes result sent to driver
15/07/29 12:43:43 INFO TaskSetManager: Finished task 0.0 in stage 13.0 (TID 7) in 32 ms on localhost (1/1)
15/07/29 12:43:43 INFO TaskSchedulerImpl: Removed TaskSet 13.0, whose tasks have all completed, from pool 
15/07/29 12:43:43 INFO DAGScheduler: ResultStage 13 (takeOrdered at Median.scala:53) finished in 0.028 s
15/07/29 12:43:43 INFO DAGScheduler: Job 4 finished: takeOrdered at Median.scala:53, took 0.071571 s
12
15/07/29 12:43:43 INFO SparkUI: Stopped Spark web UI at http://192.168.73.129:4040
15/07/29 12:43:43 INFO DAGScheduler: Stopping DAGScheduler
15/07/29 12:43:43 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
15/07/29 12:43:43 INFO Utils: path = /tmp/spark-329d9ad9-4ed6-4a79-97f3-254cab1a13b8/blockmgr-f9da5521-a9c0-4801-bffb-3a92f089d1cd, already present as root for deletion.
15/07/29 12:43:43 INFO MemoryStore: MemoryStore cleared
15/07/29 12:43:43 INFO BlockManager: BlockManager stopped
15/07/29 12:43:43 INFO BlockManagerMaster: BlockManagerMaster stopped
15/07/29 12:43:43 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
15/07/29 12:43:43 INFO SparkContext: Successfully stopped SparkContext
15/07/29 12:43:43 INFO RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.
15/07/29 12:43:43 INFO RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.
15/07/29 12:43:43 INFO Utils: Shutdown hook called
15/07/29 12:43:43 INFO Utils: Deleting directory /tmp/spark-329d9ad9-4ed6-4a79-97f3-254cab1a13b8

Process finished with exit code 0

nosql数据库技术与应用知识点皆过客，揽星河 NoSQL nosql 数据库大数据数据分析数据结构非关系型数据库
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink等)数据可视化数据挖掘、机器学习应用(Python、SparkMLlib等)大数据时代存储的挑战(三高)高并发(同一时间很多人访问)高扩展(要求随时根据需求扩展存储)高效率(要求读写速度快)
ES聚合分析原理与代码实例讲解光剑书架上的书大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据 AIGC AGI LLM Java Python 架构设计 Agent 程序员实现财富自由
ES聚合分析原理与代码实例讲解1.背景介绍1.1问题的由来在大规模数据分析场景中，特别是在使用Elasticsearch（ES）进行数据存储和检索时，聚合分析成为了一个至关重要的功能。聚合分析允许用户对数据集进行细分和分组，以便深入探索数据的结构和模式。这在诸如实时监控、日志分析、业务洞察等领域具有广泛的应用。1.2研究现状目前，ES聚合分析已经成为现代大数据平台的核心组件之一。它支持多种类型的聚
WebMagic：强大的Java爬虫框架解析与实战 Aaron_945 Java java 爬虫开发语言
文章目录引言官网链接WebMagic原理概述基础使用1.添加依赖2.编写PageProcessor高级使用1.自定义Pipeline2.分布式抓取优点结论引言在大数据时代，网络爬虫作为数据收集的重要工具，扮演着不可或缺的角色。Java作为一门广泛使用的编程语言，在爬虫开发领域也有其独特的优势。WebMagic是一个开源的Java爬虫框架，它提供了简单灵活的API，支持多线程、分布式抓取，以及丰富的
免费的GPT可在线直接使用（一键收藏） kkai人工智能 gpt
1、LuminAI（https://kk.zlrxjh.top）LuminAI标志着一款融合了星辰大数据模型与文脉深度模型的先进知识增强型语言处理系统，旨在自然语言处理（NLP）的技术开发领域发光发热。此系统展现了卓越的语义把握与内容生成能力，轻松驾驭多样化的自然语言处理任务。VisionAI在NLP界的应用领域广泛，能够胜任从机器翻译、文本概要撰写、情绪分析到问答等众多任务。通过对大量文本数据的
如何利用大数据与AI技术革新相亲交友体验 h17711347205 回归算法安全系统架构交友小程序
在数字化时代，大数据和人工智能（AI）技术正逐渐革新相亲交友体验，为寻找爱情的过程带来前所未有的变革（编辑h17711347205）。通过精准分析和智能匹配，这些技术能够极大地提高相亲交友系统的效率和用户体验。大数据的力量大数据技术能够收集和分析用户的行为模式、偏好和互动数据，为相亲交友系统提供丰富的信息资源。通过分析用户的搜索历史、浏览记录和点击行为，系统能够深入了解用户的兴趣和需求，从而提供更
未来软件市场是怎么样的？做开发的生存空间如何？ cesske 软件需求
目录前言一、未来软件市场的发展趋势二、软件开发人员的生存空间前言未来软件市场是怎么样的？做开发的生存空间如何？一、未来软件市场的发展趋势技术趋势：人工智能与机器学习：随着技术的不断成熟，人工智能将在更多领域得到应用，如智能客服、自动驾驶、智能制造等，这将极大地推动软件市场的增长。云计算与大数据：云计算服务将继续普及，大数据技术的应用也将更加广泛。企业将更加依赖云计算和大数据来优化运营、提升效率，并
Hadoop架构 henan程序媛 hadoop 大数据分布式
一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
[转载] NoSQL简介 weixin_30325793 大数据数据库运维
摘自“百度百科”。NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。虽然NoSQL流行语
Kafka详细解析与应用分析芊言芊语 kafka 分布式
Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），由LinkedIn公司最初采用Scala语言开发，并基于ZooKeeper协调管理。如今，Kafka已经被Apache基金会纳入其项目体系，广泛应用于大数据实时处理领域。Kafka凭借其高吞吐量、持久化、分布式和可靠性的特点，成为构建实时流数据管道和流处理应用程序的重要工具。Kafka架构Kafka的架构主要由
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据 python hadoop 计算机毕业设计选题计算机毕业设计源码数据分析 spark毕设
作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
疫情，疫情东山草
2020年，疫情爆发，至今已近三年，反反复复，此起彼伏。不但没被消灭，还自我发展，从德尔塔到奥密克戎，与时俱进的变异着。去年11月，疫情之下，大数据800米范围内，都成为时空伴随者。“你的码儿有没有变颜色”“你绿码还是黄码”成为那段时间的流行语，当然少不了的还有全员核酸。段子手整出来一首歌：我走过你走过的路,这算不算相逢？我吹过你吹过的风，这算不算相拥？800米内我们不曾擦肩而过，你却要我14天相
在服务器计算节点中使用 jupyter Lab ranshan567 程序人生
JupyterLab是一个基于网页的交互式开发环境,用于科学计算、数据分析和机器学.jupyterlab是jupyternotebook的下一代产品,集成了更多功能,使用起来更方便.在进行数据分析及可视化时，个人电脑不能满足大数据的分析需求，就需要用到高性能计算机集群资源，然而计算机集群的计算节点往往没有联网功能，所以在计算机集群中使用jupyterLab需要进行一些配置。具体的步骤如下：
大数据真实面试题---SQL The博宇大数据面试题——SQL 大数据 mysql sql 数据库 big data
视频号数据分析组外包招聘笔试题时间限时45分钟完成。题目根据3张表表结构，写出具体求解的SQL代码（搞笑品类定义：视频分类或者视频创建者分类为“搞笑”）1、表创建语句：createtablet_user_video_action_d(dsint,user_idstring,video_idstring,action_typeint,`timestamp`bigint)rowformatdelimi
Flume：大规模日志收集与数据传输的利器傲雪凌霜，松柏长青后端大数据 flume 大数据
Flume：大规模日志收集与数据传输的利器在大数据时代，随着各类应用的不断增长，产生了海量的日志和数据。这些数据不仅对业务的健康监控至关重要，还可以通过深入分析，帮助企业做出更好的决策。那么，如何高效地收集、传输和存储这些海量数据，成为了一项重要的挑战。今天我们将深入探讨ApacheFlume，它是如何帮助我们应对这些挑战的。一、Flume概述ApacheFlume是一个分布式、可靠、可扩展的日志
云服务业界动态简报-20180128 Captain7
一、青云青云QingCloud推出深度学习平台DeepLearningonQingCloud，包含了主流的深度学习框架及数据科学工具包，通过QingCloudAppCenter一键部署交付，可以让算法工程师和数据科学家快速构建深度学习开发环境，将更多的精力放在模型和算法调优。二、腾讯云1.腾讯云正式发布腾讯专有云TCE(TencentCloudEnterprise)矩阵，涵盖企业版、大数据版、AI
大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏租房推荐系统 58同城租房爬虫房源推荐系统房价预测系统计算机毕业设计机器学习深度学习人工智能 2401_84572577 程序员大数据 hadoop 人工智能
做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
架构评审的自动化与人工智能: 如何提高效率光剑书架上的书架构自动化人工智能运维
1.背景介绍架构评审是软件开发过程中的一个关键环节，它旨在确保软件架构的质量、可维护性和可扩展性。传统的架构评审通常是由人工进行，需要大量的时间和精力。随着大数据技术和人工智能的发展，自动化和人工智能技术已经开始应用于架构评审，从而提高评审的效率和准确性。在本文中，我们将讨论如何通过自动化和人工智能技术来提高架构评审的效率。我们将从以下几个方面进行讨论：背景介绍核心概念与联系核心算法原理和具体操作
【数字化供应链】数字化供应链架构、全景管理、全流程贯通方案数字化建设方案数字化转型数据治理主数据数据仓库供应链数字仓储智慧物流智慧仓储物流园区架构微服务数据挖掘大数据人工智能
原文《数字化供应链架构、全景管理、全流程贯通方案》PPT格式。主要从供应链管理全景、智慧供应链建设总体目标、供应链总体业务流程、供应链总体功能架构、供应链总体技术架构、供应链全流程贯通、供应链全领域管理、供应链数据数据分析、供应链决策中台等进行建设。本文仅对主要内容进行介绍。来源网络公开渠道，旨在交流学习，如有侵权联系速删，更多参考公众号：优享智库基于先进IT技术、大数据能力、物联网应用、区块链平
80 鑫_259b
科普一个谈恋爱的方法。在以前，谈恋爱千难万难，就难在对对方不知底细，不知道对方希望自己是一个怎样的人，要耗费大量的时间去试探、再磨合，往往会因为一些小事一些细节，满盘皆输。在一个信息化的时代，在一个大数据近乎变成了流行语的时代，我们要跟上时代的步伐，通过大数据，去寻找异性最希望自己展现出来的形象是什么，才可以在爱情的道路上少走弯路。那这个大数据怎么操作呢？上街发问卷？问别人的择偶标准？一来会被打死
解锁企业潜能，Vatee万腾平台引领智能新纪元自媒体经济说其他
在数字化转型的浪潮中，企业正站在一个前所未有的十字路口，面对着前所未有的机遇与挑战。解锁企业内在潜能，实现跨越式发展，已成为众多企业的共同追求。而Vatee万腾平台，作为智能科技的先锋，正以其强大的智能赋能能力，引领企业步入一个全新的智能纪元。Vatee万腾平台，是一个集成了人工智能、大数据、云计算等前沿技术的综合性智能服务平台。它不仅仅是一个技术工具，更是企业转型升级的加速器，能够深入企业运营的
释放“AI+”新质生产力，深算院如何“把大数据变小”？ YashanDB YashanDB 国产数据库数据库数据库大数据
近期，南都·湾财社推出《新质·中国造》栏目，深入千行百业，遍访湾区企业，解锁湾区新质生产力，共探高质量发展之道。本期对话深圳计算科学研究院YashanDB首席技术官陈志标，探讨国产数据库如何实现创新突围，抢抓数字经济时代的新机遇。以下是专访内容：如何应对AI时代所面临的算力挑战？南都·湾财社：数据、算力和算法是发展人工智能的三要素，深算院做了怎样的前瞻性布局？陈志标：今年，政府工作报告中首次提及开
数字化智能工厂数字化供应链架构、全景管理、全流程贯通方案数字化建设方案智能制造数字工厂制造业数字化转型工业互联网架构
随着信息技术的飞速发展，数字化转型已成为制造企业提升竞争力的关键途径。数字化智能工厂通过集成先进的物联网(IoT)、大数据、云计算、人工智能(AI)等技术，实现了生产过程的智能化、供应链管理的精准化及决策的科学化。本方案旨在构建一套完善的数字化供应链架构，实现全景管理、全流程贯通、智慧化升级，以数据为驱动，强化技术支撑与安全管理体系，推动企业向智能制造迈进。一、数字化供应链架构1.**集成化平台构
日记——我的歌单静若小猴
又到一年一度大数据汇总的时候了，听歌已经成为很多人生活里的一种乐趣。春夏秋冬，我们都有自己喜欢的歌，歌词歌曲唱出沃尔玛你的心声。还记得大学时候最喜欢听的《春天里》，我有一天单曲回放了30遍，总觉得听着仿佛看到自己声音。还有的歌，初听不知曲中意，再听已经是曲终人，听着歌流泪，听着歌入睡……还记得那些年少的故事吗，总觉得自己才是故事外的人，却不是自己已经入歌。一段时间会喜欢一个人的音乐，一段时间会沉静
Linux dmesg命令：显示开机信息 fafadsj666 linux 数据库数据挖掘机器学习大数据
通过学习《Linux启动管理》一章可以知道，在系统启动过程中，内核还会进行一次系统检测（第一次是BIOS进行加测），但是检测的过程不是没有显示在屏幕上，就是会快速的在屏幕上一闪而过那么，如果开机时来不及查看相关信息，我们是否可以在开机后查看呢？答案是肯定的，使用dmesg命令就可以。无论是系统启动过程中，还是系统运行过程中，只要是内核产生的信息，都会被存储在系统缓冲区中，已经为大家精心准备了大数据
大数据新视界 --大数据大厂之揭秘大数据时代 Excel 魔法：大厂数据分析师进阶秘籍青云交大数据新视界 Excel 数据分析函数公式数据透视表图表功能规划求解数据分析工具库大数据新视界数据库
亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
大数据新视界 --大数据大厂之数据挖掘入门：用 R 语言开启数据宝藏的探索之旅青云交大数据新视界数据库大数据数据挖掘 R 语言算法案例未来趋势应用场景学习建议大数据新视界
亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
高职人工智能训练师边缘计算实训室解决方案武汉唯众智创人工智能训练师边缘计算实训室人工智能训练师实训室边缘计算实训室
一、引言随着物联网（IoT）、大数据、人工智能（AI）等技术的飞速发展，计算需求日益复杂和多样化。传统的云计算模式虽在一定程度上满足了这些需求，但在处理海量数据、保障实时性与安全性、提升计算效率等方面仍面临诸多挑战。在此背景下，边缘计算作为一种新兴的计算模式应运而生，通过将计算能力推向数据生成或用户所在的网络边缘，显著降低了数据传输的延迟，提升了处理效率，并增强了数据安全性。针对高等职业院校的人工
python基于django/flask的NBA球员大数据分析与可视化python+java+node.js QQ_511008285 python django flask java spring boot 数据分析
前端开发框架:vue.js数据库mysql版本不限后端语言框架支持：1java(SSM/springboot)-idea/eclipse2.Nodejs+Vue.js-vscode3.python(flask/django)--pycharm/vscode4.php(thinkphp/laravel)-hbuilderx数据库工具：Navicat/SQLyog等都可以本文针对NBA球员的大数据进行
Java基于spring boot的国产电影数据分析与可视化python+java+node.js QQ_511008285 java spring boot 数据分析 python django vue.js flask
前端开发框架:vue.js数据库mysql版本不限后端语言框架支持：1java(SSM/springboot)-idea/eclipse2.Nodejs+Vue.js-vscode3.python(flask/django)--pycharm/vscode4.php(thinkphp/laravel)-hbuilderx数据库工具：Navicat/SQLyog等都可以该系统使用进行大数据处理和
数字化（电子化）招标采购平台系统核心功能详细介绍 xinyuan_123456 oracle
数智化招标采购平台覆盖全业务类型、全采购流程、全采购方式，是郑州信源公司运用“互联网+”、大数据、人工智能、区块链、物联网等新兴技术，结合供应链管理理念，以招标采购为核心，提供交易、管理、数据、服务、监管为一体的高标准采购管理平台，赋能政企用户实现采购业务全流程的电子化、数字化、智慧化。根据产品功能及应用领域，产品包括：企业数智化招采供应链平台、金融数智化招采平台、政府数智化采购平台、公共资源数智
apache ftpserver-CentOS config gengzg apache
<server xmlns="http://mina.apache.org/ftpserver/spring/v1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=" http://mina.apache.o
优化MySQL数据库性能的八种方法 AILIKES sql mysql
1、选取最适用的字段属性　　MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很
JeeSite 企业信息化快速开发平台 Kai_Ge JeeSite
JeeSite 企业信息化快速开发平台平台简介 JeeSite是基于多个优秀的开源项目，高度整合封装而成的高效，高性能，强安全性的开源Java EE快速开发平台。 JeeSite本身是以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache Shiro为权限授权层，Ehcahe对常用数据进行缓存，Activit为工作流
通过Spring Mail Api发送邮件 120153216 邮件 main
原文地址：http://www.open-open.com/lib/view/open1346857871615.html 使用Java Mail API来发送邮件也很容易实现，但是最近公司一个同事封装的邮件API实在让我无法接受，于是便打算改用Spring Mail API来发送邮件，顺便记录下这篇文章。【Spring Mail API】 Spring Mail API都在org.spri
Pysvn 程序员使用指南 2002wmj SVN
源文件:http://ju.outofmemory.cn/entry/35762 这是一篇关于pysvn模块的指南. 完整和详细的API请参考 http://pysvn.tigris.org/docs/pysvn_prog_ref.html. pysvn是操作Subversion版本控制的Python接口模块. 这个API接口可以管理一个工作副本, 查询档案库, 和同步两个. 该
在SQLSERVER中查找被阻塞和正在被阻塞的SQL 357029540 SQL Server
SELECT R.session_id AS BlockedSessionID , S.session_id AS BlockingSessionID , Q1.text AS Block
Intent 常用的用法备忘 7454103 .net android Google Blog F#
Intent 应该算是Android中特有的东西。你可以在Intent中指定程序要执行的动作（比如：view,edit,dial），以及程序执行到该动作时所需要的资料。都指定好后，只要调用startActivity()，Android系统会自动寻找最符合你指定要求的应用程序，并执行该程序。下面列出几种Intent 的用法显示网页:
Spring定时器时间配置 adminjun spring 时间配置定时器
红圈中的值由6个数字组成，中间用空格分隔。第一个数字表示定时任务执行时间的秒，第二个数字表示分钟，第三个数字表示小时，后面三个数字表示日，月，年，< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" /> 测试的时候，由于是每天定时执行，所以后面三个数
POJ 2421 Constructing Roads 最小生成树 aijuans 最小生成树
来源：http://poj.org/problem?id=2421 题意：还是给你n个点，然后求最小生成树。特殊之处在于有一些点之间已经连上了边。思路：对于已经有边的点，特殊标记一下，加边的时候把这些边的权值赋值为0即可。这样就可以既保证这些边一定存在，又保证了所求的结果正确。代码： #include <iostream> #include <cstdio>
重构笔记——提取方法（Extract Method） ayaoxinchao java 重构提炼函数局部变量提取方法
提取方法（Extract Method）是最常用的重构手法之一。当看到一个方法过长或者方法很难让人理解其意图的时候，这时候就可以用提取方法这种重构手法。下面是我学习这个重构手法的笔记：提取方法看起来好像仅仅是将被提取方法中的一段代码，放到目标方法中。其实，当方法足够复杂的时候，提取方法也会变得复杂。当然，如果提取方法这种重构手法无法进行时，就可能需要选择其他
为UILabel添加点击事件 bewithme UILabel
默认情况下UILabel是不支持点击事件的，网上查了查居然没有一个是完整的答案，现在我提供一个完整的代码。 UILabel *l = [[UILabel alloc] initWithFrame:CGRectMake(60, 0, listV.frame.size.width - 60, listV.frame.size.height)]
NoSQL数据库之Redis数据库管理(PHP-REDIS实例) bijian1013 redis 数据库 NoSQL
一.redis.php <?php //实例化 $redis = new Redis(); //连接服务器 $redis->connect("localhost"); //授权 $redis->auth("lamplijie"); //相关操
SecureCRT使用备注 bingyingao secureCRT 每页行数
SecureCRT日志和卷屏行数设置一、使用securecrt时，设置自动日志记录功能。 1、在C:\Program Files\SecureCRT\下新建一个文件夹(也就是你的CRT可执行文件的路径），命名为Logs； 2、点击Options -> Global Options -> Default Session -> Edite Default Sett
【Scala九】Scala核心三：泛型 bit1129 scala
泛型类 package spark.examples.scala.generics class GenericClass[K, V](val k: K, val v: V) { def print() { println(k + "," + v) } } object GenericClass { def main(args: Arr
素数与音乐 bookjovi 素数数学 haskell
由于一直在看haskell，不可避免的接触到了很多数学知识，其中数论最多，如素数，斐波那契数列等，很多在学生时代无法理解的数学现在似乎也能领悟到那么一点。闲暇之余，从图书馆找了<<The music of primes>>和<<世界数学通史>>读了几遍。其中素数的音乐这本书与软件界熟知的&l
Java-Collections Framework学习与总结-IdentityHashMap BrokenDreams Collections
这篇总结一下java.util.IdentityHashMap。从类名上可以猜到，这个类本质应该还是一个散列表，只是前面有Identity修饰，是一种特殊的HashMap。简单的说，IdentityHashMap和HashM
读《研磨设计模式》-代码笔记-享元模式-Flyweight bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.List; import java
PS人像润饰&调色教程集锦 cherishLC PS
1、仿制图章沿轮廓润饰——柔化图像，凸显轮廓 http://www.howzhi.com/course/retouching/ 新建一个透明图层，使用仿制图章不断Alt+鼠标左键选点，设置透明度为21%，大小为修饰区域的1/3左右（比如胳膊宽度的1/3），再沿纹理方向（比如胳膊方向）进行修饰。所有修饰完成后，对该润饰图层添加噪声，噪声大小应该和
更新多个字段的UPDATE语句 crabdave update
更新多个字段的UPDATE语句 update tableA a set (a.v1, a.v2, a.v3, a.v4) = --使用括号确定更新的字段范围
hive实例讲解实现in和not in子句 daizj hive not in in
本文转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html 当前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含
一道24点的10+种非人类解法（2,3,10,10） dsjt 算法
这是人类算24点的方法？！！！事件缘由：今天晚上突然看到一条24点状态，当时惊为天人，这NM叫人啊？以下是那条状态朱明西 : 24点，算2 3 10 10，我LX炮狗等面对四张牌痛不欲生，结果跑跑同学扫了一眼说，算出来了，2的10次方减10的3次方。。我草这是人类的算24点啊。。然后么。。。我就在深夜很得瑟的问室友求室友算刚出完题，文哥的暴走之旅开始了 5秒后
关于YII的菜单插件 CMenu和面包末breadcrumbs路径管理插件的一些使用问题 dcj3sjt126com yii framework
在使用 YIi的路径管理工具时，发现了一个问题。 <?php
对象与关系之间的矛盾：“阻抗失配”效应[转] come_for_dream 对象
概述 “阻抗失配”这一词组通常用来描述面向对象应用向传统的关系数据库（RDBMS）存放数据时所遇到的数据表述不一致问题。C++程序员已经被这个问题困扰了好多年，而现在的Java程序员和其它面向对象开发人员也对这个问题深感头痛。 “阻抗失配”产生的原因是因为对象模型与关系模型之间缺乏固有的亲合力。“阻抗失配”所带来的问题包括：类的层次关系必须绑定为关系模式（将对象
学习编程那点事 gcq511120594 编程互联网
一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
Reverse Linked List II hcx2013 list
Reverse a linked list from position m to n. Do it in-place and in one-pass. For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4, return
Spring4.1新特性——页面自动化测试框架Spring MVC Test HtmlUnit简介 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
Hadoop集群工具distcp liyonghui160com
1. 环境描述两个集群：rock 和 stone rock无kerberos权限认证，stone有要求认证。 1. 从rock复制到stone，采用hdfs Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本
一个备份MySQL数据库的简单Shell脚本 pda158 mysql 脚本
　　主脚本（用于备份mysql数据库）：　　该Shell脚本可以自动备份数据库。只要复制粘贴本脚本到文本编辑器中，输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。　　 1. 分别建立目录“backup”和“oldbackup” 　　#mkdir /backup 　　#mkdir /oldbackup 　
300个涵盖IT各方面的免费资源（中）——设计与编码篇 shoothao IT资源图标库图片库色彩板字体
A. 免费的设计资源 Freebbble:来自于Dribbble的免费的高质量作品。 Dribbble:Dribbble上“免费”的搜索结果——这是巨大的宝藏。 Graphic Burger:每个像素点都做得很细的绝佳的设计资源。 Pixel Buddha:免费和优质资源的专业社区。 Premium Pixels:为那些有创意的人提供免费的素材。
thrift总结 - 跨语言服务开发 uule thrift
官网官网JAVA例子 thrift入门介绍 IBM-Apache Thrift - 可伸缩的跨语言服务开发框架 Thrift入门及Java实例演示 thrift的使用介绍 RPC POM： <dependency> <groupId>org.apache.thrift</groupId>

Spark入门--求中位数

你可能感兴趣的:(大数据)