星之擎
星之擎

spark 与 hadoop的hdfs的连接（亲测有效）

出处：：http://blog.csdn.net/oopsoom/article/details/24257981，


目前Spark的Run on的Hadoop版本大多是hadoop2以上，但是实际上各个公司的生产环境不尽相同，用到2.0以上的公司还是少数。

大多数公司还是停留在1代hadoop上，所以我就拿spark0.91 +  hadoop0.20.2-cdh3u5来部署一个小集群，以供测试学习使用。

一、环境概况

Spark集群3台：

web01: slave

web02: master

db01: slave


Hadoop集群：

hadoop 0.20.2-cdh3u5    3台


2、编译Spark

编译spark我在这里就不赘述了，已经有好几篇编译的文章了
第一步、设置Spark要work with的Hadoop的版本号，可以在spark官网查找。
第二部、sbt/sbt assembly 编译发布spark核心包。
还是推荐大家用sbt编译，遇到问题可以看我的 spark编译sbt依赖问题。

3、配置


如果编译基本都ok了的话，会在/home/hadoop/shengli/spark/assembly/target/scala-2.10下生成spark和hadoop匹配的发布包。
[java]  view plain  copy
  1. 总计 92896  
  2. drwxr-xr-x 3 root root     4096 04-21 14:00 cache  
  3. drwxrwxr-x 6 root root     4096 04-21 14:00 ..  
  4. -rw-r--r-- 1 root root 95011766 04-21 14:16 spark-assembly-0.9.1-hadoop0.20.2-cdh3u5.jar  
  5. drwxrwxr-x 3 root root     4096 04-21 14:20 .  

而且在路径/home/hadoop/shengli/spark/lib_managed/jars下，你会找到hadoop-core-0.20.2-cdh3u5.jar这个文件。


4.spark配置


spark官网上提供了好多几种启动集群的方式，我比较推荐的是用官方的shell脚本。sbin/start-all.sh，简单快捷，如果需要定制的启动Master和Slave，就需要用到sbin/start-master.sh   sbin/start-slave.sh了。

4.1 修改spark的spark环境

如果用到这种启动方式，首先要修改配置文件。

[java]  view plain  copy
  1. cp spark-env.sh.template spark-env.sh  

设置一下Master的IP和端口：（其它的配置以后再配了）
[java]  view plain  copy
  1. #!/usr/bin/env bash  
  2.   
  3. # This file contains environment variables required to run Spark. Copy it as  
  4. # spark-env.sh and edit that to configure Spark for your site.  
  5. #  
  6. # The following variables can be set in this file:  
  7. # - SPARK_LOCAL_IP, to set the IP address Spark binds to on this node  
  8. # - MESOS_NATIVE_LIBRARY, to point to your libmesos.so if you use Mesos  
  9. # - SPARK_JAVA_OPTS, to set node-specific JVM options for Spark. Note that  
  10. #   we recommend setting app-wide options in the application's driver program.  
  11. #     Examples of node-specific options : -Dspark.local.dir, GC options  
  12. #     Examples of app-wide options : -Dspark.serializer  
  13. #  
  14. # If using the standalone deploy mode, you can also set variables for it here:  
  15. # - SPARK_MASTER_IP, to bind the master to a different IP address or hostname  
  16. # - SPARK_MASTER_PORT / SPARK_MASTER_WEBUI_PORT, to use non-default ports  
  17. # - SPARK_WORKER_CORES, to set the number of cores to use on this machine  
  18. # - SPARK_WORKER_MEMORY, to set how much memory to use (e.g. 1000m, 2g)  
  19. # - SPARK_WORKER_PORT / SPARK_WORKER_WEBUI_PORT  
  20. # - SPARK_WORKER_INSTANCES, to set the number of worker processes per node  
  21. # - SPARK_WORKER_DIR, to set the working directory of worker processes  
  22.   
  23. export SPARK_MASTER_IP=web02.dw  
  24. export SPARK_MASTER_PORT=7077  
  25. export SPARK_WORKER_CORES=4  
  26. export SPARK_WORKER_MEMORY=2g  
  27. export SPARK_WORKER_INSTANCES=2  
  28.   
  29. #control executor mem  
  30. export SPARK_EXECUTOR_MEMORY=1g  
  31. export SPARK_JAVA_OPTS=-Dspark.executor.memory=1g  

4.2 将hadoop配置文件加入classpath

将hadoop配置文件core-site.xml和hdfs-site.xml拷贝到spark/conf下。

4.3 设置slaves

[java]  view plain  copy
  1. vim slaves  
  2. # A Spark Worker will be started on each of the machines listed below.  
  3. web01.dw  
  4. db01.dw  

4.4分发spark

最基本的默认配置以及配置好了，下面开始分发spark到各个slave节点，注意要先打包后分发，然后到各个节点去解压，不要直接scp。

5. 启动spark

5.1启动spark：

[java]  view plain  copy
  1. [root@web02 spark]# sbin/start-all.sh   
  2. starting org.apache.spark.deploy.master.Master, logging to /app/home/hadoop/shengli/spark/sbin/../logs/spark-root-org.apache.spark.deploy.master.Master-1-web02.dw.out  
  3. web01.dw: starting org.apache.spark.deploy.worker.Worker, logging to /app/home/hadoop/shengli/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-web01.dw.out  
  4. db01.dw: starting org.apache.spark.deploy.worker.Worker, logging to /app/hadoop/shengli/spark/sbin/../logs/spark-root-org.apache.spark.deploy.worker.Worker-1-db01.dw.out  


如上述配置一致：

web02是Master，web01和db01是Worker.

[java]  view plain  copy
  1. [root@web02 spark]# jps  
  2. 25293 SecondaryNameNode  
  3. 25390 JobTracker  
  4. 18783 Jps  
  5. 25118 NameNode  
  6. 18677 Master  


[java]  view plain  copy
  1. [root@web01 conf]# jps  
  2. 22733 DataNode  
  3. 5697 Jps  
  4. 22878 TaskTracker  
  5. 5625 Worker  
  6. 4839 jar  

[java]  view plain  copy
  1. [root@db01 assembly]# jps  
  2. 16242 DataNode  
  3. 16345 TaskTracker  
  4. 30603 Worker  
  5. 30697 Jps  

5.2 web监控

可以清晰的看到：
默认情况下Master的端口为7077，当然我们可以根据配置文件更改，这里暂不做更改。
2个worker，以及每个worker和集群的配置。

Master：
spark 与 hadoop的hdfs的连接（亲测有效）_第1张图片
Slaves：

spark 与 hadoop的hdfs的连接（亲测有效）_第2张图片
spark 与 hadoop的hdfs的连接（亲测有效）_第3张图片

6. spark连接hdfs

6.1启动一个Application

首先我们要先启动一个Application，这个Application就是我们的spark-shell。
[java]  view plain  copy
  1. SPARK_MASTER=spark://web02.dw:7077  bin/spark-shell  

这里我为了看到DEBUG，修改了conf下的log4j的消息等级为DEBUG。
[java]  view plain  copy
  1. [root@web02 spark]# SPARK_MASTER=spark://web02.dw:7077  bin/spark-shell  
  2. 14/05/14 17:16:02 INFO HttpServer: Starting HTTP Server  
  3. Welcome to  
  4.       ____              __  
  5.      / __/__  ___ _____/ /__  
  6.     _\ \/ _ \/ _ `/ __/  '_/  
  7.    /___/ .__/\_,_/_/ /_/\_\   version 0.9.1  
  8.       /_/  
  9.   
  10.   
  11. Using Scala version 2.10.3 (Java HotSpot(TM) 64-Bit Server VM, Java 1.6.0_20)  
  12. Type in expressions to have them evaluated.  
  13. Type :help for more information.  
  14. 14/05/14 17:16:06 INFO Slf4jLogger: Slf4jLogger started  
  15. 14/05/14 17:16:06 INFO Remoting: Starting remoting  
  16. 14/05/14 17:16:06 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:16231]  
  17. 14/05/14 17:16:06 INFO Remoting: Remoting now listens on addresses: [akka.tcp://[email protected]:16231]  
  18. 14/05/14 17:16:06 INFO SparkEnv: Registering BlockManagerMaster  
  19. 14/05/14 17:16:06 INFO DiskBlockManager: Created local directory at /tmp/spark-local-20140514171606-60f2  
  20. 14/05/14 17:16:06 INFO MemoryStore: MemoryStore started with capacity 294.4 MB.  
  21. 14/05/14 17:16:06 INFO ConnectionManager: Bound socket to port 60841 with id = ConnectionManagerId(web02.dw,60841)  
  22. 14/05/14 17:16:06 INFO BlockManagerMaster: Trying to register BlockManager  
  23. 14/05/14 17:16:06 INFO BlockManagerMasterActor$BlockManagerInfo: Registering block manager web02.dw:60841 with 294.4 MB RAM  
  24. 14/05/14 17:16:06 INFO BlockManagerMaster: Registered BlockManager  
  25. 14/05/14 17:16:06 INFO HttpServer: Starting HTTP Server  
  26. 14/05/14 17:16:06 INFO HttpBroadcast: Broadcast server started at http://10.1.8.207:37532  
  27. 14/05/14 17:16:06 INFO SparkEnv: Registering MapOutputTracker  
  28. 14/05/14 17:16:06 INFO HttpFileServer: HTTP File server directory is /tmp/spark-f2865aa6-9bda-4980-a7ff-838f9ae87a18  
  29. 14/05/14 17:16:06 INFO HttpServer: Starting HTTP Server  
  30. 14/05/14 17:16:07 INFO SparkUI: Started Spark Web UI at http://web02.dw:4040  
  31. 14/05/14 17:16:07 INFO AppClient$ClientActor: Connecting to master spark://web02.dw:7077...  
  32. 14/05/14 17:16:07 INFO SparkDeploySchedulerBackend: Connected to Spark cluster with app ID app-20140514171607-0005  
  33. 14/05/14 17:16:07 INFO AppClient$ClientActor: Executor added: app-20140514171607-0005/0 on worker-20140514155706-web01.dw-49813 (web01.dw:49813) with 4 cores  
  34. 14/05/14 17:16:07 INFO SparkDeploySchedulerBackend: Granted executor ID app-20140514171607-0005/0 on hostPort web01.dw:49813 with 4 cores, 1024.0 MB RAM  
  35. 14/05/14 17:16:07 INFO AppClient$ClientActor: Executor added: app-20140514171607-0005/1 on worker-20140514155704-db01.dw-30929 (db01.dw:30929) with 4 cores  
  36. 14/05/14 17:16:07 INFO SparkDeploySchedulerBackend: Granted executor ID app-20140514171607-0005/1 on hostPort db01.dw:30929 with 4 cores, 1024.0 MB RAM  
  37. 14/05/14 17:16:07 INFO AppClient$ClientActor: Executor added: app-20140514171607-0005/2 on worker-20140514155706-db01.dw-60995 (db01.dw:60995) with 4 cores  
  38. 14/05/14 17:16:07 INFO SparkDeploySchedulerBackend: Granted executor ID app-20140514171607-0005/2 on hostPort db01.dw:60995 with 4 cores, 1024.0 MB RAM  
  39. 14/05/14 17:16:07 INFO AppClient$ClientActor: Executor added: app-20140514171607-0005/3 on worker-20140514155704-web01.dw-50163 (web01.dw:50163) with 4 cores  
  40. 14/05/14 17:16:07 INFO SparkDeploySchedulerBackend: Granted executor ID app-20140514171607-0005/3 on hostPort web01.dw:50163 with 4 cores, 1024.0 MB RAM  
  41. 14/05/14 17:16:07 INFO AppClient$ClientActor: Executor updated: app-20140514171607-0005/0 is now RUNNING  
  42. 14/05/14 17:16:07 INFO AppClient$ClientActor: Executor updated: app-20140514171607-0005/1 is now RUNNING  
  43. 14/05/14 17:16:07 INFO AppClient$ClientActor: Executor updated: app-20140514171607-0005/3 is now RUNNING  
  44. 14/05/14 17:16:07 INFO AppClient$ClientActor: Executor updated: app-20140514171607-0005/2 is now RUNNING  
  45. Created spark context..  
  46. Spark context available as sc.  
  47.   
  48.   
  49. scala> 14/05/14 17:16:08 INFO SparkDeploySchedulerBackend: Registered executor: Actor[akka.tcp://[email protected]:60575/user/Executor#800679015] with ID 0  
  50. 14/05/14 17:16:08 INFO SparkDeploySchedulerBackend: Registered executor: Actor[akka.tcp://[email protected]:3379/user/Executor#1116201144] with ID 3  
  51. 14/05/14 17:16:08 INFO SparkDeploySchedulerBackend: Registered executor: Actor[akka.tcp://[email protected]:14501/user/Executor#-1849151050] with ID 1  
  52. 14/05/14 17:16:08 INFO SparkDeploySchedulerBackend: Registered executor: Actor[akka.tcp://[email protected]:63875/user/Executor#-1596518942] with ID 2  
  53. 14/05/14 17:16:09 INFO BlockManagerMasterActor$BlockManagerInfo: Registering block manager web01.dw:15040 with 588.8 MB RAM  
  54. 14/05/14 17:16:09 INFO BlockManagerMasterActor$BlockManagerInfo: Registering block manager web01.dw:16038 with 588.8 MB RAM  
  55. 14/05/14 17:16:09 INFO BlockManagerMasterActor$BlockManagerInfo: Registering block manager db01.dw:60398 with 588.8 MB RAM  
  56. 14/05/14 17:16:09 INFO BlockManagerMasterActor$BlockManagerInfo: Registering block manager db01.dw:60074 with 588.8 MB RAM  

这里可以看到其实创建一个Application就要初始化一个SparkContext。
大致流程是：
1. Master启动，启动一个监听端口注册BlockManager。
2. Master注册自己，并创建一个HTTP Server 广播给slaves
3. 注册MapOutputTracker，启动HTTP File Server
4.启动Spark WebUI
5.Client Actor连接上spark://web02.dw:7077
6.每个节点都启动了一个Executor等待执行任务。（有SparkDeploySchedulerBackend完成）
7.创建SparkContext
8.注册slave到BlockManger，主要以内存为单位。

6.2 读取hdfs文件

为了读取hdfs文件，首先要导入hadoop input format，和Writable类包。
然后spark context 的hadoopFile 方法 需要指定格式。见API：
[java]  view plain  copy
  1. def  
  2. hadoopFile[K, V, F <: InputFormat[K, V]](path: String)(implicit km: ClassTag[K], vm: ClassTag[V], fm: ClassTag[F]): RDD[(K, V)]  
  3. Smarter version of hadoopFile() that uses class tags to figure out the classes of keys, values and the InputFormat so that users don't need to pass them directly. Instead, callers can just write, for example,  
  4.   
  5. val file = sparkContext.hadoopFile[LongWritable, Text, TextInputFormat](path)  
  6. Note: Because Hadoop's RecordReader class re-uses the same Writable object for each record, directly caching the returned RDD will create many references to the same object. If you plan to directly cache Hadoop writable objects, you should first copy them using a map function.  

接下来执行一下：
指定这个文件的格式是k,v格式即PairedRDD，key是longwritable,value是Text，指定读取格式为TextInputFormat，同时也支持sequencefile.
[java]  view plain  copy
  1. scala> import org.apache.hadoop.mapred._  
  2. import org.apache.hadoop.mapred._  
  3.   
  4. scala> import org.apache.hadoop.io._  
  5. import org.apache.hadoop.io._  
  6.   
  7. scala> val f = sc.hadoopFile[LongWritable, Text, TextInputFormat]("/dw/jyzj_market_trade.txt")  
  8. 14/04/21 17:28:20 INFO MemoryStore: ensureFreeSpace(73490) called with curMem=0, maxMem=308713881  
  9. 14/04/21 17:28:20 INFO MemoryStore: Block broadcast_0 stored as values to memory (estimated size 71.8 KB, free 294.3 MB)  
  10. 14/04/21 17:28:20 DEBUG BlockManager: Put block broadcast_0 locally took  64 ms  
  11. 14/04/21 17:28:20 DEBUG BlockManager: Put for block broadcast_0 without replication took  65 ms  
  12. f: org.apache.spark.rdd.RDD[(org.apache.hadoop.io.LongWritable, org.apache.hadoop.io.Text)] = HadoopRDD[0] at hadoopFile at :18  

执行流程(回头要详细研究一下):
1. MemoryStore首先要确保内存空余空间是否满足
2. Block广播存储在内存中
3. BlockManger将块放入内存了，因为这个文件实在太小了。
4. 没有指定备份
5. 最后f是一个HadoopRDD

接下来看下监控页面已经监控到了程序的运行：

spark 与 hadoop的hdfs的连接（亲测有效）_第4张图片
点击appid可以看到执行该app的监控：

这里的确是启动了2个Executor。

spark 与 hadoop的hdfs的连接（亲测有效）_第5张图片

点击worker查看worker的运行状态：
看到wb01的Job详情，如果想看到输出，就点击logs下面的stdout。
因为transformation是lazy的，所以要等到计算完action的时候，我们才能看到stdout。
spark 与 hadoop的hdfs的连接（亲测有效）_第6张图片
下面我们做什么示范好呢？wordcount吗？怎么每次想到的都是这个，没创意=。=

好吧，要注意我们这个RDD是K,V的。

[java]  view plain  copy
  1. f.flatMap(_._2.toString().split("\t")).map(word=>(word,1)).reduceByKey(_+_) foreach println  

开了DEBUG模式，谅解- -！
介绍一下流程：
1. 因为访问的是hdfs，要用hadoop用户登录才有权限。
2. Client来连接hdfs，使用ClientProtocol，调用IPC
3. 获取协议Version。
4. 连接到datanode，获取文件的split，这里只有2个。
5.FileInputFormat读取文件。
6.SparkContext开始提交job
7.DAGScheduler开始优化解析执行Stage计划。
8.DaGScheduler对应每个Stage，提交不同的Task任务给Executor执行（执行优先考虑数据本地化）
9.TaskSetManger对Task进行管理序列化task与反序列化Task。有一个Pool来管理taskset。
10.MapOutputTrackerMasterActor被要求发送map output的地址到works的shuffler上。(此步骤在reduce Stage会触发)
11.ShuffleMapTask进行洗牌，因为有reduce的action.计算wordcount
12.最后合并结果输出。

[java]  view plain  copy
  1. 14/04/21 17:46:26 DEBUG UserGroupInformation: hadoop login  
  2. 14/04/21 17:46:26 DEBUG UserGroupInformation: hadoop login commit  
  3. 14/04/21 17:46:26 DEBUG UserGroupInformation: using local user:UnixPrincipal: root  
  4. 14/04/21 17:46:26 DEBUG UserGroupInformation: UGI loginUser:root (auth:SIMPLE)  
  5. 14/04/21 17:46:26 DEBUG FileSystem: Creating filesystem for hdfs://web02.dw:9000  
  6. 14/04/21 17:46:26 DEBUG Client: The ping interval is60000ms.  
  7. 14/04/21 17:46:26 DEBUG Client: Use SIMPLE authentication for protocol ClientProtocol  
  8. 14/04/21 17:46:26 DEBUG Client: Connecting to web02.dw/10.1.8.207:9000  
  9. 14/04/21 17:46:26 DEBUG Client: IPC Client (47) connection to web02.dw/10.1.8.207:9000 from root: starting, having connections 1  
  10. 14/04/21 17:46:26 DEBUG Client: IPC Client (47) connection to web02.dw/10.1.8.207:9000 from root sending #0  
  11. 14/04/21 17:46:26 DEBUG Client: IPC Client (47) connection to web02.dw/10.1.8.207:9000 from root got value #0  
  12. 14/04/21 17:46:26 DEBUG RPC: Call: getProtocolVersion 55  
  13. 14/04/21 17:46:26 DEBUG DFSClient: Short circuit read is false  
  14. 14/04/21 17:46:26 DEBUG DFSClient: Connect to datanode via hostname is false  
  15. 14/04/21 17:46:26 DEBUG NativeCodeLoader: Trying to load the custom-built native-hadoop library...  
  16. 14/04/21 17:46:26 DEBUG NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path  
  17. 14/04/21 17:46:26 DEBUG NativeCodeLoader: java.library.path=  
  18. 14/04/21 17:46:26 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
  19. 14/04/21 17:46:26 WARN LoadSnappy: Snappy native library not loaded  
  20. 14/04/21 17:46:26 DEBUG Client: IPC Client (47) connection to web02.dw/10.1.8.207:9000 from root sending #1  
  21. 14/04/21 17:46:26 DEBUG Client: IPC Client (47) connection to web02.dw/10.1.8.207:9000 from root got value #1  
  22. 14/04/21 17:46:26 DEBUG RPC: Call: getFileInfo 72  
  23. 14/04/21 17:46:26 INFO FileInputFormat: Total input paths to process : 1  
  24. 14/04/21 17:46:26 DEBUG Client: IPC Client (47) connection to web02.dw/10.1.8.207:9000 from root sending #2  
  25. 14/04/21 17:46:26 DEBUG Client: IPC Client (47) connection to web02.dw/10.1.8.207:9000 from root got value #2  
  26. 14/04/21 17:46:26 DEBUG RPC: Call: getBlockLocations 4  
  27. 14/04/21 17:46:26 DEBUG FileInputFormat: Total # of splits: 2  
  28. 14/04/21 17:46:26 INFO SparkContext: Starting job: foreach at :21  
  29. 14/04/21 17:46:26 INFO DAGScheduler: Registering RDD 3 (reduceByKey at :21)  
  30. 14/04/21 17:46:26 INFO DAGScheduler: Got job 0 (foreach at :21) with 2 output partitions (allowLocal=false)  
  31. 14/04/21 17:46:26 INFO DAGScheduler: Final stage: Stage 0 (foreach at :21)  
  32. 14/04/21 17:46:26 INFO DAGScheduler: Parents of final stage: List(Stage 1)  
  33. 14/04/21 17:46:26 INFO DAGScheduler: Missing parents: List(Stage 1)  
  34. 14/04/21 17:46:26 DEBUG DAGScheduler: submitStage(Stage 0)  
  35. 14/04/21 17:46:26 DEBUG DAGScheduler: missing: List(Stage 1)  
  36. 14/04/21 17:46:26 DEBUG DAGScheduler: submitStage(Stage 1)  
  37. 14/04/21 17:46:26 DEBUG DAGScheduler: missing: List()  
  38. 14/04/21 17:46:26 INFO DAGScheduler: Submitting Stage 1 (MapPartitionsRDD[3] at reduceByKey at :21), which has no missing parents  
  39. 14/04/21 17:46:26 DEBUG DAGScheduler: submitMissingTasks(Stage 1)  
  40. 14/04/21 17:46:26 INFO DAGScheduler: Submitting 2 missing tasks from Stage 1 (MapPartitionsRDD[3] at reduceByKey at :21)  
  41. 14/04/21 17:46:26 DEBUG DAGScheduler: New pending tasks: Set(ShuffleMapTask(1, 0), ShuffleMapTask(1, 1))  
  42. 14/04/21 17:46:26 INFO TaskSchedulerImpl: Adding task set 1.0 with 2 tasks  
  43. 14/04/21 17:46:26 DEBUG TaskSetManager: Epoch for TaskSet 1.0: 0  
  44. 14/04/21 17:46:26 DEBUG TaskSetManager: Valid locality levels for TaskSet 1.0: NODE_LOCAL, ANY  
  45. 14/04/21 17:46:26 DEBUG DAGScheduler: submitStage(Stage 0)  
  46. 14/04/21 17:46:26 DEBUG DAGScheduler: missing: List(Stage 1)  
  47. 14/04/21 17:46:26 DEBUG DAGScheduler: submitStage(Stage 1)  
  48. 14/04/21 17:46:26 DEBUG TaskSchedulerImpl: parentName: , name: TaskSet_1, runningTasks: 0  
  49. 14/04/21 17:46:26 INFO TaskSetManager: Starting task 1.0:0 as TID 0 on executor 0: db01.dw (NODE_LOCAL)  
  50. 14/04/21 17:46:26 INFO TaskSetManager: Serialized task 1.0:0 as 1896 bytes in 10 ms  
  51. 14/04/21 17:46:26 INFO TaskSetManager: Starting task 1.0:1 as TID 1 on executor 0: db01.dw (NODE_LOCAL)  
  52. 14/04/21 17:46:26 INFO TaskSetManager: Serialized task 1.0:1 as 1896 bytes in 1 ms  
  53. 14/04/21 17:46:26 DEBUG DAGScheduler: submitStage(Stage 0)  
  54. 14/04/21 17:46:26 DEBUG DAGScheduler: missing: List(Stage 1)  
  55. 14/04/21 17:46:26 DEBUG DAGScheduler: submitStage(Stage 1)  
  56. 14/04/21 17:46:26 DEBUG DAGScheduler: submitStage(Stage 0)  
  57. 14/04/21 17:46:26 DEBUG DAGScheduler: missing: List(Stage 1)  
  58. 14/04/21 17:46:26 DEBUG DAGScheduler: submitStage(Stage 1)  
  59. 14/04/21 17:46:27 DEBUG TaskSchedulerImpl: parentName: , name: TaskSet_1, runningTasks: 2  
  60. 14/04/21 17:46:27 DEBUG TaskSchedulerImpl: parentName: , name: TaskSet_1, runningTasks: 1  
  61. 14/04/21 17:46:27 DEBUG TaskSchedulerImpl: parentName: , name: TaskSet_1, runningTasks: 0  
  62. 14/04/21 17:46:28 INFO DAGScheduler: Completed ShuffleMapTask(1, 1)  
  63. 14/04/21 17:46:28 INFO TaskSetManager: Finished TID 1 in 1345 ms on db01.dw (progress: 1/2)  
  64. 14/04/21 17:46:28 INFO TaskSetManager: Finished TID 0 in 1371 ms on db01.dw (progress: 2/2)  
  65. 14/04/21 17:46:28 INFO TaskSchedulerImpl: Removed TaskSet 1.0, whose tasks have all completed, from pool   
  66. 14/04/21 17:46:28 DEBUG DAGScheduler: ShuffleMapTask finished on 0  
  67. 14/04/21 17:46:28 DEBUG DAGScheduler: submitStage(Stage 0)  
  68. 14/04/21 17:46:28 DEBUG DAGScheduler: missing: List(Stage 1)  
  69. 14/04/21 17:46:28 DEBUG DAGScheduler: submitStage(Stage 1)  
  70. 14/04/21 17:46:28 INFO DAGScheduler: Completed ShuffleMapTask(1, 0)  
  71. 14/04/21 17:46:28 DEBUG DAGScheduler: ShuffleMapTask finished on 0  
  72. 14/04/21 17:46:28 INFO DAGScheduler: Stage 1 (reduceByKey at :21) finished in 1.385 s  
  73. 14/04/21 17:46:28 INFO DAGScheduler: looking for newly runnable stages  
  74. 14/04/21 17:46:28 INFO DAGScheduler: running: Set()  
  75. 14/04/21 17:46:28 INFO DAGScheduler: waiting: Set(Stage 0)  
  76. 14/04/21 17:46:28 INFO DAGScheduler: failed: Set()  
  77. 14/04/21 17:46:28 DEBUG MapOutputTrackerMaster: Increasing epoch to 1  
  78. 14/04/21 17:46:28 INFO DAGScheduler: Missing parents for Stage 0: List()  
  79. 14/04/21 17:46:28 INFO DAGScheduler: Submitting Stage 0 (MapPartitionsRDD[5] at reduceByKey at :21), which is now runnable  
  80. 14/04/21 17:46:28 DEBUG DAGScheduler: submitMissingTasks(Stage 0)  
  81. 14/04/21 17:46:28 INFO DAGScheduler: Submitting 2 missing tasks from Stage 0 (MapPartitionsRDD[5] at reduceByKey at :21)  
  82. 14/04/21 17:46:28 DEBUG DAGScheduler: New pending tasks: Set(ResultTask(0, 1), ResultTask(0, 0))  
  83. 14/04/21 17:46:28 INFO TaskSchedulerImpl: Adding task set 0.0 with 2 tasks  
  84. 14/04/21 17:46:28 DEBUG TaskSetManager: Epoch for TaskSet 0.0: 1  
  85. 14/04/21 17:46:28 DEBUG TaskSetManager: Valid locality levels for TaskSet 0.0: ANY  
  86. 14/04/21 17:46:28 DEBUG TaskSchedulerImpl: parentName: , name: TaskSet_0, runningTasks: 0  
  87. 14/04/21 17:46:28 INFO TaskSetManager: Starting task 0.0:0 as TID 2 on executor 1: web01.dw (PROCESS_LOCAL)  
  88. 14/04/21 17:46:28 INFO TaskSetManager: Serialized task 0.0:0 as 1765 bytes in 0 ms  
  89. 14/04/21 17:46:28 INFO TaskSetManager: Starting task 0.0:1 as TID 3 on executor 0: db01.dw (PROCESS_LOCAL)  
  90. 14/04/21 17:46:28 INFO TaskSetManager: Serialized task 0.0:1 as 1765 bytes in 0 ms  
  91. 14/04/21 17:46:28 INFO MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@db01.dw:36699  
  92. 14/04/21 17:46:28 INFO MapOutputTrackerMaster: Size of output statuses for shuffle 0 is 134 bytes  
  93. 14/04/21 17:46:28 DEBUG TaskSchedulerImpl: parentName: , name: TaskSet_0, runningTasks: 2  
  94. 14/04/21 17:46:28 DEBUG TaskSchedulerImpl: parentName: , name: TaskSet_0, runningTasks: 1  
  95. 14/04/21 17:46:28 INFO DAGScheduler: Completed ResultTask(0, 1)  
  96. 14/04/21 17:46:28 INFO TaskSetManager: Finished TID 3 in 286 ms on db01.dw (progress: 1/2)  
  97. 14/04/21 17:46:28 INFO MapOutputTrackerMasterActor: Asked to send map output locations for shuffle 0 to spark@web01.dw:45200  
  98. 14/04/21 17:46:29 DEBUG TaskSchedulerImpl: parentName: , name: TaskSet_0, runningTasks: 0  
  99. 14/04/21 17:46:29 INFO DAGScheduler: Completed ResultTask(0, 0)  
  100. 14/04/21 17:46:29 INFO TaskSetManager: Finished TID 2 in 1019 ms on web01.dw (progress: 2/2)  
  101. 14/04/21 17:46:29 INFO DAGScheduler: Stage 0 (foreach at :21) finished in 1.020 s  
  102. 14/04/21 17:46:29 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool   
  103. 14/04/21 17:46:29 DEBUG DAGScheduler: After removal of stage 0, remaining stages = 1  
  104. 14/04/21 17:46:29 DEBUG DAGScheduler: After removal of stage 1, remaining stages = 0  
  105. 14/04/21 17:46:29 INFO SparkContext: Job finished: foreach at :21, took 2.547314739 s  
  106.   
  107. scala> 14/04/21 17:46:36 DEBUG Client: IPC Client (47) connection to web02.dw/10.1.8.207:9000 from root: closed  
  108. 14/04/21 17:46:36 DEBUG Client: IPC Client (47) connection to web02.dw/10.1.8.207:9000 from root: stopped, remaining connections 0  

结果如图：
第一个slave：
spark 与 hadoop的hdfs的连接（亲测有效）_第7张图片

第二个slave：
spark 与 hadoop的hdfs的连接（亲测有效）_第8张图片

注意一下，这里执行用了2.5s

如果我把 f 缓存到集群里：

[java]  view plain  copy
  1. scala> f.cache  
  2. res1: org.apache.spark.rdd.RDD[(org.apache.hadoop.io.LongWritable, org.apache.hadoop.io.Text)] = HadoopRDD[0] at hadoopFile at :18  


再次执行，只用了0.14秒：
[java]  view plain  copy
  1. 14/04/21 18:14:10 INFO SparkContext: Job finished: foreach at :21, took 0.144185907 s  

这就是Spark的过人之处，暂时写到这里，以后还会继续深入研究spark。

你可能感兴趣的:(整理)

  • 关于沟通这件事，项目经理不需要每次都面对面进行 流程大师兄
    很多项目经理都会遇到这样的问题，项目中由于事情太多，根本没有足够的时间去召开会议，那在这种情况下如何去有效地管理项目中的利益相关者？当然，不建议电子邮件也不需要开会的话，建议可以采取下面几种方式来形成有效的沟通，这几种方式可以帮助你努力的通过各种办法来保持和各方面的联系。项目经理首先要问自己几个问题，项目中哪些利益相关者是必须要进行沟通的？可以列出项目中所有的利益相关者清单，同时也整理出项目中哪些
  • 数组去重 好奇的猫猫猫
    整理自js中基础数据结构数组去重问题思考？如何去除数组中重复的项例如数组：[1,3,4,3,5]我们在做去重的时候，一开始想到的肯定是，逐个比较，外面一层循环，内层后一个与前一个一比较，如果是久不将当前这一项放进新的数组，挨个比较完之后返回一个新的去过重复的数组不好的实践方式上述方法效率极低，代码量还多，思考？有没有更好的方法这时候不禁一想当然有了！！！hashtable啊，通过对象的hash办法
  • 数据仓库——维度表一致性 墨染丶eye 背诵数据仓库
    数据仓库基础笔记思维导图已经整理完毕，完整连接为：数据仓库基础知识笔记思维导图维度一致性问题从逻辑层面来看，当一系列星型模型共享一组公共维度时，所涉及的维度称为一致性维度。当维度表存在不一致时，短期的成功难以弥补长期的错误。维度时确保不同过程中信息集成起来实现横向钻取货活动的关键。造成横向钻取失败的原因维度结构的差别，因为维度的差别，分析工作涉及的领域从简单到复杂，但是都是通过复杂的报表来弥补设计
  • 【华为OD技术面试真题精选 - 非技术题】 -HR面，综合面_华为od hr面 一个射手座的程序媛 程序员华为od面试职场和发展
    最后的话最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！资料预览给大家整理的视频资料：给大家整理的电子书资料：如果本文对你有帮助，欢迎点赞、收藏、转发给朋友，让我有持续创作的动力！网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以点击这里获
  • 2022-08-28 蔚蓝一片晴
    初三暑假培训收获点滴从8月25至8月27日三天两晚的培训结束了，回到家中，该静下心来整理一下触动心灵的收获，成为成长的积淀。1.在优秀团队中快速成长与提升，做一名反思成长型教师一名专业型教师的教学指导包括了教学原理知识、案例知识、策略知识。面对教学中的遇到的有趣的情形、问题会去研究其理，寻找更好的教法学法对策。从新手到成熟型教师，再走向专业型教师，需要的是觉醒与反思，多进行案例研究，从案例中观察、
  • 2020-8-19晨间日记：看过的电影 盐大虾
    今天是周三起床：6点半就寝：11点天气：晴心情：正常纪念日：周三任务清单今日完成的任务，最重要的三件事：1.整理写过的文档2.电影《电灯泡》3.这就是街舞第三季第五期改进：早睡早起习惯养成：早睡早起，看书周目标·完成进度两篇文章学习·信息·阅读电影艺术发展史相关教材健康·饮食·锻炼吃了挺多零食，还喝了果粒橙，还是得少吃，多锻炼，不然会慢慢死掉的。人际·家人·朋友淡定交流，不放在心上。工作·思考专心
  • 好习惯和坏习惯 炫舞阳光
    好习惯和坏习惯文/炫舞阳光生活中有很多细节，可以体现出一个人的习惯。好的习惯让人保持清晰的头脑，坏的习惯常常让人丢东忘西，头脑混沌。生活中，我喜欢整理东西。厨房里，锅碗瓢盆各样东西我习惯各就其位。案板、勺子、铲子和刀具我习惯性的挂起来。大大小小的碗和盘子，我习惯性的立在收纳柜里。每次轮到我在家做饭时，我习惯于一边使用，一边收拾和擦拭归位。做好饭时，台面干干净净。我想把这种习惯影响和传递给家人。然而
  • python批量读取tiff文件_Python Pillow批量转换tif格式到jpg weixin_39557797
    最近因为想要整下网站的壁纸，从网站下载了别人整理好的合集压缩包，解压之后，却发现里面的文件都是tif的，tif格式网站和电脑都不认的，根本不能作壁纸。这时候，就需要转换图片格式了，首先我找了几款转换格式的软件，发现效果都不好，要不是不支持tif格式，要不就是转换出来的图片糊的不行。最终，还是决定用Python的Pillow库来写一个脚本，完成这个任务。下面是整个的小脚本----importosim
  • 00. 这里整理了最全的爬虫框架（Java + Python） 有一只柴犬 爬虫系列爬虫javapython
    目录1、前言2、什么是网络爬虫3、常见的爬虫框架3.1、java框架3.1.1、WebMagic3.1.2、Jsoup3.1.3、HttpClient3.1.4、Crawler4j3.1.5、HtmlUnit3.1.6、Selenium3.2、Python框架3.2.1、Scrapy3.2.2、BeautifulSoup+Requests3.2.3、Selenium3.2.4、PyQuery3.2
  • 更改npm镜像源为淘宝镜像 骆小骆 基于node.js
    npm常用指令后缀*最近复习了一下node.js整理了一下跟node.js相关的指令后缀*--save、-S参数意思是把模块的版本信息保存到dependencies（生产环境依赖）中，即你的package.json文件的dependencies字段中；–--save-dev、-D参数意思是把模块版本信息保存到devDependencies（开发环境依赖）中，即你的package.json文件的de
  • 2022-07-06学会放手 杨晓玲乐平市第十一小学
    2022年7月5日星期一晴今天结束了国培培训，上午收拾好物品，带着孩子整理心情，带着憧憬去到孩子新的学校，因为从小我有意培养孩子自己整理自己内务，孩子很认真的把自己要用的都整理好，不用的都另外装好，这一点孩子的能力还是挺强的。把自己的行李按学校提出的要求认真的整理好，我们便出发了。我们早早的来到学校，时间还早，便让她到阿姨那休息了一会儿，每去到一个新的地方，能迅速的安顿下来，这是非常好的。时间很快
  • 抱怨很廉价，别做空想家 Fang2023
    今天在整理浏览器收藏夹的时候，看到一个很多年前保存的一个网页，上面是一支央视公益广告的视频，《我创故我在》。思绪一下子回到了好几年前。还记得第一次无意中在电视上看到这支广告，喜悦之情溢于言表。抱怨很廉价，别做空想家，这句歌词尤其喜欢。听着歌曲，仿佛那时候的潮气蓬勃、意气风发，又回来了，即使此时感到疲惫。【公益】央视公益广告歌曲《我创故我在》_腾讯视频
  • 好运来 是露漫漫呀
    4月9日下午17.45分晴此时学校里广播站放着激情热烈的歌曲——《好运来》。“好运来，祝你好运来……”第一瞬间，我想到了他们是放这首歌是为补考的同学招来好运气的。然后我思绪飞扬，飘到了高中考试前同学放这首歌来抚平心态。飘到了高考前整理班级课桌时，学校喇叭里大大咧咧放着《好运来》……疲惫的我会心一笑。飘到了上学期考细解实验试卷时的那个中午青春小胖放这首歌来招好运，祈祷考的都会…………关于《好运来》的
  • 思考成长 丁昆朋
    这篇文章是加紧赶出来“应付”日更，一方面不想要再晚睡了；另一方面不想失去日更达人的称号，只能坐下来匆忙写下一点文字。既然标题是成长，先来总结一下这段时间的收获：1、整理箱子站着可以看电脑，坐着反而是一种享受，减少了坐着腰酸背痛的现象；2、使用讯飞输入法大大增加自己的输出量；3、Anaconda+“pythontutor.com"+Google算是简单入门python；4、英语的阅读文章能力、听力提
  • 改变从每一刻 震震一点儿飞飞
    每天要做的事情很多，思考的时间太少，整理的不够，所以，每天过的很快，但过的太单薄了，不知道进步在哪里？今天的意义在哪里？这问题到底出在哪里呢？哪里都很乱，时间可能还是被浪费了！要做的事情咬咬牙也就做了，想到看到就做到，是不是就会简单很多！立刻做，去试一试！
  • LeetCode github集合，附CMU大神整理笔记 Wesley@ LeetCodegithub
    GithubLeetCode集合本人所有做过的题目都写在一个java项目中，同步到github中了，算是见证自己的进步。github目前同步的题目是2020-09-17日之后写的题。之前写过的题会陆续跟新到github中。目前大概400个题目Github项目链接：https://github.com/sunliancheng/leetcode_github附上一份优秀的教材整合：这是卡内基梅隆(C
  • 靠谱的海淘APP大全 可以海淘的软件有哪些 氧惠评测
    96KaiFa为您整理了可以海淘的软件有哪些，分别有海淘、ZOZO日本海淘、海淘铺、美芽海淘、海淘1号海外购、高乐高海淘、海淘美瞳、海淘返利网、海淘拼单、豌豆公主海淘，下面一起来看靠谱的海淘APP大全吧！购物、看电影、点外卖、用氧惠APP！更优惠！氧惠（全网优惠上氧惠）——是与以往完全不同的抖客+淘客app！2023全新模式，我的直推也会放到你下面，送1:1超级补贴(邀请好友自购多少，你就推广得多
  • 小学科学课堂管理规培有感 31c6a3d23d4e
    今天进行了这学期的第一次新教师规培，又是干货满满的一次学习，两位有经验的老教师分享了自己很多年来有关科学教学的经验。苏老师的语言风趣幽默，通过他的课堂管理规则，懂得了语言的艺术。艳姐分享的培养小助手，对我的帮助很多，小组长，（做记录、整理材料、管理卫生）。既培养了学生，又减轻老师的工作量，还有评价表，学起来学起来！
  • 正念内观练习20220622 蓝空静云
    夏一、善念&感谢女儿一边说想明天放学后去看看要去北京手术的闺蜜，又一边念叨明天闺蜜要出发，家里得收拾行李什么的，是不是去了会添乱，真是个心思细腻又善解人意的姑娘。上周表姐回了趟老家，妈妈托给捎回来一些鹅蛋、鸡蛋还有自己腌的咸鸭蛋，拿回来一直放在楼下，今天拿上来收拾整理放入冰箱保鲜慢慢吃。妈妈家不养家畜，这些都是邻居们自家养的送给妈妈，妈妈又特意捎给女儿，妈妈总说自家养的比外面卖的好，好的总是会留给
  • DVBS 卫星波段 设置 晨春计 TVAndroidTVandroid
    目录背景DVBS介绍LNB(LowNoiseBlock)LNBC(LowNoiseBlockController)Tuner接收频率范围卫星波段范围卫星波段降频Ku波段降频C波段降频码流机和DVBS菜单设置背景不经常使用DVBS频率设置，容易忘记，整理如下。DVBS介绍在DVBS/S2信号通过同轴线进入电视/机顶盒的同时，LNBC会通过同轴线向外输出0/22K，13V/18V等信号，以控制LNB的
  • Ubuntu常用命令整理 十里染林
    ubuntu16.04server开启ssh:使用x-shell连接主机，发现22端口没有打开，开启ssh服务：安装openssh-serversudoapt-getinstallopenssh-server检查安装是否成功sudops-e|grepssh开启ssh服务sudoservicesshstartUbuntu开启/关闭防火墙:开启防火墙sudoufwenable关闭防火墙sudoufwd
  • 关于日更的思考 暖益
    日更也有10天了，习惯还在养成的过程中，遇到一些问题。日更确实让我觉得有一些成长和思考，感觉也非常棒。但是最近日更遇到一些问题，一个是内容，一个是时间。【日更内容】想要写的内容其实很多，但是需要整理思路，花更多的时间思考，才能提高输出文章的质量。日更内容可通过得到的听书，日常的电影，或者学习获取。记得之前看过的《暗时间》，其中有一个方法就很适合用在此处，往头脑中放一个问题，有事没事拿出来思考或者找
  • 2021-10-03 虫虫新生111
    今天放假的第3天感觉过得好快，总体来说数学做了25道题，里边有几道题还是弄得不清楚，仍然不懂怎么做，不过整体感觉思路比去年要清晰很多，因为有去年的基础，今年还是比较轻松一些。逻辑做了有几道题，6题，错2，有些概念总的是模糊不清，还是要反复的再整理一下概念，以及回头看一下讲的基础知识，把基础的公式弄懂才可以。现在困了睡觉，明天早点起床。
  • 新媒体运营小白，有哪些书籍可以推荐？ y耳朵
    为了转行运营，我曾花了3个月的时间，看了不下百本书，可以说市面上大部分跟运营有关的书籍，我都看过了，因此关于书的推荐也有一些自己的小见解。看书不一定要多，但一定要****精，我根据豆瓣评分、推荐热度和自己的转行经历，挑出了13本值得运营小白看的书，收藏好这份书单，不需要你浪费时间去找书了。先看下统计好的书单：整理不易，看完记得点个赞哦！感谢你的支持。入门篇：1.《运营之光》（豆瓣评分：8.0)推荐
  • 世界十大名牌皮鞋都适合什么性格的人？ 我信了你滴鞋
    前面介绍了《世界公认的五大名鞋，穿过三个以上都是不一般的人》，大概讲了5大名鞋品牌的故事，受到广大读者的关注和讨论，因此在原来的基础上重新整理了世界十大知名皮鞋品牌及特点，揭开他们神秘的面纱，看看到底是哪些人在穿这些鞋子？他们为什么能被公认为是世界排名靠前的品牌？能进入十大名皮鞋的，制造的手工工艺已相近，不同的是品牌设计理念与鞋材选用。正因为每个品牌不同的设计理念，制造出不一样的美丽的产品，适合不
  • 三角洲行动内测资格怎么获得 三角洲行动内测服怎么进入 会飞滴鱼儿
    手游内测资格怎么获得？这是每款新游戏开放内测的时候，玩家问的最多的一个问题，其实现在大多数游戏在上线之前官方都会开启几轮的内测测试，每轮测试之后，官方会收集全部运行过程中的数据，来进行优化和改进，至此这也是每款游戏的定律，但是有一个问题的就是，不管哪款游戏，开启测试的时候，名额都是有限的，经常都有很多玩家想要测试资格，却无论怎么也不会获得，本期小编就来给大家整理几个方法，让大家抢先一步！游戏内测资
  • 20220226号今日份（6） 张雅苑Momo
    考虑以下必备行程安排：1作息规律2三餐规律3早茶下午茶4晨练运动5阅读笔记6挚爱亲朋联络20220226号今日份快乐是有哪一些呢？1：视频号直播的持续今天已经是第221/190天啦今天主讲人在分享事上练的能力，事上见2：持续吉他练习今天已经第25天啦3：今天持续带动某人整理屋子，要加油哦，要持续哦今天的过程持续比较轻松愉快4：今天老佛爷入院的第四天，上阵父子兵，期待他们仨早起凯旋归来如何成为自己喜
  • 高效能写作必备书 青青的鱼
    有人认为写作只是作家的事，和我们没什么关系，其实这是一种误解。写作对于处在快速发展社会中的我们是很重要的一件事，它是我们沟通和学习的重要途径。写作可以抒发情感和阐述思想，以达到与外界沟通的目的。不管你是写工作报告，还是发一个邮件，甚至小到发个短信，都需要组织语言清晰表达你的思想或目的。对于以学习为目的，写作就更重要了，写作是一个需要不断思考、搜集、整理、总结你大脑中过去所学的知识的过程，通过写作不
  • 杨蕊今日份总结 羊鑫
    2020年10月24日周二新的一周开始了！到了学校先打扫了一下卫生，然后给孩子们录了今天写作业的视频，今天书写的作业笔画是横折竖折。字根“五”今天孩子们的书写质量还是可以的，但是短横长横的掌握情况不是很理想，周六周天孩子们来的时候再给孩子们进行复习回顾一下，重点说一下这个知识点。去楼上把几个坏掉的凳子用固体胶粘好。下午去南鑫拿了几张照片去那边压膜。回到比德弗校区之后把玩具架和齐老师一起全都整理了一
  • 知错不责 白开水的幸福时光
    上课做卷子时，班上有三个同学半天了还找不到试卷。别的同学已经埋头做题了，他们三个有的钻在桌子兜里，有的蹲在地上，哗哗啦啦地整理凌乱的书桌，找试卷。我在教室里转了两圈，他们还在低头找试卷。换做以前，我肯定会质问他们：“连个东西都看不住，人家都开始做了，你们还找不到，快点找！”这话已经到嗓子眼儿上了，又被自己硬生生咽了下去。我在心里与自己对话：别批评他们了，他们又不是坐着不动，他们已经在四处寻找了，不
  • PHP，安卓，UI，java，linux视频教程合集 cocos2d-x小菜 javaUIPHPandroidlinux
    ╔-----------------------------------╗┆                           
  • 各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。 bozch .net.net mvc
    在.net mvc5中，在执行某一操作的时候，出现了如下错误：       各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。 经查询当前的操作与错误内容无关，经过对错误信息的排查发现，事故出现在数据库迁移上。 回想过去： 在迁移之前已经对数据库进行了添加字段操作，再次进行迁移插入XXX字段的时候，就会提示如上错误。  &
  • Java 对象大小的计算 e200702084 java
                              Java对象的大小 如何计算一个对象的大小呢？    
  • Mybatis Spring 171815164 mybatis
    ApplicationContext ac = new ClassPathXmlApplicationContext("applicationContext.xml"); CustomerService userService = (CustomerService) ac.getBean("customerService"); Customer cust
  • JVM 不稳定参数 g21121 jvm
            -XX 参数被称为不稳定参数，之所以这么叫是因为此类参数的设置很容易引起JVM 性能上的差异，使JVM 存在极大的不稳定性。当然这是在非合理设置的前提下，如果此类参数设置合理讲大大提高JVM 的性能及稳定性。        可以说“不稳定参数”
  • 用户自动登录网站 永夜-极光 用户
    1.目标:实现用户登录后,再次登录就自动登录,无需用户名和密码 2.思路:将用户的信息保存为cookie            每次用户访问网站,通过filter拦截所有请求,在filter中读取所有的cookie,如果找到了保存登录信息的cookie,那么在cookie中读取登录信息,然后直接
  • centos7 安装后失去win7的引导记录 程序员是怎么炼成的 操作系统
    1.使用root身份(必须)打开 /boot/grub2/grub.cfg 2.找到 ### BEGIN /etc/grub.d/30_os-prober ###   在后面添加    menuentry "Windows 7 (loader) (on /dev/sda1)" { 
  • Oracle 10g 官方中文安装帮助文档以及Oracle官方中文教程文档下载 aijuans oracle
    Oracle 10g 官方中文安装帮助文档下载：http://download.csdn.net/tag/Oracle%E4%B8%AD%E6%96%87API%EF%BC%8COracle%E4%B8%AD%E6%96%87%E6%96%87%E6%A1%A3%EF%BC%8Coracle%E5%AD%A6%E4%B9%A0%E6%96%87%E6%A1%A3 Oracle 10g 官方中文教程
  • JavaEE开源快速开发平台G4Studio_V3.2发布了 無為子 AOPoraclemysqljavaeeG4Studio
      我非常高兴地宣布,今天我们最新的JavaEE开源快速开发平台G4Studio_V3.2版本已经正式发布。大家可以通过如下地址下载。   访问G4Studio网站 http://www.g4it.org   G4Studio_V3.2版本变更日志 功能新增 (1).新增了系统右下角滑出提示窗口功能。 (2).新增了文件资源的Zip压缩和解压缩
  • Oracle常用的单行函数应用技巧总结 百合不是茶 日期函数转换函数(核心)数字函数通用函数(核心)字符函数
    单行函数;   字符函数,数字函数,日期函数,转换函数(核心),通用函数(核心) 一:字符函数: .UPPER(字符串) 将字符串转为大写 .LOWER (字符串) 将字符串转为小写 .INITCAP(字符串) 将首字母大写 .LENGTH (字符串) 字符串的长度 .REPLACE(字符串,'A','_') 将字符串字符A转换成_
  • Mockito异常测试实例 bijian1013 java单元测试mockito
    Mockito异常测试实例： package com.bijian.study; import static org.mockito.Mockito.mock; import static org.mockito.Mockito.when; import org.junit.Assert; import org.junit.Test; import org.mockito.
  • GA与量子恒道统计 Bill_chen JavaScript浏览器百度Google防火墙
    前一阵子，统计**网址时，Google Analytics（GA） 和量子恒道统计（也称量子统计），数据有较大的偏差，仔细找相关资料研究了下，总结如下：   为何GA和量子网站统计（量子统计前身为雅虎统计）结果不同？ 首先：没有一种网站统计工具能保证百分之百的准确出现该问题可能有以下几个原因：（1）不同的统计分析系统的算法机制不同；（2）统计代码放置的位置和前后
  • 【Linux命令三】Top命令 bit1129 linux命令
    Linux的Top命令类似于Windows的任务管理器，可以查看当前系统的运行情况，包括CPU、内存的使用情况等。如下是一个Top命令的执行结果：     top - 21:22:04 up 1 day, 23:49, 1 user, load average: 1.10, 1.66, 1.99 Tasks: 202 total, 4 running, 198 sl
  • spring四种依赖注入方式 白糖_ spring
      平常的java开发中，程序员在某个类中需要依赖其它类的方法，则通常是new一个依赖类再调用类实例的方法，这种开发存在的问题是new的类实例不好统一管理，spring提出了依赖注入的思想，即依赖类不由程序员实例化，而是通过spring容器帮我们new指定实例并且将实例注入到需要该对象的类中。依赖注入的另一种说法是“控制反转”，通俗的理解是：平常我们new一个实例，这个实例的控制权是我
  • angular.injector boyitech AngularJSAngularJS API
    angular.injector   描述: 创建一个injector对象, 调用injector对象的方法可以获得angular的service, 或者用来做依赖注入.   使用方法: angular.injector(modules, [strictDi])   参数详解: Param Type Details mod
  • java-同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待 bylijinnan Integer
    public class PC { /** * 题目：生产者-消费者。 * 同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待。 */ private static final Integer[] val=new Integer[10]; private static
  • 使用Struts2.2.1配置 Chen.H apachespringWebxmlstruts
    Struts2.2.1 需要如下 jar包: commons-fileupload-1.2.1.jar commons-io-1.3.2.jar commons-logging-1.0.4.jar freemarker-2.3.16.jar javassist-3.7.ga.jar ognl-3.0.jar spring.jar struts2-core-2.2.1.jar struts2-sp
  • [职业与教育]青春之歌 comsci 教育
           每个人都有自己的青春之歌............但是我要说的却不是青春...        大家如果在自己的职业生涯没有给自己以后创业留一点点机会,仅仅凭学历和人脉关系,是难以在竞争激烈的市场中生存下去的....   &nbs
  • oracle连接(join)中使用using关键字 daizj JOINoraclesqlusing
    在oracle连接(join)中使用using关键字 34. View the Exhibit and examine the structure of the ORDERS and ORDER_ITEMS tables. Evaluate the following SQL statement: SELECT oi.order_id, product_id, order_date FRO
  • NIO示例 daysinsun nio
    NIO服务端代码： public class NIOServer { private Selector selector; public void startServer(int port) throws IOException { ServerSocketChannel serverChannel = ServerSocketChannel.open(
  • C语言学习homework1 dcj3sjt126com chomework
    0、 课堂练习做完 1、使用sizeof计算出你所知道的所有的类型占用的空间。 int x; sizeof(x);   sizeof(int);   # include <stdio.h> int main(void) { int x1; char x2; double x3; float x4; printf(&quo
  • select in order by , mysql排序 dcj3sjt126com mysql
    If i select like this: SELECT id FROM users WHERE id IN(3,4,8,1); This by default will select users in this order 1,3,4,8, I would like to select them in the same order that i put IN() values so:
  • 页面校验-新建项目 fanxiaolong 页面校验
    $(document).ready( function() { var flag = true; $('#changeform').submit(function() { var projectScValNull = true; var s =""; var parent_id = $("#parent_id").v
  • Ehcache（02）——ehcache.xml简介 234390216 ehcacheehcache.xml简介
    ehcache.xml简介          ehcache.xml文件是用来定义Ehcache的配置信息的，更准确的来说它是定义CacheManager的配置信息的。根据之前我们在《Ehcache简介》一文中对CacheManager的介绍我们知道一切Ehcache的应用都是从CacheManager开始的。在不指定配置信
  • junit 4.11中三个新功能 jackyrong java
    junit 4.11中两个新增的功能，首先是注解中可以参数化，比如 import static org.junit.Assert.assertEquals; import java.util.Arrays; import org.junit.Test; import org.junit.runner.RunWith; import org.junit.runn
  • 国外程序员爱用苹果Mac电脑的10大理由 php教程分享 windowsPHPunixMicrosoftperl
    Mac 在国外很受欢迎，尤其是在 设计/web开发/IT 人员圈子里。普通用户喜欢 Mac 可以理解，毕竟 Mac 设计美观，简单好用，没有病毒。那么为什么专业人士也对 Mac 情有独钟呢？从个人使用经验来看我想有下面几个原因： 1、Mac OS X 是基于 Unix 的 这一点太重要了，尤其是对开发人员，至少对于我来说很重要，这意味着Unix 下一堆好用的工具都可以随手捡到。如果你是个 wi
  • 位运算、异或的实际应用 wenjinglian 位运算
    一． 位操作基础，用一张表描述位操作符的应用规则并详细解释。       二． 常用位操作小技巧，有判断奇偶、交换两数、变换符号、求绝对值。       三． 位操作与空间压缩，针对筛素数进行空间压缩。    &n
  • weblogic部署项目出现的一些问题（持续补充中……） Everyday都不同 weblogic部署失败
    好吧，weblogic的问题确实……   问题一： org.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate component class: URL [zip:E:/weblogic/user_projects/domains/base_domain/serve
  • tomcat7性能调优（01） toknowme tomcat7
        Tomcat优化： 1、最大连接数最大线程等设置 <Connector port="8082" protocol="HTTP/1.1"                useBodyEncodingForURI="t
  • PO VO DAO DTO BO TO概念与区别 xp9802 javaDAO设计模式bean领域模型
    O/R Mapping 是 Object Relational Mapping（对象关系映射）的缩写。通俗点讲，就是将对象与关系数据库绑定，用对象来表示关系数据。在O/R Mapping的世界里，有两个基本的也是重要的东东需要了解，即VO，PO。 它们的关系应该是相互独立的，一个VO可以只是PO的部分，也可以是多个PO构成，同样也可以等同于一个PO（指的是他们的属性）。这样，PO独立出来，数据持
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他