fengshunli
fengshunli

Spark Standalone Mode 单机启动Spark -- 分布式计算系统spark学习(一)

spark是个啥？

Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。

Spark和Hadoop有什么不同呢?

Spark是基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

Spark的适用场景

Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小

由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。

总的来说Spark的适用面比较广泛且比较通用。

运行模式

本地模式

Standalone模式

Mesoes模式

yarn模式

我们来看看Standalone模式怎么运行。

1.下载安装

http://spark.apache.org/downloads.html

这里可以选择下载源码编译，或者下载已经编译好的程序（因为spark是运行在JVM上面，也可以说是跨平台的）,这里是直接下载可执行程序。

Chose a package type: Pre-built for Hadoop 2.4 and later 。

解压这个 spark-1.3.0-bin-hadoop2.4.tgz 即可。

PS：你需要安装java运行环境

~/project/spark-1.3.0-bin-hadoop2.4 $java -version

java version"1.8.0_25"Java(TM) SE Runtime Environment (build1.8.0_25-b17)

Java HotSpot(TM)64-Bit Server VM (build 25.25-b02, mixed mode)

2.目录分布

sbin目录是各种启动命令

~/project/spark-1.3.0-bin-hadoop2.4 $tree sbin/

sbin/

├── slaves.sh

├── spark-config.sh

├── spark-daemon.sh

├── spark-daemons.sh

├── start-all.sh

├── start-history-server.sh

├── start-master.sh

├── start-slave.sh

├── start-slaves.sh

├── start-thriftserver.sh

├── stop-all.sh

├── stop-history-server.sh

├── stop-master.sh

├── stop-slaves.sh

└── stop-thriftserver.sh

conf目录是一些配置模板：

~/project/spark-1.3.0-bin-hadoop2.4 $tree conf/

conf/

├── fairscheduler.xml.template

├── log4j.properties.template

├── metrics.properties.template

├── slaves.template

├── spark-defaults.conf.template

└── spark-env.sh.template

3.启动master

~/project/spark-1.3.0-bin-hadoop2.4 $./sbin/start-master.sh

starting org.apache.spark.deploy.master.Master, logging to /Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/sbin/../logs/spark-qpzhang-org.apache.spark.deploy.master.Master-1-qpzhangdeMac-mini.local.out

没有进行任何配置时，采用的都是默认配置，可以看到日志文件的输出：

~/project/spark-1.3.0-bin-hadoop2.4$cat logs/spark-qpzhang-org.apache.spark.deploy.master.Master-1-qpzhangdeMac-mini.local.outSpark assembly has been built with Hive, including Datanucleus jars on classpath

Spark Command:/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home/bin/java -cp :/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/sbin/../conf:/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/lib/spark-assembly-1.3.0-hadoop2.4.0.jar:/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/lib/datanucleus-api-jdo-3.2.6.jar:/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/lib/datanucleus-core-3.2.10.jar:/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/lib/datanucleus-rdbms-3.2.9.jar -Dspark.akka.logLifecycleEvents=true-Xms512m -Xmx512m org.apache.spark.deploy.master.Master --ip qpzhangdeMac-mini.local --port7077--webui-port8080========================================Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties15/03/2010:08:09INFO Master: Registered signal handlersfor[TERM, HUP, INT]15/03/2010:08:10WARN NativeCodeLoader: Unable to load native-hadoop libraryforyour platform...usingbuiltin-java classeswhereapplicable15/03/2010:08:10INFO SecurityManager: Changing view acls to: qpzhang15/03/2010:08:10INFO SecurityManager: Changing modify acls to: qpzhang15/03/2010:08:10INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(qpzhang); users with modify permissions: Set(qpzhang)15/03/2010:08:10INFO Slf4jLogger: Slf4jLogger started15/03/2010:08:10INFO Remoting: Starting remoting15/03/2010:08:10INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:7077]15/03/2010:08:10INFO Remoting: Remoting now listens on addresses: [akka.tcp://[email protected]:7077]15/03/2010:08:10INFO Utils: Successfully started service'sparkMaster'on port7077.15/03/2010:08:11INFO Server: jetty-8.y.z-SNAPSHOT15/03/2010:08:11INFO AbstractConnector: Started [email protected]:606615/03/20 10:08:11 INFO Utils: Successfully started service on port 6066.15/03/2010:08:11INFO StandaloneRestServer: Started REST serverforsubmitting applications on port606615/03/20 10:08:11 INFO Master: Starting Spark master at spark://qpzhangdeMac-mini.local:707715/03/2010:08:11INFO Master: Running Spark version1.3.015/03/2010:08:11INFO Server: jetty-8.y.z-SNAPSHOT15/03/2010:08:11INFO AbstractConnector: Started [email protected]:808015/03/20 10:08:11 INFO Utils: Successfully started service 'MasterUI' on port 8080.15/03/2010:08:11INFO MasterWebUI: Started MasterWebUI at http://10.60.215.41:808015/03/20 10:08:11 INFO Master: I have been elected leader! New state: ALIVE

可以看到输出的几条重要的信息，service端口6066，spark端口 7077，ui端口8080等，并且当前node通过选举，确认自己为leader。

这个时候，我们可以通过 http://localhost:8080/ 来查看到当前master的总体状态。

4.附加一个worker到master

~/project/spark-1.3.0-bin-hadoop2.4$./bin/spark-classorg.apache.spark.deploy.worker.Worker spark://qpzhangdeMac-mini.local:7077Spark assembly has been built with Hive, including Datanucleus jars on classpath

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties15/03/2010:33:49INFO Worker: Registered signal handlersfor[TERM, HUP, INT]15/03/2010:33:49WARN NativeCodeLoader: Unable to load native-hadoop libraryforyour platform...usingbuiltin-java classeswhereapplicable15/03/2010:33:49INFO SecurityManager: Changing view acls to: qpzhang15/03/2010:33:49INFO SecurityManager: Changing modify acls to: qpzhang15/03/2010:33:49INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(qpzhang); users with modify permissions: Set(qpzhang)15/03/2010:33:50INFO Slf4jLogger: Slf4jLogger started15/03/2010:33:50INFO Remoting: Starting remoting15/03/2010:33:50INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:60994]15/03/2010:33:50INFO Remoting: Remoting now listens on addresses: [akka.tcp://[email protected]:60994]15/03/20 10:33:50 INFO Utils: Successfully started service 'sparkWorker' on port 60994.

15/03/20 10:33:50 INFO Worker: Starting Spark worker 10.60.215.41:60994 with 8 cores, 7.0 GB RAM15/03/2010:33:50INFO Worker: Running Spark version1.3.015/03/2010:33:50INFO Worker: Spark home: /Users/qpzhang/project/spark-1.3.0-bin-hadoop2.415/03/2010:33:50INFO Server: jetty-8.y.z-SNAPSHOT15/03/2010:33:50INFO AbstractConnector: Started [email protected]:808115/03/2010:33:50INFO Utils: Successfully started service'WorkerUI'on port8081.15/03/20 10:33:50 INFO WorkerWebUI: Started WorkerWebUI at http://10.60.215.41:808115/03/2010:33:50INFO Worker: Connecting to master akka.tcp://[email protected]:7077/user/Master...15/03/2010:33:50INFO Worker: Successfully registered with master spark://qpzhangdeMac-mini.local:7077

从日志输出可以看到, worker自己在60994端口工作，然后为自己也起了一个UI，端口是8081，可以通过 http://10.60.215.41:8081查看worker的工作状态，（不得不说，选择的分布式少不了UI监控状态这一块儿了）。

5.启动spark shell终端：

~/project/spark-1.3.0-bin-hadoop2.4$./bin/spark-shell

Spark assembly has been built with Hive, including Datanucleus jars on classpath

log4j:WARN No appenders could be foundforlogger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).

log4j:WARN Please initialize the log4j system properly.

log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties15/03/2010:43:39INFO SecurityManager: Changing view acls to: qpzhang15/03/2010:43:39INFO SecurityManager: Changing modify acls to: qpzhang15/03/2010:43:39INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(qpzhang); users with modify permissions: Set(qpzhang)15/03/2010:43:39INFO HttpServer: Starting HTTP Server15/03/2010:43:39INFO Server: jetty-8.y.z-SNAPSHOT15/03/2010:43:39INFO AbstractConnector: Started [email protected]:6164415/03/2010:43:39INFO Utils: Successfully started service'HTTP class server'on port61644.

Welcome to

____              __/ __/__  ___ _____/ /__

_\ \/ _ \/ _ `/ __/'_//___/ .__/\_,_/_/ /_/\_\  version1.3.0/_/Using Scala version2.10.4(Java HotSpot(TM)64-Bit Server VM, Java1.8.0_25)

Typeinexpressions to have them evaluated.

Type :helpformore information.15/03/2010:43:43INFO SparkContext: Running Spark version1.3.015/03/2010:43:43INFO SecurityManager: Changing view acls to: qpzhang15/03/2010:43:43INFO SecurityManager: Changing modify acls to: qpzhang15/03/2010:43:43INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(qpzhang); users with modify permissions: Set(qpzhang)15/03/2010:43:43INFO Slf4jLogger: Slf4jLogger started15/03/2010:43:43INFO Remoting: Starting remoting15/03/2010:43:43INFO Remoting: Remoting started; listening on addresses :[akka.tcp://[email protected]:61645]15/03/20 10:43:43 INFO Utils: Successfully started service 'sparkDriver' on port 61645.15/03/2010:43:43INFO SparkEnv: Registering MapOutputTracker15/03/2010:43:44INFO SparkEnv: Registering BlockManagerMaster15/03/2010:43:44INFO DiskBlockManager: Created local directory at /var/folders/2l/195zcc1n0sn2wjfjwf9hl9d80000gn/T/spark-5349b1ce-bd10-4f44-9571-da660c1a02a3/blockmgr-a519687e-0cc3-45e4-839a-f93ac8f1397b15/03/2010:43:44INFO MemoryStore: MemoryStore started with capacity265.1MB15/03/2010:43:44INFO HttpFileServer: HTTP File server directoryis/var/folders/2l/195zcc1n0sn2wjfjwf9hl9d80000gn/T/spark-29d81b59-ec6a-4595-b2fb-81bf6b1d3b10/httpd-c572e4a5-ff85-44c9-a21f-71fb34b831e115/03/2010:43:44INFO HttpServer: Starting HTTP Server15/03/2010:43:44INFO Server: jetty-8.y.z-SNAPSHOT15/03/20 10:43:44 INFO AbstractConnector: Started [email protected]:6164615/03/2010:43:44INFO Utils: Successfully started service'HTTP file server'on port61646.15/03/2010:43:44INFO SparkEnv: Registering OutputCommitCoordinator15/03/2010:43:44INFO Server: jetty-8.y.z-SNAPSHOT15/03/2010:43:44INFO AbstractConnector: Started [email protected]:404015/03/2010:43:44INFO Utils: Successfully started service'SparkUI'on port4040.15/03/20 10:43:44 INFO SparkUI: Started SparkUI at http://10.60.215.41:404015/03/2010:43:44INFO Executor: Starting executor ID on host localhost15/03/20 10:43:44 INFO Executor: Using REPL class URI: http://10.60.215.41:61644

15/03/20 10:43:44 INFO AkkaUtils: Connecting to HeartbeatReceiver: akka.tcp://[email protected]:61645/user/HeartbeatReceiver15/03/2010:43:44INFO NettyBlockTransferService: Server created on6165115/03/2010:43:44INFO BlockManagerMaster: Trying to register BlockManager15/03/20 10:43:44 INFO BlockManagerMasterActor: Registering block manager localhost:61651 with 265.1 MB RAM, BlockManagerId(, localhost, 61651)15/03/2010:43:44INFO BlockManagerMaster: Registered BlockManager15/03/2010:43:44INFO SparkILoop: Created spark context..

Spark context availableassc.15/03/2010:43:45INFO SparkILoop: Created sql context (with Hive support)..

SQL context availableassqlContext.

scala>

从输出可以看到，又是一堆端口(各种service进行通信，没办法)，包含UI, driver等等。warning日志告诉你没有进行config，采用默认。如何进行config，后面再说，先用默认的跑起来玩玩。

6.通过shell下达命令

下面我们来执行几个官网上面overview中的几个命令来玩玩。

scala>val textFile = sc.textFile("README.md")  //加载数据文件，可以是本地路径，也是是HDFS路径或者其它15/03/2010:55:20INFO MemoryStore: ensureFreeSpace(159118) called with curMem=0, maxMem=27801944015/03/2010:55:20INFO MemoryStore: Block broadcast_0 storedasvaluesinmemory (estimated size155.4KB, free265.0MB)15/03/2010:55:20INFO MemoryStore: ensureFreeSpace(22692) called with curMem=159118, maxMem=27801944015/03/2010:55:20INFO MemoryStore: Block broadcast_0_piece0 storedasbytesinmemory (estimated size22.2KB, free265.0MB)15/03/2010:55:20INFO BlockManagerInfo: Added broadcast_0_piece0inmemory on localhost:61651(size:22.2KB, free:265.1MB)15/03/2010:55:20INFO BlockManagerMaster: Updated info of block broadcast_0_piece015/03/2010:55:20INFO SparkContext: Created broadcast0fromtextFile at :21textFile: org.apache.spark.rdd.RDD[String] = README.md MapPartitionsRDD[1] at textFile at :21scala>textFile.count() //列出文件行数15/03/2010:56:38INFO FileInputFormat: Total input paths to process :115/03/2010:56:38INFO SparkContext: Starting job: count at :2415/03/2010:56:38INFO DAGScheduler: Got job0(count at :24) with2output partitions (allowLocal=false)15/03/2010:56:38INFO DAGScheduler: Final stage: Stage0(count at :24)15/03/2010:56:38INFO DAGScheduler: Parents of final stage: List()15/03/2010:56:38INFO DAGScheduler: Missing parents: List()15/03/2010:56:38INFO DAGScheduler: Submitting Stage0(README.md MapPartitionsRDD[1] at textFile at :21), which has no missing parents15/03/2010:56:38INFO MemoryStore: ensureFreeSpace(2632) called with curMem=181810, maxMem=27801944015/03/2010:56:38INFO MemoryStore: Block broadcast_1 storedasvaluesinmemory (estimated size2.6KB, free265.0MB)15/03/2010:56:38INFO MemoryStore: ensureFreeSpace(1923) called with curMem=184442, maxMem=27801944015/03/2010:56:38INFO MemoryStore: Block broadcast_1_piece0 storedasbytesinmemory (estimated size1923.0B, free265.0MB)15/03/2010:56:38INFO BlockManagerInfo: Added broadcast_1_piece0inmemory on localhost:61651(size:1923.0B, free:265.1MB)15/03/2010:56:38INFO BlockManagerMaster: Updated info of block broadcast_1_piece015/03/2010:56:38INFO SparkContext: Created broadcast1frombroadcast at DAGScheduler.scala:83915/03/2010:56:38INFO DAGScheduler: Submitting2missing tasksfromStage0(README.md MapPartitionsRDD[1] at textFile at :21)15/03/2010:56:38INFO TaskSchedulerImpl: Adding taskset0.0with2tasks15/03/2010:56:38INFO TaskSetManager: Starting task0.0instage0.0(TID0, localhost, PROCESS_LOCAL,1327bytes)15/03/2010:56:38INFO TaskSetManager: Starting task1.0instage0.0(TID1, localhost, PROCESS_LOCAL,1327bytes)15/03/2010:56:38INFO Executor: Running task1.0instage0.0(TID1)15/03/2010:56:38INFO Executor: Running task0.0instage0.0(TID0)15/03/2010:56:38INFO HadoopRDD: Input split: file:/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/README.md:0+181415/03/2010:56:38INFO HadoopRDD: Input split: file:/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/README.md:1814+181515/03/2010:56:38INFO deprecation: mapred.tip.idisdeprecated. Instead, use mapreduce.task.id15/03/2010:56:38INFO deprecation: mapred.task.idisdeprecated. Instead, use mapreduce.task.attempt.id15/03/2010:56:38INFO deprecation: mapred.task.is.mapisdeprecated. Instead, use mapreduce.task.ismap15/03/2010:56:38INFO deprecation: mapred.task.partitionisdeprecated. Instead, use mapreduce.task.partition15/03/2010:56:38INFO deprecation: mapred.job.idisdeprecated. Instead, use mapreduce.job.id15/03/2010:56:38INFO Executor: Finished task1.0instage0.0(TID1).1830bytes result sent to driver15/03/2010:56:38INFO Executor: Finished task0.0instage0.0(TID0).1830bytes result sent to driver15/03/2010:56:38INFO TaskSetManager: Finished task0.0instage0.0(TID0)in120ms on localhost (1/2)15/03/2010:56:38INFO TaskSetManager: Finished task1.0instage0.0(TID1)in111ms on localhost (2/2)15/03/2010:56:38INFO TaskSchedulerImpl: Removed TaskSet0.0, whose tasks have all completed,frompool15/03/2010:56:38INFO DAGScheduler: Stage0(count at :24) finishedin0.134s15/03/2010:56:38INFO DAGScheduler: Job0finished: count at :24, took0.254626sres0: Long= 98scala>textFile.first() //输出第一个item, 也就是第一行内容15/03/2010:59:31INFO SparkContext: Starting job: first at :2415/03/2010:59:31INFO DAGScheduler: Got job1(first at :24) with1output partitions (allowLocal=true)15/03/2010:59:31INFO DAGScheduler: Final stage: Stage1(first at :24)15/03/2010:59:31INFO DAGScheduler: Parents of final stage: List()15/03/2010:59:31INFO DAGScheduler: Missing parents: List()15/03/2010:59:31INFO DAGScheduler: Submitting Stage1(README.md MapPartitionsRDD[1] at textFile at :21), which has no missing parents15/03/2010:59:31INFO MemoryStore: ensureFreeSpace(2656) called with curMem=186365, maxMem=27801944015/03/2010:59:31INFO MemoryStore: Block broadcast_2 storedasvaluesinmemory (estimated size2.6KB, free265.0MB)15/03/2010:59:31INFO MemoryStore: ensureFreeSpace(1945) called with curMem=189021, maxMem=27801944015/03/2010:59:31INFO MemoryStore: Block broadcast_2_piece0 storedasbytesinmemory (estimated size1945.0B, free265.0MB)15/03/2010:59:31INFO BlockManagerInfo: Added broadcast_2_piece0inmemory on localhost:61651(size:1945.0B, free:265.1MB)15/03/2010:59:31INFO BlockManagerMaster: Updated info of block broadcast_2_piece015/03/2010:59:31INFO SparkContext: Created broadcast2frombroadcast at DAGScheduler.scala:83915/03/2010:59:31INFO DAGScheduler: Submitting1missing tasksfromStage1(README.md MapPartitionsRDD[1] at textFile at :21)15/03/2010:59:31INFO TaskSchedulerImpl: Adding taskset1.0with1tasks15/03/2010:59:31INFO TaskSetManager: Starting task0.0instage1.0(TID2, localhost, PROCESS_LOCAL,1327bytes)15/03/2010:59:31INFO Executor: Running task0.0instage1.0(TID2)15/03/2010:59:31INFO HadoopRDD: Input split: file:/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/README.md:0+181415/03/2010:59:31INFO Executor: Finished task0.0instage1.0(TID2).1809bytes result sent to driver15/03/2010:59:31INFO TaskSetManager: Finished task0.0instage1.0(TID2)in8ms on localhost (1/1)15/03/2010:59:31INFO DAGScheduler: Stage1(first at :24) finishedin0.009s15/03/2010:59:31INFO TaskSchedulerImpl: Removed TaskSet1.0, whose tasks have all completed,frompool15/03/2010:59:31INFO DAGScheduler: Job1finished: first at :24, took0.016292sres1: String=# Apache Sparkscala>val linesWithSpark = textFile.filter(line => line.contains("Spark")) //定义一个filter,  这里定义的是包含Spark关键词的filterlinesWithSpark: org.apache.spark.rdd.RDD[String]= MapPartitionsRDD[2] at filter at :23scala>linesWithSpark.count() //输出filter中的结果数15/03/2011:00:28INFO SparkContext: Starting job: count at :2615/03/2011:00:28INFO DAGScheduler: Got job2(count at :26) with2output partitions (allowLocal=false)15/03/2011:00:28INFO DAGScheduler: Final stage: Stage2(count at :26)15/03/2011:00:28INFO DAGScheduler: Parents of final stage: List()15/03/2011:00:28INFO DAGScheduler: Missing parents: List()15/03/2011:00:28INFO DAGScheduler: Submitting Stage2(MapPartitionsRDD[2] at filter at :23), which has no missing parents15/03/2011:00:28INFO MemoryStore: ensureFreeSpace(2840) called with curMem=190966, maxMem=27801944015/03/2011:00:28INFO MemoryStore: Block broadcast_3 storedasvaluesinmemory (estimated size2.8KB, free265.0MB)15/03/2011:00:28INFO MemoryStore: ensureFreeSpace(2029) called with curMem=193806, maxMem=27801944015/03/2011:00:28INFO MemoryStore: Block broadcast_3_piece0 storedasbytesinmemory (estimated size2029.0B, free265.0MB)15/03/2011:00:28INFO BlockManagerInfo: Added broadcast_3_piece0inmemory on localhost:61651(size:2029.0B, free:265.1MB)15/03/2011:00:28INFO BlockManagerMaster: Updated info of block broadcast_3_piece015/03/2011:00:28INFO SparkContext: Created broadcast3frombroadcast at DAGScheduler.scala:83915/03/2011:00:28INFO DAGScheduler: Submitting2missing tasksfromStage2(MapPartitionsRDD[2] at filter at :23)15/03/2011:00:28INFO TaskSchedulerImpl: Adding taskset2.0with2tasks15/03/2011:00:28INFO TaskSetManager: Starting task0.0instage2.0(TID3, localhost, PROCESS_LOCAL,1327bytes)15/03/2011:00:28INFO TaskSetManager: Starting task1.0instage2.0(TID4, localhost, PROCESS_LOCAL,1327bytes)15/03/2011:00:28INFO Executor: Running task0.0instage2.0(TID3)15/03/2011:00:28INFO Executor: Running task1.0instage2.0(TID4)15/03/2011:00:28INFO HadoopRDD: Input split: file:/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/README.md:1814+181515/03/2011:00:28INFO HadoopRDD: Input split: file:/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/README.md:0+181415/03/2011:00:28INFO Executor: Finished task1.0instage2.0(TID4).1830bytes result sent to driver15/03/2011:00:28INFO Executor: Finished task0.0instage2.0(TID3).1830bytes result sent to driver15/03/2011:00:28INFO TaskSetManager: Finished task1.0instage2.0(TID4)in9ms on localhost (1/2)15/03/2011:00:28INFO TaskSetManager: Finished task0.0instage2.0(TID3)in11ms on localhost (2/2)15/03/2011:00:28INFO DAGScheduler: Stage2(count at :26) finishedin0.011s15/03/2011:00:28INFO TaskSchedulerImpl: Removed TaskSet2.0, whose tasks have all completed,frompool15/03/2011:00:28INFO DAGScheduler: Job2finished: count at :26, took0.019407sres2: Long= 19  //可以看到有19行包含 Spark关键词scala>linesWithSpark.first() //打印第一行数据15/03/2011:00:35INFO SparkContext: Starting job: first at :2615/03/2011:00:35INFO DAGScheduler: Got job3(first at :26) with1output partitions (allowLocal=true)15/03/2011:00:35INFO DAGScheduler: Final stage: Stage3(first at :26)15/03/2011:00:35INFO DAGScheduler: Parents of final stage: List()15/03/2011:00:35INFO DAGScheduler: Missing parents: List()15/03/2011:00:35INFO DAGScheduler: Submitting Stage3(MapPartitionsRDD[2] at filter at :23), which has no missing parents15/03/2011:00:35INFO MemoryStore: ensureFreeSpace(2864) called with curMem=195835, maxMem=27801944015/03/2011:00:35INFO MemoryStore: Block broadcast_4 storedasvaluesinmemory (estimated size2.8KB, free265.0MB)15/03/2011:00:35INFO MemoryStore: ensureFreeSpace(2048) called with curMem=198699, maxMem=27801944015/03/2011:00:35INFO MemoryStore: Block broadcast_4_piece0 storedasbytesinmemory (estimated size2.0KB, free264.9MB)15/03/2011:00:35INFO BlockManagerInfo: Added broadcast_4_piece0inmemory on localhost:61651(size:2.0KB, free:265.1MB)15/03/2011:00:35INFO BlockManagerMaster: Updated info of block broadcast_4_piece015/03/2011:00:35INFO SparkContext: Created broadcast4frombroadcast at DAGScheduler.scala:83915/03/2011:00:35INFO DAGScheduler: Submitting1missing tasksfromStage3(MapPartitionsRDD[2] at filter at :23)15/03/2011:00:35INFO TaskSchedulerImpl: Adding taskset3.0with1tasks15/03/2011:00:35INFO TaskSetManager: Starting task0.0instage3.0(TID5, localhost, PROCESS_LOCAL,1327bytes)15/03/2011:00:35INFO Executor: Running task0.0instage3.0(TID5)15/03/2011:00:35INFO HadoopRDD: Input split: file:/Users/qpzhang/project/spark-1.3.0-bin-hadoop2.4/README.md:0+181415/03/2011:00:35INFO Executor: Finished task0.0instage3.0(TID5).1809bytes result sent to driver15/03/2011:00:35INFO TaskSetManager: Finished task0.0instage3.0(TID5)in10ms on localhost (1/1)15/03/2011:00:35INFO DAGScheduler: Stage3(first at :26) finishedin0.010s15/03/2011:00:35INFO TaskSchedulerImpl: Removed TaskSet3.0, whose tasks have all completed,frompool15/03/2011:00:35INFO DAGScheduler: Job3finished: first at :26, took0.016494sres3: String= # Apache Spark

更多命令参考： https://spark.apache.org/docs/latest/quick-start.html

期间，我们可以通过UI看到job列表和状态：

Spark Standalone Mode 单机启动Spark -- 分布式计算系统spark学习(一)_第1张图片

跑起来先，第一步已经完成，那么spark架构是什么样的？运行原理？如何自定义配置？如何扩展到分布式？如何编程实现？我们后面再慢慢研究。

转载请注明出处：http://www.cnblogs.com/zhangqingping/p/4352977.html

你可能感兴趣的:(Spark Standalone Mode 单机启动Spark -- 分布式计算系统spark学习(一))

  • 斤斤计较的婚姻到底有多难？ 白心之岂必有为
    很多人私聊我会问到在哪个人群当中斤斤计较的人最多？我都会回答他，一般婚姻出现问题的斤斤计较的人士会非常多，以我多年经验，在婚姻落的一塌糊涂的人当中，斤斤计较的人数占比在20～30%以上，也就是说10个婚姻出现问题的斤斤计较的人有2-3个有多不减。在婚姻出问题当中，有大量的心理不平衡的、尖酸刻薄的怨妇。在婚姻中仅斤斤计较有两种类型：第一种是物质上的，另一种是精神上的。在物质与精神上抠门已经严重的影响
  • 情绪觉察日记第37天 露露_e800
    今天是家庭关系规划师的第二阶最后一天，慧萍老师帮我做了个案，帮我处理了埋在心底好多年的一份恐惧，并给了我深深的力量！这几天出来学习，爸妈过来婆家帮我带小孩，妈妈出于爱帮我收拾东西，并跟我先生和婆婆产生矛盾，妈妈觉得他们没有照顾好我…。今晚回家见到妈妈，我很欣赏她并赞扬她，妈妈说今晚要跟我睡我说好，当我们俩躺在床上准备睡觉的时候，我握着妈妈的手对她说:妈妈这几天辛苦你了，你看你多利害把我们的家收拾得
  • 芦花鞋一四 许叶晗
    又是在一个寒冷的夏日里，青铜和葵花决定今天一起去卖芦花鞋，奶奶亲手给他们做了一碗热乎乎的粥对他们说:“就靠你们两挣生活费了这碗粥赶紧趁热喝了吧！”于是青铜和葵花喝完了奶奶给她们做的粥，就准备去镇上卖卢花鞋，这回青铜和葵花穿着新的芦花鞋来到了镇上。青铜这回看到了很多人都在卖，用手势表达对葵花说:“这回有好多人在抢我们生意呢！我们必须得吆喝起来。”葵花点了点头。可是谁知他们也大声的叫，卖芦花喽！卖芦花
  • QQ群采集助手，精准引流必备神器 2401_87347160 其他经验分享
    功能概述微信群查找与筛选工具是一款专为微信用户设计的辅助工具，它通过关键词搜索功能，帮助用户快速找到相关的微信群，并提供筛选是否需要验证的群组的功能。主要功能关键词搜索：用户可以输入关键词，工具将自动查找包含该关键词的微信群。筛选功能：工具提供筛选机制，用户可以选择是否只显示需要验证或不需要验证的群组。精准引流：通过上述功能，用户可以更精准地找到目标群组，进行有效的引流操作。3.设备需求该工具可以
  • 机器学习与深度学习间关系与区别 ℒℴѵℯ心·动ꦿ໊ོ꫞ 人工智能学习深度学习python
    一、机器学习概述定义机器学习（MachineLearning,ML）是一种通过数据驱动的方法，利用统计学和计算算法来训练模型，使计算机能够从数据中学习并自动进行预测或决策。机器学习通过分析大量数据样本，识别其中的模式和规律，从而对新的数据进行判断。其核心在于通过训练过程，让模型不断优化和提升其预测准确性。主要类型1.监督学习（SupervisedLearning）监督学习是指在训练数据集中包含输入
  • android系统selinux中添加新属性property 辉色投像
    1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
  • 铭刻于星（四十二） 随风至
    69夜晚，绍敏同学做完功课后，看了眼房外，没听到动静才敢从书包的夹层里拿出那个心形纸团。折痕压得很深，都有些旧了，想来是已经写好很久了。绍敏同学慢慢地、轻轻地捏开折叠处，待到全部拆开后，又反复抚平纸张，然后仔细地一字字默看。只是开头的三个字是第一次看到，让她心漏跳了几拍。“亲爱的绍敏：从四年级的时候，我就喜欢你了，但是我一直不敢说，怕影响你学习。六年级的时候听说有人跟你表白，你接受了，我很难过，但
  • 底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说 造命者说
    底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说我叫吴起，生于公元前440年的战国初期，正是群雄并起、天下纷争不断的时候。后人说我是军事家、政治家、改革家，是兵家代表人物。评价我一生历仕鲁、魏、楚三国，通晓兵家、法家、儒家三家思想，在内政军事上都有极高的成就。周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
  • 2020-01-25 晴岚85
    郑海燕坚持分享590天2020.1.24在生活中只存在两个问题。一个问题是：你知道想要达成的目标是什么，但却不知道如何才能达成；另一个问题是：你不知道你的目标是什么。前一个是行动的问题，后一个是结果的问题。通过制定具体的下一步行动，可以解决不知道如何开始行动的问题。而通过去想象结果，对结果做预估，可以解决找不着目标的问题。对于所有吸引我们注意力，想要完成的任务，你可以先想象一下，预期的结果究竟是什
  • 随笔 | 仙一般的灵气 海思沧海
    仙岛今天，我看了你全部，似乎已经进入你的世界我不知道，这是否是梦幻，还是你仙一般的灵气吸引了我也许每一个人都要有一份属于自己的追求，这样才能够符合人生的梦想，生活才能够充满着阳光与快乐我不知道，我为什么会这样的感叹，是在感叹自己的人生，还是感叹自己一直没有孜孜不倦的追求只感觉虚度了光阴，每天活在自己的梦中，活在一个不真实的世界是在逃避自己，还是在逃避周围的一切有时候我嘲笑自己，嘲笑自己如此的虚无，
  • 想家 爆米花机
    也许不同于大家对家乡的思念，我对家乡甚至是疯狂的不舍。还未踏出车站就感觉到幸福，我享受这里的夕阳、这里的浓烈柴火味、这里每一口家常菜。我是宅女，我贪恋家的安逸。刚刚踏出大学校门，初出茅庐，无法适应每年只能国庆和春节回家。我焦虑、失眠、无端发脾气，是无法适应工作的节奏，是无法接受我将一步步离开家乡的事实。我不想承认自己胸无大志，选择再次踏上征程。图片发自App
  • 【iOS】MVC设计模式 Magnetic_h iosmvc设计模式objective-c学习ui
    MVC前言如何设计一个程序的结构，这是一门专门的学问，叫做"架构模式"（architecturalpattern），属于编程的方法论。MVC模式就是架构模式的一种。它是Apple官方推荐的App开发架构，也是一般开发者最先遇到、最经典的架构。MVC各层controller层Controller/ViewController/VC（控制器）负责协调Model和View，处理大部分逻辑它将数据从Mod
  • OC语言多界面传值五大方式 Magnetic_h iosui学习objective-c开发语言
    前言在完成暑假仿写项目时，遇到了许多需要用到多界面传值的地方，这篇博客来总结一下比较常用的五种多界面传值的方式。属性传值属性传值一般用前一个界面向后一个界面传值，简单地说就是通过访问后一个视图控制器的属性来为它赋值，通过这个属性来做到从前一个界面向后一个界面传值。首先在后一个界面中定义属性@interfaceBViewController:UIViewController@propertyNSSt
  • 一百九十四章. 自相矛盾 巨木擎天
    唉！就这么一夜，林子感觉就像过了很多天似的，先是回了阳间家里，遇到了那么多不可思议的事情儿。特别是小伙伴们，第二次与自己见面时，僵硬的表情和恐怖的气氛，让自己如坐针毡，打从心眼里难受！还有东子，他现在还好吗？有没有被人欺负？护城河里的小鱼小虾们，还都在吗？水不会真的干枯了吧？那对相亲相爱漂亮的太平鸟儿，还好吧！春天了，到了做窝、下蛋、喂养小鸟宝宝的时候了，希望它们都能够平安啊！虽然没有看见家人，也
  • UI学习——cell的复用和自定义cell Magnetic_h ui学习
    目录cell的复用手动（非注册）自动（注册）自定义cellcell的复用在iOS开发中，单元格复用是一种提高表格（UITableView）和集合视图（UICollectionView）滚动性能的技术。当一个UITableViewCell或UICollectionViewCell首次需要显示时，如果没有可复用的单元格，则视图会创建一个新的单元格。一旦这个单元格滚动出屏幕，它就不会被销毁。相反，它被添
  • element实现动态路由+面包屑 软件技术NINI vue案例vue.js前端
    el-breadcrumb是ElementUI组件库中的一个面包屑导航组件，它用于显示当前页面的路径，帮助用户快速理解和导航到应用的各个部分。在Vue.js项目中，如果你已经安装了ElementUI，就可以很方便地使用el-breadcrumb组件。以下是一个基本的使用示例：安装ElementUI（如果你还没有安装的话）:你可以通过npm或yarn来安装ElementUI。bash复制代码npmi
  • 10月|愿你的青春不负梦想-读书笔记-01 Tracy的小书斋
    本书的作者是俞敏洪，大家都很熟悉他了吧。俞敏洪老师是我行业的领头羊吧，也是我事业上的偶像。本日摘录他书中第一章中的金句：『一个人如果什么目标都没有，就会浑浑噩噩，感觉生命中缺少能量。能给我们能量的，是对未来的期待。第一件事，我始终为了进步而努力。与其追寻全世界的骏马，不如种植丰美的草原，到时骏马自然会来。第二件事，我始终有阶段性的目标。什么东西能给我能量？答案是对未来的期待。』读到这里的时候，我便
  • C语言宏函数 南林yan C语言c语言
    一、什么是宏函数？通过宏定义的函数是宏函数。如下，编译器在预处理阶段会将Add(x,y)替换为((x)*(y))#defineAdd(x,y)((x)*(y))#defineAdd(x,y)((x)*(y))intmain(){inta=10;intb=20;intd=10;intc=Add(a+d,b)*2;cout<
  • 地推话术，如何应对地推过程中家长的拒绝 校师学
    相信校长们在做地推的时候经常遇到这种情况：市场专员反馈家长不接单，咨询师反馈难以邀约这些家长上门，校区地推疲软，招生难。为什么？仅从地推层面分析，一方面因为家长受到的信息轰炸越来越多，对信息越来越“免疫”；而另一方面地推人员的专业能力和营销话术没有提高，无法应对家长的拒绝，对有意向的家长也不知如何跟进，眼睁睁看着家长走远；对于家长的疑问，更不知道如何有技巧地回答，机会白白流失。由于回答没技巧和专业
  • 谢谢你们，爱你们！ 鹿游儿
    昨天家人去泡温泉，二个孩子也带着去，出发前一晚，匆匆下班，赶回家和孩子一起收拾。饭后，我拿出笔和本子（上次去澳门时做手帐的本子）写下了1\2\3\4\5\6\7\8\9,让后让小壹去思考，带什么出发去旅游呢？她在对应的数字旁边画上了，泳衣、泳圈、肖恩、内衣内裤、tapuy、拖鞋……画完后，就让她自己对着这个本子，将要带的，一一带上，没想到这次带的书还是这本《便便工厂》(晚上姑婆发照片过来，妹妹累得
  • C语言如何定义宏函数？ 小九格物 c语言
    在C语言中，宏函数是通过预处理器定义的，它在编译之前替换代码中的宏调用。宏函数可以模拟函数的行为，但它们不是真正的函数，因为它们在编译时不会进行类型检查，也不会分配存储空间。宏函数的定义通常使用#define指令，后面跟着宏的名称和参数列表，以及宏展开后的代码。宏函数的定义方式：1.基本宏函数：这是最简单的宏函数形式，它直接定义一个表达式。#defineSQUARE(x)((x)*(x))2.带参
  • 微服务下功能权限与数据权限的设计与实现 nbsaas-boot 微服务java架构
    在微服务架构下，系统的功能权限和数据权限控制显得尤为重要。随着系统规模的扩大和微服务数量的增加，如何保证不同用户和服务之间的访问权限准确、细粒度地控制，成为设计安全策略的关键。本文将讨论如何在微服务体系中设计和实现功能权限与数据权限控制。1.功能权限与数据权限的定义功能权限：指用户或系统角色对特定功能的访问权限。通常是某个用户角色能否执行某个操作，比如查看订单、创建订单、修改用户资料等。数据权限：
  • 理解Gunicorn：Python WSGI服务器的基石 范范0825 ipythonlinux运维
    理解Gunicorn：PythonWSGI服务器的基石介绍Gunicorn，全称GreenUnicorn，是一个为PythonWSGI（WebServerGatewayInterface）应用设计的高效、轻量级HTTP服务器。作为PythonWeb应用部署的常用工具，Gunicorn以其高性能和易用性著称。本文将介绍Gunicorn的基本概念、安装和配置，帮助初学者快速上手。1.什么是Gunico
  • 小丽成长记（四十三） 玲玲54321
    小丽发现，即使她好不容易调整好自己的心态下一秒总会有不确定的伤脑筋的事出现，一个接一个的问题，人生就没有停下的时候，小问题不断出现。不过她今天看的书，她接受了人生就是不确定的，厉害的人就是不断创造确定性，在Ta的领域比别人多的确定性就能让自己脱颖而出，显示价值从而获得的比别人多的利益。正是这样的原因，因为从前修炼自己太少，使得她现在在人生道路上打怪起来困难重重，她似乎永远摆脱不了那种无力感，有种习
  • 学点心理知识，呵护孩子健康 静候花开_7090
    昨天听了华中师范大学教育管理学系副教授张玲老师的《哪里才是学生心理健康的最后庇护所，超越教育与技术的思考》的讲座。今天又重新学习了一遍，收获匪浅。张玲博士也注意到了当今社会上的孩子由于心理问题导致的自残、自杀及伤害他人等恶性事件。她向我们普及了一个重要的命题，她说心理健康的一些基本命题，我们与我们通常的一些教育命题是不同的，她还举了几个例子，让我们明白我们原来以为的健康并非心理学上的健康。比如如果
  • 2021年12月19日，春蕾教育集团团建活动感受——黄晓丹 黄错错加油
    感受:1.从陌生到熟悉的过程。游戏环节让我们在轻松的氛围中得到了锻炼，也增长了不少知识。2.游戏过程中，我们贡献的是个人力量，展现的是团队的力量。它磨合的往往不止是工作的熟悉，更是观念上契合度的贴近。3.这和工作是一样的道理。在各自的岗位上，每个人摆正自己的位置、各司其职充分发挥才能，并团结一致劲往一处使，才能实现最大的成功。新知:1.团队精神需要不断地创新。过去，人们把创新看作是冒风险，现在人们
  • Cell Insight | 单细胞测序技术又一新发现，可用于HIV-1和Mtb共感染个体诊断 尐尐呅
    结核病是艾滋病合并其他疾病中导致患者死亡的主要原因。其中结核病由结核分枝杆菌（Mycobacteriumtuberculosis,Mtb）感染引起，获得性免疫缺陷综合症（艾滋病）由人免疫缺陷病毒（Humanimmunodeficiencyvirustype1,HIV-1）感染引起。国家感染性疾病临床医学研究中心/深圳市第三人民医院张国良团队携手深圳华大生命科学研究院吴靓团队，共同研究得出单细胞测序
  • 瑶池防线 谜影梦蝶
    冥华虽然逃过了影梦的军队，但他是一个忠臣，他选择上报战况。败给影梦后成逃兵，高层亡尔还活着，七重天失守......随便一条，即可处死冥华。冥华自然是知道以仙界高层的习性此信一发自己必死无疑，但他还选择上报实情，因为责任。同样此信送到仙宫后，知道此事的人，大多数人都认定冥华要完了，所以上到仙界高层，下到扫大街的，包括冥华自己，全都准备好迎接冥华之死。如果仙界现在还属于两方之争的话，冥华必死无疑。然而
  • 爬山后遗症 璃绛
    爬山，攀登，一步一步走向制高点，是一种挑战。成功抵达是一种无法言语的快乐，在山顶吹吹风，看看风景，这是从未有过的体验。然而，爬山一时爽，下山腿打颤，颠簸的路，一路向下走，腿部力量不够，走起来抖到不行，停不下来了！第二天必定腿疼，浑身酸痛，坐立难安！
  • 《投行人生》读书笔记 小蘑菇的树洞
    《投行人生》----作者詹姆斯-A-朗德摩根斯坦利副主席40年的职业洞见-很短小精悍的篇幅，比较适合初入职场的新人。第一部分成功的职业生涯需要规划1.情商归为适应能力分享与协作同理心适应能力，更多的是自我意识，你有能力识别自己的情并分辨这些情绪如何影响你的思想和行为。2.对于初入职场的人的建议，细节，截止日期和数据很重要截止日期，一种有效的方法是请老板为你所有的任务进行优先级排序。和老板喝咖啡的好
  • Java序列化进阶篇 g21121 java序列化
            1.transient         类一旦实现了Serializable 接口即被声明为可序列化，然而某些情况下并不是所有的属性都需要序列化，想要人为的去阻止这些属性被序列化，就需要用到transient 关键字。
  • escape()、encodeURI()、encodeURIComponent()区别详解 aigo JavaScriptWeb
    原文：http://blog.sina.com.cn/s/blog_4586764e0101khi0.html   JavaScript中有三个可以对字符串编码的函数，分别是： escape,encodeURI,encodeURIComponent，相应3个解码函数：,decodeURI,decodeURIComponent 。 下面简单介绍一下它们的区别 1 escape()函
  • ArcgisEngine实现对地图的放大、缩小和平移 Cb123456 添加矢量数据对地图的放大、缩小和平移Engine
    ArcgisEngine实现对地图的放大、缩小和平移:  个人觉得是平移，不过网上的都是漫游，通俗的说就是把一个地图对象从一边拉到另一边而已。就看人说话吧.  具体实现: 一、引入命名空间    using ESRI.ArcGIS.Geometry;    using ESRI.ArcGIS.Controls; 二、代码实现.
  • Java集合框架概述 天子之骄 Java集合框架概述
       集合框架 集合框架可以理解为一个容器，该容器主要指映射(map)、集合(set)、数组(array)和列表(list)等抽象数据结构。 从本质上来说，Java集合框架的主要组成是用来操作对象的接口。不同接口描述不同的数据类型。   简单介绍：   Collection接口是最基本的接口，它定义了List和Set，List又定义了LinkLi
  • 旗正4.0页面跳转传值问题 何必如此 javajsp
    跳转和成功提示 a)        成功字段非空forward 成功字段非空forward，不会弹出成功字段，为jsp转发，页面能超链接传值,传输变量时需要拼接。接拼接方式list.jsp?test="+strweightUnit+"或list.jsp?test="+weightUnit+&qu
  • 全网唯一:移动互联网服务器端开发课程 cocos2d-x小菜 web开发移动开发移动端开发移动互联程序员
        移动互联网时代来了！     App市场爆发式增长为Web开发程序员带来新一轮机遇，近两年新增创业者，几乎全部选择了移动互联网项目！传统互联网企业中超过98%的门户网站已经或者正在从单一的网站入口转向PC、手机、Pad、智能电视等多端全平台兼容体系。据统计，AppStore中超过85%的App项目都选择了PHP作为后端程
  • Log4J通用配置|注意问题 笔记 7454103 DAOapachetomcatlog4jWeb
    关于日志的等级 那些去 百度就知道了！ 这几天 要搭个新框架  配置了 日志 记下来 ！做个备忘！ #这里定义能显示到的最低级别,若定义到INFO级别,则看不到DEBUG级别的信息了~! log4j.rootLogger=INFO,allLog # DAO层 log记录到dao.log 控制台 和 总日志文件 log4j.logger.DAO=INFO,dao,C
  • SQLServer TCP/IP 连接失败问题 ---SQL Server Configuration Manager darkranger sqlcwindowsSQL ServerXP
    当你安装完之后,连接数据库的时候可能会发现你的TCP/IP 没有启动.. 发现需要启动客户端协议 : TCP/IP  需要打开 SQL Server Configuration Manager... 却发现无法打开 SQL Server Configuration Manager..?? 解决方法:  C:\WINDOWS\system32目录搜索framedyn.
  • [置顶] 做有中国特色的程序员 aijuans 程序员
    从出版业说起 网络作品排到靠前的，都不会太难看，一般人不爱看某部作品也是因为不喜欢这个类型，而此人也不会全不喜欢这些网络作品。究其原因，是因为网络作品都是让人先白看的，看的好了才出了头。而纸质作品就不一定了，排行榜靠前的，有好作品，也有垃圾。 许多大牛都是写了博客，后来出了书。这些书也都不次，可能有人让为不好，是因为技术书不像小说，小说在读故事，技术书是在学知识或温习知识，有些技术书读得可
  • document.domain 跨域问题 avords document
    document.domain用来得到当前网页的域名。比如在地址栏里输入：javascript:alert(document.domain); //www.315ta.com我们也可以给document.domain属性赋值，不过是有限制的，你只能赋成当前的域名或者基础域名。比如：javascript:alert(document.domain = "315ta.com");
  • 关于管理软件的一些思考 houxinyou 管理
    工作好多看年了,一直在做管理软件,不知道是我最开始做的时候产生了一些惯性的思维,还是现在接触的管理软件水平有所下降.换过好多年公司,越来越感觉现在的管理软件做的越来越乱. 在我看来,管理软件不论是以前的结构化编程,还是现在的面向对象编程,不管是CS模式,还是BS模式.模块的划分是很重要的.当然,模块的划分有很多种方式.我只是以我自己的划分方式来说一下. 做为管理软件,就像现在讲究MVC这
  • NoSQL数据库之Redis数据库管理(String类型和hash类型) bijian1013 redis数据库NoSQL
    一.Redis的数据类型 1.String类型及操作         String是最简单的类型，一个key对应一个value，string类型是二进制安全的。Redis的string可以包含任何数据，比如jpg图片或者序列化的对象。         Set方法：设置key对应的值为string类型的value
  • Tomcat 一些技巧 征客丶 javatomcatdos
    以下操作都是在windows 环境下 一、Tomcat 启动时配置 JAVA_HOME 在 tomcat 安装目录，bin 文件夹下的 catalina.bat 或 setclasspath.bat 中添加 set JAVA_HOME=JAVA 安装目录 set JRE_HOME=JAVA 安装目录/jre 即可； 二、查看Tomcat 版本 在 tomcat 安装目
  • 【Spark七十二】Spark的日志配置 bit1129 spark
    在测试Spark Streaming时，大量的日志显示到控制台，影响了Spark Streaming程序代码的输出结果的查看(代码中通过println将输出打印到控制台上)，可以通过修改Spark的日志配置的方式，不让Spark Streaming把它的日志显示在console   在Spark的conf目录下，把log4j.properties.template修改为log4j.p
  • Haskell版冒泡排序 bookjovi 冒泡排序haskell
    面试的时候问的比较多的算法题要么是binary search，要么是冒泡排序，真的不想用写C写冒泡排序了，贴上个Haskell版的，思维简单，代码简单，下次谁要是再要我用C写冒泡排序，直接上个haskell版的，让他自己去理解吧。     sort [] = [] sort [x] = [x] sort (x:x1:xs) | x>x1 = x1:so
  • java 路径 配置文件读取 bro_feng java
    这几天做一个项目，关于路径做如下笔记，有需要供参考。 取工程内的文件，一般都要用相对路径，这个自然不用多说。 在src统计目录建配置文件目录res,在res中放入配置文件。 读取文件使用方式： 1. MyTest.class.getResourceAsStream("/res/xx.properties") 2. properties.load(MyTest.
  • 读《研磨设计模式》-代码笔记-简单工厂模式 bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ package design.pattern; /* * 个人理解：简单工厂模式就是IOC; * 客户端要用到某一对象，本来是由客户创建的，现在改成由工厂创建，客户直接取就好了 */ interface IProduct {
  • SVN与JIRA的关联 chenyu19891124 SVN
    SVN与JIRA的关联一直都没能装成功，今天凝聚心思花了一天时间整合好了。下面是自己整理的步骤： 一、搭建好SVN环境，尤其是要把SVN的服务注册成系统服务 二、装好JIRA，自己用是jira-4.3.4破解版 三、下载SVN与JIRA的插件并解压，然后拷贝插件包下lib包里的三个jar，放到Atlassian\JIRA 4.3.4\atlassian-jira\WEB-INF\lib下，再
  • JWFDv0.96 最新设计思路 comsci 数据结构算法工作企业应用公告
                       随着工作流技术的发展，工作流产品的应用范围也不断的在扩展，开始进入了像金融行业(我已经看到国有四大商业银行的工作流产品招标公告了)，实时生产控制和其它比较重要的工程领域，而
  • vi 保存复制内容格式粘贴 daizj vi粘贴复制保存原格式不变形
        vi是linux中非常好用的文本编辑工具，功能强大无比，但对于复制带有缩进格式的内容时，粘贴的时候内容错位很严重，不会按照复制时的格式排版，vi能不能在粘贴时，按复制进的格式进行粘贴呢？ 答案是肯定的，vi有一个很强大的命令可以实现此功能 。     在命令模式输入:set paste，则进入paste模式，这样再进行粘贴时
  • shell脚本运行时报错误：/bin/bash^M: bad interpreter 的解决办法 dongwei_6688 shell脚本
    出现原因：windows上写的脚本，直接拷贝到linux系统上运行由于格式不兼容导致 解决办法： 1. 比如文件名为myshell.sh，vim myshell.sh 2. 执行vim中的命令 : set ff?查看文件格式，如果显示fileformat=dos，证明文件格式有问题 3. 执行vim中的命令 :set fileformat=unix 将文件格式改过来就可以了，然后:w
  • 高一上学期难记忆单词 dcj3sjt126com wordenglish
    honest 诚实的；正直的 argue 争论 classical 古典的 hammer 锤子 share  分享；共有 sorrow 悲哀；悲痛 adventure 冒险 error 错误；差错 closet 壁橱；储藏室 pronounce 发音；宣告 repeat 重做；重复 majority 大多数；大半   native 本国的，本地的，本国
  • hibernate查询返回DTO对象，DTO封装了多个pojo对象的属性 frankco POJOhibernate查询DTO
          DTO-数据传输对象；pojo-最纯粹的java对象与数据库中的表一一对应。       简单讲：DTO起到业务数据的传递作用，pojo则与持久层数据库打交道。         有时候我们需要查询返回DTO对象，因为DTO
  • Partition List hcx2013 partition
    Given a linked list and a value x, partition it such that all nodes less than x come before nodes greater than or equal to x. You should preserve the original relative order of th
  • Spring MVC测试框架详解——客户端测试 jinnianshilongnian
    上一篇《Spring MVC测试框架详解——服务端测试》已经介绍了服务端测试，接下来再看看如果测试Rest客户端，对于客户端测试以前经常使用的方法是启动一个内嵌的jetty/tomcat容器，然后发送真实的请求到相应的控制器；这种方式的缺点就是速度慢；自Spring 3.2开始提供了对RestTemplate的模拟服务器测试方式，也就是说使用RestTemplate测试时无须启动服务器，而是模拟一
  • 关于推荐个人观点 liyonghui160com 推荐系统关于推荐个人观点
        回想起来，我也做推荐了3年多了，最近公司做了调整招聘了很多算法工程师，以为需要多么高大上的算法才能搭建起来的，从实践中走过来，我只想说【不是这样的】     第一次接触推荐系统是在四年前入职的时候，那时候，机器学习和大数据都是没有的概念，什么大数据处理开源软件根本不存在，我们用多台计算机web程序记录用户行为，用.net的w
  • 不间断旋转的动画 pangyulei 动画
    CABasicAnimation* rotationAnimation; rotationAnimation = [CABasicAnimation animationWithKeyPath:@"transform.rotation.z"]; rotationAnimation.toValue = [NSNumber numberWithFloat: M
  • 自定义annotation sha1064616837 javaenumannotationreflect
    对象有的属性在页面上可编辑，有的属性在页面只可读，以前都是我们在页面上写死的，时间一久有时候会混乱，此处通过自定义annotation在类属性中定义。越来越发现Java的Annotation真心很强大，可以帮我们省去很多代码，让代码看上去简洁。 下面这个例子 主要用到了 1.自定义annotation：@interface，以及几个配合着自定义注解使用的几个注解 2.简单的反射 3.枚举
  • Spring 源码 up2pu spring
    1.Spring源代码 https://github.com/SpringSource/spring-framework/branches/3.2.x 注：兼容svn检出 2.运行脚本 import-into-eclipse.bat 注：需要设置JAVA_HOME为jdk 1.7 build.gradle compileJava { sourceCompatibilit
  • 利用word分词来计算文本相似度 yangshangchuan wordword分词文本相似度余弦相似度简单共有词
    word分词提供了多种文本相似度计算方式： 方式一：余弦相似度，通过计算两个向量的夹角余弦值来评估他们的相似度 实现类：org.apdplat.word.analysis.CosineTextSimilarity 用法如下： String text1 = "我爱购物"; String text2 = "我爱读书"; String text3 =
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他