mo明奇妙
mo明奇妙

spark学习记录

云服务器环境搭建（从0）

阿里云申请一个云服务器，1核2G，一个月免费试用中。

登陆默认在 “/root”

目录

  • linux目录结构
  • Java8 安装
  • Zookeeper 安装
  • Hadoop 安装
  • Spark 2.3 HA 集群分布式 安装
  • Spark RDD
  • spark sql
  • docker mysql
  • spark session

linux目录结构

bin boot dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var

/bin bin 是 Binaries (二进制文件) 的缩写, 这个目录存放着最经常使用的命令。

/boot 这里存放的是启动 Linux 时使用的一些核心文件，包括一些连接文件以及镜像文件。

/dev dev 是 Device(设备) 的缩写, 该目录下存放的是 Linux 的外部设备，在 Linux 中访问设备的方式和访问文件的方式是相同的。

/etc etc 是 Etcetera(等等) 的缩写,这个目录用来存放所有的系统管理所需要的配置文件和子目录。

/home用户的主目录，在 Linux 中，每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的，如上图中的 alice、bob 和 eve。

/lib lib 是 Library(库) 的缩写这个目录里存放着系统最基本的动态连接共享库，其作用类似于 Windows 里的 DLL 文件。几乎所有的应用程序都需要用到这些共享库。

media linux 系统会自动识别一些设备，例如U盘、光驱等等，当识别后，Linux 会把识别的设备挂载到这个目录下。
ls /media 为空

mnt 系统提供该目录是为了让用户临时挂载别的文件系统的，我们可以将光驱挂载在 /mnt/ 上，然后进入该目录就可以查看光驱里的内容了。
ls /mnt 为空

/opt opt 是 optional(可选) 的缩写，这是给主机额外安装软件所摆放的目录。比如你安装一个ORACLE数据库则就可以放到这个目录下。默认是空的。
ls /opt 为空
后面的zk，spark我都放在了opt下，下载的压缩包也是

/proc proc 是 Processes(进程) 的缩写，/proc 是一种伪文件系统（也即虚拟文件系统），存储的是当前内核运行状态的一系列特殊文件，这个目录是一个虚拟的目录，它是系统内存的映射，我们可以通过直接访问这个目录来获取系统信息。
这个目录的内容不在硬盘上而是在内存里，我们也可以直接修改里面的某些文件，比如可以通过下面的命令来屏蔽主机的ping命令，使别人无法ping你的机器：

echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all

/root 该目录为系统管理员，也称作超级权限者的用户主目录。
root用户一登陆在/root路径，为空

/sbin s 就是 Super User 的意思，是 Superuser Binaries (超级用户的二进制文件) 的缩写，这里存放的是系统管理员使用的系统管理程序。

/srv 该目录存放一些服务启动之后需要提取的数据。
ls /srv 为空

/sys 这是 Linux2.6 内核的一个很大的变化。该目录下安装了 2.6 内核中新出现的一个文件系统 sysfs 。
sysfs 文件系统集成了下面3种文件系统的信息：针对进程信息的 proc 文件系统、针对设备的 devfs 文件系统以及针对伪终端的 devpts 文件系统。
该文件系统是内核设备树的一个直观反映。
当一个内核对象被创建的时候，对应的文件和目录也在内核对象子系统中被创建。

/tmp tmp 是 temporary(临时) 的缩写这个目录是用来存放一些临时文件的。

/usr usr 是 unix shared resources(共享资源) 的缩写，这是一个非常重要的目录，用户的很多应用程序和文件都放在这个目录下，类似于 windows 下的 program files 目录。
/usr/bin 系统用户使用的应用程序。
/usr/sbin超级用户使用的比较高级的管理程序和系统守护程序。
/usr/src 内核源代码默认的放置目录。

/var var 是 variable(变量) 的缩写，这个目录中存放着在不断扩充着的东西，我们习惯将那些经常被修改的目录放在这个目录下。包括各种日志文件。

/run 是一个临时文件系统，存储系统启动以来的信息。当系统重启时，这个目录下的文件应该被删掉或清除。如果你的系统上有 /var/run 目录，应该让它指向 run。

Reference

Java8 安装

yum -y list java* 可以看到可安装的Java版本
其中带有“-devel”的是jdk，否则是jre。

yum install -y java-1.8.0-openjdk-devel.x86_64

获取jdk的安装目录

rpm -ql java-1.8.0-openjdk

发现在/usr/lib/jvm路径下

至此，yum安装jdk完成。

也可以通过官方安装包进行安装。

Conference

Zookeeper 安装

我装的是3.5.9

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz
cd apache-zookeeper-3.5.9/conf
cp zoo_sample.cfg zoo.cfg
cd ..
cd bin
sh zkServer.sh start

查看server状态

sh zkServer.sh status

坑：3.5.5后，带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包，而之前的普通的tar.gz的包里面是只是源码的包无法直接使用。

启动客户端

sh zkCli.sh

Conference

Hadoop 安装

Conference
我装的是2.7.5
配置一下ssh
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.1.tar.gz（清华源只有2.10 3.3）
tar -zxvf
自带HDFS、Yarn，开启
3.3.1版本，要使用HDFS需要在 /etc/profile 添加

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

后在/hadoop 执行 start-dfs.sh 即可开启 nameNode dataNode secondaryNameNode 进程

Spark 2.3 HA 集群分布式 安装

前提：
Java8安装
Zookeeper安装
Hadoop2.7.5 HA安装
Scala安装

只能下载2.4了

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz

3.3.1的hadoop，下载3.2.0的spark（基于3.3后的hadoop）

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz

  1. 先启动Zookeeper
    cd 到 ZooKeeper/bin 执行 sh zkServer.sh start
    sh zkServer.sh status 查看运行状态
    jps 查看是否有QuorumPeerMain线程（zk入口类线程）
    如果失败 执行sh zkServer.sh start-forground 带日志的执行

  2. 启动 spark
    cd 到 spark/sbin
    执行 start-all.sh 会启动yarn和hdfs
    执行 sh start-master.sh 启动spark的master
    执行 sh start-slave.sh 启动spark的worker
    (记得spark/conf/spark-env 加入 SPARK_MASTER_HOST=localhost)

  3. spark on Yarn
    测试pi例子
    在spark目录执行

    bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 500M \
--executor-memory 500m \
--executor-cores 1 \
./examples/jars/spark-examples_2.11-2.4.8.jar \
10

    Conference

    spark内存不够

    暂未成功。INFO yarn.Client: Application report for application_1640188927691_0003 (state: ACCEPTED) 后，一直在 INFO yarn.Client: Application report for application_1640188927691_0003 (state: RUNNING)，可能是资源太少(1core2G)的问题

  4. spark on standalone
    4.1. 运行 example-pi

    bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://localhost:7077 \
--executor-memory 500m \
--total-executor-cores 1 \
./examples/jars/spark-examples_2.11-2.4.8.jar \
100

    spark-examples_2.12-3.2.0.jar
    警告没资源，等待几分钟后成功

    21/12/23 14:13:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
21/12/23 14:13:57 INFO spark.SparkContext: Running Spark version 2.4.8
21/12/23 14:13:57 INFO spark.SparkContext: Submitted application: Spark Pi
21/12/23 14:13:58 INFO spark.SecurityManager: Changing view acls to: root
21/12/23 14:13:58 INFO spark.SecurityManager: Changing modify acls to: root
21/12/23 14:13:58 INFO spark.SecurityManager: Changing view acls groups to: 
21/12/23 14:13:58 INFO spark.SecurityManager: Changing modify acls groups to: 
21/12/23 14:13:58 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(root); groups with view permissions: Set(); users  with modify permissions: Set(root); groups with modify permissions: Set()
21/12/23 14:13:58 INFO util.Utils: Successfully started service 'sparkDriver' on port 33713.
21/12/23 14:13:58 INFO spark.SparkEnv: Registering MapOutputTracker
21/12/23 14:13:58 INFO spark.SparkEnv: Registering BlockManagerMaster
21/12/23 14:13:58 INFO storage.BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information
21/12/23 14:13:58 INFO storage.BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up
21/12/23 14:13:58 INFO storage.DiskBlockManager: Created local directory at /tmp/blockmgr-619fd2dc-0d04-414a-b314-0421d5c00934
21/12/23 14:13:58 INFO memory.MemoryStore: MemoryStore started with capacity 413.9 MB
21/12/23 14:13:58 INFO spark.SparkEnv: Registering OutputCommitCoordinator
21/12/23 14:13:58 INFO util.log: Logging initialized @3145ms to org.spark_project.jetty.util.log.Slf4jLog
21/12/23 14:13:58 INFO server.Server: jetty-9.4.z-SNAPSHOT; built: unknown; git: unknown; jvm 1.8.0_312-b07
21/12/23 14:13:58 INFO server.Server: Started @3383ms
21/12/23 14:13:59 INFO server.AbstractConnector: Started ServerConnector@79ab3a71{HTTP/1.1, (http/1.1)}{0.0.0.0:4040}
21/12/23 14:13:59 INFO util.Utils: Successfully started service 'SparkUI' on port 4040.
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@44ea608c{/jobs,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@515f4131{/jobs/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@74518890{/jobs/job,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3f3ddbd9{/jobs/job/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@14c053c6{/stages,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@6c2d4cc6{/stages/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@30865a90{/stages/stage,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@71b1a49c{/stages/stage/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@73e132e0{/stages/pool,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3773862a{/stages/pool/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@2472c7d8{/storage,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@589b028e{/storage/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@22175d4f{/storage/rdd,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@9fecdf1{/storage/rdd/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3b809711{/environment,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3b0f7d9d{/environment/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@236ab296{/executors,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@5c84624f{/executors/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@63034ed1{/executors/threadDump,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@232024b9{/executors/threadDump/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@55a8dc49{/static,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@4e406694{/,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@5ab9b447{/api,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@15b986cd{/jobs/job/kill,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@6bb7cce7{/stages/stage/kill,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO ui.SparkUI: Bound SparkUI to 0.0.0.0, and started at http://iZwz915iahvm5k8atqdtj2Z:4040
21/12/23 14:13:59 INFO spark.SparkContext: Added JAR file:/opt/spark-2.4.8-bin-hadoop2.7/./examples/jars/spark-examples_2.11-2.4.8.jar at spark://iZwz915iahvm5k8atqdtj2Z:33713/jars/spark-examples_2.11-2.4.8.jar with timestamp 1640240039193
21/12/23 14:13:59 INFO client.StandaloneAppClient$ClientEndpoint: Connecting to master spark://localhost:7077...
21/12/23 14:13:59 INFO client.TransportClientFactory: Successfully created connection to localhost/127.0.0.1:7077 after 67 ms (0 ms spent in bootstraps)
21/12/23 14:13:59 INFO cluster.StandaloneSchedulerBackend: Connected to Spark cluster with app ID app-20211223141359-0000
21/12/23 14:13:59 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 37767.
21/12/23 14:13:59 INFO netty.NettyBlockTransferService: Server created on iZwz915iahvm5k8atqdtj2Z:37767
21/12/23 14:13:59 INFO storage.BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
21/12/23 14:13:59 INFO storage.BlockManagerMaster: Registering BlockManager BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:13:59 INFO storage.BlockManagerMasterEndpoint: Registering block manager iZwz915iahvm5k8atqdtj2Z:37767 with 413.9 MB RAM, BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:13:59 INFO storage.BlockManagerMaster: Registered BlockManager BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:13:59 INFO storage.BlockManager: Initialized BlockManager: BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:14:00 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3e48e859{/metrics/json,null,AVAILABLE,@Spark}
21/12/23 14:14:00 INFO cluster.StandaloneSchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.0
21/12/23 14:14:01 INFO spark.SparkContext: Starting job: reduce at SparkPi.scala:38
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Got job 0 (reduce at SparkPi.scala:38) with 100 output partitions
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Final stage: ResultStage 0 (reduce at SparkPi.scala:38)
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Parents of final stage: List()
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Missing parents: List()
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Submitting ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:34), which has no missing parents
21/12/23 14:14:01 INFO memory.MemoryStore: Block broadcast_0 stored as values in memory (estimated size 2.0 KB, free 413.9 MB)
21/12/23 14:14:01 INFO memory.MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 1381.0 B, free 413.9 MB)
21/12/23 14:14:01 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on iZwz915iahvm5k8atqdtj2Z:37767 (size: 1381.0 B, free: 413.9 MB)
21/12/23 14:14:01 INFO spark.SparkContext: Created broadcast 0 from broadcast at DAGScheduler.scala:1184
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Submitting 100 missing tasks from ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:34) (first 15 tasks are for partitions Vector(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14))
21/12/23 14:14:01 INFO scheduler.TaskSchedulerImpl: Adding task set 0.0 with 100 tasks
21/12/23 14:14:16 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
21/12/23 14:14:27 INFO client.StandaloneAppClient$ClientEndpoint: Master removed worker worker-20211223114534-172.18.92.61-40105: Not responding for recovery
21/12/23 14:14:27 INFO cluster.StandaloneSchedulerBackend: Worker worker-20211223114534-172.18.92.61-40105 removed: Not responding for recovery
21/12/23 14:14:27 INFO scheduler.TaskSchedulerImpl: Handle removed worker worker-20211223114534-172.18.92.61-40105: Not responding for recovery
21/12/23 14:14:27 INFO scheduler.DAGScheduler: Shuffle files lost for worker worker-20211223114534-172.18.92.61-40105 on host 172.18.92.61
21/12/23 14:14:27 INFO client.StandaloneAppClient$ClientEndpoint: Executor added: app-20211223141359-0000/0 on worker-20211223141327-172.18.92.61-34607 (172.18.92.61:34607) with 1 core(s)
21/12/23 14:14:27 INFO cluster.StandaloneSchedulerBackend: Granted executor ID app-20211223141359-0000/0 on hostPort 172.18.92.61:34607 with 1 core(s), 500.0 MB RAM
21/12/23 14:14:27 INFO client.StandaloneAppClient$ClientEndpoint: Executor updated: app-20211223141359-0000/0 is now RUNNING
21/12/23 14:14:31 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
21/12/23 14:14:31 INFO cluster.CoarseGrainedSchedulerBackend$DriverEndpoint: Registered executor NettyRpcEndpointRef(spark-client://Executor) (172.18.92.61:40782) with ID 0
21/12/23 14:14:31 INFO scheduler.TaskSetManager: Starting task 0.0 in stage 0.0 (TID 0, 172.18.92.61, executor 0, partition 0, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:14:32 INFO storage.BlockManagerMasterEndpoint: Registering block manager 172.18.92.61:35261 with 110.0 MB RAM, BlockManagerId(0, 172.18.92.61, 35261, None)
21/12/23 14:14:34 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on 172.18.92.61:35261 (size: 1381.0 B, free: 110.0 MB)
121/12/23 14:19:36 INFO scheduler.TaskSetManager: Starting task 1.0 in stage 0.0 (TID 1, 172.18.92.61, executor 0, partition 1, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 2.0 in stage 0.0 (TID 2, 172.18.92.61, executor 0, partition 2, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 3.0 in stage 0.0 (TID 3, 172.18.92.61, executor 0, partition 3, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 4.0 in stage 0.0 (TID 4, 172.18.92.61, executor 0, partition 4, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 5.0 in stage 0.0 (TID 5, 172.18.92.61, executor 0, partition 5, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 6.0 in stage 0.0 (TID 6, 172.18.92.61, executor 0, partition 6, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 7.0 in stage 0.0 (TID 7, 172.18.92.61, executor 0, partition 7, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 309907 ms on 172.18.92.61 (executor 0) (1/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 4.0 in stage 0.0 (TID 4) in 172 ms on 172.18.92.61 (executor 0) (2/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 5.0 in stage 0.0 (TID 5) in 144 ms on 172.18.92.61 (executor 0) (3/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 6.0 in stage 0.0 (TID 6) in 108 ms on 172.18.92.61 (executor 0) (4/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 2.0 in stage 0.0 (TID 2) in 231 ms on 172.18.92.61 (executor 0) (5/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 3.0 in stage 0.0 (TID 3) in 204 ms on 172.18.92.61 (executor 0) (6/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 8.0 in stage 0.0 (TID 8, 172.18.92.61, executor 0, partition 8, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 1.0 in stage 0.0 (TID 1) in 5529 ms on 172.18.92.61 (executor 0) (7/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 7.0 in stage 0.0 (TID 7) in 77 ms on 172.18.92.61 (executor 0) (8/100)
21/12/23 14:19:41 WARN client.StandaloneAppClient$ClientEndpoint: Connection to localhost:7077 failed; waiting for master to reconnect...
21/12/23 14:19:41 WARN cluster.StandaloneSchedulerBackend: Disconnected from Spark cluster! Waiting for reconnection...
21/12/23 14:19:41 WARN client.StandaloneAppClient$ClientEndpoint: Connection to localhost:7077 failed; waiting for master to reconnect...
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 9.0 in stage 0.0 (TID 9, 172.18.92.61, executor 0, partition 9, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 8.0 in stage 0.0 (TID 8) in 46 ms on 172.18.92.61 (executor 0) (9/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 10.0 in stage 0.0 (TID 10, 172.18.92.61, executor 0, partition 10, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 9.0 in stage 0.0 (TID 9) in 49 ms on 172.18.92.61 (executor 0) (10/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 11.0 in stage 0.0 (TID 11, 172.18.92.61, executor 0, partition 11, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 10.0 in stage 0.0 (TID 10) in 50 ms on 172.18.92.61 (executor 0) (11/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 12.0 in stage 0.0 (TID 12, 172.18.92.61, executor 0, partition 12, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 11.0 in stage 0.0 (TID 11) in 20 ms on 172.18.92.61 (executor 0) (12/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 13.0 in stage 0.0 (TID 13, 172.18.92.61, executor 0, partition 13, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 12.0 in stage 0.0 (TID 12) in 44 ms on 172.18.92.61 (executor 0) (13/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 14.0 in stage 0.0 (TID 14, 172.18.92.61, executor 0, partition 14, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 13.0 in stage 0.0 (TID 13) in 29 ms on 172.18.92.61 (executor 0) (14/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 15.0 in stage 0.0 (TID 15, 172.18.92.61, executor 0, partition 15, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 14.0 in stage 0.0 (TID 14) in 45 ms on 172.18.92.61 (executor 0) (15/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 16.0 in stage 0.0 (TID 16, 172.18.92.61, executor 0, partition 16, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 15.0 in stage 0.0 (TID 15) in 39 ms on 172.18.92.61 (executor 0) (16/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 17.0 in stage 0.0 (TID 17, 172.18.92.61, executor 0, partition 17, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 16.0 in stage 0.0 (TID 16) in 33 ms on 172.18.92.61 (executor 0) (17/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 18.0 in stage 0.0 (TID 18, 172.18.92.61, executor 0, partition 18, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 17.0 in stage 0.0 (TID 17) in 21 ms on 172.18.92.61 (executor 0) (18/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 19.0 in stage 0.0 (TID 19, 172.18.92.61, executor 0, partition 19, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 18.0 in stage 0.0 (TID 18) in 19 ms on 172.18.92.61 (executor 0) (19/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 20.0 in stage 0.0 (TID 20, 172.18.92.61, executor 0, partition 20, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 19.0 in stage 0.0 (TID 19) in 19 ms on 172.18.92.61 (executor 0) (20/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 21.0 in stage 0.0 (TID 21, 172.18.92.61, executor 0, partition 21, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 20.0 in stage 0.0 (TID 20) in 25 ms on 172.18.92.61 (executor 0) (21/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 22.0 in stage 0.0 (TID 22, 172.18.92.61, executor 0, partition 22, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 21.0 in stage 0.0 (TID 21) in 21 ms on 172.18.92.61 (executor 0) (22/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 23.0 in stage 0.0 (TID 23, 172.18.92.61, executor 0, partition 23, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 22.0 in stage 0.0 (TID 22) in 22 ms on 172.18.92.61 (executor 0) (23/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 24.0 in stage 0.0 (TID 24, 172.18.92.61, executor 0, partition 24, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 23.0 in stage 0.0 (TID 23) in 38 ms on 172.18.92.61 (executor 0) (24/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 25.0 in stage 0.0 (TID 25, 172.18.92.61, executor 0, partition 25, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 24.0 in stage 0.0 (TID 24) in 76 ms on 172.18.92.61 (executor 0) (25/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 26.0 in stage 0.0 (TID 26, 172.18.92.61, executor 0, partition 26, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 25.0 in stage 0.0 (TID 25) in 29 ms on 172.18.92.61 (executor 0) (26/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 27.0 in stage 0.0 (TID 27, 172.18.92.61, executor 0, partition 27, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 26.0 in stage 0.0 (TID 26) in 16 ms on 172.18.92.61 (executor 0) (27/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 28.0 in stage 0.0 (TID 28, 172.18.92.61, executor 0, partition 28, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 27.0 in stage 0.0 (TID 27) in 25 ms on 172.18.92.61 (executor 0) (28/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 29.0 in stage 0.0 (TID 29, 172.18.92.61, executor 0, partition 29, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 28.0 in stage 0.0 (TID 28) in 30 ms on 172.18.92.61 (executor 0) (29/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 30.0 in stage 0.0 (TID 30, 172.18.92.61, executor 0, partition 30, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 29.0 in stage 0.0 (TID 29) in 34 ms on 172.18.92.61 (executor 0) (30/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 31.0 in stage 0.0 (TID 31, 172.18.92.61, executor 0, partition 31, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 30.0 in stage 0.0 (TID 30) in 16 ms on 172.18.92.61 (executor 0) (31/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 32.0 in stage 0.0 (TID 32, 172.18.92.61, executor 0, partition 32, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 31.0 in stage 0.0 (TID 31) in 34 ms on 172.18.92.61 (executor 0) (32/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 33.0 in stage 0.0 (TID 33, 172.18.92.61, executor 0, partition 33, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 32.0 in stage 0.0 (TID 32) in 14 ms on 172.18.92.61 (executor 0) (33/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 34.0 in stage 0.0 (TID 34, 172.18.92.61, executor 0, partition 34, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 33.0 in stage 0.0 (TID 33) in 45 ms on 172.18.92.61 (executor 0) (34/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 35.0 in stage 0.0 (TID 35, 172.18.92.61, executor 0, partition 35, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 34.0 in stage 0.0 (TID 34) in 29 ms on 172.18.92.61 (executor 0) (35/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 36.0 in stage 0.0 (TID 36, 172.18.92.61, executor 0, partition 36, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 35.0 in stage 0.0 (TID 35) in 17 ms on 172.18.92.61 (executor 0) (36/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 37.0 in stage 0.0 (TID 37, 172.18.92.61, executor 0, partition 37, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 36.0 in stage 0.0 (TID 36) in 40 ms on 172.18.92.61 (executor 0) (37/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 38.0 in stage 0.0 (TID 38, 172.18.92.61, executor 0, partition 38, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 37.0 in stage 0.0 (TID 37) in 43 ms on 172.18.92.61 (executor 0) (38/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 39.0 in stage 0.0 (TID 39, 172.18.92.61, executor 0, partition 39, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 38.0 in stage 0.0 (TID 38) in 21 ms on 172.18.92.61 (executor 0) (39/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 40.0 in stage 0.0 (TID 40, 172.18.92.61, executor 0, partition 40, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 39.0 in stage 0.0 (TID 39) in 48 ms on 172.18.92.61 (executor 0) (40/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 41.0 in stage 0.0 (TID 41, 172.18.92.61, executor 0, partition 41, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 40.0 in stage 0.0 (TID 40) in 15 ms on 172.18.92.61 (executor 0) (41/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 42.0 in stage 0.0 (TID 42, 172.18.92.61, executor 0, partition 42, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 41.0 in stage 0.0 (TID 41) in 34 ms on 172.18.92.61 (executor 0) (42/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 43.0 in stage 0.0 (TID 43, 172.18.92.61, executor 0, partition 43, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 42.0 in stage 0.0 (TID 42) in 33 ms on 172.18.92.61 (executor 0) (43/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 44.0 in stage 0.0 (TID 44, 172.18.92.61, executor 0, partition 44, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 43.0 in stage 0.0 (TID 43) in 37 ms on 172.18.92.61 (executor 0) (44/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 45.0 in stage 0.0 (TID 45, 172.18.92.61, executor 0, partition 45, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 44.0 in stage 0.0 (TID 44) in 28 ms on 172.18.92.61 (executor 0) (45/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 46.0 in stage 0.0 (TID 46, 172.18.92.61, executor 0, partition 46, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 45.0 in stage 0.0 (TID 45) in 31 ms on 172.18.92.61 (executor 0) (46/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 47.0 in stage 0.0 (TID 47, 172.18.92.61, executor 0, partition 47, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 46.0 in stage 0.0 (TID 46) in 29 ms on 172.18.92.61 (executor 0) (47/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 48.0 in stage 0.0 (TID 48, 172.18.92.61, executor 0, partition 48, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 47.0 in stage 0.0 (TID 47) in 30 ms on 172.18.92.61 (executor 0) (48/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 49.0 in stage 0.0 (TID 49, 172.18.92.61, executor 0, partition 49, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 48.0 in stage 0.0 (TID 48) in 27 ms on 172.18.92.61 (executor 0) (49/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 50.0 in stage 0.0 (TID 50, 172.18.92.61, executor 0, partition 50, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 49.0 in stage 0.0 (TID 49) in 45 ms on 172.18.92.61 (executor 0) (50/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 51.0 in stage 0.0 (TID 51, 172.18.92.61, executor 0, partition 51, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 50.0 in stage 0.0 (TID 50) in 68 ms on 172.18.92.61 (executor 0) (51/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 52.0 in stage 0.0 (TID 52, 172.18.92.61, executor 0, partition 52, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 51.0 in stage 0.0 (TID 51) in 43 ms on 172.18.92.61 (executor 0) (52/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 53.0 in stage 0.0 (TID 53, 172.18.92.61, executor 0, partition 53, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 52.0 in stage 0.0 (TID 52) in 16 ms on 172.18.92.61 (executor 0) (53/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 54.0 in stage 0.0 (TID 54, 172.18.92.61, executor 0, partition 54, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 53.0 in stage 0.0 (TID 53) in 28 ms on 172.18.92.61 (executor 0) (54/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 55.0 in stage 0.0 (TID 55, 172.18.92.61, executor 0, partition 55, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 54.0 in stage 0.0 (TID 54) in 28 ms on 172.18.92.61 (executor 0) (55/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 56.0 in stage 0.0 (TID 56, 172.18.92.61, executor 0, partition 56, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 55.0 in stage 0.0 (TID 55) in 31 ms on 172.18.92.61 (executor 0) (56/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 57.0 in stage 0.0 (TID 57, 172.18.92.61, executor 0, partition 57, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 56.0 in stage 0.0 (TID 56) in 37 ms on 172.18.92.61 (executor 0) (57/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 58.0 in stage 0.0 (TID 58, 172.18.92.61, executor 0, partition 58, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 57.0 in stage 0.0 (TID 57) in 25 ms on 172.18.92.61 (executor 0) (58/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 59.0 in stage 0.0 (TID 59, 172.18.92.61, executor 0, partition 59, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 58.0 in stage 0.0 (TID 58) in 27 ms on 172.18.92.61 (executor 0) (59/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 60.0 in stage 0.0 (TID 60, 172.18.92.61, executor 0, partition 60, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 59.0 in stage 0.0 (TID 59) in 26 ms on 172.18.92.61 (executor 0) (60/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 61.0 in stage 0.0 (TID 61, 172.18.92.61, executor 0, partition 61, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 60.0 in stage 0.0 (TID 60) in 27 ms on 172.18.92.61 (executor 0) (61/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 62.0 in stage 0.0 (TID 62, 172.18.92.61, executor 0, partition 62, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 61.0 in stage 0.0 (TID 61) in 26 ms on 172.18.92.61 (executor 0) (62/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 63.0 in stage 0.0 (TID 63, 172.18.92.61, executor 0, partition 63, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 62.0 in stage 0.0 (TID 62) in 38 ms on 172.18.92.61 (executor 0) (63/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 64.0 in stage 0.0 (TID 64, 172.18.92.61, executor 0, partition 64, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 63.0 in stage 0.0 (TID 63) in 29 ms on 172.18.92.61 (executor 0) (64/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 65.0 in stage 0.0 (TID 65, 172.18.92.61, executor 0, partition 65, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 64.0 in stage 0.0 (TID 64) in 26 ms on 172.18.92.61 (executor 0) (65/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 66.0 in stage 0.0 (TID 66, 172.18.92.61, executor 0, partition 66, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 65.0 in stage 0.0 (TID 65) in 27 ms on 172.18.92.61 (executor 0) (66/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 67.0 in stage 0.0 (TID 67, 172.18.92.61, executor 0, partition 67, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 66.0 in stage 0.0 (TID 66) in 30 ms on 172.18.92.61 (executor 0) (67/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 68.0 in stage 0.0 (TID 68, 172.18.92.61, executor 0, partition 68, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 67.0 in stage 0.0 (TID 67) in 29 ms on 172.18.92.61 (executor 0) (68/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 69.0 in stage 0.0 (TID 69, 172.18.92.61, executor 0, partition 69, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 68.0 in stage 0.0 (TID 68) in 28 ms on 172.18.92.61 (executor 0) (69/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 70.0 in stage 0.0 (TID 70, 172.18.92.61, executor 0, partition 70, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 69.0 in stage 0.0 (TID 69) in 37 ms on 172.18.92.61 (executor 0) (70/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 71.0 in stage 0.0 (TID 71, 172.18.92.61, executor 0, partition 71, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 70.0 in stage 0.0 (TID 70) in 16 ms on 172.18.92.61 (executor 0) (71/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 72.0 in stage 0.0 (TID 72, 172.18.92.61, executor 0, partition 72, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 71.0 in stage 0.0 (TID 71) in 40 ms on 172.18.92.61 (executor 0) (72/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 73.0 in stage 0.0 (TID 73, 172.18.92.61, executor 0, partition 73, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 72.0 in stage 0.0 (TID 72) in 25 ms on 172.18.92.61 (executor 0) (73/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 74.0 in stage 0.0 (TID 74, 172.18.92.61, executor 0, partition 74, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 73.0 in stage 0.0 (TID 73) in 24 ms on 172.18.92.61 (executor 0) (74/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 75.0 in stage 0.0 (TID 75, 172.18.92.61, executor 0, partition 75, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 74.0 in stage 0.0 (TID 74) in 29 ms on 172.18.92.61 (executor 0) (75/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 76.0 in stage 0.0 (TID 76, 172.18.92.61, executor 0, partition 76, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 75.0 in stage 0.0 (TID 75) in 28 ms on 172.18.92.61 (executor 0) (76/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 77.0 in stage 0.0 (TID 77, 172.18.92.61, executor 0, partition 77, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 76.0 in stage 0.0 (TID 76) in 69 ms on 172.18.92.61 (executor 0) (77/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 78.0 in stage 0.0 (TID 78, 172.18.92.61, executor 0, partition 78, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 77.0 in stage 0.0 (TID 77) in 19 ms on 172.18.92.61 (executor 0) (78/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 79.0 in stage 0.0 (TID 79, 172.18.92.61, executor 0, partition 79, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 78.0 in stage 0.0 (TID 78) in 27 ms on 172.18.92.61 (executor 0) (79/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 80.0 in stage 0.0 (TID 80, 172.18.92.61, executor 0, partition 80, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 79.0 in stage 0.0 (TID 79) in 38 ms on 172.18.92.61 (executor 0) (80/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 81.0 in stage 0.0 (TID 81, 172.18.92.61, executor 0, partition 81, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 80.0 in stage 0.0 (TID 80) in 27 ms on 172.18.92.61 (executor 0) (81/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 82.0 in stage 0.0 (TID 82, 172.18.92.61, executor 0, partition 82, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 81.0 in stage 0.0 (TID 81) in 34 ms on 172.18.92.61 (executor 0) (82/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 83.0 in stage 0.0 (TID 83, 172.18.92.61, executor 0, partition 83, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 82.0 in stage 0.0 (TID 82) in 28 ms on 172.18.92.61 (executor 0) (83/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 84.0 in stage 0.0 (TID 84, 172.18.92.61, executor 0, partition 84, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 83.0 in stage 0.0 (TID 83) in 29 ms on 172.18.92.61 (executor 0) (84/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 85.0 in stage 0.0 (TID 85, 172.18.92.61, executor 0, partition 85, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 84.0 in stage 0.0 (TID 84) in 28 ms on 172.18.92.61 (executor 0) (85/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 86.0 in stage 0.0 (TID 86, 172.18.92.61, executor 0, partition 86, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 85.0 in stage 0.0 (TID 85) in 31 ms on 172.18.92.61 (executor 0) (86/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 87.0 in stage 0.0 (TID 87, 172.18.92.61, executor 0, partition 87, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 86.0 in stage 0.0 (TID 86) in 40 ms on 172.18.92.61 (executor 0) (87/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 88.0 in stage 0.0 (TID 88, 172.18.92.61, executor 0, partition 88, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 87.0 in stage 0.0 (TID 87) in 15 ms on 172.18.92.61 (executor 0) (88/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 89.0 in stage 0.0 (TID 89, 172.18.92.61, executor 0, partition 89, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 88.0 in stage 0.0 (TID 88) in 37 ms on 172.18.92.61 (executor 0) (89/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 90.0 in stage 0.0 (TID 90, 172.18.92.61, executor 0, partition 90, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 89.0 in stage 0.0 (TID 89) in 25 ms on 172.18.92.61 (executor 0) (90/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 91.0 in stage 0.0 (TID 91, 172.18.92.61, executor 0, partition 91, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 90.0 in stage 0.0 (TID 90) in 27 ms on 172.18.92.61 (executor 0) (91/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 92.0 in stage 0.0 (TID 92, 172.18.92.61, executor 0, partition 92, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 91.0 in stage 0.0 (TID 91) in 23 ms on 172.18.92.61 (executor 0) (92/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 93.0 in stage 0.0 (TID 93, 172.18.92.61, executor 0, partition 93, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 92.0 in stage 0.0 (TID 92) in 24 ms on 172.18.92.61 (executor 0) (93/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 94.0 in stage 0.0 (TID 94, 172.18.92.61, executor 0, partition 94, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 93.0 in stage 0.0 (TID 93) in 33 ms on 172.18.92.61 (executor 0) (94/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 95.0 in stage 0.0 (TID 95, 172.18.92.61, executor 0, partition 95, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 94.0 in stage 0.0 (TID 94) in 27 ms on 172.18.92.61 (executor 0) (95/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 96.0 in stage 0.0 (TID 96, 172.18.92.61, executor 0, partition 96, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 95.0 in stage 0.0 (TID 95) in 29 ms on 172.18.92.61 (executor 0) (96/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 97.0 in stage 0.0 (TID 97, 172.18.92.61, executor 0, partition 97, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 96.0 in stage 0.0 (TID 96) in 24 ms on 172.18.92.61 (executor 0) (97/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 98.0 in stage 0.0 (TID 98, 172.18.92.61, executor 0, partition 98, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 97.0 in stage 0.0 (TID 97) in 38 ms on 172.18.92.61 (executor 0) (98/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 99.0 in stage 0.0 (TID 99, 172.18.92.61, executor 0, partition 99, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 98.0 in stage 0.0 (TID 98) in 16 ms on 172.18.92.61 (executor 0) (99/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 99.0 in stage 0.0 (TID 99) in 94 ms on 172.18.92.61 (executor 0) (100/100)
21/12/23 14:19:44 INFO scheduler.TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 
21/12/23 14:19:44 INFO scheduler.DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 343.331 s
21/12/23 14:19:44 INFO scheduler.DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 343.675474 s
Pi is roughly 3.1412163141216314
21/12/23 14:19:44 INFO server.AbstractConnector: Stopped Spark@79ab3a71{HTTP/1.1, (http/1.1)}{0.0.0.0:4040}
21/12/23 14:19:45 INFO ui.SparkUI: Stopped Spark web UI at http://iZwz915iahvm5k8atqdtj2Z:4040
21/12/23 14:19:45 INFO cluster.StandaloneSchedulerBackend: Shutting down all executors
21/12/23 14:19:45 INFO cluster.CoarseGrainedSchedulerBackend$DriverEndpoint: Asking each executor to shut down
21/12/23 14:19:45 INFO spark.MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
21/12/23 14:19:45 INFO memory.MemoryStore: MemoryStore cleared
21/12/23 14:19:45 INFO storage.BlockManager: BlockManager stopped
21/12/23 14:19:45 INFO storage.BlockManagerMaster: BlockManagerMaster stopped
21/12/23 14:19:45 INFO scheduler.OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
21/12/23 14:19:45 INFO spark.SparkContext: Successfully stopped SparkContext
21/12/23 14:19:45 INFO util.ShutdownHookManager: Shutdown hook called
21/12/23 14:19:45 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-a600ff42-96e3-46e7-b644-8d3f369d2948
21/12/23 14:19:45 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-15c86a48-af3c-4d70-b44b-b1f660c765ce

4.2. spark shell

bin/spark-shell \
--master spark://localhost:7077 \
--executor-memory 500m \
--total-executor-cores 1

参数说明：
–master spark://localhost:7077 指定Master的地址
–executor-memory 500m:指定每个worker可用内存为500m
–total-executor-cores 1: 指定整个集群使用的cup核数为1个

至此，环境搭完了！
先后以1核2G和2核4G的配置搭建环境，体验天差地别，1核2G的几乎无法工作，老是OOM。

Spark RDD

rdd 概述
数据的集合
1个 RDD 分为 n 个分片 partition，1个 partition 被1个计算任务处理。partition 数由创建 RDD 时指定，默认为程序所分配到的 cpu 的 core 数。

RDD --转换–> RDD。RDD之间就形成类似于流水线一样的前后依赖关系。当部分的 partition 数据丢失时，可以根据依赖关系只重新计算丢失的 partition 的数据，而不用对所有 partition 计算。

RDD 的分片函数 Partitioner，根据 key 将 parent rdd 中的所有值划分到新 rdd 的 partitions 中 。Spark 实现了两种 Partitioner：基于哈希的 HashPartitioner，基于范围的 RangePartitioner。只有 key-value 的 RDD 有 Partitioner，否则 RDD 的 Partitioner 为 None。Partitioner 函数不但决定了 RDD 的 partition 数量，也决定了 parent RDD shuffle 后的 partition 数量。

WordCount 粗图解
spark学习记录_第1张图片

rdd 创建

读取外部存储系统的数据集创建。如 HDFS，HBASE。
读取数据库。
通过其他 RDD 转换而来。

rdd 编程api
Spark 支持2类算子（操作）：Transaction、Action
Transaction 是 懒加载的。Transformation算子的代码不会真正被执行。只有当我们的程序里面遇到一个action算子的时候，代码才会真正的被执行。这种设计让Spark更加有效率地运行。
如 rdd1.TransactionA().TransactionB().TransactionC().ActionA()。当执行到 ActionA() 时，TransactionA()、TransactionB()、TransactionC() 才真正执行。

常见 Transaction 算子

map(func): 返回一个 RDD， 该 RDD 由每一个输入元素都经过 func 转换后组成（func 返回值为单一元素）
filter(func): 返回一个 RDD， 该 RDD 由每一个输入元素都经过 func 过滤后组成（func 返回值 为 bool，true 的元素可以留下，false 的元素被过滤）
flatMap(func): 类似map(func)，map返回的是一个个元素，flatmap返回的是一个序列。rdd的每个元素经过map，返回一个元素；rdd的每个元素经过flatmap，返回0-n个元素。flatmap常用于string的split。
mapPartitions(func): 与map(func)类似，在每个 partition 里用 iterator 处理 partition 内的数据。是一种优化，SparkSql、DataFrame 默认开启。
mapPartitionsWithIndex(func): 与mapPartitions(func)类似，能知道当前的partitionId。
sample(withReplacement, fraction, seed): 采样。有用到再回来补充完整
union(otherDataset): 返回一个 RDD，rdd1.union(rdd2)，不去重并集
intersection(otherDataset): 返回一个 RDD，交集。必须是两个RDD之间，而不是两个Array之间。
distinct([numTasks])): 返回一个 RDD，去重
groupByKey([numTasks]): key 相同的为一个 group，入参 RDD，返回 RDD
groupByKey 作用与 RDD，不需指定key名（也没有key名），groupBy 作用于 DataSet，需指定列名
reduceByKey(func, [numTasks]): 入参 RDD，返回 RDD。将 key 相同的输入元进行聚合。numTasks 为 reduce 任务个数。
kvRDD.reduceByKey(+).collect()
相当于
kvRDD.reduceByKey((a,b) => (a+b)).collect()
aggregateByKey(zeroValue)(seqOp, combOp, [numTasks]): 先在 partition 内聚合，再总的聚合。
sortByKey([ascending], [numTasks]): 返回按 key 排序的 RDD，key 必须实现Ordered接口。
sortBy(func,[ascending], [numTasks]): 比 sortByKey 更灵活。func 表示根据什么排序
join(otherDataset, [numTasks]): 输入(K,V)和(K,W)的RDD，输出K,(V,W))的RDD，相当于内连接。
cogroup(otherDataset, [numTasks]): 输入(K,V)(K,W)的RDD，返回(K,(Iterator(V),Iterator(W))的RDD。
比如

val rdd1 = sc.parallelize(Array(("aa",1),("bb",2),("cc",6)))
val rdd2 = sc.parallelize(Array(("aa",3),("dd",4),("aa",5)))
（”Array()“ = “List()”）
（Scala中的“Seq” = Java中的“List”，Scala中的）
（“”）
=========================
(aa,(CompactBuffer(1),CompactBuffer(3, 5)))
(dd,(CompactBuffer(),CompactBuffer(4)))
(bb,(CompactBuffer(2),CompactBuffer()))
(cc,(CompactBuffer(6),CompactBuffer()))

cartesian(otherDataSet): 两个RDD的笛卡尔积
rdd1 cartesian rdd2
spark学习记录_第2张图片
zip: rdd1 = [(1),(2),(3)]，rdd2 = [(10),(20),(30)]，rdd1 zip rdd2 = [(1,10),(2,20),(3,30)]
pipe(command, [envVars]): spark调用外部程序，比如脚本
coalesce(numPartitions): 重新分区，第一个参数是要分多少区，第二个参数是否shuffle，默认false。少分区变多分区true，多分区变少分区false。
repartition 重新分区（扩大） 必须shuffle 参数是要分多少区 少变多
repartitionAndSortWithinPartitions(partitioner): 重新分区+排序。对的RDD进行操作。比先分区再排序的效率低。
foldByKey(zeroValue)(seqOp): k/v做折叠，合并处理。k相同的v进行合并。合并可以是相加，相乘等。
比如：

// 相加
rdd1.foldByKey(0)(_+_)
// 相乘
rdd1.foldByKey(1)(_*_)

combineByKey: 合并相同的key的值。spark 的核心高级函数。很多高阶的k/v函数的底层都由combineByKey实现。
比如求平均成绩
在这里插入图片描述
再比如求按性别聚合成nameList并统计人数
在这里插入图片描述
partitionBy（partitioner）: 对RDD进行分区，partitioner分区器可以是hashPartitioner。
cache/persist: RDD缓存，可以避免重复计算从而减少时间，区别：cache内部调用了persist算子，cache默认就一个缓存级别MEMORY-ONLY ，而persist则可以选择缓存级别.
rdd1.Subtract（rdd2）: 返回在rdd1而不在rdd2的元素所组成的rdd
leftOuterJoin: 左外连接
rightOuterJoin: 右外连接
subtractByKey: 与subtract类似，只不过subtract输入是(k)的RDD，subtractByKey输入是(k,v)的RDD。（是subtract而不是substract！）
keys: rdd，返回rdd。只能rdd1.keys，不能rdd1.keys() ！
values: rdd，返回rdd。只能rdd1.values，不能rdd1.values() ！

常见Action算子
触发代码的运行，一段spark代码必须有一个action操作。

collect(): 以数组形式返回数据集的所有元素
count(): 返回数据集的元素的数量
如果 rdd 是一个文件，count()计算行数
reduce(func): 通过func聚集RDD中的所有元素。
如 rdd1.reduce((x,y) => (x+y))，返回rdd1所有元素之和的int
first(): 返回RDD的第一个元素
take(n): 返回RDD前n个元素组成的数组
takeSample(withReplacement,num, [seed]): 返回RDD的随机num个元素组成的数组
takeOrdered(n, [ordering]): take(n)+排序
saveAsTextFile(path): 将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它装换为文件中的文本
saveAsSequenceFile(path): 将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下，可以使HDFS或者其他Hadoop支持的文件系统。
saveAsObjectFile(path): saveAsObjectFile用于将RDD中的元素序列化成对象，存储到文件中。对于HDFS，默认采用SequenceFile保存。
countByKey(): 针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数。
foreach(func): 在数据集的每一个元素上，运行函数func进行更新。
aggregate(zeroValue)(seqOp, combOp, [numTasks]): 聚合。
比如

scala> val rdd = List(1,2,3,4,5,6,7,8,9)
rdd: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9)
scala> rdd.par.aggregate((0,0))(
(acc,number) => (acc._1 + number, acc._2 + 1),
(par1,par2) => (par1._1 + par2._1, par1._2 + par2._2)
)
res0: (Int, Int) = (45,9)
scala> res0._1 / res0._2
res1: Int = 5
// 分布式计算，多个 partition的(acc,number) 的结果，(par1,par2)相加。

top(): rdd.top(num)，返回前n个元素
keyBy(func)：rdd1 = [(10,20,30,40)]，rdd1.keyBy(_ / 10) = [(1,10),(2,20),(3,30),(4,40)]，将每个元素func的结果作为key，元素本身作为value。

常用：
.foreach(println)
.foreach(print)
.foreach(line => println(line))

发现：
rdd 来自一个text
.foreach(println) 顺序按rdd从头到尾。串行 or 并行+排序
.foreach(line => println(line)) 按某种非rdd的顺序

spark sql

分布式SQL查询引擎。为支持结构化数据而生。DataFrame的编程抽象。
特点：

集成：sql于spark程序集成。将结构化数据作为RDD进行查询，提供了Python、Scala，Java的API
统一数据访问：加载、查询来自各种来源的数据。Hive表，JSON文件，parquet文件
兼容Hive
标准连接：JDBC、ODBC
schema rdd：理解为临时表。称为数据帧。

spark session：spark sql的入口类。对应于spark-core中的spark context
在这里插入图片描述
spark.implicits._主要用来隐式转换的，比如Rdd转DataFrame

构造json（本地文件系统vim，再put到hdfs）
在这里插入图片描述spark学习记录_第3张图片
从hdfs导入json，show查询数据，printSchema查看schema
spark学习记录_第4张图片
spark.read.json(“hdfs:/test/employee.json”) = spark.read.format(“json”).load(“hdfs:/test/employee.json”)
select().show 查询某一列（相当于select 列名）
spark学习记录_第5张图片
filter 通过条件过滤查询（select where）
spark学习记录_第6张图片
groupBy 聚合
spark学习记录_第7张图片
spark sql 数据源
spark sql提供了通用的加载和保存数据的方法：load()和save()
加载（读）：
spark.read.format(“parquet”).load(“hdfs:/test/employee_p.parquet”)
保存（写）：
spark.write.format(“parquet”).save(“hdfs:/test/employee_p.parquet”)

parquet文件格式：一种列式存储
orc文件格式：一种列式存储
json
hive表
jdbc：

jdbc方式：(先将mysql-connector-java.jar放到spark/jars/目录下，正常启动spark-shell即可)
读取

scala> import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SQLContext
scala> val sqlContext = new SQLContext(sc)
warning: one deprecation (since 2.0.0); for details, enable `:setting -deprecation' or `:replay -deprecation'
sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@4655e059
scala> val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:mysql://localhost:3306/test?useSSL=false", "driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "employee", "user" -> "root", "password" -> "123456")).load()
jdbcDF: org.apache.spark.sql.DataFrame = [name: string, age: bigint]

写入

// 定义schema
scala> import java.util.Properties
scala> import org.apache.spark.sql.{SQLContext, Row}
scala> import org.apache.spark.sql.types.{StringType, IntegerType, StructField, StructType, LongType}
scala> val sqlContext = new SQLContext(sc)
scala> val studentRDD = sc.parallelize(Array("Tom 21","Jerry 23")).map(_.split(" "))
studentRDD: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[1] at map at <console>:26
// 定义schema
scala> val schema = StructType(List(StructField("name", StringType, true),StructField("age", LongType, true)))
schema: org.apache.spark.sql.types.StructType = StructType(StructField(name,StringType,true), StructField(age,LongType,true))
//Rdd->Row。创建Row对象，每个Row对象都是rowRDD中的一行
scala> val rowRDD = studentRDD.map(p => Row(p(0).trim, p(1).toLong))
rowRDD: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[2] at map at <console>:27
// RDD与schema连接
val studentDataFrame = sqlContext.createDataFrame(rowRDD, schema)
// 创建一个prop变量用来保存JDBC连接参数
val prop = new Properties()
prop.put("user", "root") 
prop.put("password", "123456") 
prop.put("driver","com.mysql.jdbc.Driver")
prop.put("dbtable", "employee")
prop.put("url", "jdbc:mysql://localhost:3306/test?useSSL=false")
studentDataFrame.write.mode("append").jdbc("jdbc:mysql://localhost:3306/test?useSSL=false", "employee", prop)

docker mysql

官方脚本安装docker
curl -sSL https://get.daocloud.io/docker | sh

开启docker服务
systemctl start docker

docker安装mysql
pull mysql镜像
在mysql-test容器启动
docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7.30
进入mysql-test容器
docker exec -it mysql-test /bin/bash
客户端访问mysql～
mysql -u root -p

spark session

以上sparkSQL都通过SparkContext与spark做交互；spark2.0后，建议使用SparkSession

SparkSession是所有Spark功能的起点。通过 SparkSession.builder() 创建一个基本的 SparkSession。

import spark.implicits._
import org.apache.spark.sql.SparkSession

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()

通过 SparkSession，可以从 RDD、Hive表，多种数据源创建 DataFrame。

scala> sparkSession.read.json("/test/employee.json").show
+---+----+-------+
|age|  id|   name|
+---+----+-------+
| 25|1201| satish|
| 28|1202|krishna|
| 39|1203|  amith|
| 23|1204|  javed|
| 23|1205| prudvi|
+---+----+-------+

df.printSchema
df.select(“name”).show

scala> sparkSession.read.json("/test/employee.json").filter($"age" > 21).show()
+---+----+-------+
|age|  id|   name|
+---+----+-------+
| 25|1201| satish|
| 28|1202|krishna|
| 39|1203|  amith|
| 23|1204|  javed|
| 23|1205| prudvi|
+---+----+-------+

groupBy

你可能感兴趣的:(big,data)

  • WPF中的ComboBox控件几种数据绑定的方式 互联网打工人no1 wpfc#
    一、用字典给ItemsSource赋值（此绑定用的地方很多，建议熟练掌握）在XMAL中：在CS文件中privatevoidBindData(){DictionarydicItem=newDictionary();dicItem.add(1,"北京");dicItem.add(2,"上海");dicItem.add(3,"广州");cmb_list.ItemsSource=dicItem;cmb_l
  • 将cmd中命令输出保存为txt文本文件 落难Coder Windowscmdwindow
    最近深度学习本地的训练中我们常常要在命令行中运行自己的代码，无可厚非，我们有必要保存我们的炼丹结果，但是复制命令行输出到txt是非常麻烦的，其实Windows下的命令行为我们提供了相应的操作。其基本的调用格式就是：运行指令>输出到的文件名称或者具体保存路径测试下，我打开cmd并且ping一下百度：pingwww.baidu.com>./data.txt看下相同目录下data.txt的输出：如果你再
  • Linux MariaDB使用OpenSSL安装SSL证书 Meta39 MySQLOracleMariaDBLinuxWindowsssllinuxmariadb
    进入到证书存放目录，批量删除.pem证书警告：确保已经进入到证书存放目录find.-typef-iname\*.pem-delete查看是否安装OpenSSLopensslversion没有则安装yuminstallopensslopenssl-devel开启SSL编辑/etc/my.cnf文件（没有的话就创建，但是要注意，在/etc/my.cnf.d/server.cnf配置了datadir的，
  • 网络编程基础 记得开心一点啊 网络
    目录♫什么是网络编程♫Socket套接字♪什么是Socket套接字♪数据报套接字♪流套接字♫数据报套接字通信模型♪数据报套接字通讯模型♪DatagramSocket♪DatagramPacket♪实现UDP的服务端代码♪实现UDP的客户端代码♫流套接字通信模型♪流套接字通讯模型♪ServerSocket♪Socket♪实现TCP的服务端代码♪实现TCP的客户端代码♫什么是网络编程网络编程，指网络上
  • K近邻算法_分类鸢尾花数据集 _feivirus_ 算法机器学习和数学分类机器学习K近邻
    importnumpyasnpimportpandasaspdfromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score1.数据预处理iris=load_iris()df=pd.DataFrame(data=ir
  • 4.C_数据结构_队列 荣世蓥 数据结构数据结构
    概述什么是队列：队列是限定在两端进行插入操作和删除操作的线性表。具有先入先出(FIFO)的特点相关名词：队尾：写入数据的一段队头：读取数据的一段空队：队列中没有数据，队头指针=队尾指针满队：队列中存满了数据，队尾指针+1=队头指针循环队列1、基本内容循环队列是以数组形式构成的队列数据结构。循环队列的结构体如下：typedefintdata_t;//队列数据类型#defineN64//队列容量typ
  • vue项目element-ui的table表格单元格合并 酋长哈哈 vue.jselementuijavascript前端
    一、合并效果二全部代码exportdefault{name:'CellMerge',data(){return{tableData:[{id:'1',name:'王小虎',amount1:'165',amount2:'3.2',amount3:10},{id:'1',name:'王小虎',amount1:'162',amount2:'4.43',amount3:12},{id:'1',name:'
  • python tif转png Python与遥感 python开发语言
    importosfromosgeoimportgdalimportnumpyasnpfromPILimportImage#提取432三波段fromspectralimport*#输入文件夹路径defget_img(dataset_img):width=dataset_img.RasterXSize#获取行列数height=dataset_img.RasterYSizebands=dataset_i
  • MongoDB知识概括 GeorgeLin98 持久层mongodb
    MongoDB知识概括MongoDB相关概念单机部署基本常用命令索引-IndexSpirngDataMongoDB集成副本集分片集群安全认证MongoDB相关概念业务应用场景：传统的关系型数据库（如MySQL），在数据操作的“三高”需求以及应对Web2.0的网站需求面前，显得力不从心。解释：“三高”需求：①Highperformance-对数据库高并发读写的需求。②HugeStorage-对海量数
  • Vue中table合并单元格用法 weixin_30613343 javascriptViewUI
    地名结果人名性别{{item.name}}已完成未完成{{item.groups[0].name}}{{item.groups[0].sex}}{{item.groups[son].name}}{{item.groups[son].sex}}exportdefault{data(){return{list:[{name:'地名1',result:'1',groups:[{name:'张三',sex
  • uniapp map组件自定义markers标记点 以对_ uni-app学习记录uni-appjavascript前端
    需求是根据后端返回数据在地图上显示标记点，并且根据数据状态控制标记点颜色，标记点背景通过两张图片实现控制{{item.options.labelName}}exportdefault{data(){return{storeIndex:0,locaInfo:{longitude:120.445172,latitude:36.111387},markers:[//标点列表{id:1,//标记点idin
  • 放松的一天 4da9b7687fa0
    20190325总结起床07:20图片发自App睡觉:23:00天气:晴今日任务清单学习·信息·阅读•水滴阅读Day40Alice’sAdventuresinWonderlandChapter6.2图片发自App•BBC跟读训练营Day24图片发自App图片发自App图片发自App•潘多拉口语训练营Day6Wow.Whatabigboy!•文化知识学习今日无•阅读时间地狱健康·饮食·锻炼•饮食目标
  • 博客网站制作教程 2401_85194651 javamaven
    首先就是技术框架：后端：Java+SpringBoot数据库：MySQL前端：Vue.js数据库连接：JPA(JavaPersistenceAPI)1.项目结构blog-app/├──backend/│├──src/main/java/com/example/blogapp/││├──BlogApplication.java││├──config/│││└──DatabaseConfig.java
  • vue + Element UI table动态合并单元格 我家媳妇儿萌哒哒 elementUIvue.js前端javascript
    一、功能需求1、根据名称相同的合并工作阶段和主要任务合并这两列，但主要任务内容一样，但要考虑主要任务一样，但工作阶段不一样的情况。（枞向合并）2、落实情况里的定量内容和定性内容值一样则合并。（横向合并）二、功能实现exportdefault{data(){return{tableData:[{name:'a',address:'1',age:'1',six:'2'},{name:'a',addre
  • Python实现TIFF 文件转换为 PNG 和 JPG 格式 sand&wich python开发语言
    在日常的图像处理工作中，可能会遇到需要将TIFF格式的图像转换为其他格式的情况，例如PNG和JPG。下面，本文将介绍如何使用Python和GDAL库实现这一功能。准备工作在开始之前，请确保已经安装了必要的库：GDAL（GeospatialDataAbstractionLibrary）可以使用以下命令安装GDAL：pipinstallgdal代码实现以下是一个将TIFF文件转换为PNG文件的示例代码
  • 使用datepicker和uploadify的冲突解决（IE双击才能打开附件上传对话框） zhanglb12
    在开发的过程当中，IE的兼容无疑是我们的一块绊脚石，在我们使用的如期的datepicker插件和使用上传附件的uploadify插件的时候，两者就产生冲突，只要点击过时间的插件，uploadify上传框要双才能打开ie浏览器提示错误Missinginstancedataforthisdatepicker解决方案//if(.browser.msie&&'9.0'===.browser.version
  • golang获取用户输入的几种方式 余生逆风飞翔 golang开发语言后端
    一、定义结构体typeUserInfostruct{Namestring`json:"name"`Ageint`json:"age"`Addstring`json:"add"`}typeReturnDatastruct{Messagestring`json:"message"`Statusstring`json:"status"`DataUserInfo`json:"data"`}二、get请求的
  • 【Java】已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException 屿小夏 java开发语言
    文章目录一、分析问题背景问题背景描述出现问题的场景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项已解决：org.springframework.jdbc.datasource.lookup.DataSourceLookupFailureException在使用Spring框架进行开发时，数据源的配置和使用是非常关键的一环。然而，有时候我们可能会遇到org.springframewo
  • el-table实现全选整表，单元一页复选框功能 周bro vue.jselementuijavascript前端
    全选整表单选一页0":popper-append-to-body="false":total="tableData.length":page-size="pageObj.pagesize":page-sizes="[10,50,100]"layout="total,sizes,prev,pager,next"@size-change="handleSizeChange"@current-chang
  • Vue + Express实现一个表单提交 九旬大爷的梦
    最近在折腾一个cms系统，用的vue+express，但是就一个表单提交就弄了好久，记录一下。环境：Node10+前端：Vue服务端：Express依赖包：vueexpressaxiosexpress-formidableelement-ui（可选）前言：axiosget请求参数是：paramsaxiospost请求参数是：dataexpressget接受参数是req.queryexpresspo
  • Kubernetes部署MySQL数据持久化 沫殇-MS KubernetesMySQL数据库kubernetesmysql容器
    一、安装配置NFS服务端1、安装nfs-kernel-server：sudoapt-yinstallnfs-kernel-server2、服务端创建共享目录#列出所有可用块设备的信息lsblk#格式化磁盘sudomkfs-text4/dev/sdb#创建一个目录：sudomkdir-p/data/nfs/mysql#更改目录权限：sudochown-Rnobody:nogroup/data/nfs
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • 使用input[type=file]遇上的一些问题 刘圣凯
    项目遇到一个需要，如下image.png功能大致就是添加图片，展示出来，然后在用户点击提交的时候把图片传给后台，在和后台交涉之后，决定在用户选择图片之后转成formdata传给后台，后台返回一个url，提交的时候将url返回给后台/**转formdata*/varformdata=newFormData();formdata.append("file1",$("#pic")[0].files[0]
  • 详解mybatis的一二级缓存以及缓存失效原因 仰望天花板 缓存数据库mybatisjavamysql
    数据库的大部分场景下是从磁盘读取，如果数据从内存进行读取，速度较比磁盘要快得多。但因为内存的容量有限，所以一般只会把使用和查询较多的数据缓存起来，以便快速反应，其他使用率不太多的继续存放在磁盘。mybatis分为一级缓存和二级缓存1.一级缓存一级缓存存放在SqlSqeeion上，默认开启1.1pojo@DatapublicclassRole{privateLongid;privateStringr
  • 小程序通过js控制页面字体颜色属性 祈澈菇凉
    需求：当电量少于百分之20的时候，显示电量的字体显示为红色。1：在wxml里面设置属性batStyle：style="{{item.batStyle}}"电量:{{item.battery}}%2：当复合逻辑条件的时候，在js里面carList[i].batStyle="color:red";success:function(res){constcarList=res.data.list;for(
  • Golang Channel PandaSkr golang
    Channel解析1.Channel源码分析1.1Channel数据结构typehchanstruct{qcountuint//channel的元素数量dataqsizuint//channel循环队列长度bufunsafe.Pointer//指向循环队列的指针elemsizeuint16//元素大小closeduint32//channel是否关闭0-未关闭elemtype*_type//元素类
  • matlab游标标注移动,matlab实现图形窗口的数据游标 莫白想 matlab游标标注移动
    DatacursorsforfigurewindowSeveralrelatedfunctions:CreateCursorsetsupaverticalcursoronallaxesinafigure.Thecursorscanbemovedaroundusingthemouse.MultiplecursorsaresupportedineachfigureGetCursorLocationre
  • 使用FPGA接收MIPI CSI RX信号并进行去抖动、RGB转YUV处理：FX3014 USB3.0 UVC传输与帧率控制源代码，FPGA实现MIPI CSI RX接收，去Debayer， RGB转 kVfINoSzdrt fpga开发程序人生
    fpgamipicsirx接收去debayer,rgb转yuv,fx3014usb3.0uvc传输与帧率控制源代码，具体架构看图，除dphy物理层外，mipi均为源码sensorimx219mipi源码mipi4lanecsirxraw10fpgamachXO3lf-690usb3.0fx301432bityuvdatawithframesync测试模式3280*246415fps1920*108
  • 数据结构 1 五花肉村长 数据结构算法开发语言c语言visualstudio
    1.什么是数据结构数据结构（DataStructure）是计算机存储和组织数据的方式，是指相互之间存在的一种或多种特定关系的数据元的集合。2.什么是算法算法（Algorithm）就是定义良好的计算过程，他取一个或一组的值为输入，并产生出一个或一组值作为输出。简单来说算法就是一系列的计算步骤，用来将输入数据转化成输出结果。3.数据结构和算法的书籍资料学习完数据结构知识，可以去看《剑指offer》和《
  • 好看的vue登录页面(附 源代码 背景图) 小小薛定谔 vue.jsjavascriptcss前端
    一、效果展示二、代码你好!欢迎回来登录忘记密码?注册exportdefault{name:"MedLogin",data(){return{confirm_disabled:false,loginForm:{no:'',password:''},rules:{no:[{required:true,message:'请输入账号',trigger:'blur'},{min:3,max:6,messag
  • java线程Thread和Runnable区别和联系 zx_code javajvmthread多线程Runnable
    我们都晓得java实现线程2种方式，一个是继承Thread，另一个是实现Runnable。 模拟窗口买票，第一例子继承thread，代码如下 package thread; public class ThreadTest { public static void main(String[] args) { Thread1 t1 = new Thread1(
  • 【转】JSON与XML的区别比较 丁_新 jsonxml
    1.定义介绍 (1).XML定义 扩展标记语言 (Extensible Markup Language, XML) ，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 XML使用DTD(document type definition)文档类型定义来组织数据;格式统一，跨平台和语言，早已成为业界公认的标准。 XML是标
  • c++ 实现五种基础的排序算法 CrazyMizzz C++c算法
    #include<iostream> using namespace std; //辅助函数，交换两数之值 template<class T> void mySwap(T &x, T &y){ T temp = x; x = y; y = temp; } const int size = 10; //一、用直接插入排
  • 我的软件 麦田的设计者 我的软件音乐类娱乐放松
         这是我写的一款app软件，耗时三个月，是一个根据央视节目开门大吉改变的，提供音调，猜歌曲名。1、手机拥有者在android手机市场下载本APP，同意权限，安装到手机上。2、游客初次进入时会有引导页面提醒用户注册。（同时软件自动播放背景音乐）。3、用户登录到主页后，会有五个模块。a、点击不胫而走，用户得到开门大吉首页部分新闻，点击进入有新闻详情。b、
  • linux awk命令详解 被触发 linux awk
    awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v]大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=val
  • 各种语言比较 _wy_ 编程语言
                        Java Ruby PHP 擅长领域                  
  • oracle 中数据类型为clob的编辑 知了ing oracle clob
    public void updateKpiStatus(String kpiStatus,String taskId){ Connection dbc=null; Statement stmt=null; PreparedStatement ps=null; try { dbc = new DBConn().getNewConnection(); //stmt = db
  • 分布式服务框架 Zookeeper -- 管理分布式环境中的数据 矮蛋蛋 zookeeper
    原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两
  • tomcat数据源 alafqq tomcat
    数据库 JNDI(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。 没有使用JNDI时我用要这样连接数据库： 03.  Class.forName("com.mysql.jdbc.Driver");  04.  conn
  • 遍历的方法 百合不是茶 遍历
                                                          遍历 在java的泛
  • linux查看硬件信息的命令 bijian1013 linux
    linux查看硬件信息的命令 一.查看CPU： cat /proc/cpuinfo   二.查看内存： free   三.查看硬盘： df   linux下查看硬件信息 1、lspci 列出所有PCI 设备； lspci - list all PCI devices:列出机器中的PCI设备（声卡、显卡、Modem、网卡、USB、主板集成设备也能
  • java常见的ClassNotFoundException bijian1013 java
    1.java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory   添加包common-logging.jar2.java.lang.ClassNotFoundException: javax.transaction.Synchronization    
  • 【Gson五】日期对象的序列化和反序列化 bit1129 反序列化
    对日期类型的数据进行序列化和反序列化时，需要考虑如下问题：   1. 序列化时，Date对象序列化的字符串日期格式如何 2. 反序列化时，把日期字符串序列化为Date对象，也需要考虑日期格式问题 3. Date A -> str -> Date B,A和B对象是否equals   默认序列化和反序列化     import com
  • 【Spark八十六】Spark Streaming之DStream vs. InputDStream bit1129 Stream
      1. DStream的类说明文档：   /** * A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs (of the same type) representing a continuous st
  • 通过nginx获取header信息 ronin47 nginx header
    1. 提取整个的Cookies内容到一个变量，然后可以在需要时引用，比如记录到日志里面， if ( $http_cookie ~* "(.*)$") {         set $all_cookie $1; }     变量$all_cookie就获得了cookie的值，可以用于运算了
  • java-65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 bylijinnan java
    参考了网上的http://blog.csdn.net/peasking_dd/article/details/6342984 写了个java版的： public class Print_1_To_NDigit { /** * Q65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 * 1.使用字符串
  • Netty源码学习-ReplayingDecoder bylijinnan javanetty
    ReplayingDecoder是FrameDecoder的子类，不熟悉FrameDecoder的，可以先看看 http://bylijinnan.iteye.com/blog/1982618 API说，ReplayingDecoder简化了操作，比如： FrameDecoder在decode时，需要判断数据是否接收完全： public class IntegerH
  • js特殊字符过滤 cngolon js特殊字符js特殊字符过滤
    1.js中用正则表达式 过滤特殊字符, 校验所有输入域是否含有特殊符号function stripscript(s) {    var pattern = new RegExp("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）&mdash;—|{}【】‘；：”“'。，、？]"
  • hibernate使用sql查询 ctrain Hibernate
    import java.util.Iterator; import java.util.List; import java.util.Map; import org.hibernate.Hibernate; import org.hibernate.SQLQuery; import org.hibernate.Session; import org.hibernate.Transa
  • linux shell脚本中切换用户执行命令方法 daizj linuxshell命令切换用户
    经常在写shell脚本时，会碰到要以另外一个用户来执行相关命令，其方法简单记下：   1、执行单个命令：su - user -c "command" 如：下面命令是以test用户在/data目录下创建test123目录 [root@slave19 /data]# su - test -c "mkdir /data/test123" 
  • 好的代码里只要一个 return 语句 dcj3sjt126com return
    别再这样写了：public boolean foo() {    if (true) {         return true;     } else {          return false;    
  • Android动画效果学习 dcj3sjt126com android
    1、透明动画效果 方法一：代码实现 public View onCreateView(LayoutInflater inflater, ViewGroup container, Bundle savedInstanceState) { View rootView = inflater.inflate(R.layout.fragment_main, container, fals
  • linux复习笔记之bash shell (4)管道命令 eksliang linux管道命令汇总linux管道命令linux常用管道命令
    转载请出自出处： http://eksliang.iteye.com/blog/2105461     bash命令执行的完毕以后，通常这个命令都会有返回结果，怎么对这个返回的结果做一些操作呢？那就得用管道命令‘|’。     上面那段话，简单说了下管道命令的作用，那什么事管道命令呢？     答：非常的经典的一句话，记住了，何为管
  • Android系统中自定义按键的短按、双击、长按事件 gqdy365 android
    在项目中碰到这样的问题： 由于系统中的按键在底层做了重新定义或者新增了按键，此时需要在APP层对按键事件（keyevent）做分解处理，模拟Android系统做法，把keyevent分解成： 1、单击事件：就是普通key的单击； 2、双击事件：500ms内同一按键单击两次； 3、长按事件：同一按键长按超过1000ms（系统中长按事件为500ms）； 4、组合按键：两个以上按键同时按住；
  • asp.net获取站点根目录下子目录的名称 hvt .netC#asp.nethovertreeWeb Forms
    使用Visual Studio建立一个.aspx文件(Web Forms)，例如hovertree.aspx,在页面上加入一个ListBox代码如下： <asp:ListBox runat="server" ID="lbKeleyiFolder" />   那么在页面上显示根目录子文件夹的代码如下： string[] m_sub
  • Eclipse程序员要掌握的常用快捷键 justjavac javaeclipse快捷键ide
      判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。   曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  写道 程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可
  • c++编程随记 lx.asymmetric C++笔记
     为了字体更好看，改变了格式……   &&运算符：   #include<iostream> using namespace std; int main(){      int a=-1,b=4,k;      k=(++a<0)&&!(b--
  • linux标准IO缓冲机制研究 音频数据 linux
    一、什么是缓存I/O(Buffered I/O)缓存I/O又被称作标准I/O,大多数文件系统默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存(page cache)中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。1.缓存I/O有以下优点:A.缓存I/O使用了操作系统内核缓冲区，
  • 随想 生活 暗黑小菠萝 生活
    其实账户之前就申请了，但是决定要自己更新一些东西看也是最近。从毕业到现在已经一年了。没有进步是假的，但是有多大的进步可能只有我自己知道。   毕业的时候班里12个女生，真正最后做到软件开发的只要两个包括我，PS：我不是说测试不好。当时因为考研完全放弃找工作，考研失败，我想这只是我的借口。那个时候才想到为什么大学的时候不能好好的学习技术，增强自己的实战能力，以至于后来找工作比较费劲。我
  • 我认为POJO是一个错误的概念 windshome javaPOJO编程J2EE设计
                  这篇内容其实没有经过太多的深思熟虑，只是个人一时的感觉。从个人风格上来讲，我倾向简单质朴的设计开发理念；从方法论上，我更加倾向自顶向下的设计；从做事情的目标上来看，我追求质量优先，更愿意使用较为保守和稳妥的理念和方法。    &
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他