mo明奇妙
mo明奇妙

spark学习记录

云服务器环境搭建（从0）

阿里云申请一个云服务器，1核2G，一个月免费试用中。

登陆默认在 “/root”

目录

  • linux目录结构
  • Java8 安装
  • Zookeeper 安装
  • Hadoop 安装
  • Spark 2.3 HA 集群分布式 安装
  • Spark RDD
  • spark sql
  • docker mysql
  • spark session

linux目录结构

bin boot dev etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var

/bin bin 是 Binaries (二进制文件) 的缩写, 这个目录存放着最经常使用的命令。

/boot 这里存放的是启动 Linux 时使用的一些核心文件，包括一些连接文件以及镜像文件。

/dev dev 是 Device(设备) 的缩写, 该目录下存放的是 Linux 的外部设备，在 Linux 中访问设备的方式和访问文件的方式是相同的。

/etc etc 是 Etcetera(等等) 的缩写,这个目录用来存放所有的系统管理所需要的配置文件和子目录。

/home用户的主目录，在 Linux 中，每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的，如上图中的 alice、bob 和 eve。

/lib lib 是 Library(库) 的缩写这个目录里存放着系统最基本的动态连接共享库，其作用类似于 Windows 里的 DLL 文件。几乎所有的应用程序都需要用到这些共享库。

media linux 系统会自动识别一些设备，例如U盘、光驱等等，当识别后，Linux 会把识别的设备挂载到这个目录下。
ls /media 为空

mnt 系统提供该目录是为了让用户临时挂载别的文件系统的，我们可以将光驱挂载在 /mnt/ 上，然后进入该目录就可以查看光驱里的内容了。
ls /mnt 为空

/opt opt 是 optional(可选) 的缩写，这是给主机额外安装软件所摆放的目录。比如你安装一个ORACLE数据库则就可以放到这个目录下。默认是空的。
ls /opt 为空
后面的zk，spark我都放在了opt下，下载的压缩包也是

/proc proc 是 Processes(进程) 的缩写，/proc 是一种伪文件系统（也即虚拟文件系统），存储的是当前内核运行状态的一系列特殊文件，这个目录是一个虚拟的目录，它是系统内存的映射，我们可以通过直接访问这个目录来获取系统信息。
这个目录的内容不在硬盘上而是在内存里，我们也可以直接修改里面的某些文件，比如可以通过下面的命令来屏蔽主机的ping命令，使别人无法ping你的机器：

echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all

/root 该目录为系统管理员，也称作超级权限者的用户主目录。
root用户一登陆在/root路径，为空

/sbin s 就是 Super User 的意思，是 Superuser Binaries (超级用户的二进制文件) 的缩写，这里存放的是系统管理员使用的系统管理程序。

/srv 该目录存放一些服务启动之后需要提取的数据。
ls /srv 为空

/sys 这是 Linux2.6 内核的一个很大的变化。该目录下安装了 2.6 内核中新出现的一个文件系统 sysfs 。
sysfs 文件系统集成了下面3种文件系统的信息：针对进程信息的 proc 文件系统、针对设备的 devfs 文件系统以及针对伪终端的 devpts 文件系统。
该文件系统是内核设备树的一个直观反映。
当一个内核对象被创建的时候，对应的文件和目录也在内核对象子系统中被创建。

/tmp tmp 是 temporary(临时) 的缩写这个目录是用来存放一些临时文件的。

/usr usr 是 unix shared resources(共享资源) 的缩写，这是一个非常重要的目录，用户的很多应用程序和文件都放在这个目录下，类似于 windows 下的 program files 目录。
/usr/bin 系统用户使用的应用程序。
/usr/sbin超级用户使用的比较高级的管理程序和系统守护程序。
/usr/src 内核源代码默认的放置目录。

/var var 是 variable(变量) 的缩写，这个目录中存放着在不断扩充着的东西，我们习惯将那些经常被修改的目录放在这个目录下。包括各种日志文件。

/run 是一个临时文件系统，存储系统启动以来的信息。当系统重启时，这个目录下的文件应该被删掉或清除。如果你的系统上有 /var/run 目录，应该让它指向 run。

Reference

Java8 安装

yum -y list java* 可以看到可安装的Java版本
其中带有“-devel”的是jdk，否则是jre。

yum install -y java-1.8.0-openjdk-devel.x86_64

获取jdk的安装目录

rpm -ql java-1.8.0-openjdk

发现在/usr/lib/jvm路径下

至此，yum安装jdk完成。

也可以通过官方安装包进行安装。

Conference

Zookeeper 安装

我装的是3.5.9

wget https://dlcdn.apache.org/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz
cd apache-zookeeper-3.5.9/conf
cp zoo_sample.cfg zoo.cfg
cd ..
cd bin
sh zkServer.sh start

查看server状态

sh zkServer.sh status

坑：3.5.5后，带有bin名称的包才是我们想要的下载可以直接使用的里面有编译后的二进制的包，而之前的普通的tar.gz的包里面是只是源码的包无法直接使用。

启动客户端

sh zkCli.sh

Conference

Hadoop 安装

Conference
我装的是2.7.5
配置一下ssh
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.3.1.tar.gz（清华源只有2.10 3.3）
tar -zxvf
自带HDFS、Yarn，开启
3.3.1版本，要使用HDFS需要在 /etc/profile 添加

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

后在/hadoop 执行 start-dfs.sh 即可开启 nameNode dataNode secondaryNameNode 进程

Spark 2.3 HA 集群分布式 安装

前提：
Java8安装
Zookeeper安装
Hadoop2.7.5 HA安装
Scala安装

只能下载2.4了

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz

3.3.1的hadoop，下载3.2.0的spark（基于3.3后的hadoop）

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz

  1. 先启动Zookeeper
    cd 到 ZooKeeper/bin 执行 sh zkServer.sh start
    sh zkServer.sh status 查看运行状态
    jps 查看是否有QuorumPeerMain线程（zk入口类线程）
    如果失败 执行sh zkServer.sh start-forground 带日志的执行

  2. 启动 spark
    cd 到 spark/sbin
    执行 start-all.sh 会启动yarn和hdfs
    执行 sh start-master.sh 启动spark的master
    执行 sh start-slave.sh 启动spark的worker
    (记得spark/conf/spark-env 加入 SPARK_MASTER_HOST=localhost)

  3. spark on Yarn
    测试pi例子
    在spark目录执行

    bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 500M \
--executor-memory 500m \
--executor-cores 1 \
./examples/jars/spark-examples_2.11-2.4.8.jar \
10

    Conference

    spark内存不够

    暂未成功。INFO yarn.Client: Application report for application_1640188927691_0003 (state: ACCEPTED) 后，一直在 INFO yarn.Client: Application report for application_1640188927691_0003 (state: RUNNING)，可能是资源太少(1core2G)的问题

  4. spark on standalone
    4.1. 运行 example-pi

    bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://localhost:7077 \
--executor-memory 500m \
--total-executor-cores 1 \
./examples/jars/spark-examples_2.11-2.4.8.jar \
100

    spark-examples_2.12-3.2.0.jar
    警告没资源，等待几分钟后成功

    21/12/23 14:13:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
21/12/23 14:13:57 INFO spark.SparkContext: Running Spark version 2.4.8
21/12/23 14:13:57 INFO spark.SparkContext: Submitted application: Spark Pi
21/12/23 14:13:58 INFO spark.SecurityManager: Changing view acls to: root
21/12/23 14:13:58 INFO spark.SecurityManager: Changing modify acls to: root
21/12/23 14:13:58 INFO spark.SecurityManager: Changing view acls groups to: 
21/12/23 14:13:58 INFO spark.SecurityManager: Changing modify acls groups to: 
21/12/23 14:13:58 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(root); groups with view permissions: Set(); users  with modify permissions: Set(root); groups with modify permissions: Set()
21/12/23 14:13:58 INFO util.Utils: Successfully started service 'sparkDriver' on port 33713.
21/12/23 14:13:58 INFO spark.SparkEnv: Registering MapOutputTracker
21/12/23 14:13:58 INFO spark.SparkEnv: Registering BlockManagerMaster
21/12/23 14:13:58 INFO storage.BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information
21/12/23 14:13:58 INFO storage.BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up
21/12/23 14:13:58 INFO storage.DiskBlockManager: Created local directory at /tmp/blockmgr-619fd2dc-0d04-414a-b314-0421d5c00934
21/12/23 14:13:58 INFO memory.MemoryStore: MemoryStore started with capacity 413.9 MB
21/12/23 14:13:58 INFO spark.SparkEnv: Registering OutputCommitCoordinator
21/12/23 14:13:58 INFO util.log: Logging initialized @3145ms to org.spark_project.jetty.util.log.Slf4jLog
21/12/23 14:13:58 INFO server.Server: jetty-9.4.z-SNAPSHOT; built: unknown; git: unknown; jvm 1.8.0_312-b07
21/12/23 14:13:58 INFO server.Server: Started @3383ms
21/12/23 14:13:59 INFO server.AbstractConnector: Started ServerConnector@79ab3a71{HTTP/1.1, (http/1.1)}{0.0.0.0:4040}
21/12/23 14:13:59 INFO util.Utils: Successfully started service 'SparkUI' on port 4040.
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@44ea608c{/jobs,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@515f4131{/jobs/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@74518890{/jobs/job,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3f3ddbd9{/jobs/job/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@14c053c6{/stages,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@6c2d4cc6{/stages/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@30865a90{/stages/stage,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@71b1a49c{/stages/stage/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@73e132e0{/stages/pool,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3773862a{/stages/pool/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@2472c7d8{/storage,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@589b028e{/storage/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@22175d4f{/storage/rdd,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@9fecdf1{/storage/rdd/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3b809711{/environment,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3b0f7d9d{/environment/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@236ab296{/executors,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@5c84624f{/executors/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@63034ed1{/executors/threadDump,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@232024b9{/executors/threadDump/json,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@55a8dc49{/static,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@4e406694{/,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@5ab9b447{/api,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@15b986cd{/jobs/job/kill,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@6bb7cce7{/stages/stage/kill,null,AVAILABLE,@Spark}
21/12/23 14:13:59 INFO ui.SparkUI: Bound SparkUI to 0.0.0.0, and started at http://iZwz915iahvm5k8atqdtj2Z:4040
21/12/23 14:13:59 INFO spark.SparkContext: Added JAR file:/opt/spark-2.4.8-bin-hadoop2.7/./examples/jars/spark-examples_2.11-2.4.8.jar at spark://iZwz915iahvm5k8atqdtj2Z:33713/jars/spark-examples_2.11-2.4.8.jar with timestamp 1640240039193
21/12/23 14:13:59 INFO client.StandaloneAppClient$ClientEndpoint: Connecting to master spark://localhost:7077...
21/12/23 14:13:59 INFO client.TransportClientFactory: Successfully created connection to localhost/127.0.0.1:7077 after 67 ms (0 ms spent in bootstraps)
21/12/23 14:13:59 INFO cluster.StandaloneSchedulerBackend: Connected to Spark cluster with app ID app-20211223141359-0000
21/12/23 14:13:59 INFO util.Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 37767.
21/12/23 14:13:59 INFO netty.NettyBlockTransferService: Server created on iZwz915iahvm5k8atqdtj2Z:37767
21/12/23 14:13:59 INFO storage.BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
21/12/23 14:13:59 INFO storage.BlockManagerMaster: Registering BlockManager BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:13:59 INFO storage.BlockManagerMasterEndpoint: Registering block manager iZwz915iahvm5k8atqdtj2Z:37767 with 413.9 MB RAM, BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:13:59 INFO storage.BlockManagerMaster: Registered BlockManager BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:13:59 INFO storage.BlockManager: Initialized BlockManager: BlockManagerId(driver, iZwz915iahvm5k8atqdtj2Z, 37767, None)
21/12/23 14:14:00 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@3e48e859{/metrics/json,null,AVAILABLE,@Spark}
21/12/23 14:14:00 INFO cluster.StandaloneSchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.0
21/12/23 14:14:01 INFO spark.SparkContext: Starting job: reduce at SparkPi.scala:38
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Got job 0 (reduce at SparkPi.scala:38) with 100 output partitions
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Final stage: ResultStage 0 (reduce at SparkPi.scala:38)
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Parents of final stage: List()
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Missing parents: List()
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Submitting ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:34), which has no missing parents
21/12/23 14:14:01 INFO memory.MemoryStore: Block broadcast_0 stored as values in memory (estimated size 2.0 KB, free 413.9 MB)
21/12/23 14:14:01 INFO memory.MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 1381.0 B, free 413.9 MB)
21/12/23 14:14:01 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on iZwz915iahvm5k8atqdtj2Z:37767 (size: 1381.0 B, free: 413.9 MB)
21/12/23 14:14:01 INFO spark.SparkContext: Created broadcast 0 from broadcast at DAGScheduler.scala:1184
21/12/23 14:14:01 INFO scheduler.DAGScheduler: Submitting 100 missing tasks from ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:34) (first 15 tasks are for partitions Vector(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14))
21/12/23 14:14:01 INFO scheduler.TaskSchedulerImpl: Adding task set 0.0 with 100 tasks
21/12/23 14:14:16 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
21/12/23 14:14:27 INFO client.StandaloneAppClient$ClientEndpoint: Master removed worker worker-20211223114534-172.18.92.61-40105: Not responding for recovery
21/12/23 14:14:27 INFO cluster.StandaloneSchedulerBackend: Worker worker-20211223114534-172.18.92.61-40105 removed: Not responding for recovery
21/12/23 14:14:27 INFO scheduler.TaskSchedulerImpl: Handle removed worker worker-20211223114534-172.18.92.61-40105: Not responding for recovery
21/12/23 14:14:27 INFO scheduler.DAGScheduler: Shuffle files lost for worker worker-20211223114534-172.18.92.61-40105 on host 172.18.92.61
21/12/23 14:14:27 INFO client.StandaloneAppClient$ClientEndpoint: Executor added: app-20211223141359-0000/0 on worker-20211223141327-172.18.92.61-34607 (172.18.92.61:34607) with 1 core(s)
21/12/23 14:14:27 INFO cluster.StandaloneSchedulerBackend: Granted executor ID app-20211223141359-0000/0 on hostPort 172.18.92.61:34607 with 1 core(s), 500.0 MB RAM
21/12/23 14:14:27 INFO client.StandaloneAppClient$ClientEndpoint: Executor updated: app-20211223141359-0000/0 is now RUNNING
21/12/23 14:14:31 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
21/12/23 14:14:31 INFO cluster.CoarseGrainedSchedulerBackend$DriverEndpoint: Registered executor NettyRpcEndpointRef(spark-client://Executor) (172.18.92.61:40782) with ID 0
21/12/23 14:14:31 INFO scheduler.TaskSetManager: Starting task 0.0 in stage 0.0 (TID 0, 172.18.92.61, executor 0, partition 0, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:14:32 INFO storage.BlockManagerMasterEndpoint: Registering block manager 172.18.92.61:35261 with 110.0 MB RAM, BlockManagerId(0, 172.18.92.61, 35261, None)
21/12/23 14:14:34 INFO storage.BlockManagerInfo: Added broadcast_0_piece0 in memory on 172.18.92.61:35261 (size: 1381.0 B, free: 110.0 MB)
121/12/23 14:19:36 INFO scheduler.TaskSetManager: Starting task 1.0 in stage 0.0 (TID 1, 172.18.92.61, executor 0, partition 1, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 2.0 in stage 0.0 (TID 2, 172.18.92.61, executor 0, partition 2, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 3.0 in stage 0.0 (TID 3, 172.18.92.61, executor 0, partition 3, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 4.0 in stage 0.0 (TID 4, 172.18.92.61, executor 0, partition 4, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 5.0 in stage 0.0 (TID 5, 172.18.92.61, executor 0, partition 5, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 6.0 in stage 0.0 (TID 6, 172.18.92.61, executor 0, partition 6, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 7.0 in stage 0.0 (TID 7, 172.18.92.61, executor 0, partition 7, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 309907 ms on 172.18.92.61 (executor 0) (1/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 4.0 in stage 0.0 (TID 4) in 172 ms on 172.18.92.61 (executor 0) (2/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 5.0 in stage 0.0 (TID 5) in 144 ms on 172.18.92.61 (executor 0) (3/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 6.0 in stage 0.0 (TID 6) in 108 ms on 172.18.92.61 (executor 0) (4/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 2.0 in stage 0.0 (TID 2) in 231 ms on 172.18.92.61 (executor 0) (5/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 3.0 in stage 0.0 (TID 3) in 204 ms on 172.18.92.61 (executor 0) (6/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 8.0 in stage 0.0 (TID 8, 172.18.92.61, executor 0, partition 8, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 1.0 in stage 0.0 (TID 1) in 5529 ms on 172.18.92.61 (executor 0) (7/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 7.0 in stage 0.0 (TID 7) in 77 ms on 172.18.92.61 (executor 0) (8/100)
21/12/23 14:19:41 WARN client.StandaloneAppClient$ClientEndpoint: Connection to localhost:7077 failed; waiting for master to reconnect...
21/12/23 14:19:41 WARN cluster.StandaloneSchedulerBackend: Disconnected from Spark cluster! Waiting for reconnection...
21/12/23 14:19:41 WARN client.StandaloneAppClient$ClientEndpoint: Connection to localhost:7077 failed; waiting for master to reconnect...
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 9.0 in stage 0.0 (TID 9, 172.18.92.61, executor 0, partition 9, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 8.0 in stage 0.0 (TID 8) in 46 ms on 172.18.92.61 (executor 0) (9/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 10.0 in stage 0.0 (TID 10, 172.18.92.61, executor 0, partition 10, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 9.0 in stage 0.0 (TID 9) in 49 ms on 172.18.92.61 (executor 0) (10/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 11.0 in stage 0.0 (TID 11, 172.18.92.61, executor 0, partition 11, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 10.0 in stage 0.0 (TID 10) in 50 ms on 172.18.92.61 (executor 0) (11/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 12.0 in stage 0.0 (TID 12, 172.18.92.61, executor 0, partition 12, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 11.0 in stage 0.0 (TID 11) in 20 ms on 172.18.92.61 (executor 0) (12/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 13.0 in stage 0.0 (TID 13, 172.18.92.61, executor 0, partition 13, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 12.0 in stage 0.0 (TID 12) in 44 ms on 172.18.92.61 (executor 0) (13/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 14.0 in stage 0.0 (TID 14, 172.18.92.61, executor 0, partition 14, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 13.0 in stage 0.0 (TID 13) in 29 ms on 172.18.92.61 (executor 0) (14/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 15.0 in stage 0.0 (TID 15, 172.18.92.61, executor 0, partition 15, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 14.0 in stage 0.0 (TID 14) in 45 ms on 172.18.92.61 (executor 0) (15/100)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Starting task 16.0 in stage 0.0 (TID 16, 172.18.92.61, executor 0, partition 16, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:41 INFO scheduler.TaskSetManager: Finished task 15.0 in stage 0.0 (TID 15) in 39 ms on 172.18.92.61 (executor 0) (16/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 17.0 in stage 0.0 (TID 17, 172.18.92.61, executor 0, partition 17, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 16.0 in stage 0.0 (TID 16) in 33 ms on 172.18.92.61 (executor 0) (17/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 18.0 in stage 0.0 (TID 18, 172.18.92.61, executor 0, partition 18, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 17.0 in stage 0.0 (TID 17) in 21 ms on 172.18.92.61 (executor 0) (18/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 19.0 in stage 0.0 (TID 19, 172.18.92.61, executor 0, partition 19, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 18.0 in stage 0.0 (TID 18) in 19 ms on 172.18.92.61 (executor 0) (19/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 20.0 in stage 0.0 (TID 20, 172.18.92.61, executor 0, partition 20, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 19.0 in stage 0.0 (TID 19) in 19 ms on 172.18.92.61 (executor 0) (20/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 21.0 in stage 0.0 (TID 21, 172.18.92.61, executor 0, partition 21, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 20.0 in stage 0.0 (TID 20) in 25 ms on 172.18.92.61 (executor 0) (21/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 22.0 in stage 0.0 (TID 22, 172.18.92.61, executor 0, partition 22, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 21.0 in stage 0.0 (TID 21) in 21 ms on 172.18.92.61 (executor 0) (22/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 23.0 in stage 0.0 (TID 23, 172.18.92.61, executor 0, partition 23, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 22.0 in stage 0.0 (TID 22) in 22 ms on 172.18.92.61 (executor 0) (23/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 24.0 in stage 0.0 (TID 24, 172.18.92.61, executor 0, partition 24, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 23.0 in stage 0.0 (TID 23) in 38 ms on 172.18.92.61 (executor 0) (24/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 25.0 in stage 0.0 (TID 25, 172.18.92.61, executor 0, partition 25, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 24.0 in stage 0.0 (TID 24) in 76 ms on 172.18.92.61 (executor 0) (25/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 26.0 in stage 0.0 (TID 26, 172.18.92.61, executor 0, partition 26, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 25.0 in stage 0.0 (TID 25) in 29 ms on 172.18.92.61 (executor 0) (26/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 27.0 in stage 0.0 (TID 27, 172.18.92.61, executor 0, partition 27, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 26.0 in stage 0.0 (TID 26) in 16 ms on 172.18.92.61 (executor 0) (27/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 28.0 in stage 0.0 (TID 28, 172.18.92.61, executor 0, partition 28, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 27.0 in stage 0.0 (TID 27) in 25 ms on 172.18.92.61 (executor 0) (28/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 29.0 in stage 0.0 (TID 29, 172.18.92.61, executor 0, partition 29, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 28.0 in stage 0.0 (TID 28) in 30 ms on 172.18.92.61 (executor 0) (29/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 30.0 in stage 0.0 (TID 30, 172.18.92.61, executor 0, partition 30, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 29.0 in stage 0.0 (TID 29) in 34 ms on 172.18.92.61 (executor 0) (30/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 31.0 in stage 0.0 (TID 31, 172.18.92.61, executor 0, partition 31, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 30.0 in stage 0.0 (TID 30) in 16 ms on 172.18.92.61 (executor 0) (31/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 32.0 in stage 0.0 (TID 32, 172.18.92.61, executor 0, partition 32, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 31.0 in stage 0.0 (TID 31) in 34 ms on 172.18.92.61 (executor 0) (32/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 33.0 in stage 0.0 (TID 33, 172.18.92.61, executor 0, partition 33, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 32.0 in stage 0.0 (TID 32) in 14 ms on 172.18.92.61 (executor 0) (33/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 34.0 in stage 0.0 (TID 34, 172.18.92.61, executor 0, partition 34, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 33.0 in stage 0.0 (TID 33) in 45 ms on 172.18.92.61 (executor 0) (34/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 35.0 in stage 0.0 (TID 35, 172.18.92.61, executor 0, partition 35, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 34.0 in stage 0.0 (TID 34) in 29 ms on 172.18.92.61 (executor 0) (35/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 36.0 in stage 0.0 (TID 36, 172.18.92.61, executor 0, partition 36, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 35.0 in stage 0.0 (TID 35) in 17 ms on 172.18.92.61 (executor 0) (36/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 37.0 in stage 0.0 (TID 37, 172.18.92.61, executor 0, partition 37, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 36.0 in stage 0.0 (TID 36) in 40 ms on 172.18.92.61 (executor 0) (37/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 38.0 in stage 0.0 (TID 38, 172.18.92.61, executor 0, partition 38, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 37.0 in stage 0.0 (TID 37) in 43 ms on 172.18.92.61 (executor 0) (38/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 39.0 in stage 0.0 (TID 39, 172.18.92.61, executor 0, partition 39, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 38.0 in stage 0.0 (TID 38) in 21 ms on 172.18.92.61 (executor 0) (39/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 40.0 in stage 0.0 (TID 40, 172.18.92.61, executor 0, partition 40, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 39.0 in stage 0.0 (TID 39) in 48 ms on 172.18.92.61 (executor 0) (40/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 41.0 in stage 0.0 (TID 41, 172.18.92.61, executor 0, partition 41, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 40.0 in stage 0.0 (TID 40) in 15 ms on 172.18.92.61 (executor 0) (41/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 42.0 in stage 0.0 (TID 42, 172.18.92.61, executor 0, partition 42, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 41.0 in stage 0.0 (TID 41) in 34 ms on 172.18.92.61 (executor 0) (42/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 43.0 in stage 0.0 (TID 43, 172.18.92.61, executor 0, partition 43, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 42.0 in stage 0.0 (TID 42) in 33 ms on 172.18.92.61 (executor 0) (43/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 44.0 in stage 0.0 (TID 44, 172.18.92.61, executor 0, partition 44, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 43.0 in stage 0.0 (TID 43) in 37 ms on 172.18.92.61 (executor 0) (44/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 45.0 in stage 0.0 (TID 45, 172.18.92.61, executor 0, partition 45, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 44.0 in stage 0.0 (TID 44) in 28 ms on 172.18.92.61 (executor 0) (45/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 46.0 in stage 0.0 (TID 46, 172.18.92.61, executor 0, partition 46, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 45.0 in stage 0.0 (TID 45) in 31 ms on 172.18.92.61 (executor 0) (46/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 47.0 in stage 0.0 (TID 47, 172.18.92.61, executor 0, partition 47, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 46.0 in stage 0.0 (TID 46) in 29 ms on 172.18.92.61 (executor 0) (47/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 48.0 in stage 0.0 (TID 48, 172.18.92.61, executor 0, partition 48, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 47.0 in stage 0.0 (TID 47) in 30 ms on 172.18.92.61 (executor 0) (48/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 49.0 in stage 0.0 (TID 49, 172.18.92.61, executor 0, partition 49, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 48.0 in stage 0.0 (TID 48) in 27 ms on 172.18.92.61 (executor 0) (49/100)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Starting task 50.0 in stage 0.0 (TID 50, 172.18.92.61, executor 0, partition 50, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:42 INFO scheduler.TaskSetManager: Finished task 49.0 in stage 0.0 (TID 49) in 45 ms on 172.18.92.61 (executor 0) (50/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 51.0 in stage 0.0 (TID 51, 172.18.92.61, executor 0, partition 51, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 50.0 in stage 0.0 (TID 50) in 68 ms on 172.18.92.61 (executor 0) (51/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 52.0 in stage 0.0 (TID 52, 172.18.92.61, executor 0, partition 52, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 51.0 in stage 0.0 (TID 51) in 43 ms on 172.18.92.61 (executor 0) (52/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 53.0 in stage 0.0 (TID 53, 172.18.92.61, executor 0, partition 53, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 52.0 in stage 0.0 (TID 52) in 16 ms on 172.18.92.61 (executor 0) (53/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 54.0 in stage 0.0 (TID 54, 172.18.92.61, executor 0, partition 54, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 53.0 in stage 0.0 (TID 53) in 28 ms on 172.18.92.61 (executor 0) (54/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 55.0 in stage 0.0 (TID 55, 172.18.92.61, executor 0, partition 55, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 54.0 in stage 0.0 (TID 54) in 28 ms on 172.18.92.61 (executor 0) (55/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 56.0 in stage 0.0 (TID 56, 172.18.92.61, executor 0, partition 56, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 55.0 in stage 0.0 (TID 55) in 31 ms on 172.18.92.61 (executor 0) (56/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 57.0 in stage 0.0 (TID 57, 172.18.92.61, executor 0, partition 57, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 56.0 in stage 0.0 (TID 56) in 37 ms on 172.18.92.61 (executor 0) (57/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 58.0 in stage 0.0 (TID 58, 172.18.92.61, executor 0, partition 58, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 57.0 in stage 0.0 (TID 57) in 25 ms on 172.18.92.61 (executor 0) (58/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 59.0 in stage 0.0 (TID 59, 172.18.92.61, executor 0, partition 59, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 58.0 in stage 0.0 (TID 58) in 27 ms on 172.18.92.61 (executor 0) (59/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 60.0 in stage 0.0 (TID 60, 172.18.92.61, executor 0, partition 60, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 59.0 in stage 0.0 (TID 59) in 26 ms on 172.18.92.61 (executor 0) (60/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 61.0 in stage 0.0 (TID 61, 172.18.92.61, executor 0, partition 61, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 60.0 in stage 0.0 (TID 60) in 27 ms on 172.18.92.61 (executor 0) (61/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 62.0 in stage 0.0 (TID 62, 172.18.92.61, executor 0, partition 62, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 61.0 in stage 0.0 (TID 61) in 26 ms on 172.18.92.61 (executor 0) (62/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 63.0 in stage 0.0 (TID 63, 172.18.92.61, executor 0, partition 63, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 62.0 in stage 0.0 (TID 62) in 38 ms on 172.18.92.61 (executor 0) (63/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 64.0 in stage 0.0 (TID 64, 172.18.92.61, executor 0, partition 64, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 63.0 in stage 0.0 (TID 63) in 29 ms on 172.18.92.61 (executor 0) (64/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 65.0 in stage 0.0 (TID 65, 172.18.92.61, executor 0, partition 65, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 64.0 in stage 0.0 (TID 64) in 26 ms on 172.18.92.61 (executor 0) (65/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 66.0 in stage 0.0 (TID 66, 172.18.92.61, executor 0, partition 66, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 65.0 in stage 0.0 (TID 65) in 27 ms on 172.18.92.61 (executor 0) (66/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 67.0 in stage 0.0 (TID 67, 172.18.92.61, executor 0, partition 67, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 66.0 in stage 0.0 (TID 66) in 30 ms on 172.18.92.61 (executor 0) (67/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 68.0 in stage 0.0 (TID 68, 172.18.92.61, executor 0, partition 68, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 67.0 in stage 0.0 (TID 67) in 29 ms on 172.18.92.61 (executor 0) (68/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 69.0 in stage 0.0 (TID 69, 172.18.92.61, executor 0, partition 69, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 68.0 in stage 0.0 (TID 68) in 28 ms on 172.18.92.61 (executor 0) (69/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 70.0 in stage 0.0 (TID 70, 172.18.92.61, executor 0, partition 70, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 69.0 in stage 0.0 (TID 69) in 37 ms on 172.18.92.61 (executor 0) (70/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 71.0 in stage 0.0 (TID 71, 172.18.92.61, executor 0, partition 71, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 70.0 in stage 0.0 (TID 70) in 16 ms on 172.18.92.61 (executor 0) (71/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 72.0 in stage 0.0 (TID 72, 172.18.92.61, executor 0, partition 72, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 71.0 in stage 0.0 (TID 71) in 40 ms on 172.18.92.61 (executor 0) (72/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 73.0 in stage 0.0 (TID 73, 172.18.92.61, executor 0, partition 73, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 72.0 in stage 0.0 (TID 72) in 25 ms on 172.18.92.61 (executor 0) (73/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 74.0 in stage 0.0 (TID 74, 172.18.92.61, executor 0, partition 74, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 73.0 in stage 0.0 (TID 73) in 24 ms on 172.18.92.61 (executor 0) (74/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 75.0 in stage 0.0 (TID 75, 172.18.92.61, executor 0, partition 75, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 74.0 in stage 0.0 (TID 74) in 29 ms on 172.18.92.61 (executor 0) (75/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 76.0 in stage 0.0 (TID 76, 172.18.92.61, executor 0, partition 76, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 75.0 in stage 0.0 (TID 75) in 28 ms on 172.18.92.61 (executor 0) (76/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 77.0 in stage 0.0 (TID 77, 172.18.92.61, executor 0, partition 77, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 76.0 in stage 0.0 (TID 76) in 69 ms on 172.18.92.61 (executor 0) (77/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 78.0 in stage 0.0 (TID 78, 172.18.92.61, executor 0, partition 78, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 77.0 in stage 0.0 (TID 77) in 19 ms on 172.18.92.61 (executor 0) (78/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 79.0 in stage 0.0 (TID 79, 172.18.92.61, executor 0, partition 79, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 78.0 in stage 0.0 (TID 78) in 27 ms on 172.18.92.61 (executor 0) (79/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 80.0 in stage 0.0 (TID 80, 172.18.92.61, executor 0, partition 80, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 79.0 in stage 0.0 (TID 79) in 38 ms on 172.18.92.61 (executor 0) (80/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 81.0 in stage 0.0 (TID 81, 172.18.92.61, executor 0, partition 81, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 80.0 in stage 0.0 (TID 80) in 27 ms on 172.18.92.61 (executor 0) (81/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 82.0 in stage 0.0 (TID 82, 172.18.92.61, executor 0, partition 82, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 81.0 in stage 0.0 (TID 81) in 34 ms on 172.18.92.61 (executor 0) (82/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 83.0 in stage 0.0 (TID 83, 172.18.92.61, executor 0, partition 83, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 82.0 in stage 0.0 (TID 82) in 28 ms on 172.18.92.61 (executor 0) (83/100)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Starting task 84.0 in stage 0.0 (TID 84, 172.18.92.61, executor 0, partition 84, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:43 INFO scheduler.TaskSetManager: Finished task 83.0 in stage 0.0 (TID 83) in 29 ms on 172.18.92.61 (executor 0) (84/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 85.0 in stage 0.0 (TID 85, 172.18.92.61, executor 0, partition 85, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 84.0 in stage 0.0 (TID 84) in 28 ms on 172.18.92.61 (executor 0) (85/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 86.0 in stage 0.0 (TID 86, 172.18.92.61, executor 0, partition 86, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 85.0 in stage 0.0 (TID 85) in 31 ms on 172.18.92.61 (executor 0) (86/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 87.0 in stage 0.0 (TID 87, 172.18.92.61, executor 0, partition 87, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 86.0 in stage 0.0 (TID 86) in 40 ms on 172.18.92.61 (executor 0) (87/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 88.0 in stage 0.0 (TID 88, 172.18.92.61, executor 0, partition 88, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 87.0 in stage 0.0 (TID 87) in 15 ms on 172.18.92.61 (executor 0) (88/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 89.0 in stage 0.0 (TID 89, 172.18.92.61, executor 0, partition 89, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 88.0 in stage 0.0 (TID 88) in 37 ms on 172.18.92.61 (executor 0) (89/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 90.0 in stage 0.0 (TID 90, 172.18.92.61, executor 0, partition 90, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 89.0 in stage 0.0 (TID 89) in 25 ms on 172.18.92.61 (executor 0) (90/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 91.0 in stage 0.0 (TID 91, 172.18.92.61, executor 0, partition 91, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 90.0 in stage 0.0 (TID 90) in 27 ms on 172.18.92.61 (executor 0) (91/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 92.0 in stage 0.0 (TID 92, 172.18.92.61, executor 0, partition 92, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 91.0 in stage 0.0 (TID 91) in 23 ms on 172.18.92.61 (executor 0) (92/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 93.0 in stage 0.0 (TID 93, 172.18.92.61, executor 0, partition 93, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 92.0 in stage 0.0 (TID 92) in 24 ms on 172.18.92.61 (executor 0) (93/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 94.0 in stage 0.0 (TID 94, 172.18.92.61, executor 0, partition 94, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 93.0 in stage 0.0 (TID 93) in 33 ms on 172.18.92.61 (executor 0) (94/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 95.0 in stage 0.0 (TID 95, 172.18.92.61, executor 0, partition 95, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 94.0 in stage 0.0 (TID 94) in 27 ms on 172.18.92.61 (executor 0) (95/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 96.0 in stage 0.0 (TID 96, 172.18.92.61, executor 0, partition 96, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 95.0 in stage 0.0 (TID 95) in 29 ms on 172.18.92.61 (executor 0) (96/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 97.0 in stage 0.0 (TID 97, 172.18.92.61, executor 0, partition 97, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 96.0 in stage 0.0 (TID 96) in 24 ms on 172.18.92.61 (executor 0) (97/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 98.0 in stage 0.0 (TID 98, 172.18.92.61, executor 0, partition 98, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 97.0 in stage 0.0 (TID 97) in 38 ms on 172.18.92.61 (executor 0) (98/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Starting task 99.0 in stage 0.0 (TID 99, 172.18.92.61, executor 0, partition 99, PROCESS_LOCAL, 7870 bytes)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 98.0 in stage 0.0 (TID 98) in 16 ms on 172.18.92.61 (executor 0) (99/100)
21/12/23 14:19:44 INFO scheduler.TaskSetManager: Finished task 99.0 in stage 0.0 (TID 99) in 94 ms on 172.18.92.61 (executor 0) (100/100)
21/12/23 14:19:44 INFO scheduler.TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 
21/12/23 14:19:44 INFO scheduler.DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 343.331 s
21/12/23 14:19:44 INFO scheduler.DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 343.675474 s
Pi is roughly 3.1412163141216314
21/12/23 14:19:44 INFO server.AbstractConnector: Stopped Spark@79ab3a71{HTTP/1.1, (http/1.1)}{0.0.0.0:4040}
21/12/23 14:19:45 INFO ui.SparkUI: Stopped Spark web UI at http://iZwz915iahvm5k8atqdtj2Z:4040
21/12/23 14:19:45 INFO cluster.StandaloneSchedulerBackend: Shutting down all executors
21/12/23 14:19:45 INFO cluster.CoarseGrainedSchedulerBackend$DriverEndpoint: Asking each executor to shut down
21/12/23 14:19:45 INFO spark.MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
21/12/23 14:19:45 INFO memory.MemoryStore: MemoryStore cleared
21/12/23 14:19:45 INFO storage.BlockManager: BlockManager stopped
21/12/23 14:19:45 INFO storage.BlockManagerMaster: BlockManagerMaster stopped
21/12/23 14:19:45 INFO scheduler.OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
21/12/23 14:19:45 INFO spark.SparkContext: Successfully stopped SparkContext
21/12/23 14:19:45 INFO util.ShutdownHookManager: Shutdown hook called
21/12/23 14:19:45 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-a600ff42-96e3-46e7-b644-8d3f369d2948
21/12/23 14:19:45 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-15c86a48-af3c-4d70-b44b-b1f660c765ce

4.2. spark shell

bin/spark-shell \
--master spark://localhost:7077 \
--executor-memory 500m \
--total-executor-cores 1

参数说明：
–master spark://localhost:7077 指定Master的地址
–executor-memory 500m:指定每个worker可用内存为500m
–total-executor-cores 1: 指定整个集群使用的cup核数为1个

至此，环境搭完了！
先后以1核2G和2核4G的配置搭建环境，体验天差地别，1核2G的几乎无法工作，老是OOM。

Spark RDD

rdd 概述
数据的集合
1个 RDD 分为 n 个分片 partition，1个 partition 被1个计算任务处理。partition 数由创建 RDD 时指定，默认为程序所分配到的 cpu 的 core 数。

RDD --转换–> RDD。RDD之间就形成类似于流水线一样的前后依赖关系。当部分的 partition 数据丢失时，可以根据依赖关系只重新计算丢失的 partition 的数据，而不用对所有 partition 计算。

RDD 的分片函数 Partitioner，根据 key 将 parent rdd 中的所有值划分到新 rdd 的 partitions 中 。Spark 实现了两种 Partitioner：基于哈希的 HashPartitioner，基于范围的 RangePartitioner。只有 key-value 的 RDD 有 Partitioner，否则 RDD 的 Partitioner 为 None。Partitioner 函数不但决定了 RDD 的 partition 数量，也决定了 parent RDD shuffle 后的 partition 数量。

WordCount 粗图解
spark学习记录_第1张图片

rdd 创建

读取外部存储系统的数据集创建。如 HDFS，HBASE。
读取数据库。
通过其他 RDD 转换而来。

rdd 编程api
Spark 支持2类算子（操作）：Transaction、Action
Transaction 是 懒加载的。Transformation算子的代码不会真正被执行。只有当我们的程序里面遇到一个action算子的时候，代码才会真正的被执行。这种设计让Spark更加有效率地运行。
如 rdd1.TransactionA().TransactionB().TransactionC().ActionA()。当执行到 ActionA() 时，TransactionA()、TransactionB()、TransactionC() 才真正执行。

常见 Transaction 算子

map(func): 返回一个 RDD， 该 RDD 由每一个输入元素都经过 func 转换后组成（func 返回值为单一元素）
filter(func): 返回一个 RDD， 该 RDD 由每一个输入元素都经过 func 过滤后组成（func 返回值 为 bool，true 的元素可以留下，false 的元素被过滤）
flatMap(func): 类似map(func)，map返回的是一个个元素，flatmap返回的是一个序列。rdd的每个元素经过map，返回一个元素；rdd的每个元素经过flatmap，返回0-n个元素。flatmap常用于string的split。
mapPartitions(func): 与map(func)类似，在每个 partition 里用 iterator 处理 partition 内的数据。是一种优化，SparkSql、DataFrame 默认开启。
mapPartitionsWithIndex(func): 与mapPartitions(func)类似，能知道当前的partitionId。
sample(withReplacement, fraction, seed): 采样。有用到再回来补充完整
union(otherDataset): 返回一个 RDD，rdd1.union(rdd2)，不去重并集
intersection(otherDataset): 返回一个 RDD，交集。必须是两个RDD之间，而不是两个Array之间。
distinct([numTasks])): 返回一个 RDD，去重
groupByKey([numTasks]): key 相同的为一个 group，入参 RDD，返回 RDD
groupByKey 作用与 RDD，不需指定key名（也没有key名），groupBy 作用于 DataSet，需指定列名
reduceByKey(func, [numTasks]): 入参 RDD，返回 RDD。将 key 相同的输入元进行聚合。numTasks 为 reduce 任务个数。
kvRDD.reduceByKey(+).collect()
相当于
kvRDD.reduceByKey((a,b) => (a+b)).collect()
aggregateByKey(zeroValue)(seqOp, combOp, [numTasks]): 先在 partition 内聚合，再总的聚合。
sortByKey([ascending], [numTasks]): 返回按 key 排序的 RDD，key 必须实现Ordered接口。
sortBy(func,[ascending], [numTasks]): 比 sortByKey 更灵活。func 表示根据什么排序
join(otherDataset, [numTasks]): 输入(K,V)和(K,W)的RDD，输出K,(V,W))的RDD，相当于内连接。
cogroup(otherDataset, [numTasks]): 输入(K,V)(K,W)的RDD，返回(K,(Iterator(V),Iterator(W))的RDD。
比如

val rdd1 = sc.parallelize(Array(("aa",1),("bb",2),("cc",6)))
val rdd2 = sc.parallelize(Array(("aa",3),("dd",4),("aa",5)))
（”Array()“ = “List()”）
（Scala中的“Seq” = Java中的“List”，Scala中的）
（“”）
=========================
(aa,(CompactBuffer(1),CompactBuffer(3, 5)))
(dd,(CompactBuffer(),CompactBuffer(4)))
(bb,(CompactBuffer(2),CompactBuffer()))
(cc,(CompactBuffer(6),CompactBuffer()))

cartesian(otherDataSet): 两个RDD的笛卡尔积
rdd1 cartesian rdd2
spark学习记录_第2张图片
zip: rdd1 = [(1),(2),(3)]，rdd2 = [(10),(20),(30)]，rdd1 zip rdd2 = [(1,10),(2,20),(3,30)]
pipe(command, [envVars]): spark调用外部程序，比如脚本
coalesce(numPartitions): 重新分区，第一个参数是要分多少区，第二个参数是否shuffle，默认false。少分区变多分区true，多分区变少分区false。
repartition 重新分区（扩大） 必须shuffle 参数是要分多少区 少变多
repartitionAndSortWithinPartitions(partitioner): 重新分区+排序。对的RDD进行操作。比先分区再排序的效率低。
foldByKey(zeroValue)(seqOp): k/v做折叠，合并处理。k相同的v进行合并。合并可以是相加，相乘等。
比如：

// 相加
rdd1.foldByKey(0)(_+_)
// 相乘
rdd1.foldByKey(1)(_*_)

combineByKey: 合并相同的key的值。spark 的核心高级函数。很多高阶的k/v函数的底层都由combineByKey实现。
比如求平均成绩
在这里插入图片描述
再比如求按性别聚合成nameList并统计人数
在这里插入图片描述
partitionBy（partitioner）: 对RDD进行分区，partitioner分区器可以是hashPartitioner。
cache/persist: RDD缓存，可以避免重复计算从而减少时间，区别：cache内部调用了persist算子，cache默认就一个缓存级别MEMORY-ONLY ，而persist则可以选择缓存级别.
rdd1.Subtract（rdd2）: 返回在rdd1而不在rdd2的元素所组成的rdd
leftOuterJoin: 左外连接
rightOuterJoin: 右外连接
subtractByKey: 与subtract类似，只不过subtract输入是(k)的RDD，subtractByKey输入是(k,v)的RDD。（是subtract而不是substract！）
keys: rdd，返回rdd。只能rdd1.keys，不能rdd1.keys() ！
values: rdd，返回rdd。只能rdd1.values，不能rdd1.values() ！

常见Action算子
触发代码的运行，一段spark代码必须有一个action操作。

collect(): 以数组形式返回数据集的所有元素
count(): 返回数据集的元素的数量
如果 rdd 是一个文件，count()计算行数
reduce(func): 通过func聚集RDD中的所有元素。
如 rdd1.reduce((x,y) => (x+y))，返回rdd1所有元素之和的int
first(): 返回RDD的第一个元素
take(n): 返回RDD前n个元素组成的数组
takeSample(withReplacement,num, [seed]): 返回RDD的随机num个元素组成的数组
takeOrdered(n, [ordering]): take(n)+排序
saveAsTextFile(path): 将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它装换为文件中的文本
saveAsSequenceFile(path): 将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下，可以使HDFS或者其他Hadoop支持的文件系统。
saveAsObjectFile(path): saveAsObjectFile用于将RDD中的元素序列化成对象，存储到文件中。对于HDFS，默认采用SequenceFile保存。
countByKey(): 针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数。
foreach(func): 在数据集的每一个元素上，运行函数func进行更新。
aggregate(zeroValue)(seqOp, combOp, [numTasks]): 聚合。
比如

scala> val rdd = List(1,2,3,4,5,6,7,8,9)
rdd: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9)
scala> rdd.par.aggregate((0,0))(
(acc,number) => (acc._1 + number, acc._2 + 1),
(par1,par2) => (par1._1 + par2._1, par1._2 + par2._2)
)
res0: (Int, Int) = (45,9)
scala> res0._1 / res0._2
res1: Int = 5
// 分布式计算，多个 partition的(acc,number) 的结果，(par1,par2)相加。

top(): rdd.top(num)，返回前n个元素
keyBy(func)：rdd1 = [(10,20,30,40)]，rdd1.keyBy(_ / 10) = [(1,10),(2,20),(3,30),(4,40)]，将每个元素func的结果作为key，元素本身作为value。

常用：
.foreach(println)
.foreach(print)
.foreach(line => println(line))

发现：
rdd 来自一个text
.foreach(println) 顺序按rdd从头到尾。串行 or 并行+排序
.foreach(line => println(line)) 按某种非rdd的顺序

spark sql

分布式SQL查询引擎。为支持结构化数据而生。DataFrame的编程抽象。
特点：

集成：sql于spark程序集成。将结构化数据作为RDD进行查询，提供了Python、Scala，Java的API
统一数据访问：加载、查询来自各种来源的数据。Hive表，JSON文件，parquet文件
兼容Hive
标准连接：JDBC、ODBC
schema rdd：理解为临时表。称为数据帧。

spark session：spark sql的入口类。对应于spark-core中的spark context
在这里插入图片描述
spark.implicits._主要用来隐式转换的，比如Rdd转DataFrame

构造json（本地文件系统vim，再put到hdfs）
在这里插入图片描述spark学习记录_第3张图片
从hdfs导入json，show查询数据，printSchema查看schema
spark学习记录_第4张图片
spark.read.json(“hdfs:/test/employee.json”) = spark.read.format(“json”).load(“hdfs:/test/employee.json”)
select().show 查询某一列（相当于select 列名）
spark学习记录_第5张图片
filter 通过条件过滤查询（select where）
spark学习记录_第6张图片
groupBy 聚合
spark学习记录_第7张图片
spark sql 数据源
spark sql提供了通用的加载和保存数据的方法：load()和save()
加载（读）：
spark.read.format(“parquet”).load(“hdfs:/test/employee_p.parquet”)
保存（写）：
spark.write.format(“parquet”).save(“hdfs:/test/employee_p.parquet”)

parquet文件格式：一种列式存储
orc文件格式：一种列式存储
json
hive表
jdbc：

jdbc方式：(先将mysql-connector-java.jar放到spark/jars/目录下，正常启动spark-shell即可)
读取

scala> import org.apache.spark.sql.SQLContext
import org.apache.spark.sql.SQLContext
scala> val sqlContext = new SQLContext(sc)
warning: one deprecation (since 2.0.0); for details, enable `:setting -deprecation' or `:replay -deprecation'
sqlContext: org.apache.spark.sql.SQLContext = org.apache.spark.sql.SQLContext@4655e059
scala> val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:mysql://localhost:3306/test?useSSL=false", "driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "employee", "user" -> "root", "password" -> "123456")).load()
jdbcDF: org.apache.spark.sql.DataFrame = [name: string, age: bigint]

写入

// 定义schema
scala> import java.util.Properties
scala> import org.apache.spark.sql.{SQLContext, Row}
scala> import org.apache.spark.sql.types.{StringType, IntegerType, StructField, StructType, LongType}
scala> val sqlContext = new SQLContext(sc)
scala> val studentRDD = sc.parallelize(Array("Tom 21","Jerry 23")).map(_.split(" "))
studentRDD: org.apache.spark.rdd.RDD[Array[String]] = MapPartitionsRDD[1] at map at <console>:26
// 定义schema
scala> val schema = StructType(List(StructField("name", StringType, true),StructField("age", LongType, true)))
schema: org.apache.spark.sql.types.StructType = StructType(StructField(name,StringType,true), StructField(age,LongType,true))
//Rdd->Row。创建Row对象，每个Row对象都是rowRDD中的一行
scala> val rowRDD = studentRDD.map(p => Row(p(0).trim, p(1).toLong))
rowRDD: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[2] at map at <console>:27
// RDD与schema连接
val studentDataFrame = sqlContext.createDataFrame(rowRDD, schema)
// 创建一个prop变量用来保存JDBC连接参数
val prop = new Properties()
prop.put("user", "root") 
prop.put("password", "123456") 
prop.put("driver","com.mysql.jdbc.Driver")
prop.put("dbtable", "employee")
prop.put("url", "jdbc:mysql://localhost:3306/test?useSSL=false")
studentDataFrame.write.mode("append").jdbc("jdbc:mysql://localhost:3306/test?useSSL=false", "employee", prop)

docker mysql

官方脚本安装docker
curl -sSL https://get.daocloud.io/docker | sh

开启docker服务
systemctl start docker

docker安装mysql
pull mysql镜像
在mysql-test容器启动
docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7.30
进入mysql-test容器
docker exec -it mysql-test /bin/bash
客户端访问mysql～
mysql -u root -p

spark session

以上sparkSQL都通过SparkContext与spark做交互；spark2.0后，建议使用SparkSession

SparkSession是所有Spark功能的起点。通过 SparkSession.builder() 创建一个基本的 SparkSession。

import spark.implicits._
import org.apache.spark.sql.SparkSession

val spark = SparkSession
  .builder()
  .appName("Spark SQL basic example")
  .config("spark.some.config.option", "some-value")
  .getOrCreate()

通过 SparkSession，可以从 RDD、Hive表，多种数据源创建 DataFrame。

scala> sparkSession.read.json("/test/employee.json").show
+---+----+-------+
|age|  id|   name|
+---+----+-------+
| 25|1201| satish|
| 28|1202|krishna|
| 39|1203|  amith|
| 23|1204|  javed|
| 23|1205| prudvi|
+---+----+-------+

df.printSchema
df.select(“name”).show

scala> sparkSession.read.json("/test/employee.json").filter($"age" > 21).show()
+---+----+-------+
|age|  id|   name|
+---+----+-------+
| 25|1201| satish|
| 28|1202|krishna|
| 39|1203|  amith|
| 23|1204|  javed|
| 23|1205| prudvi|
+---+----+-------+

groupBy

你可能感兴趣的:(big,data)

  • Python---AttributeError: 'NoneType' object has no attribute 'xxxx'问题 Jeffrey-J pythonpython
    做剑指找中位数题时发现如下代码报该错误data=[]data=data.append(num)会报:AttributeError:‘NoneType’objecthasnoattribute'append’错误。原因是什么呢？这时我查看了一下data的类型为。说明我们在某对象上试图使用某个方法或访问某个属性，但该对象为空。空对象肯定不会有append属性，所以报错。解决：既然新生成的对象为空，那只
  • visualforce page 古月的小七
    publicclassContactListController{privateStringsortOrder='LastName';publicListgetContacts(){Listresults=Database.query('SELECTId,FirstName,Title,LastName,EmailFROMContactORDERBYLastNameLIMIT10');return
  • 一篇文章让你搞懂Reflect和Reflect metadata(JavaScript) 小小西爪 Typescriptjavascript前端开发语言
    一篇文章让你搞懂Reflect和Reflectmetadata(JavaScript)引言Javascript里经常看到Reflect的使用,但一直搞不明白他和Object的区别,加上在工作中也没有经常用到,一直处于懵懵懂懂的状态。所以下定决心,用这篇文章彻彻底底把它搞明白本文主要涵盖以下4个板块:Reflect什么是ReflectAPIs(Reflect与Object的区别)简单的例子:Obje
  • pip list 出现error BenjaminY
    ------------问题描述--------------更新到pip19.0.1原来piplist可以正常使用并且返回各个package安装版本又强制安装了一个package的版本然后piplist报了一大堆错，并且pycharm里也看不到包。问题总结为：就是因为强制安装了两个版本生成了一个‘-’开头的文件夹这个文件夹里面没有METADATA这个文件-----------解决方法-------
  • android fork 子进程,fork子进程 那你干哈 androidfork子进程
    title:fork子进程data:2019/3/2120:24:39toc:true这里实在学习socket编程前的小知识点,用来创建多个服务端学习文档速记fork并不保证父子进程的执行顺序,会存在父进程先比子进程结束,这个时候子进程的就可能由系统进程1(PID为1的init)接管子进程返回0父进程返回子进程的进程号(PID)粗浅的理解就是fork之后创建了一个一模一样的上下文,子进程也是从下一
  • 使用java代码实现操作数据库的创建等系列操作 两点王爷 数据库javaoracle
    创作背景：使用代码实现对PostgreSQL数据库的创建用户、授权用户、删除用户系列操作！1、导入相关的依赖org.projectlomboklombokcn.hutoolhutool-all5.8.262、具体实现创建实体类@Data@ApiModel(value="EntityDataBase",description="实体数据库相关内容")publicclassEntityDataBase
  • pandas读取带有表头的数据文件，读取无表头的数据文件 小桥流水---人工智能 人工智能深度学习Python程序代码pandas
    在Python中使用pandas库读取数据时，常见的问题之一就是如何处理数据文件中的表头。1.引入pandas库在开始之前，我们首先需要导入pandas库。如果你的环境中还未安装pandas，可以使用pip安装：pipinstallpandas导入pandas库：importpandasaspd2.读取带有表头的数据文件当数据文件中包含表头时，pandas会默认将第一行数据作为DataFrame的
  • 区块链:数据库技术 时汝佳
    图片发自App0引言对于区块链的解读，有一种观点是数据库。正好手头有本书《计算机是怎样跑起来的》（日文版重印18次，中文版也多达10次印刷），里面有一章介绍数据库，浅显易懂。1基础概念数据库是数据的基地。适合大规模数据存储的是关系型数据库（RelationalDatabase）。现在大多在用的是关系型数据库，数据被拆分到多张表（Table）中，表与表之间的关系可以被记录下来，为了在表之间建立关系，
  • 关键字提取 蓝色滑行
    关键词提取importpandasaspdimportjieba.analyse#导入关键词库读取文本fn=open('d:/collect.txt',encoding='UTF-8')string_data=fn.read()fn.close()关键词提取"TF-IDF(termfrequency-inversedocumentfrequency)是一种针对关键字的统计分析方法，用来评估关键字或
  • apollo事件通信机制 XuSheng.Mrs APOLLOApolloperceptionshareddata
    我目前用的是基于ros版本的apollo,在apollo内部有两种消息传输机制,一种是基于ros的回调函数的订阅来实现各个模块之间的数据通信,还有一种就是事件的通信机制,主要用于感知模块内部的通信,这种通信是基于进程间的内存共享来实现消息的传递.下面我主要介绍第二种消息传递的方式:先看一下事件的实际应用发布事件:voidAsyncFusionSubnode::PublishDataAndEvent
  • Spark底层逻辑 傲雪凌霜，松柏长青 大数据后端spark大数据
    ApacheSpark的底层逻辑可以从其核心概念、组件和执行流程等方面来理解。Spark提供了一个分布式数据处理框架，其底层逻辑基于批处理架构，能够在大规模集群中高效地处理数据。以下是Spark的底层逻辑的详细介绍：1.核心概念Spark的底层基于几个核心概念来实现分布式计算，包括：RDD（ResilientDistributedDataset，弹性分布式数据集）：RDD是Spark最基础的数据抽
  • JAVA数组元素的遍历_Java数组元素的遍历 知更社区 JAVA数组元素的遍历
    Java数组元素的遍历packagecom.wkcto.chapter03.demo01;importjava.util.Arrays;/***数组的定义,元素的访问与遍历*@author蛙课网**/publicclassTest01{publicstaticvoidmain(String[]args){//1)定义一个数组,存储5个int类型数据int[]data=newint[5];//定义数
  • uniapp微信小程序开发踩坑日记：Pinia持久化报错Cannot read property ‘localStorage‘ of undefined 肖肖肖丽珠 uni-app微信小程序小程序
    插件默认使用localStorage实现持久化，小程序端不兼容，需要替换持久化APIimport{defineStore}from'pinia'exportconstuseCommonStore=defineStore('pack-store',{state:():State=>({wwInfo:{},globalData:{},timerLock:false,//是否关闭合成定时器}),gett
  • 利用jQuery框架的ajax请求获取json格式的数据 听海边涛声 jqueryajaxjson
    Document$('#btn').click(()=>{$.get('http://localhost:8080/jsajaxproject/jquery_json','username=tom&age=20',(data)=>{//alert(data)alert(data.name+'\t'+data.age+'\t'+data.gender)},'json')})点击按钮：
  • Python数据分析之pandas学习！ Python_trys python数据分析pandas开发语言学习ide
    Python中的pandas模块进行数据分析。接下来pandas介绍中将学习到如下8块内容：1、数据结构简介：DataFrame和Series2、数据索引index3、利用pandas查询数据4、利用pandas的DataFrames进行统计分析5、利用pandas实现SQL操作6、利用pandas进行缺失值的处理7、利用pandas实现Excel的数据透视表功能8、多层索引的使用在文章开始前打个
  • MongoDB ：第五章：MongoDB 插入更新删除查询文档 2401_84558091 作者\/mongodb数据库
    “_id”:ObjectId(“56064f89ade2f21f36b03136”),“title”:“MongoDB”,“description”:“MongoDB是一个Nosql数据库”,“by”:“菜鸟教程”,“url”:“http://www.runoob.com”,“tags”:[“mongodb”,“database”,“NoSQL”],“likes”:100}可以看到标题(title
  • pytest 常用的辅助函数和工具函数 Lightning-py Pythonpytestpython开发语言
    pytest常用的辅助函数和工具函数示例#@File:my_module.pydeffetch_data():return'processdata'defprocess_data():data=fetch_data()returndata.upper()importloggingimportsysimportpytest#01-------------------------------@pyte
  • uniapp媒体 小汤猿人类 uni-app媒体
    uni.previewImage实现图片放大预览//图片预览函数functiononPreview(index){//收集所有图片的urlvarurls=pets.value.data.map(item=>item.url)//预览图片uni.previewImage({current:index,//当前预览的图片索引urls:urls//所有图片的url数组})}
  • linux内存分区bss,data,text,rodata,堆,栈 刚入坑的炸弹 Linux随记Linux内存分区
    各内存分区的介绍系统内的程序分为程序段和数据段，具体也可以细分成以下几个部分:（1）text段，是代码段。用来存放程序代码的，通常是只读，可以直接在ROM或Flash中执行，无需加载到RAM。（2）data段，数据段。data用来存储已经初始化的全局变量和静态变量，是属于静态内存分配，是可读可写的。（3）bss段，是全局变量数据段。是用来存储未初始化的全局变量以及未初始化的静态变量，静态内存分配。
  • echarts给x轴添加rich各种图标 Lanwarf-前端开发 Echartsechartsjavascriptecmascript
    1.选择合适的rich图标constweatherIcons={Sunny:'https://echarts.apache.org/examples/data/asset/img/weather/sunny_128.png',Showers:'https://echarts.apache.org/examples/data/asset/img/weather/showers_128.png'}2.
  • C语言学习笔记：内存的五大分区 五虎蘸酱 C语言学习笔记c语言开发语言
    在C语言中，进程可在内存中分别存入五大分区：1、text：也称为代码段，其中主要用于存放二进制指令、常量、被const修饰过的初始化过的全局变量、静态局部变量；该分区为只读权限，若强制修改将会产生段错误。2、data：也称为数据段，其中主要用于存放初始化过的全局变量、静态局部变量。3、bss：也称为静态数据段，主要用于存放未初始化过的全局变量、静态局部变量。Ps：该段内存在进程运行前自动清理为04
  • 使用cURL实现简单的文件上传 每天瞎忙的农民工 php实战php
    上传文件和POST十分相似，因为所有的文件上传表单都是通过POST方法提交。$url="http://localtion/upload_output.php";$post_data=array("foo"=>"bar",//要上传的本地文件地址"upload"=>"@test.zip");$ch=curl_init();curl_setopt($ch,CURLOPT_URL,$url);curl_
  • uni-app前端post请求数据json序列化解决 标准形与二次型 web报错springvue.js
    问题：前端使用uni-app的uni.request发送post请求时，携带data参数会被json序列化对于POST方法且header[‘content-type’]为application/json的数据，会进行JSON序列化。官方文档这就导致我写好的登录页面，传递用户名和密码，使用postman可以正常请求，但前端页面发送post请求则会报错：Requiredrequestparameter
  • unity连接mysql并读取所有数据库_Unity 3D 连接Mysql数据库 地理沙龙
    usingUnityEngine;usingSystem;usingSystem.Data;usingSystem.Collections;usingMySql.Data.MySqlClient;usingMySql.Data;usingSystem.IO;publicclassSqlAccess{publicstaticMySqlConnectiondbConnection;//如果只是在本地的
  • heidisql linux 安装_Linux和Windows下Mysql数据库安装详解 吴钧泽 heidisqllinux安装
    目录数据库原理数据库简介文件存储对数据的存储需求一直存在。保存数据的方式，经历了手工管理、文件管理等阶段，直至数据库管理阶段。文件存储方式保存数据的弊端：缺乏对数据的整体管理,数据不便修改；不利于数据分析和共享;数据量急剧增长,大量数据不可能长期保存在文件中。数据库应运而生，是人们存放数据、访问数据、操作数据的存储仓库。DB和DBMS数据库(Database,简称DB)是按照数据结构来组织、存储和
  • unity 局域网读取文件_(转载)Unity3D连接本地或局域网MySQL数据库 丛子涵 unity局域网读取文件
    1usingMySql.Data.MySqlClient;2usingSystem;3usingSystem.Data;45publicclassMySqlAccess6{7publicstaticMySqlConnectionmySqlConnection;//连接类对象89privatestaticstringhost;//IP地址。如果只是在本地的话，写localhost就可以。10priv
  • 两个byte数组拼接_java中两个byte数组实现合并的示例 甄公子 两个byte数组拼接
    今天在于硬件进行交互的过程中,要到了了需要两个数组进行合并,然后对数组进行反转和加密操作,以下是两个byte数组合并的方法。/****@paramdata1*@paramdata2*@returndata1与data2拼接的结果*/publicstaticbyte[]addBytes(byte[]data1,byte[]data2){byte[]data3=newbyte[data1.length
  • heidisql linux 安装_linux安装mysql教程 是佐罗而非索隆 heidisqllinux安装
    1系统约定安装文件下载目录：/data/softwareMysql目录安装位置：/usr/local/mysql数据库保存位置：/data/mysql日志保存位置：/data/log/mysql执行如下命名：#mkdir/data/software#cd/data/software--下载安装包--建议：在windows上使用迅雷下载，速度很快(我的是1M/s)，然后用工具(Xftp)上传到/da
  • 【Python】文件读写（CSV、Excel） 素颜清风宛如月 Pythonpython
    一、CSV文件1读csv文件1.1以数组方式读文件deflistReader():withopen("user.csv",encoding="UTF-8")ascsvFile:#读文件csvData=csv.reader(csvFile)#数据集合print(list(csvData))#遍历数据对象fordataincsvData:#csvData.line_num：每条数据的行号print("
  • mycat双主高可用架构部署-MySQL5.7环境部署第一台 龙哥·三年风水 MySQL5.7.36分布式高可用架构mysql分布式
    MySQL5.7服务器IP是192.168.31.209及192.168.31.2101、192.168.31.209:3307实例部署a、配置文件mkdir-p/data/mysql/mysql3307/{data,logs}#创建MySQL数据及日志目录vi/data/mysql/mysql3307/my3307.cnf#配置文件整理[client]#password=your_passwor
  • java线程Thread和Runnable区别和联系 zx_code javajvmthread多线程Runnable
    我们都晓得java实现线程2种方式，一个是继承Thread，另一个是实现Runnable。 模拟窗口买票，第一例子继承thread，代码如下 package thread; public class ThreadTest { public static void main(String[] args) { Thread1 t1 = new Thread1(
  • 【转】JSON与XML的区别比较 丁_新 jsonxml
    1.定义介绍 (1).XML定义 扩展标记语言 (Extensible Markup Language, XML) ，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 XML使用DTD(document type definition)文档类型定义来组织数据;格式统一，跨平台和语言，早已成为业界公认的标准。 XML是标
  • c++ 实现五种基础的排序算法 CrazyMizzz C++c算法
    #include<iostream> using namespace std; //辅助函数，交换两数之值 template<class T> void mySwap(T &x, T &y){ T temp = x; x = y; y = temp; } const int size = 10; //一、用直接插入排
  • 我的软件 麦田的设计者 我的软件音乐类娱乐放松
         这是我写的一款app软件，耗时三个月，是一个根据央视节目开门大吉改变的，提供音调，猜歌曲名。1、手机拥有者在android手机市场下载本APP，同意权限，安装到手机上。2、游客初次进入时会有引导页面提醒用户注册。（同时软件自动播放背景音乐）。3、用户登录到主页后，会有五个模块。a、点击不胫而走，用户得到开门大吉首页部分新闻，点击进入有新闻详情。b、
  • linux awk命令详解 被触发 linux awk
    awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ file [-F|-f|-v]大参数，-F指定分隔符，-f调用脚本，-v定义变量 var=val
  • 各种语言比较 _wy_ 编程语言
                        Java Ruby PHP 擅长领域                  
  • oracle 中数据类型为clob的编辑 知了ing oracle clob
    public void updateKpiStatus(String kpiStatus,String taskId){ Connection dbc=null; Statement stmt=null; PreparedStatement ps=null; try { dbc = new DBConn().getNewConnection(); //stmt = db
  • 分布式服务框架 Zookeeper -- 管理分布式环境中的数据 矮蛋蛋 zookeeper
    原文地址： http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两
  • tomcat数据源 alafqq tomcat
    数据库 JNDI(Java Naming and Directory Interface，Java命名和目录接口)是一组在Java应用中访问命名和目录服务的API。 没有使用JNDI时我用要这样连接数据库： 03.  Class.forName("com.mysql.jdbc.Driver");  04.  conn
  • 遍历的方法 百合不是茶 遍历
                                                          遍历 在java的泛
  • linux查看硬件信息的命令 bijian1013 linux
    linux查看硬件信息的命令 一.查看CPU： cat /proc/cpuinfo   二.查看内存： free   三.查看硬盘： df   linux下查看硬件信息 1、lspci 列出所有PCI 设备； lspci - list all PCI devices:列出机器中的PCI设备（声卡、显卡、Modem、网卡、USB、主板集成设备也能
  • java常见的ClassNotFoundException bijian1013 java
    1.java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory   添加包common-logging.jar2.java.lang.ClassNotFoundException: javax.transaction.Synchronization    
  • 【Gson五】日期对象的序列化和反序列化 bit1129 反序列化
    对日期类型的数据进行序列化和反序列化时，需要考虑如下问题：   1. 序列化时，Date对象序列化的字符串日期格式如何 2. 反序列化时，把日期字符串序列化为Date对象，也需要考虑日期格式问题 3. Date A -> str -> Date B,A和B对象是否equals   默认序列化和反序列化     import com
  • 【Spark八十六】Spark Streaming之DStream vs. InputDStream bit1129 Stream
      1. DStream的类说明文档：   /** * A Discretized Stream (DStream), the basic abstraction in Spark Streaming, is a continuous * sequence of RDDs (of the same type) representing a continuous st
  • 通过nginx获取header信息 ronin47 nginx header
    1. 提取整个的Cookies内容到一个变量，然后可以在需要时引用，比如记录到日志里面， if ( $http_cookie ~* "(.*)$") {         set $all_cookie $1; }     变量$all_cookie就获得了cookie的值，可以用于运算了
  • java-65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 bylijinnan java
    参考了网上的http://blog.csdn.net/peasking_dd/article/details/6342984 写了个java版的： public class Print_1_To_NDigit { /** * Q65.输入数字n，按顺序输出从1最大的n位10进制数。比如输入3，则输出1、2、3一直到最大的3位数即999 * 1.使用字符串
  • Netty源码学习-ReplayingDecoder bylijinnan javanetty
    ReplayingDecoder是FrameDecoder的子类，不熟悉FrameDecoder的，可以先看看 http://bylijinnan.iteye.com/blog/1982618 API说，ReplayingDecoder简化了操作，比如： FrameDecoder在decode时，需要判断数据是否接收完全： public class IntegerH
  • js特殊字符过滤 cngolon js特殊字符js特殊字符过滤
    1.js中用正则表达式 过滤特殊字符, 校验所有输入域是否含有特殊符号function stripscript(s) {    var pattern = new RegExp("[`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）&mdash;—|{}【】‘；：”“'。，、？]"
  • hibernate使用sql查询 ctrain Hibernate
    import java.util.Iterator; import java.util.List; import java.util.Map; import org.hibernate.Hibernate; import org.hibernate.SQLQuery; import org.hibernate.Session; import org.hibernate.Transa
  • linux shell脚本中切换用户执行命令方法 daizj linuxshell命令切换用户
    经常在写shell脚本时，会碰到要以另外一个用户来执行相关命令，其方法简单记下：   1、执行单个命令：su - user -c "command" 如：下面命令是以test用户在/data目录下创建test123目录 [root@slave19 /data]# su - test -c "mkdir /data/test123" 
  • 好的代码里只要一个 return 语句 dcj3sjt126com return
    别再这样写了：public boolean foo() {    if (true) {         return true;     } else {          return false;    
  • Android动画效果学习 dcj3sjt126com android
    1、透明动画效果 方法一：代码实现 public View onCreateView(LayoutInflater inflater, ViewGroup container, Bundle savedInstanceState) { View rootView = inflater.inflate(R.layout.fragment_main, container, fals
  • linux复习笔记之bash shell (4)管道命令 eksliang linux管道命令汇总linux管道命令linux常用管道命令
    转载请出自出处： http://eksliang.iteye.com/blog/2105461     bash命令执行的完毕以后，通常这个命令都会有返回结果，怎么对这个返回的结果做一些操作呢？那就得用管道命令‘|’。     上面那段话，简单说了下管道命令的作用，那什么事管道命令呢？     答：非常的经典的一句话，记住了，何为管
  • Android系统中自定义按键的短按、双击、长按事件 gqdy365 android
    在项目中碰到这样的问题： 由于系统中的按键在底层做了重新定义或者新增了按键，此时需要在APP层对按键事件（keyevent）做分解处理，模拟Android系统做法，把keyevent分解成： 1、单击事件：就是普通key的单击； 2、双击事件：500ms内同一按键单击两次； 3、长按事件：同一按键长按超过1000ms（系统中长按事件为500ms）； 4、组合按键：两个以上按键同时按住；
  • asp.net获取站点根目录下子目录的名称 hvt .netC#asp.nethovertreeWeb Forms
    使用Visual Studio建立一个.aspx文件(Web Forms)，例如hovertree.aspx,在页面上加入一个ListBox代码如下： <asp:ListBox runat="server" ID="lbKeleyiFolder" />   那么在页面上显示根目录子文件夹的代码如下： string[] m_sub
  • Eclipse程序员要掌握的常用快捷键 justjavac javaeclipse快捷键ide
      判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。   曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  写道 程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可
  • c++编程随记 lx.asymmetric C++笔记
     为了字体更好看，改变了格式……   &&运算符：   #include<iostream> using namespace std; int main(){      int a=-1,b=4,k;      k=(++a<0)&&!(b--
  • linux标准IO缓冲机制研究 音频数据 linux
    一、什么是缓存I/O(Buffered I/O)缓存I/O又被称作标准I/O,大多数文件系统默认I/O操作都是缓存I/O。在Linux的缓存I/O机制中，操作系统会将I/O的数据缓存在文件系统的页缓存(page cache)中，也就是说，数据会先被拷贝到操作系统内核的缓冲区中，然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。1.缓存I/O有以下优点:A.缓存I/O使用了操作系统内核缓冲区，
  • 随想 生活 暗黑小菠萝 生活
    其实账户之前就申请了，但是决定要自己更新一些东西看也是最近。从毕业到现在已经一年了。没有进步是假的，但是有多大的进步可能只有我自己知道。   毕业的时候班里12个女生，真正最后做到软件开发的只要两个包括我，PS：我不是说测试不好。当时因为考研完全放弃找工作，考研失败，我想这只是我的借口。那个时候才想到为什么大学的时候不能好好的学习技术，增强自己的实战能力，以至于后来找工作比较费劲。我
  • 我认为POJO是一个错误的概念 windshome javaPOJO编程J2EE设计
                  这篇内容其实没有经过太多的深思熟虑，只是个人一时的感觉。从个人风格上来讲，我倾向简单质朴的设计开发理念；从方法论上，我更加倾向自顶向下的设计；从做事情的目标上来看，我追求质量优先，更愿意使用较为保守和稳妥的理念和方法。    &
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他