-无妄-
-无妄-

spark学习 - Spark体系结构和源代码解析

文章目录

  • Spark简介
    • Spark简介
    • 为何会诞生Spark？
    • Spark为何快？
    • Spark特点
    • Spark多语言支持
  • Spark体系结构和源代码解析
    • 弹性分布式数据集RDD
    • RDD 属性和特点
    • RDD.scala 解析
    • RDD Example
    • 宽依赖和窄依赖
    • 宽依赖和窄依赖
    • Stage
    • Stage执行优化
    • Spark执行流程
    • Spark执行流程
    • Yarn资源调度过程
    • Spark on Yarn
  • Spark内存模型
    • Yarn资源调度过程
    • Spark内存结构
    • Spark内存优化方案

Spark简介

spark学习 - Spark体系结构和源代码解析_第1张图片

Spark简介

  • 什么是Spark？
  • Spark是基于内存计算的通用大规模数据处理框架
  • Spark已经融入了Hadoop生态系统，可支持的作业类型和应用场景比MapReduce更为广泛，并且具备了MapReduce所有的高容错性和高伸缩性特点。
    spark学习 - Spark体系结构和源代码解析_第2张图片

为何会诞生Spark？

  • 回顾MapReduce
    • 并不是所有的问题都可以简单的分解成Map和Reduce两步模型处理
      在这里插入图片描述
  • MapReduce缺点
    • 延时高 ✗
      • Example：不适合交互式SQL分析
    • 迭代计算力不从心 ✗
      • Example：斐波那契数列
    • 流式数据处理 ✗
      • Example：统计网站PV、UV数据
  • Spark
    • 一站式解决
      • 离线批处理 ✓
      • 流式计算 ✓
      • 在线实时分析 ✓
        spark学习 - Spark体系结构和源代码解析_第3张图片

Spark为何快？

MapReduce

  • MapReduce会将中间结果输出到本地磁盘
    • 例如Shuffle时Map输出的中间结果
      spark学习 - Spark体系结构和源代码解析_第4张图片
  • 有多个MapReduce任务串联时，依赖HDFS存储中间结果的输出
    • 例如执行Hive查询
      spark学习 - Spark体系结构和源代码解析_第5张图片
  • MapReduce在处理复杂DAG时会带来大量的数据copy、序列化和磁盘I/O开销
    spark学习 - Spark体系结构和源代码解析_第6张图片

Spark

  • Spark尽可能减少中间结果写入磁盘
  • 尽可能减少不必要的Sort/Shuffle
  • 反复用到的数据进行Cache
  • 对于DAG进行高度优化
    • 划分不同的Stage
    • 使用延迟计算技术
      spark学习 - Spark体系结构和源代码解析_第7张图片

Spark特点

  • 内存计算
    • 支持复杂查询、流式计算、机器学习、图计算
  • 融入Hadoop生态圈
    • 兼容HDFS
    • 兼容Yarn
  • 核心代码由Scala编写
  • 发展速度快
    • 社区活跃
    • 最新版本2.4.0 (截止2018年2月)

Spark多语言支持

spark学习 - Spark体系结构和源代码解析_第8张图片

Spark体系结构和源代码解析

弹性分布式数据集RDD

  • Spark将数据缓存在分布式内存中
    spark学习 - Spark体系结构和源代码解析_第9张图片
  • 如何实现？RDD
    • Spark的核心
    • 分布式内存抽象
    • 提供了一个高度受限的共享内存模型
    • 逻辑上集中但是物理上是存储在集群的多台机器上

RDD 属性和特点

  • 只读
    • 通过HDFS或者其它持久化系统创建RDD
    • 通过transformation将父RDD转化得到新的RDD
    • RDD上保存着前后之间依赖关系
  • Partition
    • 基本组成单位，RDD在逻辑上按照Partition分块
    • 分布在各个节点上
    • 分片数量决定并行计算的粒度
    • RDD中保存如何计算每一个分区的函数
  • 容错
    • 失败自动重建
    • 如果发生部分分区数据丢失，可以通过依赖关系重新计算

RDD.scala 解析

RDD.scala是所有RDD的总得抽象
spark学习 - Spark体系结构和源代码解析_第10张图片

RDD Example

val lines = sc.textFile(…)
lines.filter(x => x.contains(“Error”)).count()
spark学习 - Spark体系结构和源代码解析_第11张图片

宽依赖和窄依赖

  • 窄依赖
    • 没有数据shuffling
    • 所有父RDD中的Partition均会和子RDD的Partition关系是一对一
      spark学习 - Spark体系结构和源代码解析_第12张图片

宽依赖和窄依赖

  • 宽依赖
    • 有数据shuffling
    • 所有父RDD中的Partition会被切分，根据key的不同划分到子RDD的Partition中
      spark学习 - Spark体系结构和源代码解析_第13张图片

Stage

  • 什么是Stage
    • 一个Job会被拆分为多组Task，每组Task被称为一个Stage
  • 划分依据
    • 以shuffle操作作为边界，遇到一个宽依赖就分一个stage
      spark学习 - Spark体系结构和源代码解析_第14张图片

Stage执行优化

  • 对窄依赖可以进行流水线(pipeline)优化
  • 不互相依赖的Stage可以并行执行
  • 存在依赖的Stage必须在依赖的Stage执行完之后才能执行
  • Stage并行执行程度取决于资源数
    spark学习 - Spark体系结构和源代码解析_第15张图片

Spark执行流程

  • 用户创建Spark程序并提交
  • 每个Action会生成一个Job
  • 包含了一系列RDD以及如何对其进行转换transformation
  • 对每个Job生成DAG
  • Directed Acyclic Graph
  • 对根据宽窄依赖对DAG进行划分Stage
  • 对每一个Stage生成一组Task
  • 一个Partition对应一个Task
  • Spark会以一组Task为单位进行执行计算

Spark执行流程

spark学习 - Spark体系结构和源代码解析_第16张图片

Yarn资源调度过程

spark学习 - Spark体系结构和源代码解析_第17张图片

Spark on Yarn

  • Yarn
    • ResourceManager：负责整个集群资源管理和分配
    • ApplicationMaster：Yarn中每个Application对应一个AM，负责与
      ResrouceManager协商获取资源，并告知NodeManager分配启动Container
    • NodeManager：每个节点的资源和任务管理器，负责启动Container，并监视资源使用情况
    • Container：资源抽象
  • Spark
    • Application：用户自己编写的Spark程序
    • Driver：运行Application的main函数并创建SparkContext，和ClusterManager通信申请资源，任务分配并监控运行情况
    • ClusterManager：指的是Yarn
    • DAGScheduler：对DAG图划分Stage
    • TaskScheduler：把TaskSet分配给具体的Executor
  • Spark支持三种运行模式
    • standalon, yarn-cluster, yarn-client
      spark学习 - Spark体系结构和源代码解析_第18张图片

Spark内存模型

Yarn资源调度过程

spark学习 - Spark体系结构和源代码解析_第19张图片

Spark内存结构

spark学习 - Spark体系结构和源代码解析_第20张图片
spark学习 - Spark体系结构和源代码解析_第21张图片

Spark内存优化方案

  • Executor最大任务并行度
    • TP = N/C
    • 其中N=spark.executor.cores, C=spark.task.cpus
    • 任务以Thread方式执行
    • 活跃线程可使用内存范围(1/2n, 1/n) why？
  • 出现Executor OOM错误（错误代码137，143等）
    • 原因：Executor Memory达到上限
    • 解决办法：
      • 增加每个Task内存使用量
        • 增大最大Heap值
        • 降低spark.executor.cores数量
      • 或者降低单个Task内存消耗量
        • 每个partition对应一个任务
        • 非SQL类应用 spark.default.parallism
        • SQL类应用 spark.sql.shuffle.partition

spark学习 - Spark体系结构和源代码解析_第22张图片

你可能感兴趣的:(Spark学习笔记)

  • Spark Standalone集群架构 htfenght sparkspark
    北风网spark学习笔记SparkStandalone集群架构SparkStandalone集群集群管理器，clustermanager：Master进程，工作节点：Worker进程搭建了一套Hadoop集群（HDFS+YARN）HDFS：NameNode、DataNode、SecondaryNameNodeYARN：ResourceManager、NodeManagerSpark集群（Spark
  • PySpark学习笔记5-SparkSQL 兔子宇航员0301 数据开发小白成长笔记学习笔记
    sparkSql的数据抽象有两种。一类是dataset适用于java和Scala一类是dataframe适用于java，Scala，python将rdd转换为dataframe#方式一df=spark.createDataFrame(rdd,schema=['name','age'])#方式二schema=Structtype().add('id',integertype(),nullable=F
  • pySpark学习笔记4——预处理csv数据3 小李飞刀李寻欢 NLP与推荐算法pySparkhdfsdataframecsv
    嗨，各位大佬好，我是开局一手好牌，最后打得稀烂，输掉所有的菜鸟小明哥。本文仍旧是pySpark系列继续，欢迎关注，并请持续关注。入门，开始，继续。有大佬说，很多人写博文都是开篇啥的，往往只有一两篇，后来再无更新，而我不是，专注，持续深入才是我的本色。回到征途，在spark中，有很多函数可能你并不知道或者真的没有，那么就需要自己定义个函数了，这很正常，这就是udf，即望文生义——userdefine
  • spark学习笔记：弹性分布式数据集RDD(Resilient Distributed Dataset) 黄道婆 bigdata
    弹性分布式数据集RDD1.RDD概述1.1什么是RDDRDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中，后续的查询能够重用这些数据，这极大地提升了查询速度。D
  • Spark学习笔记五：Spark资源调度和任务调度 开发者连小超
    一、StageSpark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图，DAG会提交给DAGScheduler，DAGScheduler会把DAG划分相互依赖的多个stage，划分stage的依据就是RDD之间的宽窄依赖。遇到宽依赖就划分stage,每个stage包含一个或多个task任务。然后将这些task以taskSet的形式提交给TaskScheduler运行。stage切割规则切
  • 【大数据】Spark学习笔记 pass night 学习笔记javaspark大数据sql
    初识SparkSpark和HadoopHadoopSpark起源时间20052009起源地MapReduceUniversityofCaliforniaBerkeley数据处理引擎BatchBatch编程模型MapReduceResilientdistributedDatesets内存管理DiskBasedJVMManaged延迟高中吞吐量中高优化机制手动手动APILowlevelhighleve
  • spark学习笔记（十一）——sparkStreaming-概述/特点/构架/DStream入门程序wordcount 一个人的牛牛 spark学习sparkscala大数据
    目录SparkStreamingsparkStreamingDStreamsparkStreaming特点sparkStreaming构架背压机制DStream入门SparkStreamingsparkStreamingSparkStreaming用于流式数据的处理。SparkStreaming支持的数据输入源很多：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据
  • Spark学习笔记一 孤独的偷学者 开发环境的搭建大数据spark
    文章目录1Spark架构设计与原理思想1.1Spark初始1.2Spark架构核心1.3Spark的计算阶段1.4Spark执行流程1.4Spark核心模块2Spark运行环境2.1Local模式2.2Standalone模式2.2.1上传与解压Spark压缩包2.2.2默认配置文件的修改2.2.3启动集群2.2.4配置历史服务2.2.5配置高可用（HA）1Spark架构设计与原理思想1.1Spa
  • 大数据Spark学习笔记—sparkcore Int mian[] 大数据大数据sparkhadoopscala分布式
    目录Spark概述核心模块Spark编程配置IDEA配置scala环境WordCount案例Spark-Standalone运行环境Local配置步骤集群分工解压文件修改配置启动集群配置历史服务器Spark-Yarn运行环境配置步骤配置历史服务器Windows运行环境配置步骤常用端口号Spark架构核心组件DriverExecutorMaster&WorkerApplicationMasterHa
  • 20210127_spark学习笔记 yehaver spark
    一、部分理论spark:由Scala语言开发的快速、通用、可扩展的基于内存的大数据分析引擎。在mapreduce上进行了优化，但没mapreduce稳定。SparkCore是spark平台的基础通用执行引擎，所有其他功能都是基于。它在外部存储系统中提供内存计算和引用数据集。spark最基础的最核心的功能SparkSQL是SparkCore之上的一个组件，它引入了一个称为SchemaRDD的新数据抽
  • 【Spark学习笔记】- 1Spark和Hadoop的区别 拉格朗日(Lagrange) #Spark学习笔记spark学习笔记
    目录标题Spark是什么SparkandHadoop首先从时间节点上来看:功能上来看:SparkorHadoopSpark是什么Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。SparkandHadoop在之前的学习中，Hadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里就不得不提到Spark和Hadoop的关系。首先从时间
  • Spark学习笔记【基础概念】 java路飞 大数据Sparkspark大数据java
    文章目录前言Spark基础Spark是什么spark和hadoop区别Spark核心模块Spark运行模式Spark运行架构运行架构Executor与Core（核）并行度（Parallelism）有向无环图（DAG）spark的提交方式clientclusterSpark核心编程三大数据结构RDD什么是RDD执行原理RDDAPIRDD创建RDD转换算子Action行动算子统计操作RDD序列化RDD
  • Spark学习笔记(3)——Spark运行架构 程光CS #Spark学习笔记
    本系列文章内容全部来自尚硅谷教学视频，仅作为个人的学习笔记一、运行架构Spark框架的核心是一个计算引擎，整体来说，它采用了标准master-slave的结构。如下图所示，它展示了一个Spark执行时的基本结构。图形中的Driver表示master，负责管理整个集群中的作业任务调度。图形中的Executor则是slave，负责实际执行任务。二、核心组件由上图可以看出，对于Spark框架有两个核心组
  • 【Spark学习笔记】- 4运行架构&核心组件&核心概念 拉格朗日(Lagrange) #Spark学习笔记spark学习笔记
    目录标题1运行架构2核心组件2.1Driver2.2Executor2.3Master&Worker2.4ApplicationMaster3核心概念3.1Executor与Core3.2并行度(Parallelism)3.3有向无环图(DAG)4提交流程4.1YarnClient模式4.2YarnCluster模式5分布式计算模拟5.1Driver5.2Executor5.3Executor25
  • Spark学习笔记01-基础 GreenWang
    本文基于Spark2.4.1进行演示，相关代码可以在我的Github上看到。简介Spark是一个分布式集群计算系统，类似Hadoop提供了强大的分布式计算能力，相比过去的批量处理系统，提供了处理更大规模数据的能力。Spark提供了Java、Python、Scala、R接口。除常见的MapReduce运算外，还支持图、机器学习、SparkSQL等计算方式。特性高效Speed，因为很多数据都在内存中，
  • spark学习笔记 大数据男 hadoop实战sparkscalabigdata
    文章目录1，spark架构2，spark部署模式3，spark单机模式4，standalone模式5，sparkonyarn6，idea写代码直接提交yarn7,RDD缓存持久化8，spark从mysql读写数据9，spark宽依赖、窄依赖、DAG、JOB、STAGE、Pipeline、taskset10，action和transformation11，RDD12，内存计算指的是上面13，DAG以
  • Spark学习笔记(三)：使用Java调用Spark集群 bluesnail95 Reduce)spark
    我搭建的Spark集群的版本是2.4.4。在网上找的maven依赖，链接忘记保存了。。。。UTF-81.81.82.6.0-cdh5.14.21.1.0-cdh5.14.21.2.0-cdh5.14.22.11.82.4.4clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/org.scala-langscala-l
  • 2020-03-17 陆寒晨
    spark学习笔记centos安装OracleVirtualBox:$sudoyuminstallkernel-develkernel-headersmakepatchgcc$sudowgethttps://download.virtualbox.org/virtualbox/rpm/el/virtualbox.repo-P/etc/yum.repos.d#安装virtualBox$sudoyum
  • spark学习笔记（六）——sparkcore核心编程-RDD行动算子 一个人的牛牛 sparkspark学习大数据
    行动算子-触发作业的执行（runjob）创建activeJob，提交并执行目录（1）reduce（2）collect（3）count（4）first（5）take（6）takeOrdered（7）aggregate（8）fold（9）countByKey（10）save相关算子（11）foreachRDD转换：对RDD功能的补充和封装，将旧的RDD包装成为新的RDD；RDD行动：触发任务的调度和作
  • Spark学习笔记11:RDD算子 balabalalibala Sparkspark学习bigdatascala
    目录一、RDD算子二、准备工作（一）准备文件1、准备本地系统文件2、准备HDFS系统文件（二）启动SparkShell1、启动HDFS服务2、启动Spark服务3、启动SparkShell三、转化算子（一）映射算子-map()1、映射算子功能2、映射算子案例A、将rdd1每个元素翻倍得到rdd2B、将rdd1每个元素平方得到rdd21、采用普通函数作为参数传给map()算子2、用下划线表达式作为参
  • pyspark学习笔记——RDD 千层肚 学习大数据spark
    目录1.程序执行入口SparkContext对象2.RDD的创建2.1通过并行化集合创建（本地对象转分布式RDD）2.2读取外部数据源（读取文件）2.2.1使用textFileAPI2.2.2wholeTextFileAPI2.3RDD算子2.4常用Transformation算子2.4.1map算子2.4.2flatMap算子2.4.3reduceByKey算子2.4.4mapValues算子2
  • Spark学习笔记(1)RDD 灯火gg
    RDDRDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD内部结构.pngRDD5大特型Alistof
  • Spark学习笔记（一）：Spark 基本原理 leo825... 大数据学习spark学习笔记
    文章目录1、Spark整体架构1.1、Spark集群角色1.1.1、ClusterManager1.1.2、WorkerNode1.1.3、Executor1.1.4、Application1.1.5、Driver1.1.6、Executor2、Spark运行基本流程2.1、RDD2.2、DAG2.3、DAGScheduler2.4、TaskScheduler2.5、Job2.6、Stage2.7
  • Spark学习笔记——龟速更新。。 5akura 个人学习笔记boxhadoopsparkscalajava
    文章目录Spark学习笔记第一章、基本认识与快速上手1.1、认识Spark1.2、对比Hadoop1.3、Spark组成基本介绍1.4、快速上手之WorldCount实现1.4.1、方式一（Scala类似集合操作实现）1.4.2、方式二(MR思维实现)1.4.3、方式三(Spark实现)第二章、环境搭建2.1、Local模式2.1.1、SparkShell命令行执行2.1.2、spark-subl
  • spark rdd java_Spark学习笔记之Spark中的RDD的具体使用 Minitab Users Group sparkrddjava
    1.Spark中的RDDResilientDistributedDatasets(弹性分布式数据集)Spark中的最基本的抽象有了RDD的存在我们就可以像操作本地集合一样操作分布式的数据包含所有元素的分区的集合RDD包含了很多的分区2.RDD中的弹性RDD中的数据是可大可小的RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘RDD有自动容错功能,当其中
  • 大数据系列——Spark学习笔记之Spark中的RDD EVAO 大数据
    1.Spark中的RDDResilientDistributedDatasets(弹性分布式数据集)Spark中的最基本的抽象有了RDD的存在我们就可以像操作本地集合一样操作分布式的数据包含所有元素的分区的集合RDD包含了很多的分区2.RDD中的弹性RDD中的数据是可大可小的RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘RDD有自动容错功能,当其中
  • spark运行原理 潮生明月 sparkspark
    1、YARN架构设计详解2、SparkonYarn的运行原理3、详细探究Spark的shuffle实现4、Spark基本工作流程及YARNcluster模式原理5、Spark学习笔记1：Application，Driver，Job，Task，Stage理解6、Spark学习之路（三）Spark之RDD7、SparkCore_资源调度与任务调度详述
  • Spark学习笔记[3]-Spark安装部署 kinglinch 大数据sparkbigdata
    Spark学习笔记[3]-Spark安装部署1、下载对应版本的spark  官网我始终都下不下来，推荐一个国内的镜像：https://mirrors.tuna.tsinghua.edu.cn/apache/spark2、概述2-1安装模式  虽然Spark是一个分布式计算框架，但是其不属于HadoopProject，它有自己的资源层管理和文件系统，可以不依赖Hadoop的HDFS和Yarn，所以安
  • Spark学习笔记 zhglance
    1.Spark简述Spark通过内存计算能力，急剧的提高大数据处理速度。解决了Hadoop只适合于离线的高吞吐量、批量处理的业务场景的弊端，提出了实时计算的解决方法。1.1Spark特点a.快速处理能力：Hadoop的MapReduce中间数据采用磁盘存储，而Spark优先使用内存避免大量的磁盘IO，极大的提高了计算速度；b.支持性强：Spark支持Java、Scala、Python等；c.可查询
  • SPark学习笔记：08-SParkSQL的DataFrame和DataSet操作 wangzhongyudie 大数据Sparkspark学习大数据
    文章目录概述DataFrame的常用API操作添加maven依赖创建SparkSessionDataFrame的创建DataFrame的DSL操作DataFrame的SQL操作DataSet的常用操作DataSet的创建DataSet与DataFrame、RDD之间的关系和互转概述在Spark中DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库的二维表格。和python的Pan
  • Nginx负载均衡 510888780 nginx应用服务器
    Nginx负载均衡一些基础知识: nginx 的 upstream目前支持 4 种方式的分配 1)、轮询（默认）       每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。 2)、weight       指定轮询几率，weight和访问比率成正比
  • RedHat 6.4 安装 rabbitmq bylijinnan erlangrabbitmqredhat
    在 linux 下安装软件就是折腾，首先是测试机不能上外网要找运维开通，开通后发现测试机的 yum 不能使用于是又要配置 yum 源，最后安装 rabbitmq 时也尝试了两种方法最后才安装成功 机器版本： [root@redhat1 rabbitmq]# lsb_release LSB Version: :base-4.0-amd64:base-4.0-noarch:core
  • FilenameUtils工具类 eksliang FilenameUtilscommon-io
    转载请出自出处：http://eksliang.iteye.com/blog/2217081 一、概述 这是一个Java操作文件的常用库，是Apache对java的IO包的封装，这里面有两个非常核心的类FilenameUtils跟FileUtils，其中FilenameUtils是对文件名操作的封装;FileUtils是文件封装，开发中对文件的操作，几乎都可以在这个框架里面找到。 非常的好用。
  • xml文件解析SAX 不懂事的小屁孩 xml
    xml文件解析:xml文件解析有四种方式， 1.DOM生成和解析XML文档(SAX是基于事件流的解析) 2.SAX生成和解析XML文档(基于XML文档树结构的解析) 3.DOM4J生成和解析XML文档 4.JDOM生成和解析XML 本文章用第一种方法进行解析，使用android常用的DefaultHandler import org.xml.sax.Attributes;
  • 通过定时任务执行mysql的定期删除和新建分区，此处是按日分区 酷的飞上天空 mysql
    使用python脚本作为命令脚本，linux的定时任务来每天定时执行 #!/usr/bin/python # -*- coding: utf8 -*- import pymysql import datetime import calendar #要分区的表 table_name = 'my_table' #连接数据库的信息 host,user,passwd,db =
  • 如何搭建数据湖架构？听听专家的意见 蓝儿唯美 架构
    Edo Interactive在几年前遇到一个大问题：公司使用交易数据来帮助零售商和餐馆进行个性化促销，但其数据仓库没有足够时间去处理所有的信用卡和借记卡交易数据  “我们要花费27小时来处理每日的数据量，”Edo主管基础设施和信息系统的高级副总裁Tim Garnto说道：“所以在2013年，我们放弃了现有的基于PostgreSQL的关系型数据库系统，使用了Hadoop集群作为公司的数
  • spring学习——控制反转与依赖注入 a-john spring
           控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。 控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。  
  • 用spool+unixshell生成文本文件的方法 aijuans xshell
    例如我们把scott.dept表生成文本文件的语句写成dept.sql,内容如下: 　　set pages 50000; 　　set lines 200; 　　set trims on; 　　set heading off; 　　spool /oracle_backup/log/test/dept.lst; 　　select deptno||','||dname||','||loc
  • 1、基础--名词解析(OOA/OOD/OOP) asia007 学习基础知识
    OOA:Object-Oriented Analysis（面向对象分析方法） 是在一个系统的开发过程中进行了系统业务调查以后，按照面向对象的思想来分析问题。OOA与结构化分析有较大的区别。OOA所强调的是在系统调查资料的基础上，针对OO方法所需要的素材进行的归类分析和整理，而不是对管理业务现状和方法的分析。 　　OOA（面向对象的分析）模型由5个层次（主题层、对象类层、结构层、属性层和服务层）
  • 浅谈java转成json编码格式技术 百合不是茶 json编码java转成json编码
    json编码;是一个轻量级的数据存储和传输的语言       在java中需要引入json相关的包,引包方式在工程的lib下就可以了   JSON与JAVA数据的转换（JSON 即 JavaScript Object Natation，它是一种轻量级的数据交换格式，非   常适合于服务器与 JavaScript 之间的数据的交
  • web.xml之Spring配置(基于Spring+Struts+Ibatis) bijian1013 javaweb.xmlSSIspring配置
    指定Spring配置文件位置 <context-param> <param-name>contextConfigLocation</param-name> <param-value> /WEB-INF/spring-dao-bean.xml,/WEB-INF/spring-resources.xml, /WEB-INF/
  • Installing SonarQube（Fail to download libraries from server） sunjing InstallSonar
    1.  Download and unzip the SonarQube distribution 2.  Starting the Web Server The default port is "9000" and the context path is "/". These values can be changed in &l
  • 【MongoDB学习笔记十一】Mongo副本集基本的增删查 bit1129 mongodb
    一、创建复本集   假设mongod,mongo已经配置在系统路径变量上，启动三个命令行窗口，分别执行如下命令：   mongod --port 27017 --dbpath data1 --replSet rs0 mongod --port 27018 --dbpath data2 --replSet rs0 mongod --port 27019 -
  • Anychart图表系列二之执行Flash和HTML5渲染 白糖_ Flash
    今天介绍Anychart的Flash和HTML5渲染功能   HTML5 Anychart从6.0第一个版本起，已经逐渐开始支持各种图的HTML5渲染效果了，也就是说即使你没有安装Flash插件，只要浏览器支持HTML5，也能看到Anychart的图形（不过这些是需要做一些配置的）。 这里要提醒下大家，Anychart6.0版本对HTML5的支持还不算很成熟，目前还处于
  • Laravel版本更新异常4.2.8-> 4.2.9 Declaration of ... CompilerEngine ... should be compa bozch laravel
    昨天在为了把laravel升级到最新的版本，突然之间就出现了如下错误： ErrorException thrown with message "Declaration of Illuminate\View\Engines\CompilerEngine::handleViewException() should be compatible with Illuminate\View\Eng
  • 编程之美-NIM游戏分析-石头总数为奇数时如何保证先动手者必胜 bylijinnan 编程之美
    import java.util.Arrays; import java.util.Random; public class Nim { /**编程之美 NIM游戏分析 问题： 有N块石头和两个玩家A和B，玩家A先将石头随机分成若干堆，然后按照BABA...的顺序不断轮流取石头， 能将剩下的石头一次取光的玩家获胜，每次取石头时，每个玩家只能从若干堆石头中任选一堆，
  • lunce创建索引及简单查询 chengxuyuancsdn 查询创建索引lunce
    import java.io.File; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Docume
  • [IT与投资]坚持独立自主的研究核心技术 comsci it
           和别人合作开发某项产品....如果互相之间的技术水平不同,那么这种合作很难进行,一般都会成为强者控制弱者的方法和手段.....        所以弱者,在遇到技术难题的时候,最好不要一开始就去寻求强者的帮助,因为在我们这颗星球上,生物都有一种控制其
  • flashback transaction闪回事务查询 daizj oraclesql闪回事务
       闪回事务查询有别于闪回查询的特点有以下3个： （1）其正常工作不但需要利用撤销数据，还需要事先启用最小补充日志。 （2）返回的结果不是以前的“旧”数据，而是能够将当前数据修改为以前的样子的撤销SQL（Undo SQL）语句。 （3）集中地在名为flashback_transaction_query表上查询，而不是在各个表上通过“as of”或“vers
  • Java I/O之FilenameFilter类列举出指定路径下某个扩展名的文件 游其是你 FilenameFilter
    这是一个FilenameFilter类用法的例子，实现的列举出“c:\\folder“路径下所有以“.jpg”扩展名的文件。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
  • C语言学习五函数，函数的前置声明以及如何在软件开发中合理的设计函数来解决实际问题 dcj3sjt126com c
    # include <stdio.h> int f(void) //括号中的void表示该函数不能接受数据，int表示返回的类型为int类型 { return 10; //向主调函数返回10 } void g(void) //函数名前面的void表示该函数没有返回值 { //return 10; //error 与第8行行首的void相矛盾 } in
  • 今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Pl dcj3sjt126com centos
    今天在测试环境使用yum安装，遇到一个问题： Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again   处理很简单，修改文件“/etc/yum.repos.d/epel.repo”， 将baseurl的注释取消， mirrorlist注释掉。即可。 &n
  • 单例模式 shuizhaosi888 单例模式
    单例模式      懒汉式 public class RunMain { /** * 私有构造 */ private RunMain() { } /** * 内部类，用于占位，只有 */ private static class SingletonRunMain { priv
  • Spring Security（09）——Filter 234390216 Spring Security
    Filter 目录 1.1     Filter顺序 1.2     添加Filter到FilterChain 1.3     DelegatingFilterProxy 1.4     FilterChainProxy 1.5
  • 公司项目NODEJS实践0.1 逐行分析JS源代码 mongodbnginxubuntunodejs
      一、前言         前端如何独立用nodeJs实现一个简单的注册、登录功能，是不是只用nodejs+sql就可以了？其实是可以实现，但离实际应用还有距离，那要怎么做才是实际可用的。         网上有很多nod
  • java.lang.Math liuhaibo_ljf javaMathlang
    System.out.println(Math.PI); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1.2)); System.out.println(Math.abs(1)); System.out.println(Math.abs(111111111)); System.out.println(Mat
  • linux下时间同步 nonobaba ntp
    今天在linux下做hbase集群的时候，发现hmaster启动成功了，但是用hbase命令进入shell的时候报了一个错误  PleaseHoldException: Master is initializing，查看了日志，大致意思是说master和slave时间不同步，没办法，只好找一种手动同步一下，后来发现一共部署了10来台机器，手动同步偏差又比较大，所以还是从网上找现成的解决方
  • ZooKeeper3.4.6的集群部署 roadrunners zookeeper集群部署
    ZooKeeper是Apache的一个开源项目，在分布式服务中应用比较广泛。它主要用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步、集群管理、配置文件管理、同步锁、队列等。这里主要讲集群中ZooKeeper的部署。   1、准备工作 我们准备3台机器做ZooKeeper集群，分别在3台机器上创建ZooKeeper需要的目录。   数据存储目录
  • Java高效读取大文件 tomcat_oracle java
    　　读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： 　　Files.readLines(new File(path), Charsets.UTF_8); 　　FileUtils.readLines(new File(path)); 　　这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大时很快就会导致
  • 微信支付api返回的xml转换为Map的方法 xu3508620 xmlmap微信api
    举例如下： <xml>    <return_code><![CDATA[SUCCESS]]></return_code>    <return_msg><![CDATA[OK]]></return_msg>    <appid><
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他