ZFH__ZJ
ZFH__ZJ

30、Spark内核源码深度剖析之Spark内核架构深度剖析

Spark内核架构深度剖析.png

就上面这幅图，详细解释一下
自己编写的Application，就是我们自己写的程序，拷贝到用来提交spark应用的机器，使用spark-submit提交这个Application，提交之后，spark-submit在Standalone模式下，会通过反射的方式，创建和构造一个DriverActor进程。
启动DriverActor进程后，开始执行Application应用程序，也就是我们自己编写的代码，第一件事就是构造SparkContext，这时，会初始化DAGScheduler和TaskScheduler
构造完TaskScheduler后，TaskScheduler实际上，是会负责，通过一个后台进程，去连接Master，向Master注册Application
Master接收到Application注册的请求之后，会使用自己的资源调度算法，在Spark集群的Wroker上，为这个Application启动多个Executor
Master通知Wroker启动Executor
Executor启动之后，会自动反向注册到TaskScheduler上去
所有Executor都反向注册到Driver上之后，Driver结束SparkContext初始化，会继续执行我们自己编写的代码
每执行到一个Action，就会创造一个job
job会提交给DAGScheduler
DAGScheduler会将多个job划分为多个stage（stage划分算法），然后每个stage创建一个TaskSet
TaskSet会给TaskScheduler
TaskScheduler会把TaskSet里每一个task提交到Executor上执行（task分配算法）
Task有两种，ShuffleMapTask和ResultTask，只有最后一个stage是ResultTask，之前的stage，都是ShuffleMapTask
Executor每接收到一个task，都会用TaskRunner来封装task，然后从线程池里取出一个线程，执行这个task
TaskRunner，将我们编写的代码，也就是要执行的算子以及函数，拷贝，反序列化，然后执行task
所以，最后整个Spark应用程序的执行，就是stage分批次作为taskset提交到Executor执行，每个task针对RDD的一个partition，执行我们定义的算子和函数，依次类推，直到所有操作完为止

你可能感兴趣的:(30、Spark内核源码深度剖析之Spark内核架构深度剖析)

  • 看图作诗系列 | 藏头诗《道途》 紫衣女子
    耶殊陀尼诗社供图这一袭尘外袈裟，就这么零落在俗世繁华，在心口长芽多生多世也参不透玄奥，走不出寂崖年轮如风似沙你是倒悬心空的情劫阀一颗情种，万世风华直落碧泉把九天描画在大漠飞歌，在云海凝华我始终走不出你，灵海的光华心泉汩汩凝血净口笔含剑养道心幽浮岁月清冷孤寂，禅波流过尘间万劫居一时上、一时下，中难序我是你雄撼苍茫时的本源之根，是你放下周虚万界时的悟水禅心下载初荷厚云泥，上承天意涤尘心过了佛心过了魔意
  • 智慧城市的定义是什么？ 安科瑞武陈燕 智慧城市人工智能
    智慧城市：就是运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应。其实质是利用**的信息技术，实现城市智慧式管理和运行，进而为城市中的人创造更美好的生活，促进城市的和谐、可持续成长。智慧城市体系架构自上而下分为：感知层、通讯层、数据层、应用层。智慧城市建设需要打造一个统一平台，设立城市数据*，构建三张
  • 稻盛和夫《心》之嘱托，日日修心，心命瞬变 释心_98a3
    建立根本的做人做事的深入本体观-宇宙观。即是：利他。当稻盛先生将利他的宇宙观，建立在人生观之上时，就能够真正成为不可动摇的信念乃至信仰，就能产生超越一切现实困难和障碍，走向与宇宙的利他本质相“合一”的意志。很像中国古人所说的“天人合一”的无我之境。正是如此，若选择改运的方式先从改心做起，选择驾驭自己的心灵，在利他哲学的宇宙观层面透彻思考并付诸行动之时，人生不仅仅是无往不利。也会因此进入正向循环，并
  • MySQL：送分or送命 varchar(30) 与 int(10) flying jiang 数据库mysql数据库
    摘要：VARCHAR(30)和INT(10)在MySQL中代表两种不同类型的字段，它们之间的主要区别在于它们存储的数据类型、存储方式以及显示宽度的含义。正文：INT(10)在MySQL中，当你看到INT(10)这样的数据类型定义时，可能会有些混淆，因为它并不完全按字面意思那样工作。这里的INT是一个整数类型，它用于存储整数值。而括号内的数字（在这个例子中是10）并不限制存储的整数的值范围或精度，而
  • 理发记 清水离子
    前阵子，小区新开了一家美发店，到处发体验卡做宣传，30元一张卡，可以洗剪吹三次，或烫染头发抵现300元。于是我也随大流买了一张卡。后来嫂子带着小侄子去理了一次发，说是还不错，“理发师蛮细致，一个小男孩平头，足足剪了一个多小时”，还没等我发表说辞，老哥就在一旁补充:“剪得是还可以咯，这不你嫂子还被忽悠得办了张贵宾卡呢”，嫂子冲他翻了个白眼。昨日，心血来潮也想着要打理下自己这半年多未曾修剪的发，顺便试
  • 传习录四 十三少的梦
    卷下·门人陈九川录〔1〕正德乙亥，九川初见先生于龙江。先生与甘泉先生论“格物”之说。甘泉持旧说。先生日；“是求之于外了，”甘泉曰：“若以格物理为外，是自小其心也。”九川甚喜旧说之是。先生又论“尽心”一章，九川一闻却遂无疑。后家居，复以“格物”遗质。先生答云：“但能实地用功，久当自释。”山间乃自录《大学》旧本读之，觉朱子“格物”之说非是：然亦疑先生以意之所在为物，物字未明。巳卯归自京师，再见先生于洪
  • 安科瑞无线物联网智能电表ADW300指导性技术要求-Susie 周 Acrel18701808662 物联网
    1、参考标准1）GB/T17215.321-2008交流电测量设备特殊要求第21部分：静止式有功电能表（1级和2级）；2）GB/T17215.322-2008交流电测量设备特殊要求第22部分：静止式有功电能表（0.2S级和0.5S级）；3）GB/T17215.323-2008交流电测量设备特殊要求第23部分：静止式无功电能表（2级和3级）；4）GB/T17215.211-2006交流电测量设备通用
  • 在家轻轻松松就能赚钱？18个投稿平台，让你成为发布大咖！ 声优配音圈
    描述：你是不是一直梦想着拥有自己的头条号，成为资讯发布的大咖？现在，我将为你揭晓18个热门投稿平台，让你实现这个梦想！无论你是新手还是老手，在这些平台上都能找到属于自己的发声机会。赶快来看看吧，扬起你的文字之翼，书写精彩的资讯吧！✍️兼职副业推荐公众号，配音新手圈，声优配音圈，新配音兼职圈，配音就业圈，鼎音副业，有声新手圈，每天更新各种远程工作与在线兼职，职位包括：写手、程序开发、剪辑、设计、翻译
  • 人散后，一钩淡月天如水 赵大齐了
    天下之看灯者，看灯灯外；看烟火者，看烟火烟火外。未有身入灯中、光中、影中、烟中、火中，闪烁变幻，不知其为王宫内之烟火，亦不知其为烟火内之王宫也。——张岱月光倒囊入水，江涛吞吐，露气吸之，噀天为白。林下漏月光，疏疏如残雪。——张岱人散后，一钩淡月天如水。——谢逸
  • HBase体系架构与环境搭建 无奈ieq HBasehbase架构数据库
    这里写目录标题一、常见的NoSQL数据库二、HBase的体系架构和表结构三、搭建HBasa环境1.本地模式2.伪分布模式全分布模式HA模式一、常见的NoSQL数据库NoSQL数据库的说明与定义NoSQL是一种不同于关系数据库的数据库管理系统设计方式，是对非关系型数据库的统称。它不依赖于业务逻辑来存储有关联的数据，而是以键值对、列族、文档、图形等非关系模型的形式进行数据存储。分类NoSQL数据库通常
  • Linux驱动开发之Input子系统 陈子陌 Input子系统linux
    一、引言在Linux驱动开发的学习过程中，Input子系统绝对是你绕不开的一道关卡。在Linux系统中，不论是按键、鼠标、键盘，亦或者是触摸屏，统统都使用Input子系统来处理输入事件。二、Input子系统1、Input子系统概述Input就是输入的意思，因此Input子系统就是管理输入的系统，和Pinctrl、Gpio子系统一样，都是Linux内核针对某一类设备而创建的框架。不同的输入设备在In
  • 2020-12-30 红星帮
    【主题】威力弓箭【知识点】弓箭的结构；利用橡皮筋弹力发射箭；互锁固定和两点固定。【课堂反馈】课程一开始老师提问孩子上节课的内容，孩子脱口而出“伸缩夹子”。又从孩子能记得老师的名字来看，孩子都记忆力是非常好的。老师首先给孩子示范了一个小小的弓箭，孩子自己说出橡皮筋有弹力。然后老师给孩子画了一个弓箭的完整结构。让孩子搭一个完整的，大大的弓箭。搭建过程中认识了孔梁，并学习了两点固定方法。最后再发射经过反
  • 【原创】 | 短篇 | 缘嫉 溟沢
    （一）要说最负盛名的教派，该是云山之巅的久云阁。但相传，数十年前，久云阁有史以来最有天赋的大弟子正言突然带人叛离，盘踞在云山西侧，烧杀抢掠无恶不作，尤其对久云阁弟子遇见就杀，宁肯杀错不肯放过。久云阁忍无可忍，终于下了战帖。叛众接帖倒是接得颇有大家风范。实际上久云阁这战帖下的多少有些仓促。恰逢阁中长老集体闭关，最强的无量长老闭得还是生死关。当代阁主和叛离大弟子同为四代弟子，虽然已是目前最强者，但天赋
  • 驱动开发之 input 子系统 @seven@ 驱动开发linux
    1.input子系统介绍input就是输入的意思，input子系统就是管理输入的子系统，和pinctrl、gpio子系统一样，都是Linux内核针对某一类设备而创建的框架。比如按键输入、键盘、鼠标、触摸屏等等这些都属于输入设备，不同的输入设备所代表的含义不同，按键和键盘就是代表按键信息，鼠标和触摸屏代表坐标信息，因此在应用层的处理就不同，对于驱动编写者而言不需要去关心应用层的事情，驱动层只需要按照
  • 网安面试过程中的近源攻击 mingzhi61 php安全web安全职场和发展
    吉祥知识星球http://mp.weixin.qq.com/s?__biz=MzkwNjY1Mzc0Nw==&mid=2247485367&idx=1&sn=837891059c360ad60db7e9ac980a3321&chksm=c0e47eebf793f7fdb8fcd7eed8ce29160cf79ba303b59858ba3a6660c6dac536774afb2a6330#rd《网安
  • 网安面试设备篇幅：安全准入 mingzhi61 安全网络职场和发展
    吉祥知识星球http://mp.weixin.qq.com/s?__biz=MzkwNjY1Mzc0Nw==&mid=2247485367&idx=1&sn=837891059c360ad60db7e9ac980a3321&chksm=c0e47eebf793f7fdb8fcd7eed8ce29160cf79ba303b59858ba3a6660c6dac536774afb2a6330#rd《网安
  • 传奇手游下载排行榜第一名-2023传奇手游下载最新版本 会飞滴鱼儿
    如果你玩手机游戏，请仔细阅读我的文章，因为它会改变你对手机游戏的看法。本人2016年加入一家游戏公司，2018年9月成为公司手游部门主管。说到内部号，想必大家都遇到过。今天给大家讲讲手游内部号的内幕。玩手游的时候大家经常看到一个土豪一天往手游里充值几百几千甚至几万。他们真的这么有钱吗？其实这些人大部分都是玩的内部号（也就是托号），内部号进服一般就能享受300-500充值扶持，也有一些是v7-v10
  • Linux 学习笔记：input 子系统 gdut_llkkyy Linux读书笔记linux学习运维linux驱动input子系统
    一、概述input子系统是管理输入的子系统，和pinctrl、gpio子系统一样，都是Linux内核针对某一类设备而创建的框架。input子系统分为input驱动层、input核心层、input事件处理层，最终给用户空间提供可访问的设备节点。二、使用input子系统编写设备驱动的流程2.1驱动入口2.1.1申请input_devstructinput_dev*input_allocate_devi
  • 免费部署Flux.1模型，搭载ComfyUI配置与评测 fysuccess 其他文档最新AI绘画FLUX.1comfyUI免费部署
    免费部署Flux.1模型启智社区可提供一些免费的计算资源或竞赛平台，供研究人员和开发者使用。每天签到最少可获得5小时免费GPU时长，如果每一次机器运行时长不超过30分钟，就不计算时长。这也就意味着，我们可以在30分钟前提前关闭机器，然后再重新开启，只要每一次运行不超过30分钟，就可以达到无限白嫖，而且重新开启机器是没有任何门槛的。首先注册启智社区注册地址：https://openi.pcl.ac.
  • Java高并发秒杀 小螺丝钉cici
    高并发下的事务秒杀业务场景具有典型的“事务”特性秒杀红包类需求常见Demo:https://github.com/sunzeying/seckill视频来源：https://www.imooc.com/video/11830image.pngimage.png秒杀事务相关：（减库存，记录购买明细）->事务处理->数据落地MySQL实现秒杀难点分析：难点问题：竞争（多个用户同时秒杀这个商品。就产生了
  • 大疆轶事之一万事开头难 崇拜范蠡
    大疆轶事之——万事开头难大疆稀里糊涂在我的鼓捣下，终于飞上蓝天；一个根本的问题在无疑“辩驳”证实着：习惯的改变是多么艰难。不知从什么时间开始，不论什么商品，大到房屋、汽车、摩托车，小到电动滑板、电脑手机、家电、旅行自行车、轮滑，我很反感繁琐小到费劲的商品说明书，以至于发展到从来不看的程度，好在每每遇到新商品入手，总会侥幸过关；此次大疆入手，却一反常态的矜持起来，原因并非因它价值不菲，当然也不是向往
  • Linux驱动学习之input子系统 吾有三德 Linux驱动学习学习
    简介input子系统就是管理输入的子系统，和pinctrl、gpio子系统一样，都是Linux内核针对某一类设备而创建的框架。按键、鼠标、键盘、触摸屏等都属于输入设备，linux内核为此专门做了一个叫做input子系统的框架来处理输入事件。输入设备本质上还是字符设备，只是在此基础上套上了input框架，用户只需要负责上报输入事件，比如按键值、坐标等信息。对于驱动编写者而言不需要去关心应用层的事情，
  • 十五人团圆志愿防疫守安宁 天道酬勤_80a4
    华南区：李树申报道正月十五是举家团圆的日子，志愿者为做好防疫防控舍小家为大家依然坚守岗位。2022年2月15日，广西防城港东望志愿者服务团队共30多人，应防城港市团委、市场监督管理局的邀请，去桃花湾做疫苗接种、金海市场、采珠市场、紫金城市场做疫情防控志愿服务活动。十五自古以来就有十五月圆人团圆的说法，尤其是当疫情来袭之时，一家人能够相聚在一起的时刻，是那么的宝贵。为了一方百姓的幸福，不受疫情感染，
  • 娜娜感恩日记｜Day302 Na娜娜子
    感恩思思晚上花了好久时间帮我疏通经络以及放松上身筋膜，简直太舒服啦感恩湘和湘她老公以及思帮我把更衣室的柜子挪到了另一间房，楼上有房间用作工具房啦感恩湘中午让女儿特意送了一大盒各种海鲜拼盘感恩大余老师给我答疑解惑，了解身体问题且对症处理感恩今日付费了一个中医家庭医生调理的课程，一是觉得年纪大了要养生，二是身边人也需要，希望可以用所学帮助更多人健康美丽生活感恩今日睡了一个舒服的回笼觉感恩菜鸟驿站小哥哥
  • 七夕，和小牛郎一起快乐 若兮远兮
    去年七夕，是阳历的八月十七日。这一天，是远兮出生之日。时间过得真快，不知不觉中，小远兮已度过了他生命当中的第一个春夏秋冬，迎来了第二个七夕。想想去年的七夕，妻前一天还在上班。因为早就知道要剖腹产，所以和妻七夕这一天，整理好娃出生的一切必备之物，提拎着大包小包到市妇幼保健院，准备第二天迎接小生命的诞生。没成想，医生检查完后，说必须当天剖腹生，要不然就要等到下周一去了。一阵紧张，慌忙给父母亲、岳父母打
  • 京东可以用哪些软件返利?二个返利软件推荐 氧券超好用
    京东可以用哪些软件返利?二大返利软件推荐京东返利app哪个最好？这个京东返利APP就是：氧券APP，氧券APP是一款大家公认最高的京东返利APP，大家都知道主流的电商平台在微信上都是有APP的，比如京东、拼多多、唯品会，但是由于竞争关系，京东目前在微信上还是没有小程序的，但是未来可能会上。因为最近微信官方跟很多电商平台大佬一起开会，不知道大家有没有发现，现在京东的链接在微信上是可以打开的了，不像之
  • 六大CPU体系结构：X86、 ARM、MIPS、PowerPC、Sparc、Alfa发展 Sophonist
    服务器市场早已不是单一产品的竞争，而是整个生态的竞争。ARM架构在生态系统上的缺失，成为其屡次失败的重要原因，这一点在短期内也是很难弥补的。参考：http://m.elecfans.com/article/678121.html全世界99%的智能手机和平板电脑都采用ARM架构ARM处理器的市场份额超过90%ARM的商业模式是开放的，任何厂商都可以购买授权，所以未来并不是Intelvs.ARM，而是
  • 云原生应用(7)之Docker容器数据持久化存储机制 技术路上的苦行僧 云原生应用与架构设计云原生docker容器docker容器数据持久化
    一、Docker容器数据持久化存储介绍物理机或虚拟机数据持久化存储由于物理机或虚拟机本身就拥有大容量的磁盘，所以可以直接把数据存储在物理机或虚拟机本地文件系统中，亦或者也可以通过使用额外的存储系统（NFS、GlusterFS、Ceph等）来完成数据持久化存储。Docker容器数据持久化存储由于Docker容器是由容器镜像生成的，所以一般容器镜像中包含什么文件或目录，在容器启动后，我们依旧可以看到相
  • 6月3日一日七时觉 - 草稿 693ea651ac78
    第一觉晨起5：30早了，再睡一会儿。第二觉静心准时开始，听到喜马拉雅上的声音，进入自己的世界，没有任何感觉，也没有任何声音，眨眼间时间就到了。第三觉早餐大V特别开心和我说，妈妈，我好开心啊，我昨天突然间看到我五年级发的视频，是任何时候都要感恩父母为你做的一切，尽管她们有时很烦，听到这里一行热泪流了下来，她的笑容温暖了我的心…第四觉听小V拉琴，闭上眼睛，手微微放在腿上，感觉到声音的能量充盈着掌心第五
  • 鲲鹏麒麟安装Prometheus+Grafana angushine prometheusgrafana运维
    1、安装Prometheus(1)、在Prometheus官网Download|Prometheus下载适用于鲲鹏麒麟的安装包，操作系统选择Linux，架构选择arm64，也可直接使用如下地址下载https://github.com/prometheus/prometheus/releases/download/v2.51.2/prometheus-2.51.2.linux-amd64.tar.g
  • LeetCode[位运算] - #137 Single Number II Cwind javaAlgorithmLeetCode题解位运算
    原题链接：#137 Single Number II  要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现三次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间   难度：中等   分析： 与#136类似，都是考察位运算。不过出现两次的可以使用异或运算的特性 n XOR n = 0, n XOR 0 = n，即某一
  • 《JavaScript语言精粹》笔记 aijuans JavaScript
    0、JavaScript的简单数据类型包括数字、字符创、布尔值（true/false）、null和undefined值，其它值都是对象。 1、JavaScript只有一个数字类型，它在内部被表示为64位的浮点数。没有分离出整数，所以1和1.0的值相同。 2、NaN是一个数值，表示一个不能产生正常结果的运算结果。NaN不等于任何值，包括它本身。可以用函数isNaN(number)检测NaN,但是
  • 你应该更新的Java知识之常用程序库 Kai_Ge java
    在很多人眼中，Java 已经是一门垂垂老矣的语言，但并不妨碍 Java 世界依然在前进。如果你曾离开 Java，云游于其它世界，或是每日只在遗留代码中挣扎，或许是时候抬起头，看看老 Java 中的新东西。 Guava Guava[gwɑ:və]，一句话，只要你做Java项目，就应该用Guava（Github）。 guava 是 Google 出品的一套 Java 核心库，在我看来，它甚至应该
  • HttpClient 120153216 httpclient
    /** * 可以传对象的请求转发，对象已流形式放入HTTP中 */ public static Object doPost(Map<String,Object> parmMap,String url) { Object object = null; HttpClient hc = new HttpClient(); String fullURL
  • Django model字段类型清单 2002wmj django
    Django 通过 models 实现数据库的创建、修改、删除等操作，本文为模型中一般常用的类型的清单，便于查询和使用： AutoField：一个自动递增的整型字段，添加记录时它会自动增长。你通常不需要直接使用这个字段；如果你不指定主键的话，系统会自动添加一个主键字段到你的model。(参阅自动主键字段) BooleanField：布尔字段,管理工具里会自动将其描述为checkbox。 Cha
  • 在SQLSERVER中查找消耗CPU最多的SQL 357029540 SQL Server
    返回消耗CPU数目最多的10条语句 SELECT TOP 10    total_worker_time/execution_count AS avg_cpu_cost, plan_handle,    execution_count,    (SELECT SUBSTRING(text, statement_start_of
  • Myeclipse项目无法部署，Undefined exploded archive location 7454103 eclipseMyEclipse
    做个备忘！ 错误信息为：       Undefined exploded archive location 原因：           在工程转移过程中，导致工程的配置文件出错； 解决方法：    
  • GMT时间格式转换 adminjun GMT时间转换
    普通的时间转换问题我这里就不再罗嗦了，我想大家应该都会那种低级的转换问题吧，现在我向大家总结一下如何转换GMT时间格式，这种格式的转换方法网上还不是很多，所以有必要总结一下，也算给有需要的朋友一个小小的帮助啦。 1、可以使用 SimpleDateFormat SimpleDateFormat    EEE-三位星期 d-天 MMM-月 yyyy-四位年
  • Oracle数据库新装连接串问题 aijuans oracle数据库
    割接新装了数据库，客户端登陆无问题，apache/cgi-bin程序有问题，sqlnet.log日志如下： Fatal NI connect error 12170.   VERSION INFORMATION:         TNS for Linux: Version 10.2.0.4.0 - Product
  • 回顾java数组复制 ayaoxinchao java数组
    在写这篇文章之前，也看了一些别人写的，基本上都是大同小异。文章是对java数组复制基础知识的回顾，算是作为学习笔记，供以后自己翻阅。首先，简单想一下这个问题：为什么要复制数组？我的个人理解：在我们在利用一个数组时，在每一次使用，我们都希望它的值是初始值。这时我们就要对数组进行复制，以达到原始数组值的安全性。java数组复制大致分为3种方式：①for循环方式 ②clone方式 ③arrayCopy方
  • java web会话监听并使用spring注入 bewithme Java Web
            在java web应用中，当你想在建立会话或移除会话时，让系统做某些事情，比如说，统计在线用户，每当有用户登录时，或退出时，那么可以用下面这个监听器来监听。        import java.util.ArrayList; import java.ut
  • NoSQL数据库之Redis数据库管理(Redis的常用命令及高级应用) bijian1013 redis数据库NoSQL
    一 .Redis常用命令         Redis提供了丰富的命令对数据库和各种数据库类型进行操作，这些命令可以在Linux终端使用。         a.键值相关命令         b.服务器相关命令 1.键值相关命令       &
  • java枚举序列化问题 bingyingao java枚举序列化
    对象在网络中传输离不开序列化和反序列化。而如果序列化的对象中有枚举值就要特别注意一些发布兼容问题: 1.加一个枚举值 新机器代码读分布式缓存中老对象，没有问题，不会抛异常。 老机器代码读分布式缓存中新对像，反序列化会中断，所以在所有机器发布完成之前要避免出现新对象，或者提前让老机器拥有新增枚举的jar。 2.删一个枚举值 新机器代码读分布式缓存中老对象，反序列
  • 【Spark七十八】Spark Kyro序列化 bit1129 spark
    当使用SparkContext的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，通常情况下，这种序列化机制是很低效的，Spark支持使用Kyro作为对象的序列化和反序列化机制，序列化的速度比java更快，但是使用Kyro时要注意，Kyro目前还是有些bug。 Spark
  • Hybridizing OO and Functional Design bookjovi erlanghaskell
      推荐博文： Tell Above, and Ask Below - Hybridizing OO and Functional Design 文章中把OO和FP讲的深入透彻，里面把smalltalk和haskell作为典型的两种编程范式代表语言，此点本人极为同意，smalltalk可以说是最能体现OO设计的面向对象语言，smalltalk的作者Alan kay也是OO的最早先驱，
  • Java-Collections Framework学习与总结-HashMap BrokenDreams Collections
            开发中常常会用到这样一种数据结构，根据一个关键字，找到所需的信息。这个过程有点像查字典，拿到一个key，去字典表中查找对应的value。Java1.0版本提供了这样的类java.util.Dictionary(抽象类)，基本上支持字典表的操作。后来引入了Map接口，更好的描述的这种数据结构。  &nb
  • 读《研磨设计模式》-代码笔记-职责链模式-Chain Of Responsibility bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ /** * 业务逻辑：项目经理只能处理500以下的费用申请，部门经理是1000，总经理不设限。简单起见，只同意“Tom”的申请 * bylijinnan */ abstract class Handler { /*
  • Android中启动外部程序 cherishLC android
    1、启动外部程序 引用自： http://blog.csdn.net/linxcool/article/details/7692374 //方法一 Intent intent=new Intent(); //包名 包名+类名（全路径） intent.setClassName("com.linxcool", "com.linxcool.PlaneActi
  • summary_keep_rate coollyj SUM
    BEGIN /*DECLARE minDate varchar(20) ; DECLARE maxDate varchar(20) ;*/ DECLARE stkDate varchar(20) ; DECLARE done int default -1; /* 游标中 注册服务器地址 */ DE
  • hadoop hdfs 添加数据目录出错 daizj hadoophdfs扩容
    由于原来配置的hadoop data目录快要用满了，故准备修改配置文件增加数据目录，以便扩容，但由于疏忽，把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误： 2014-11-18 08:51:39,128 WARN org.apache.hadoop.h
  • grep 目录级联查找 dongwei_6688 grep
           在Mac或者Linux下使用grep进行文件内容查找时，如果给定的目标搜索路径是当前目录，那么它默认只搜索当前目录下的文件，而不会搜索其下面子目录中的文件内容，如果想级联搜索下级目录，需要使用一个“-r”参数： grep -n -r "GET" .   上面的命令将会找出当前目录“.”及当前目录中所有下级目录
  • yii 修改模块使用的布局文件 dcj3sjt126com yiilayouts
    方法一：yii模块默认使用系统当前的主题布局文件，如果在主配置文件中配置了主题比如: 'theme'=>'mythm', 那么yii的模块就使用 protected/themes/mythm/views/layouts 下的布局文件； 如果未配置主题，那么 yii的模块就使用  protected/views/layouts 下的布局文件， 总之默认不是使用自身目录 pr
  • 设计模式之单例模式 come_for_dream 设计模式单例模式懒汉式饿汉式双重检验锁失败无序写入
                    今天该来的面试还没来，这个店估计不会来电话了，安静下来写写博客也不错，没事翻了翻小易哥的博客甚至与大牛们之间的差距，基础知识不扎实建起来的楼再高也只能是危楼罢了，陈下心回归基础把以前学过的东西总结一下。   *********************************
  • 8、数组 豆豆咖啡 二维数组数组一维数组
      一、概念       数组是同一种类型数据的集合。其实数组就是一个容器。   二、好处       可以自动给数组中的元素从0开始编号，方便操作这些元素   三、格式   //一维数组 1,元素类型[] 变量名 = new 元素类型[元素的个数] int[] arr =
  • Decode Ways hcx2013 decode
    A message containing letters from A-Z is being encoded to numbers using the following mapping: 'A' -> 1 'B' -> 2 ... 'Z' -> 26 Given an encoded message containing digits, det
  • Spring4.1新特性——异步调度和事件机制的异常处理 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • squid3(高命中率)缓存服务器配置 liyonghui160com
        系统:centos 5.x   需要的软件:squid-3.0.STABLE25.tar.gz 1.下载squid wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE25.tar.gz tar zxf squid-3.0.STABLE25.tar.gz &&
  • 避免Java应用中NullPointerException的技巧和最佳实践 pda158 java
    1) 从已知的String对象中调用equals()和equalsIgnoreCase()方法，而非未知对象。 　　总是从已知的非空String对象中调用equals()方法。因为equals()方法是对称的，调用a.equals(b)和调用b.equals(a)是完全相同的，这也是为什么程序员对于对象a和b这么不上心。如果调用者是空指针，这种调用可能导致一个空指针异常 Object unk
  • 如何在Swift语言中创建http请求 shoothao httpswift
    概述：本文通过实例从同步和异步两种方式上回答了”如何在Swift语言中创建http请求“的问题。 如果你对Objective-C比较了解的话，对于如何创建http请求你一定驾轻就熟了，而新语言Swift与其相比只有语法上的区别。但是，对才接触到这个崭新平台的初学者来说，他们仍然想知道“如何在Swift语言中创建http请求？”。 在这里,我将作出一些建议来回答上述问题。常见的
  • Spring事务的传播方式 uule spring事务
    传播方式：        新建事务       required       required_new   - 挂起当前         非事务方式运行       supports   &nbs
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他