数据系统架构-8.任务调度系统

任务调度系统

序

在有了各种数据统计任务之后，就产生了任务调度需求，我们需要把任务管理起来统一调度，保证任务之间上下游的依赖关系，监控任务运行状态，异常情况下及时告警，尽可能自动化处理异常，调度系统高可用，使每天的数据统计任务按时执行完成。
这里我们采用了自研的方式来开发任务调度系统，保证系统的高度可控，以及后续功能扩展性。

当然也有一些开源比较好用的调度系统可以直接使用，比如：azkaban、xxl-job 等，可以参考这些开源的架构做调度系统设计。

系统目标

整个任务调度系统需要完成以下功能：

  • 任务信息管理
  • 依赖关系维护
  • 任务调度
  • 调度器高可用
  • 任务异常告警
  • 任务血缘关系管理

架构设计

调度系统架构.png

目前整体架构如上图所示，各个部分的功能如下。

web端：负责各类任务信息的配置与维护，包括基本信息管理、依赖关系管理、输入输出管理、调度信息配置、报警信息配置等；

mysql：负责保存任务配置信息、任务调度执行计划信息等相关任务信息；

master-active：调度器主节点，主要负责任务的触发、依赖检查、任务发布至zookeeper、任务报警等模块；

master-standby：调度器主节点备用节点，通过zookeeper完成主备识别与自动切换容灾；

zookeeper：负责主备切换、管理可执行任务信息；

executor：任务执行器，包括任务的解析器、执行器、yarn资源感知、任务信息管理、任务报警等模块。

调度系统调度流程图.png

这个图描述了任务整体的调度流程，整体流程大致分为以下几个部分

  • master-scheduler[主节点-调度解析]
    step1：每60s拉取一次任务配置信息
    step2：获取上线任务列表 + 已在Quartz队列的任务
    step3：循环任务列表在scheduler中上下线定时任务
    step4：触发任务
  • master-quartzJob[主节点-执行计划解析]
    step5：获取执行任务信息
    step6：生成与更新执行任务信息记录至mysql表
  • master-taskWatcher[主节点-执行计划观察者]
    step7：获取待执行任务信息
    step8：按照日期分组获取等待执行的任务信息
    step9：检查zk节点是否存在，创建准备执行节点 /schedule/ready\_{date}
    step10：检查是否支持并发与【依赖】任务是否完成，在zk上创建任务节点 /schedule/ready\_{date}/{job\_id}，并在节点上保存关键调度信息
  • executor-readyWatcher[执行器-待执行任务观察者]
    step11：每30s从zk上获取/schedule/ 下的节点信息
    step12：循环ready节点的信息创建对应running节点 /schedule/running\_{date}
    step13：检查执行中的任务是否超过单节点任务执行数量上限
    step14：获取可执行任务数量以下的ready任务信息，循环判断【资源】是否允许允许。允许运行则根据任务类型通过python脚本生成可执行命令
    step15：更新任务状态并开启线程执行任务
  • executor-jobExecutor[执行器-任务执行]
    step16：开启线程执行运行脚本
    step17：获取执行线程info、error输入流，根据运行结果判断是否成功，是否需要重试执行，并更新执行状态

其中相对独立的2个模块：

  • executor-python解析器
    根据任务类型，调用不同的python解析脚本，生成对应任务可执行命令文件，以供调度器实际运行时调度使用。由于该部分频繁的改动各类参数，所以采用python脚本生成的方式。
  • executor-yarn资源控制
    通过yarn的api接口获取到集群当前资源情况，控制执行器是否能向当前集群继续提交任务

整体操作zookeeper部分采用了Curator分布式锁。

优化升级

在项目上线一段时间之后，后续我们陆续做了一下功能优化：

  • 任务通过hash负载均衡到各个executor进行执行
  • 任务支持并行执行
  • 任务支持配置重试次数
  • 延迟告警
  • 任务变动通知下游任务
  • 支持自定义运行参数
  • 任务资源使用率等健康情况监控统计
  • 扩展支持更多的任务类型

至此整个任务调度系统暂时开发完成，初步完了任务调度系统所需要的核心功能。

上一篇 《数据系统架构-7.数据智能》
下一篇 《数据系统架构-9.统一查询服务one-service》

你可能感兴趣的:(大数据调度器系统架构)

  • Golang高性能并发：Goroutine调度器优化技巧 Golang编程笔记 golang爬虫网络ai
    Golang高性能并发：Goroutine调度器优化技巧关键词：Golang、高性能并发、Goroutine、调度器、优化技巧摘要：本文深入探讨了Golang中Goroutine调度器的优化技巧，旨在帮助开发者充分发挥Golang在并发编程方面的优势，提升程序的性能。首先介绍了相关背景知识，包括目的范围、预期读者等，接着解释了核心概念，如Goroutine、调度器等，阐述了它们之间的关系。然后详细
  • 大数据面试必备：Kafka性能优化 Producer与Consumer配置指南
    Kafka面试题-在Kafka中，如何通过配置优化Producer和Consumer的性能?回答重点在Kafka中，通过优化Producer和Consumer的配置，可以显著提高性能。以下是一些关键配置项和策略：1、Producer端优化:batch.size：批处理大小。增大batch.size可以使Producer每次发送更多的消息，但要注意不能无限制增大，否则会导致内存占用过多。linger
  • 图扑软件智慧云展厅，开启数字化展馆新模式 智慧园区 可视化5g人工智能大数据安全云计算
    随着疫情的影响以及新兴技术的不断发展，展会的发展形式也逐渐从线下转向线上。通过“云”上启动、云端互动、双线共频的形式开展。通过应用大数据、人工智能、沉浸式交互等多重技术手段，构建数据共享、信息互通、精准匹配的高精度“云展厅”，突破时空壁垒限制。图扑软件运用HT强大的渲染功能，数字孪生“云展位”，1:1复现实际展厅内部独特的结构造型和建筑特色。也可以第一人称视角漫游，模拟用户在展厅内的参观场景，在保
  • 【软考高级系统架构论文】论企业集成平台的理解与应用 _Richard_ 2025年软考系统架构师系统架构
    论文真题请围绕“企业集成平台的理解与应用”论题，依次从以下三个方面进行论述。概要叙述你参与管理和开发的、采用企业集成平台进行企业信息集成的软件项目以及你在其中所承担的主要工作。请给出至少4种企业集成平台应具有的基本功能，并对这4种功能的内涵进行简要阐述。具体阐述你参与管理和开发的项目是如何使用企业集成平台进行企业信息集成的，并围绕上述4种功能，详细论述在集成过程中遇到了哪些实际问题，是如何解决的。
  • c++常见英文单词（自用） 叫我六胖子 c++英文c++
    c++常见英文单词application应用程式应用、应用程序applicationframework应用程式框架、应用框架应用程序框架architecture架构、系统架构体系结构argument引数（传给函式的值）。叁见parameter叁数、实质叁数、实叁、自变量array阵列数组arrowoperatorarrow（箭头）运算子箭头操作符assembly装配件assemblylanguag
  • 高并发系统架构设计 茫茫人海一粒沙 系统架构java
    在互联网系统中，“高并发”从来不是稀罕事：双十一秒杀、12306抢票、新人注册峰值、热点直播点赞……，如果你的系统没有良好的架构设计，很容易出现：接口超时、数据错乱、系统宕机。本文从六个核心维度出发，系统性讲解如何构建一套“抗得住流量洪峰”的企业级高并发架构。一、系统拆分——降低系统耦合度，提高弹性伸缩能力核心思想将单体系统按业务域/模块/职责划分为多个服务；采用微服务架构（如SpringClou
  • 64、Delphi系统架构与线程模型详解 g8f9d0s1a2 深入解析Delphi6开发者指南Delphi系统架构线程模型
    Delphi系统架构与线程模型详解1系统架构概述Delphi作为一款强大的集成开发环境（IDE），其系统架构设计不仅体现了高效性，还融合了灵活性和可扩展性。理解Delphi的系统架构是掌握其核心功能和开发技巧的关键。本文将详细介绍Delphi的系统架构及其各组成部分的交互方式，帮助开发者更好地利用这款工具。1.1Delphi系统架构的基本组成部分Delphi的系统架构主要包括以下几个关键部分：编译
  • vue大数据量列表渲染性能优化：虚拟滚动原理 Java小卷 Vue3开源组件实战vue3自定义Tree虚拟滚动
    前面咱完成了自定义JuanTree组件各种功能的实现。在数据量很大的情况下，我们讲了两种实现方式来提高渲染性能：前端分页和节点数据懒加载。前端分页小节：Vue3扁平化Tree组件的前端分页实现节点数据懒加载小节：ElementTreePlus版功能演示：数据懒加载关于扁平化结构Tree和嵌套结构Tree组件的渲染嵌套结构的Tree组件是一种递归渲染，性能上比起列表结构的v-for渲染比较一般。对于
  • redis的scan使用详解，结合spring使用详解 黑皮爱学习 redis自学笔记redisspring数据库
    Redis的SCAN命令是一种非阻塞的迭代器，用于逐步遍历数据库中的键，特别适合处理大数据库。下面详细介绍其使用方法及在Spring框架中的集成方式。SCAN命令基础SCAN命令的基本语法：SCANcursor[MATCHpattern][COUNTcount]cursor：迭代游标，初始为0，每次迭代返回新的游标值。MATCHpattern：可选，用于过滤键的模式（如user:*）。COUNTc
  • 论基于架构的软件设计方法及应用(ABSD) laomocoder 架构
    摘要2020年6月,我司自主研发了在线多媒体设计行业的业务中台系统。系统以支撑各前台业务满足文件采购入库、运营一键分发、用户在线设计、文件存储等需求提供可重复使用能力，形成一次建设多次使用。系统以用户在线上传/编辑素材与模板完成设计工作为主要核心，按领域分为内容供应、内容管理、内容分发、用户管理、商业化、文件管理等模块,支持B/C端系统快速接入,在项目中我担任系统架构师角色，主要负责内容为架构设计
  • 数据与ChatBI
    ChatBI的核心是让用户用自然语言（如“帮我看看这周的销售额走势”）直接获取数据分析结果，无需懂SQL或技术细节。整个过程就像AI“听懂”你的话、理解需求、生成查询、验证执行、并可视化展示结果。首先，ChatBI的系统架构图展示了整个流程的关键步骤。它从用户输入开始，经过多个AI模块处理，最终输出交互式报表。现在来一步步解析ChatBI的工作流程。1.语音/文字输入——解放双手的起点这是什么？一
  • End-To-End 之于推荐-kuaishou OneRec 笔记 ASKED_2019 RecSys笔记
    核心思想OneRec提出了一种统一的生成式推荐系统架构，打破了传统“召回-粗排-精排”级联式推荐流程，使用单一生成模型同时完成召回与排序任务。该系统由快手团队研发，并成功部署于短视频主场景。OnlineA/BTest表现：模型总观看时长平均观看时长OneRec-1B+IPA+1.68%+6.56%一Input处理Userpositiveactionsequence，将短视频的多模态表征，通过量化的
  • 【架构篇】微前端架构设计与qiankun实战 全息架构师 Java前沿探索：引领技术新风尚架构前端
    【架构篇】微前端架构设计与qiankun实战阅前必看：本文是《前端开发完全指南》系列的第十七篇，包含15个核心代码示例、8张系统架构图解、2个企业级落地案例。通过qiankun+ModuleFederation实现前端应用自由组合，支撑百万级PV应用！目录微前端核心价值技术方案全景对比qiankun架构设计主子应用通信方案样式隔离方案沙箱机制解析资源加载优化权限体系集成性能监控方案中台系统实战一、
  • MongoDB 高性能应用场景与实践 AI自闭实验者 mongodb数据库
    ```htmlMongoDB高性能应用场景与实践MongoDB高性能应用场景与实践随着大数据时代的到来，数据库作为数据存储和管理的核心工具，其性能和可扩展性显得尤为重要。在众多的数据库解决方案中，MongoDB凭借其灵活的数据模型、高性能和易于扩展的特点，在许多场景下成为开发者的首选。什么是MongoDB？MongoDB是一个开源的、面向文档的NoSQL数据库管理系统。它以JSON样式的文档存储数
  • 缓存与加速技术实践-MongoDB数据库应用 曼汐 . 数据库缓存mongodb
    一.什么是MongoDBMongoDB是一个文档型数据库，数据以类似JSON的文档形式存储。MongoDB的设计理念是为了应对大数据量、高性能和灵活性需求。MongoDB使用集合（Collections）来组织文档（Documents），每个文档都是由键值对组成的。数据库（Database）：存储数据的容器，类似于关系型数据库中的数据库。集合（Collection）：数据库中的一个集合，类似于关系
  • publishOn and subscribeOn operators lang20150928 reactorjava
    Reactor提供了两种在响应式链中切换执行上下文（或调度器）的方法：publishOn和subscribeOn。它们的核心作用是控制任务在哪个线程或线程池中执行，从而实现并发控制。理解它们的区别和使用方式是掌握Reactor并发模型的关键。1.subscribeOn的作用与特点作用：subscribeOn用于指定整个响应式链的订阅操作在哪个调度器（Scheduler）上执行。它会从源头开始，影响
  • Reactor Schedulers lang20150928 reactorjava
    Reactor是一个基于响应式编程的库，它提供了丰富的调度器（Schedulers）机制，用于管理异步操作的执行环境。Schedulers是Reactor中的核心组件之一，它们允许开发者灵活地控制操作符和订阅操作在哪个线程上执行，从而实现高效的并发编程。1.Schedulers的作用Schedulers是Reactor提供的调度器接口，用于定义任务的执行上下文。它们封装了线程管理和调度逻辑，使得开
  • Reactor boundedElastic lang20150928 reactorjava
    boundedElastic调度器专门用于处理无法避免的阻塞代码，而single和parallel调度器则不支持阻塞操作。因此，如果在single或parallel调度器上使用Reactor的阻塞API（如block()、blockFirst()、blockLast()）或通过toIterable()、toStream()进行迭代，会抛出IllegalStateException异常。自定义调度器
  • 软件架构 vs 系统架构 vs 解决方案架构 vs 企业架构——你真的懂它们的区别吗？ 数字时代的探索者 数字化转型系统架构软件架构解决方案架构企业架构
    软件架构、系统架构、解决方案架构、企业架构……听起来都带"架构"，但根本不是一个东西啊！（就像"茶"可以是珍珠奶茶、水果茶、乌龙茶——虽然都叫茶，但差别大了去了！）为了澄清这些概念，本文将梳理这些概念的演变历程、发展现状，并阐明它们之间的异同。软件架构：代码的整体规划前世与今生软件架构是最早得到广泛认可的一种架构形式，起源于软件工程发展的早期阶段。最初，软件架构关注的是如何结构化地编写代码，以提高
  • 自学Java怎么入门 Java鼠鼠吖 java开发语言
    自学Java其实没有想象中那么难，只要找对方法，循序渐进地学习，很快就能上手。下面我结合自己的经验，给你整理一条清晰的学习路径，咱们一步步来。一、先了解Java能做什么在开始之前，建议你先看看Java都能用在哪些地方。比如开发企业级系统、Android应用、大数据处理等等。这样你就能明白为什么要学它，也更有动力。Java最大的特点就是"一次编写，到处运行"，这要归功于JVM虚拟机。二、准备好学习环
  • 计算机毕业设计项目、管理系统、可视化大屏、大数据分析、协同过滤、推荐系统、SSM、SpringBoot、Spring、Mybatis、小程序项目编号1000-1499 lonzgzhouzhou spring课程设计springboot
    大家好，我是DeBug，很高兴你能来阅读！作为一名热爱编程的程序员，我希望通过这些教学笔记与大家分享我的编程经验和知识。在这里，我将会结合实际项目经验，分享编程技巧、最佳实践以及解决问题的方法。无论你是初学者还是有一定经验的程序员，我都希望能够为你提供有价值的内容，帮助你更好地理解编程世界。让我们一起探索编程的乐趣，一起成长，一起学习，谢谢你们的支持与关注！【源码咨询】可接Java程序设计，Bug
  • 云原生时代的系统设计：架构转型的战略支点 一ge科研小菜菜 云原生人工智能大数据
    个人主页：一ge科研小菜鸡-CSDN博客期待您的关注一、云原生的崛起：技术趋势与现实需求的交汇随着企业业务的互联网化、全球化、智能化持续加深，传统的IT系统架构正遭遇前所未有的挑战：需求迭代频繁：功能需求从“半年交付”变为“每周上线”；部署环境多变：混合云、多云架构成为主流；业务增长突发：面对双十一、春运、世界杯等高峰时段，系统必须“弹性十足”；架构复杂升级：服务数量从几十增长到上千，治理成为新瓶
  • 基于大模型的短暂性脑缺血发作（TIA）全流程预测与诊疗辅助系统技术方案大纲 LCG元 大模型医疗研究-方案大纲方案大纲人工智能深度学习机器学习
    目录一、系统核心目标二、系统架构模块三、实验验证证据链系统架构流程图关键技术创新点一、系统核心目标构建多模态数据融合的TIA预测-干预-管理闭环，覆盖术前预警、术中决策、术后康复全周期二、系统架构模块1.术前预测模块高危人群筛查模型输入：电子健康记录(EHR)、基因数据、可穿戴设备实时监测特征工程：血压波动模式、颈动脉斑块稳定性评分TIA发作概率预测72小时预警模型（LSTM+Transforme
  • 智能汽车图像及视频处理方案，支持视频智能包装创作能力 美摄科技 汽车
    在这个日新月异的智能时代，每一帧画面都承载着超越想象的力量。随着自动驾驶技术的飞速发展，智能汽车不仅成为了未来出行的代名词，更是技术与艺术完美融合的典范。在这场变革的浪潮中，美摄科技以创新为翼，推出了领先的智能汽车图像及视频处理方案，为智能汽车行业带来了前所未有的视觉盛宴，重新定义了智能出行的视觉体验。一、智能重塑，视觉新境界美摄科技的智能汽车图像及视频处理方案，是基于深度学习、人工智能及大数据处
  • 蜂鸟云平台大更新：地图空间定价重塑与功能全面升级 蜂鸟视图fengmap 信息可视化蜂鸟云地图编辑器地图绘制工具室内外地图一体化智慧园区蜂鸟视图
    1.引言随着云计算、大数据以及人工智能技术的快速发展，企业对云平台的需求日益增长。蜂鸟云平台作为一款创新性的地图服务平台，已逐渐成为众多企业、政府及科研机构的核心依赖。为了更好地满足用户需求，提高平台的市场竞争力，蜂鸟云平台定期进行功能更新与优化。2024年9月21日，蜂鸟云平台将在晚上20:00至24:00进行一轮重要的系统更新。本次更新的核心内容包括地图空间的重新定价与功能优化，涉及制图、微程
  • 【笔记-软考】大数据架构-Lambda与Kappa架构对比 我叫白小猿 软考软考架构大数据KappaLambda
    Author：赵志乾Date：2024-07-28Declaration：AllRightReserved！！！1.简介大数据系统架构的设计思想很大程度受技术条件和思维模式的限制；Lambda架构在提出初期面向小范围业务，直接将成熟离线处理技术(Hadoop)和实时处理技术(Storm)相结合，用View模型将二者处理后得到的输出结果结合起来，在服务层进行统一后，再开放给上层服务，是相当可行且高效
  • 【架构专题】架构风格（上）：从理论到实践的全面解析 A.说学逗唱的Coke 架构
    架构风格详解：从理论到实践的全面解析一、引言在软件系统设计中，架构风格是决定系统质量与可维护性的核心要素。根据软考高级资格考试大纲要求，系统架构设计师需掌握软件架构风格的定义、分类及选型方法。本文将结合Garlan和Shaw的经典理论，结合软考实践案例，系统阐述架构风格的理论基础与应用策略。二、架构风格的定义与核心要素2.1定义软件架构风格是描述特定应用领域中系统组织方式的惯用模式，其本质是通过构
  • 【软件系统架构】系列四：嵌入式软件-M2M 与 NPU 技术对比及协同设计方案
    目录一、基本定义二、技术目标差异三、架构组成对比四、功能能力对比五、应用场景对比六、综合对比总结表七、协同场景建议八、M2M+NPU协同系统设计方案1.系统架构图（简化逻辑）2.模块划分与功能说明三、通信时序图（关键路径）四、数据协议定义（JSON）上报事件（推理结果）云端控制命令五、协同机制设计建议六、典型应用示例（如：AI门锁、边缘安防）一、基本定义项目M2M（MachinetoMachine
  • 【软件系统架构】系列四：嵌入式软件-CMMI 安全认证标准及认证所需资源模板 34号树洞 自学软件系统架构嵌入式硬件系统架构CMMI
    目录CMMI能力成熟度模型集成详解一、什么是CMMI？二、核心价值三、五个成熟度等级（MaturityLevels）四、CMMI模型结构（V2.0为例）1.领域（Domains）2.能力域（PracticeAreas,PAs）3.实践（Practices）4.能力等级（CapabilityLevels）五、CMMI认证流程六、常见输出物（过程资产模板）七、CMMIvsDO-178B对比（典型对比）
  • 【软件系统架构】系列四：嵌入式软件开发流程全解析（包含示例） 34号树洞 自学软件系统架构大数据系统架构嵌入式
    目录一、需求分析阶段二、系统架构设计阶段：三、开发准备阶段四、底层驱动开发阶段（HAL/BSP）五、操作系统集成阶段（RTOS/OS）六、中间件与协议栈集成阶段七、应用逻辑开发阶段八、调试与测试阶段：九、集成与联调阶段十、发布与维护阶段总结：完整开发流程图附：ESP32智能锁完整开发流程（含源码结构与文档模板）1.项目概述项目名称：功能特性：2.项目源码结构（推荐）3.开发流程分解（与上文流程对齐
  • 算法 单链的创建与删除 换个号韩国红果果 c算法
    先创建结构体 struct student { int data; //int tag;//标记这是第几个 struct student *next; }; // addone 用于将一个数插入已从小到大排好序的链中 struct student *addone(struct student *h,int x){ if(h==NULL) //??????
  • 《大型网站系统与Java中间件实践》第2章读后感 白糖_ java中间件
           断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章，这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难，但每一个屏障都会有解决方案，最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。          看完整章内容，
  • zeus持久层spring事务单元测试 deng520159 javaDAOspringjdbc
    今天把zeus事务单元测试放出来,让大家指出他的毛病, 1.ZeusTransactionTest.java 单元测试   package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Test; import
  • Rss 订阅 开发 周凡杨 htmlxml订阅rss规范
                    RSS是 Really Simple Syndication的缩写（对rss2.0而言，是这三个词的缩写，对rss1.0而言则是RDF Site Summary的缩写，1.0与2.0走的是两个体系）。   RSS
  • 分页查询实现 g21121 分页查询
    在查询列表时我们常常会用到分页，分页的好处就是减少数据交换，每次查询一定数量减少数据库压力等等。 按实现形式分前台分页和服务器分页： 前台分页就是一次查询出所有记录，在页面中用js进行虚拟分页，这种形式在数据量较小时优势比较明显，一次加载就不必再访问服务器了，但当数据量较大时会对页面造成压力，传输速度也会大幅下降。 服务器分页就是每次请求相同数量记录，按一定规则排序，每次取一定序号直接的数据
  • spring jms异步消息处理 510888780 jms
    spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器，常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量，以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理，进一步提高性能，减少侦听器的阻塞。具体配置如下：
  • highCharts柱状图 布衣凌宇 hightCharts柱图
    第一步：导入 exporting.js,grid.js,highcharts.js;第二步：写controller   @Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController {  private UserServi
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans springmvcSpring 教程spring3 教程Spring 入门
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • TLS java简单实现 antlove javasslkeystoretlssecure
      1. SSLServer.java package ssl; import java.io.FileInputStream; import java.io.InputStream; import java.net.ServerSocket; import java.net.Socket; import java.security.KeyStore; import
  • Zip解压压缩文件 百合不是茶 Zip格式解压Zip流的使用文件解压
       ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件; ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));     &n
  • underscore.js 学习（一） bijian1013 JavaScriptunderscore
            工作中需要用到underscore.js，发现这是一个包括了很多基本功能函数的js库，里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。       学
  • java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon) bijian1013 javajvmjstatd
    1.介绍         jstatd是一个基于RMI（Remove Method Invocation）的服务程序，它用于监控基于HotSpot的JVM中资源的创建及销毁，并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。         jstatd是基于RMI的，所以在运行jstatd的服务
  • 【Spring框架三】Spring常用注解之Transactional bit1129 transactional
    Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力，如下是@Transactional注解的定义：   /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version
  • 我(程序员)的前进方向 bitray 程序员
    作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
  • nginx lua开发经验总结 ronin47
    使用nginx lua已经两三个月了，项目接开发完毕了，这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的，跟PHP的占比差不多持平了，因此在开发中遇到一些问题备忘一下 1：content_by_lua中代码容量有限制，一般不要写太多代码，正常编写代码一般在100行左右（具体容量没有细心测哈哈，在4kb左右），如果超出了则重启nginx的时候会报 too long pa
  • java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。颠倒之后的栈为{5,4,3,2,1}，5处在栈顶 bylijinnan java
    import java.util.Stack; public class ReverseStackRecursive { /** * Q 66.颠倒栈。 * 题目：用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。 * 颠倒之后的栈为{5,4,3,2,1}，5处在栈顶。 *1. Pop the top element *2. Revers
  • 正确理解Linux内存占用过高的问题 cfyme linux
    Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上： Mem:   3889836k total,  3341868k used,   547968k free,   286044k buffers Swap:  6127608k total,&nb
  • [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题 comsci 工作流
         当我们的流程引擎进入IRC阶段的时候，当循环反馈模型出现之后，每次循环都会导致一大堆节点内存数据残留在系统内存中，循环的次数越多，这些残留数据将导致系统内存溢出，并使得引擎崩溃。。。。。。       而解决办法就是利用汇编语言或者其它系统编程语言，在引擎运行时，把这些残留数据清除掉。
  • 自定义类的equals函数 dai_lm equals
    仅作笔记使用 public class VectorQueue { private final Vector<VectorItem> queue; private class VectorItem { private final Object item; private final int quantity; public VectorI
  • Linux下安装R语言 datageek R语言 linux
    命令如下：sudo gedit  /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
  • 如何修改mysql 并发数(连接数)最大值 dcj3sjt126com mysql
    MySQL的连接数最大值跟MySQL没关系，主要看系统和业务逻辑了   方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可 　　方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppass
  • 单一功能原则 dcj3sjt126com 面向对象的程序设计软件设计编程原则
    单一功能原则[ 编辑]     SOLID 原则 单一功能原则 开闭原则 Liskov代换原则 接口隔离原则 依赖反转原则 查   论   编 在面向对象编程领域中，单一功能原则（Single responsibility principle）规定每个类都应该有
  • POJO、VO和JavaBean区别和联系 fanmingxing VOPOJOjavabean
    POJO和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Plain Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比POJO复杂很多，JavaBean是一种组件技术，就好像你做了一个扳子，而这个扳子会在很多地方被
  • SpringSecurity3.X--LDAP：AD配置 hanqunfeng SpringSecurity
    前面介绍过基于本地数据库验证的方式，参考http://hanqunfeng.iteye.com/blog/1155226，这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证，权限依旧存储在本地数据库中】。   将配置文件中的如下部分删除： <!-- 认证管理器，使用自定义的UserDetailsService，并对密码采用md5加密-->
  • mac mysql 修改密码 IXHONG mysql
    $ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码（注意，这是第一次MySQL密码为空的时候的设置命令，如果是修改密码，还需在-
  • 设计模式--抽象工厂模式 kerryg 设计模式
    抽象工厂模式：     工厂模式有一个问题就是，类的创建依赖于工厂类，也就是说，如果想要拓展程序，必须对工厂类进行修改，这违背了闭包原则。我们采用抽象工厂模式，创建多个工厂类，这样一旦需要增加新的功能，直接增加新的工厂类就可以了，不需要修改之前的代码。     总结：这个模式的好处就是，如果想增加一个功能，就需要做一个实现类，
  • 评"高中女生军训期跳楼” nannan408
       首先，先抛出我的观点，各位看官少点砖头。那就是，中国的差异化教育必须做起来。    孔圣人有云：有教无类。不同类型的人，都应该有对应的教育方法。目前中国的一体化教育，不知道已经扼杀了多少创造性人才。我们出不了爱迪生，出不了爱因斯坦，很大原因，是我们的培养思路错了，我们是第一要“顺从”。如果不顺从，我们的学校，就会用各种方法，罚站，罚写作业，各种罚。军
  • scala如何读取和写入文件内容？ qindongliang1922 javajvmscala
    直接看如下代码： package file import java.io.RandomAccessFile import java.nio.charset.Charset import scala.io.Source import scala.reflect.io.{File, Path} /** * Created by qindongliang on 2015/
  • C语言算法之百元买百鸡 qiufeihu c算法
    中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”，鸡翁一，值钱五，鸡母一，值钱三，鸡雏三，值钱一，百钱买百鸡，问翁，母，雏各几何？ 代码如下： #include <stdio.h> int main() { int cock,hen,chick; /*定义变量为基本整型*/ for(coc
  • Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode wyz2009107220 NameNode
    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image 优点：Hadoop较早的版本都自带，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他