森林森
森林森

Zookeeper-ZAB协议,角色,选举

Zookeeper-ZAB协议

ZAB协议，并没有使用Paxos算法，而是使用一种称为Zookeeper Atomic Broadcat 原子 消息广播协议，它是一种专为为Zookeeper设计的一种支持崩溃恢复的原子广播协议。

Zookeeper实现了一种主备模式的系统架构来保持集群中各副本之间的数据的一致性。表现就是使用一个单一的主进程秋接收处理客户端的所有事务请求，并采用ZAB的原子广播协议，将服务器的数据的状态变更以事务 Proposal的形式广播到所有的副本进程中，ZAB协议的主备模型保证了同一时候集群中只能够有一个主进程来广播服务器的状态变更，因此很好的处理客户端大量的并发请求。但是，主进程在任何时候都有可能出现崩溃退出或者重启现象，因此ZAB协议还需要做到当前主进程出现异常情况的进修依旧正常工作。

ＺＡＢ核心

所有事务请求必须由一个全局唯一的服务器来协调处理，这个的服务器称为Leader服务器，余下的服务则称为Follower服务，Leader服务器负责将一个客户端事务请求转化成一个事务Proposal提议，并将该Proposal分发给集群中的所有Follower服务器，之后Leader服务器需要等待所有Follower服务器的反馈，一旦超过半数的Follower服务器时行正确的反馈后，那么Leader就会本地提交Commit，向所有Follower服务器分发Commit消息，要求其将前一个Proposal进行提交。

Zookeeper-ZAB协议,角色,选举_第1张图片

介绍

包括2种基本模式：崩溃恢复和消息广播

  1. 崩溃恢复

当整个服务启动过程中，或者是Leader服务器出现网络中断、宕机、崩溃退出或者重启响等异常服务，进入崩溃恢复模式，同时选举产生新的Leader服务器，当前 选举产生新的Leader服务器，
同时集群中已经有过半的机器与该Leader服务器完成了状态同步之后，ZAB协议就会退出恢复模式，其中，状态同步，就是数据同步，用来保证集群中过半机器能够和Leader的数据状态保持一致。

  1. 消息广播
    当前集群中有过半的机器与该Leader服务器完成了状态同步之后，那么进行消息广播模式，当一个同样遵守ZAB协议的服务器启动后加入集群中，如果此时集群中已经存在一个Leader服务器在负责进行消息广播，那么新加入的服务器就会自觉进入数据恢复模式：找到Leader所在的服务，并与其时行数据同步，然后一起参数到消息广播中。Zookeeper中只允许唯一的一个Leader服务器来时行事务请求处理。Leader服务器在接收到客户端事务请求后，会生成对象的事务提交并发起一轮广播协议，而如果集群中的其他机器收到客户的事务请求后，那么这个非Leader的服务器会首先将个事务转发给Leader服务器

消息广播

Zookeeper-ZAB协议,角色,选举_第2张图片
Zookeeper-ZAB协议,角色,选举_第3张图片

崩溃恢复

Zookeeper-ZAB协议,角色,选举_第4张图片
Zookeeper-ZAB协议,角色,选举_第5张图片
Zookeeper-ZAB协议,角色,选举_第6张图片
Zookeeper-ZAB协议,角色,选举_第7张图片
Zookeeper-ZAB协议,角色,选举_第8张图片
Zookeeper-ZAB协议,角色,选举_第9张图片
Zookeeper-ZAB协议,角色,选举_第10张图片

ZAB与Paxos的联系和区别

Zookeeper-ZAB协议,角色,选举_第11张图片

服务器的角色

Leader

Leader服务是Zookeeper集群工作的核心，

  1. 事务请求的唯一调度和处理者，保证集群事务焉得的顺序性
  2. 集群内部各服务器的调度者
请求处理链

Zookeeper-ZAB协议,角色,选举_第12张图片
从PreRequestProcessor到FinalRequestProcessor一共7个请求处理器组成了Leader服务器的请求处理链
Zookeeper-ZAB协议,角色,选举_第13张图片
Zookeeper-ZAB协议,角色,选举_第14张图片

Follower

Follower服务器是Zookeeper集群状态中的跟随者。

  1. 处理客户端非事务请求（读取数据），转发事务请求给Leader服务器
  2. 参与事务请求ProPosal投票
  3. 参与Leader选举投票
    和Leader一样，Follower 也采用了责任链组装的请求处理连接来处理每个客户端于请求，由于不需要对事务请求的投票处理，
    Zookeeper-ZAB协议,角色,选举_第15张图片
    Zookeeper-ZAB协议,角色,选举_第16张图片

Observer

Zookeeper-ZAB协议,角色,选举_第17张图片

服务器启动

  • 整体结构
    Zookeeper-ZAB协议,角色,选举_第18张图片

Zookeeper服务器的启动，大致可以分为五个步骤

  1. 配置文件解析
  2. 初始化数据管理器
  3. 初始化网络I/O管理器
  4. 数据恢复
  5. 对外服务
单机启动流程

Zookeeper-ZAB协议,角色,选举_第19张图片
Zookeeper-ZAB协议,角色,选举_第20张图片

初始化

Zookeeper-ZAB协议,角色,选举_第21张图片

集群服务器启动

Zookeeper-ZAB协议,角色,选举_第22张图片
Zookeeper-ZAB协议,角色,选举_第23张图片
Zookeeper-ZAB协议,角色,选举_第24张图片

Leader选举

Zookeeper-ZAB协议,角色,选举_第25张图片

Leader和Follower启动期交互过程

Zookeeper-ZAB协议,角色,选举_第26张图片
Zookeeper-ZAB协议,角色,选举_第27张图片
Zookeeper-ZAB协议,角色,选举_第28张图片

Leader选举

Zookeeper-ZAB协议,角色,选举_第29张图片
Zookeeper-ZAB协议,角色,选举_第30张图片
Zookeeper-ZAB协议,角色,选举_第31张图片

服务器运行时候的Leader选举

Zookeeper-ZAB协议,角色,选举_第32张图片

你可能感兴趣的:(训练,zookeeper)

  • FineWeb数据集 frostmelody 人工智能
    FineWeb数据集根据您提供的文档链接，我将对FineWeb数据集进行全面解析。FineWeb是HuggingFace在2024年发布的一项革命性开源AI训练数据集，它通过提供高质量、大规模的数据，打破了AI训练数据的垄断局面。以下解析基于文档内容，分为几个核心部分：FineWeb的定义与规模、其重要性、主要突破点，以及制作过程的全貌。我会在相关部分嵌入文档中的图片，以增强理解。所有图片均来自文
  • 【LLaMA 3实战】2、LLaMA 3对话能力全解析：从架构革新到多智能体实战指南 无心水 LLaMA3模型实战专栏llamaLLaMA3对话能力全解析LLaMA3AI大模型多智能体CSDN技术干货Meta
    引言：LLaMA3对话能力的革命性突破当Meta发布LLaMA3时，其对话能力的跃升重新定义了开源大模型的边界。这款拥有128K上下文窗口的开源模型，不仅在MT-Bench评测中超越GPT-3.5，更通过分组查询注意力(GQA)等架构创新，实现了推理速度30%的提升。本文将从底层架构到应用实战，系统拆解LLaMA3对话能力的技术奥秘，包含核心机制解析、训练策略、工程优化及多智能体系统开发，助你全面
  • 用Pytorch训练手写签名模型并进行签名识别 TBM矩阵 #AI体系学习pytorch人工智能python
    整体思路收集至少两个人的手写签名图片，每个人至少20张使用Pytorch进行模型训练使用Flask搭建Web服务使用Html/JavaScript实现前端调用进行签名识别项目结构signature-systemdatatrainuser001001.png...user002001.png...templatesindex.htmlapp.pymodel.pytrain.py建模：model.py
  • 继 Evo 2 之后，Arc Institute 发布首个虚拟细胞模型 STATE，训练数据涉及 70 种不同细胞系 hyperai
    众所周知，人体由不同类型的细胞组成——免疫细胞在感染发生时可引发炎症反应以抵御病原体；干细胞具有分化潜能，可生成多种组织类型；而癌细胞则通过逃避生长调控信号，实现异常增殖。尽管这些细胞在功能和形态上差异巨大，但它们几乎都拥有相同的基因组。细胞的独特性并非来自DNA序列本身的差异，而是源于它们如何调控和使用相同的基因信息。换言之，细胞的特性源于基因表达的差异，而一个细胞的基因表达模式不仅决定了它属于
  • [pytorch] pytorch_model.bin 和 training_args.bin 的区别 心心喵 pytorch深度学习pytorch神经网络
    pytorch_model.bin和training_args.bin是与PyTorch框架和训练过程相关的两个文件。pytorch_model.bin:这是保存了PyTorch模型的二进制文件。在使用PyTorch进行深度学习训练时，经过训练的模型会被保存为这个文件，其中包含了模型的权重参数。这个文件可以被加载到PyTorch中，以便进行推理、评估或继续训练。training_args.bin:
  • 遥感影像数据处理-大图滑窗切分为小图 GIS潮流 遥感语义分割
    功能需求据所周知，遥感影像的尺寸有大有小，大的达到几万x几万像素，而图像分割算法模型在训练中尺寸适中，比如256x256，512x512，1024x1024等等，如果直接将遥感影像的原图输入模型中进行训练，大概率会提示内存和显存不足，因此针对遥感影像的模型训练，一般都需要将影像裁剪为小图。裁剪后的效果图如下：解决思路基于上面的需求，写了一套裁剪算法流程。主要考虑的是在裁剪过程中，从左往右、从上到下
  • Dubbo与Zookeeper核心解析 Java开发廖志伟 Java场景面试宝典DubboServiceDiscoveryDistributedSystems
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • EasyFeature软件特性四：星云空天大模型 智绘中勘 人工智能深度学习信息可视化
    随着智能遥感进入新纪元，数据处理与模型效率的挑战日益成为应用落地的关键瓶颈。EasyFeature软件以星云空天大模型为核心，构建了基于人机智能提示学习的多模态系统。通过海量高质量数据预训练，集成了包括遥感场景分类、快速目标检测、地物分类、变化检测等在内的丰富模型库，提供端到端的智能解译能力。EasyFeature完全实现国产化自主可控，涵盖全栈软硬件支撑与训推一体化流程，确保高效安全。其极简安装
  • NLP随机插入 Humbunklung 机器学习自然语言处理人工智能pythonnlp
    文章目录随机插入示例Python代码示例随机插入随机插入是一种文本数据增强方法，其核心思想是在原句中随机选择若干位置，插入与上下文相关的词语，从而生成新的训练样本。这种方法能够增加句子的多样性，提高模型对不同词序和表达方式的鲁棒性。示例原句：机器学习可以提升数据分析的效率。随机插入后（插入“显著”）：机器学习可以显著提升数据分析的效率。Python代码示例下面是一个简单的随机插入实现，假设我们有一
  • Ultralytics YOLO 库介绍与使用指南 东北豆子哥 人工智能/机器学习YOLO
    文章目录UltralyticsYOLO库介绍与使用指南主要特点安装基本使用1.使用预训练模型进行推理2.训练自定义模型3.验证模型4.导出模型高级功能1.使用不同任务模型2.使用自定义数据集3.跟踪对象(结合ByteTrack)常见问题解决性能优化技巧UltralyticsYOLO库介绍与使用指南UltralyticsYOLO是一个流行的计算机视觉库，专注于实现和优化YOLO(YouOnlyLoo
  • 【LLaMA 3实战】6、LLaMA 3上下文学习指南：从少样本提示到企业级应用实战 无心水 LLaMA3模型实战专栏llamaLLaMA3实战LLaMa3上下文AI入门程序员的AI开发第一课人工智能AI
    一、上下文学习（ICL）的技术本质与LLaMA3突破（一）ICL的核心原理与模型机制上下文学习（In-ContextLearning）的本质是通过提示词激活预训练模型的元学习能力，使模型无需微调即可适应新任务。LLaMA3的ICL架构通过以下机制实现突破：任务抽象：从示例中提取输入输出映射规则，如情感分析中的正负向判断模式模式泛化：将规则迁移到新输入，支持跨领域知识迁移动态适应：实时调整注意力分布
  • .net基于数据库实现分布式锁
    .NET基于数据库实现分布式锁全解析前言在分布式系统中，分布式锁是保证数据一致性和避免并发问题的重要手段。在.NET环境下，除了使用Redis、Zookeeper等专业工具实现分布式锁，我们还可以基于数据库来实现。本文将深入探讨如何在.NET中利用数据库实现分布式锁，并分析其优缺点和注意事项。实现思路基于数据库实现分布式锁的核心思路是利用数据库的事务和唯一性约束。我们可以创建一个专门的表来存储锁的
  • 企业级RAG系统架构设计与实现指南（Java技术栈） 在未来等你 大模型应用开发AI技术编程JavaSpring
    企业级RAG系统架构设计与实现指南（Java技术栈）开篇：RAG系统的基本概念与企业应用价值在当今快速发展的AI技术背景下，检索增强生成（Retrieval-AugmentedGeneration,RAG）已成为构建智能问答、知识库管理、个性化推荐等应用的核心技术之一。RAG系统通过结合信息检索与自然语言生成（NLG），能够有效提升模型对特定领域数据的适应能力，避免传统大模型在训练数据不足或数据更
  • 面向隐私保护的机器学习：联邦学习技术解析与应用 Blossom.118 机器学习与人工智能机器学习人工智能深度学习tensorflowpython神经网络cnn
    在当今数字化时代，数据隐私和安全问题日益受到关注。随着《数据安全法》《个人信息保护法》等法律法规的实施，企业和机构在数据处理和分析过程中面临着越来越严格的合规要求。然而，机器学习模型的训练和优化往往需要大量的数据支持，这就产生了一个矛盾：如何在保护数据隐私的前提下，充分利用数据的价值进行机器学习模型的训练和优化？联邦学习（FederatedLearning）作为一种新兴的隐私保护技术，为解决这一问
  • 3 大语言模型预训练数据-3.2 数据处理-3.2.2 冗余去除——2.SimHash算法文本去重实战案例：新闻文章去重场景
    SimHash算法文本去重实战案例：新闻文章去重场景一、案例背景与目标二、具体实现步骤与示例1.**待去重文本示例**2.**步骤1：文本预处理与特征提取**3.**步骤2：特征向量化与哈希映射**4.**步骤3：特征向量聚合**5.**步骤4：降维生成SimHash值**6.**步骤5：计算汉明距离与去重判断**三、工程化实现代码（Python简化示例）四、案例总结与优化点一、案例背景与目标假设
  • 微调大语言模型后，如何评估效果？一文讲清 茫茫人海一粒沙 人工智能
    在做大语言模型（LLM）微调时，“怎么判断模型调得好不好”是必须回答的问题。无论是在研究、项目落地，还是面试中，评估方法都不能停留在“训练loss降了”这么简单。本文从评估目标、技术指标、业务适配、实战建议四个维度，讲清楚微调后的模型评估怎么做，为什么这么做。一，评估前，先搞清楚目标不同的微调目的，评估方式也不同：✅精调任务能力：判断模型是否更好完成分类、问答、摘要、代码生成等任务。✅领域适应：关
  • Zookeeper集群 永旗狍子 Linuxjavazookeeper分布式
    目录Zookeeper集群架构图Zookeeper集群中节点的角色Zookeeper数据同步Zookeeper选举搭建Zookeeper集群Java连接Zookeeper集群Zookeeper集群架构图Zookeeper集群中节点的角色Leader(Master)：事务请求的唯一处理者，也可以处理读请求。Follower(Slave)：可以直接处理客户端的读请求，并向客户端响应；但其不会处理事务请
  • ZooKeeper深度面试指南二 搬砖的小熊猫 zookeeper面试分布式
    一、Chroot特性：多租户隔离的命名空间功能原理Chroot（ChangeRoot）是ZooKeeper3.2.0引入的关键特性，允许客户端将操作限制在指定子树下。客户端连接时通过路径后缀（如127.0.0.1:2181/app1）设置命名空间，所有操作（如创建节点/config）实际映射为/app1/config，实现物理集群内的逻辑隔离。应用场景多应用共享集群：不同业务（支付/订单）共用Zo
  • zookeeper Curator(5):集群架构和集群搭建 后会无期77 zookeeperCuratorzookeeper架构分布式
    文章目录一、集群架构：Leader-Follower模式二、核心机制：ZAB协议三、Leader选举机制四、集群部署要点五、优势与挑战Zookeeper集群是一个由多个Zookeeper服务实例组成的分布式协调服务系统，通过奇数个节点（通常3、5、7个）的协作，提供高可用性、容错性和数据一致性，适用于分布式环境下的配置管理、命名服务、分布式锁等场景。以下从架构、核心机制、选举机制、数据模型、应用场
  • 2025年上半年软考系统架构设计师--案例分析试题与答案 不对法 计算机软考机考系统架构
    必选题一:大模型训练系统某公司开发一个在线大模型训练平台，支持Python代码编写、模型训练和部署,用户通过python编写模型代码,将代码交给系统进行模型代码的解析,最终由系统匹配相应的计算机资源进行输出，用户不需要关心底层硬件平台。a.系统发生错误时，不影响正常运行时发送一个消息给系统管理员(可靠性。ps:可靠性中包括了健壮性:指的是保护应用程序不受错误使用和错误输入的影响，在发生意外错误事件
  • 人脸识别常用数据集和Loss JL_Jessie 人脸识别深度学习
    人脸识别数据集数据集的noise对训练效果的影响很大！很长一段时间MegaFace的效果都上不去，就是因为数据集噪声的原因。而且自己在训练人脸的时候，如果不对数据集的噪声和属性有一点了解，对训练结果可能会有误判，甚至越训练越差…在选择数据集的时候不要一味求大，有的时候选择一个noise比例极高的大数据集，效果还不如选择一个clean的小数据集呢，可以参见这篇论文TheDevilofFaceReco
  • YOLOv13：开启目标检测新时代，手把手教你实操 奔跑吧邓邓子 必备核心技能YOLO目标检测目标跟踪人工智能实操
    目录一、YOLOv13初印象1.1YOLO系列发展脉络1.2YOLOv13独特之处二、前期准备工作2.1环境搭建2.2依赖安装三、深入使用指南3.1模型验证3.2模型训练3.3模型推理四、应用案例与拓展4.1实际场景应用展示4.2与其他技术结合思路五、总结与展望一、YOLOv13初印象1.1YOLO系列发展脉络YOLO（YouOnlyLookOnce）系列算法在目标检测领域中，就如同一位不断进化的
  • 从入门到实战：YOLOv13 安装与使用全攻略 奔跑吧邓邓子 必备核心技能YOLO目标跟踪人工智能安装使用全攻略
    目录一、YOLOv13简介1.1目标检测与YOLO系列1.2YOLOv13核心技术亮点1.3性能优势展现二、前期准备2.1系统环境要求2.2软件依赖安装三、安装流程3.1获取源码3.2环境搭建3.3安装验证四、使用指南4.1模型验证4.2模型训练4.3模型推理4.4模型导出五、应用案例与技巧5.1实际应用场景展示5.2常见问题与解决方法5.3优化技巧分享六、总结与展望6.1YOLOv13回顾6.2
  • rnn-人名案例实现 Ai玩家hly rnnpython深度学习
    模型训练实现:coding:utf-8导入torch工具importjsonimporttorch导入nn准备构建模型importtorch.nnasnnimporttorch.nn.functionalasFimporttorch.optimasoptim导入torch的数据源数据迭代器工具包fromtorch.utils.dataimportDataset,DataLoader用于获得常见字母
  • 道可云人工智能每日资讯｜江苏首个机器人训练中心在苏州吴江启动 道可云 道可云人工智能人工智能机器人arDeepSeekxr百度
    道可云人工智能&元宇宙每日简报（2025年6月26日）讯，今日人工智能&元宇宙新鲜事有：江苏首个机器人训练中心在苏州吴江启动近日，长三角一体化示范区智能机器人训练中心在东太湖度假区（太湖新城）正式启用，成为江苏省首个机器人智能训练中心。该中心占地1500平方米，设有8个训练场景和30个生产工位，涵盖智能制造、商业服务、特种应用三大领域，年产数据可超200万条，旨在加速机器人从实验室走向真实产业场景
  • 网络安全防御：蓝队重保备战与应急溯源深度解析 网安认证小马135-2173-0416 web安全安全
    课程目标本课程旨在培养专业的网络安全蓝队成员，通过系统化的学习和实战演练，使学员能够掌握网络安全防御的核心技能，包括资产测绘、应急响应、系统安全应急溯源分析、网络层溯源分析以及综合攻防演练等。学员将能够熟练运用各种工具和技术，有效应对网络攻击，保障企业信息安全。具体目标如下：增强综合攻防能力：通过综合训练，学员将能够模拟攻击者和企业安全人员，开展对抗练习，提升实战能力和团队协作能力。掌握蓝队核心技
  • 【Python】科研代码学习：十三 Accelerate 溢流眼泪 【科研代码】python学习开发语言
    【Python】科研代码学习：十三AccelerateAccelerate统一的加速接口修改训练代码(torch.nn)更简单的使用Accelerate【HF官网-Doc-Accelerate：API】HFAccelerate是一个库，能够让PyTorch代码添加几行代码之后，就能在分布式配置中运行（比如多Gpus卡）前言：建议Python3.8+pipinstallaccelerate统一的加速
  • Python打卡训练营-Day41-简单CNN traMpo1ine cnnpython深度学习
    @浙大疏锦行知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数→下一层Flatten->Dense(withDropout，可选)->Dense(Output)这里相关的概念比较多，如果之前没有学习过复试班强化班中
  • 数据标注工具详解 Sally璐璐 ai大数据
    数据标注工具是构建高质量AI训练数据集的核心基础设施，其功能覆盖图像、文本、视频、音频、3D点云等多模态数据的标注与管理。以下从工具类型、核心功能、行业应用及技术趋势等方面进行系统介绍：一、主流数据标注工具分类与特性1.通用型标注平台LabelStudio由Heartex开发的开源工具，支持文本、图像、视频、音频及时间序列数据标注，可通过YAML自定义标注界面19。其内置质量控制机制（如标注审核、
  • 深度学习使用Pytorch训练模型步骤 vvvdg 深度学习pytorch人工智能
    训练模型是机器学习和深度学习中的核心过程，旨在通过大量数据学习模型参数，以便模型能够对新的、未见过的数据做出准确的预测。训练模型通常包括以下几个步骤：1.数据准备：收集和处理数据，包括清洗、标准化和归一化。将数据分为训练集、验证集和测试集。2.定义模型：选择模型架构，例如决策树、神经网络等。初始化模型参数（权重和偏置）。3.选择损失函数：根据任务类型（如分类、回归）选择合适的损失函数。4.选择优化
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他