xiaoxu_xiaoyou
xiaoxu_xiaoyou

Hadoop历史版本架构分析

hadoop三大核心

  • hdsf集群（分布式文件系统）
  • yarn集群（数据计算资源调度）
  • mapreduce（分布式计算）

1、1.x版本模型

Hadoop历史版本架构分析_第1张图片

  • 文件系统核心模块（主从架构）

    • NameNode

      集群中的主节点，存储元数据（文件位置、文件大小、文件权限），也管理集群当中的各种数据，相当于文件系统的大脑，在1.x版本中NameNode服务宕机整个服务则瘫痪

    • SecondaryNameNode

      主要能用于hadoop当中元数据信息的辅助管理，减轻NameNode的负担

    • DataNode

      集群当中的从节点，主要存储集群当中的各种数据

  • 数据计算核心模块（主从架构）

    • JobTracker

      接收用户的计算请求，并分配任务给从节点

    • TaskTracker

      负责执行主节点JobTracker分配的任务

2、2.x版本模型

2.1、NameNode与ResourceManager单节点架构Hadoop历史版本架构分析_第2张图片

  • 文件系统核心模块

    • NameNode

      集群当中的主节点，主要用于管理集群当中的各种数据

    • secondaryNameNode

      主要能用于hadoop当中元数据信息的辅助管理

    • DataNode
      集群当中的从节点，主要用于存储集群当中的各种数据

  • 数据计算核心模块

    • ResourceManager

      接收用户的计算请求任务，并负责集群的资源分配，当有任务接收时，ResourceManger会另外启动AppMaster服务对计算任务进行分配（计算任务分配和资源分配），再由ResourceManager管理各个NodeManager资源分配进行各自的计算任务

    • NodeManager：负责执行主节点APPmaster分配的任务

2.2、NameNode单节点与ResourceManager高可用架构模型Hadoop历史版本架构分析_第3张图片

  • 文件系统核心模块

    • NameNode

      集群当中的主节点，主要用于管理集群当中的各种数据

    • secondaryNameNode

      主要能用于hadoop当中元数据信息的辅助管理

    • DataNode

      集群当中的从节点，主要用于存储集群当中的各种数据

  • 数据计算核心模块

    • ResourceManager

      接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过zookeeper实现ResourceManager的高可用，利用zookeeper的watch机制，监听主节点是否正常允许，一旦宕机，备份节点替换主节点进行计算任务分配

    • NodeManager

      负责执行主节点ResourceManager分配的任务

  • zookeeper

    • 部署zookeeper，利用其watch机制

2.3、NameNode高可用与ResourceManager单节点架构模型

Hadoop历史版本架构分析_第4张图片

  • 文件系统核心模块：

    • NameNode

      集群当中的主节点，主要用于管理集群当中的各种数据，其中nameNode可以有两个，形成高可用状态

    • DataNode

      集群当中的从节点，主要用于存储集群当中的各种数据

    • JournalNode

      文件系统元数据信息管理，保证主从的NameNode的数据一致

  • 数据计算核心模块：

    • ResourceManager

      接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分

    • NodeManager

      负责执行主节点ResourceManager分配的任务

    2.4、NameNode与ResourceManager高可用架构模型

    Hadoop历史版本架构分析_第5张图片

    • 文件系统核心模块：

    • NameNode

      集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现HA高可用

    • JournalNode

      元数据信息管理进程，一般都是奇数个

    • DataNode

      从节点，用于数据的存储

  • 数据计算核心模块：

    • ResourceManager

      Yarn平台的主节点，主要用于接收各种任务，通过两个，构建成高可用

    • NodeManager

      Yarn平台的从节点，主要用于处理ResourceManager分配的任务

你可能感兴趣的:(大数据学习,大数据Hadoop架构)

  • 可扩展性设计架构模式——开闭原则 goTsHgo Java开闭原则java
    1.概述在架构设计中，遵循开闭原则（Open/ClosedPrinciple,OCP）,代码应该“对扩展开放，对修改关闭”是实现可扩展性的关键。这个原则指导我们设计系统时，应使其对新增功能开放，而对现有代码的修改封闭。这样，当系统需求变化或需要添加新功能时，我们可以通过添加新的代码模块而不是修改现有代码来实现，从而减少了对现有系统稳定性和已有功能的风险。底层原理解释开闭原则基于抽象构建架构。系统中
  • Apache Airflow 全面解析 由数入道 人工智能apacheAirflow
    1.Airflow的定义与核心定位ApacheAirflow是一个开源的工作流自动化与调度平台，由Airbnb于2014年创建，2016年进入Apache孵化器，2019年成为顶级项目。其核心设计理念是“WorkflowsasCode”，通过编程方式定义、调度和监控复杂的数据流水线（Pipeline），适用于ETL、机器学习模型训练、数据湖管理、报表生成等场景。2.核心概念与架构解析2.1核心组件
  • 什么是 ocp架构服务器？OCP架构服务器有什么优势 恒创HengHost 开闭原则架构服务器
    OCP（OpenComputeProject）架构服务器是基于Facebook发起的一个开源硬件项目，旨在设计和构建高效、可扩展的数据中心基础设施。OCP服务器设计的核心目标是提高硬件的能源效率、降低数据中心的总体拥有成本（TCO），并促进硬件创新。OCP架构服务器具有以下优势：模块化设计：OCP服务器通常采用高度模块化的设计，使得硬件升级、维护和替换变得更加容易，从而提高了数据中心的灵活性和可扩
  • Spring AI 在微服务中的应用：支持分布式 AI 推理 drebander AI编程springAI
    1.引言在现代企业中，微服务架构已成为开发复杂系统的主流方式，而AI模型推理也越来越多地被集成到业务流程中。如何在分布式微服务架构下高效地集成SpringAI，使多个服务可以协同完成AI任务，并支持分布式AI推理，是企业面临的关键挑战。本篇文章将探讨：在微服务架构中如何部署SpringAI服务；如何通过分布式AI推理提高推理性能与扩展性；典型应用场景，如电商推荐、智能客服、实时分析等。2.Spri
  • 【PostgreSQL 】运维篇——PostgreSQL 高可用性架构 AI人H哥会Java sql数据库postgresql运维
    数据库的可用性和可靠性是至关重要的，随着业务需求的增长，系统必须能够持续运行，并在发生故障时迅速恢复。高可用性（HA）解决方案确保数据库系统能够在出现硬件故障、软件故障或其他意外情况下保持可用性，从而最小化停机时间和数据丢失。PostgreSQL提供了多种高可用性解决方案，包括主从复制、流复制和故障转移。这些解决方案可以帮助企业实现数据的冗余备份、负载均衡和快速恢复。以下是对这些解决方案的详细讨论
  • 架构师考试系列（２）论文专题：论统一过程开发方法RUP的应用 CoderIsArt 架构设计研究软件架构
    摘要：2020年6月，我参加了本公司的“虚拟现实（VR）”（下面称为该项目）平台的开发工作。我在此项目中，作为主要管理人员，担任系统架构师，负责整个项目的架构设计工作。该项目包括素材管理、热点管理、场景管理、VR产品制作、VR产品管理、VR产品展示等相关功能模块。该项目主要采用了RUP开发模型，对项目的开发过程进行规范和改进。本文以该项目为例，结合了作者的实践，讨论RUP(统一过程)在开发中的应用
  • 云原生架构的核心原则：微服务、容器与DevOps zhousenshan 论文素材云原生架构微服务
    云原生架构正以前所未有的速度席卷各行各业，成为众多企业迈向高效、敏捷与创新之路的关键力量。据Gartner预测，到2025年，将有95%的新建数字工作负载基于云原生平台，这一数据直观地反映出云原生架构在未来企业技术布局中的核心地位。云原生架构之所以备受瞩目，源于它能充分释放云计算的潜能，为企业带来诸多显著优势。它打破了传统架构的诸多束缚，让应用开发、部署与运维变得更加灵活、高效，极大提升了企业应对
  • Ceph的原理与架构 stybxiao Cephceph
    Ceph的原理与架构Ceph的原理与架构Ceph的起源与哲学Ceph的技术Ceph的架构及组件
  • 【Python进阶】Python中的电子邮件处理：SMTP、IMAP和MIME m 哆哆.ღ pythonpython服务器网络
    1、电子邮件概述1.1电子邮件的工作原理1.1.1邮件服务器与客户端电子邮件的运作基于客户端-服务器架构，用户通常通过邮件客户端软件（如Outlook、Thunderbird等）或者网页版邮件服务（如Gmail、YahooMail等）撰写、发送和接收邮件。邮件客户端负责与邮件服务器进行通信，邮件服务器则承担着存储、转发和管理邮件的任务。当用户编写一封电子邮件后，邮件首先被客户端软件打包并通过SMT
  • Ceph存储架构详解 wespten 虚拟化技术SDNNFV云计算技术OpenStack数据库存储块存储文件存储对象存储分布式网络存储ceph架构
    1、Ceph三大存储接口Ceph能够提供企业中三种常见的存储需求：块存储、文件存储和对象存储。正如Ceph官方所定义的一样“Cephuniquelydeliversobject,block,andfilestorageinoneunifiedsystem.”，Ceph在一个统一的存储系统中同时提供了对象存储、块存储和文件存储，即Ceph是一个统一存储，能够将企业企业中的三种存储需求统一汇总到一个存
  • 秒杀架构-详细 Ybb_studyRecord 笔记架构java分布式
    秒杀架构秒杀架构秒杀活动的特点要解决的问题涉及技术点问题解决方案瞬时大流量的冲击超卖、少卖问题高可用恶意请求用户秒杀流程图秒杀架构核心：把量变少，限流适当增加机器，重新设计秒杀架构，让普通业务和秒杀业务分离开，秒杀不影响普通业务，分治法，分而治之（分散流量）把量拆开1.在不同地区部署同样的架构+限流，分散流量2.所有静态页全部扔到CDN中，原生支持多地域分散流量秒杀活动的特点1，瞬时大流量所以需要
  • vLLM源码之分离式架构 Bj陈默 架构
    一、vLLM分离式架构概述1.基本概念vLLM是一个用于高效地服务大语言模型（LLM）推理的库。其分离式架构是一种创新的设计理念，旨在优化LLM的运行效率。这种架构将模型执行的不同阶段进行分离处理，主要包括请求处理、模型执行和结果输出等关键环节。2.设计目的提升吞吐量。通过分离式架构，可以并行处理多个请求，避免不同请求在处理过程中的相互干扰，充分利用硬件资源，特别是在处理高并发请求时能显著提高系统
  • RUP：用例驱动、以架构为中心的迭代增量开发模式 zhousenshan 软考-系统架构师架构
    1RUP特点RationalUnifiedProcess(RUP)，即Rational统一过程，二维的开发模型，涉及九大工作流，是一种为了满足这些需求而生的开发模式。RUP是一个用例驱动、以架构为中心的迭代增量开发模式，可以帮助我们更好地进行软件开发用例驱动在RUP中，用例是驱动软件开发的主要力量。用例是一种以用户的视角描述系统功能的方法，通常以一组交互的形式表达，定义了系统如何响应外部事件。通过
  • 高并发场景下的秒杀系统架构设计与实现 一休哥助手 系统架构
    引言秒杀系统是一种高并发场景的典型应用，广泛存在于电商平台、抢票系统和促销活动中。秒杀活动的特点是短时间内吸引大量用户同时访问并尝试抢购商品，这对系统的高并发处理能力、稳定性和用户体验提出了极高的要求。在秒杀系统中，常见的挑战包括高并发流量的处理、库存超卖的防范、接口的高效响应以及系统的容错能力等。本文将从秒杀系统的核心需求入手，详细解析秒杀系统的架构设计、实现关键技术及优化方案，为构建高效稳定的
  • JavaScript逆向高阶指南：突破基础，掌握核心逆向技术 不做超级小白 web逆向知识碎片web前端javascript开发语言ecmascript
    JavaScript逆向高阶指南：突破基础，掌握核心逆向技术JavaScript逆向工程是Web开发者和安全分析师的核心竞争力。无论是解析混淆代码、分析压缩脚本，还是逆向Web应用架构，掌握高阶逆向技术都将助您深入理解复杂JavaScript逻辑。本文将通过实战案例，带您探索JavaScript逆向的深层技术原理。1.JavaScript反混淆实战现代Web应用常采用多重混淆技术保护代码，以下为高
  • 【架构设计】如何让你的应用做到高内聚、低耦合？ 肥肥技术宅 javajava开发语言
    前言最近review公司的代码，发现代码耦合程度特别高，修改一处，不知不觉就把其他地方影响到了，这就让我思考该如何让我们写的代码足够内聚，减少耦合呢？"高内聚、松耦合"是一个非常重要的设计思想，能够有效地提高代码的可读性和可维护性，缩小功能改动导致的代码改动范围。它可以用来指导不同粒度代码的设计与开发，比如系统、模块、类，甚至是函数，也可以应用到不同的开发场景中，比如微服务、框架、组件、类库等。本
  • 架构整合要点。 jc_dreaming2 OPENSpringStrutsJavaHibernateXML
    整合spring2+struts1.2+hibernate3.2程序要使用spring2,需要spring插件jar包和spring的类库外。1.web.xml配置spring的监听。org.springframework.web.context.ContextLoaderListener通过contextConfigLocation上下文参数指定spring配置文件javax.servlet.j
  • MVP框架——MvpFrame 码农壹号 mvp架构mvp框架设计
    MvpFrameMvpFrame是一款是一款MVP通用框架，使用简单，有效的解决项目中的高度耦合性，使项目更有层次结构。版本更新记录版本更新记录前序随着项目的功能迭代，传统的MVC架构已经很难满足开发需求了，高耦合让维护成本变得越来越高，代码冗余程度也越来越高，代码最后变得臃肿不堪。所以，在实际项目中，我们跟多的选择MVP架构。MVP架构是代码结构层次更加清晰、项目更加容易维护，代码耦合性降低了。
  • 【系统架构设计师】隐式调用（事件驱动）架构 Evaporator Core 软考信息系统项目管理师基础班系统架构设计师架构
    隐式调用（ImplicitInvocation）架构风格，也被称为事件驱动架构（Event-DrivenArchitecture,EDA），是一种基于事件的软件设计模式。在这种架构中，组件间的交互不是通过直接的函数调用或方法调用来实现的，而是通过事件来进行。这种架构风格强调组件间的松耦合和高内聚，使得系统更加灵活和可扩展。一、隐式调用的基本概念隐式调用架构风格的核心在于事件、事件生成器、事件监听器
  • 分层架构设计概念 祈遇& java
    技术架构分层设计  系统分层设计是一种设计思想（分而治之），是让每层对象都有一个独立职责，再让多层对象协同（耦合）完成一个完整的功能。这样做可以更好提高系统可扩展性,但同时也会增加系统整体运维的难度springBoot技术简介和特性  SpringBoot是Java软件开发框架（很多人现在把它理解为一个脚手架），其设计目的是用来简化Spring项目的初始搭建以及开发过程。该框架使用了特定的注解方式
  • 为什么要做代码分层架构？ 我爱娃哈哈 趣学设计模式架构设计模式java
    软件程序通常有两个层面的需求：功能性需求，简单来说，就是一个程序能为用户做些什么，比如，文件上传、查询数据等；非功能性需求，这个是指除功能性需求以外的其他必要需求，比如，性能、安全性、容错与恢复、本地化、国际化等。事实上，非功能性需求所构建起来的正是我们所熟知的软件架构。什么是软件架构？简单来说，就是软件的基本结构，包括三要素：代码、代码之间的关系和两者各自的属性。我们都知道，软件架构非常重要，为
  • 世界一流|深化数智财务共享，夯实央企财务数智化转型根基 用友智能财务 大数据金融国企科技会计
    摘要：数智财务，共享先行。企业财务数智化建设历经三大阶段：1.0阶段，企业构建财务共享中心，变革组织架构与职能，优化融合流程，支撑企业高效运营；2.0阶段，在财务共享稳定运行基础上，推进全财务领域数智化升级，助力企业打造世界一流财务管理体系；3.0阶段，深度整合智能技术，深化数智财务应用。不断深化的数智财务共享体系是中央企业财务数智化转型的有力支撑。关键词：数智财务；财务数智化；财务共享；财务管理
  • react学习 guhy fighting reactreact.js学习前端
    react框架的选择低代码、BI前瞻性bs架构，网页客户端去使用react就是用来代替DOM的，dom操作，构建前端界面的react-native直接开发ios，安卓，原生应用虚拟dom，操作react，影响dom，中间人现在的dom和当前的dom做比较看哪个发生了变化，做最小的修改1、虚拟dom2、兼容性3、性能好，避免做一些多余的操作声明式编程：结果为导向命令式编程：过程为导向基于组件开发，组
  • Deepseek技术浅析（一） 爱研究的小牛 AIGC—概述大模型AIGC人工智能深度学习自然语言处理
    DeepSeek是北京深度求索人工智能基础技术研究有限公司推出的人工智能技术品牌，专注于大语言模型（LLM）的研发与应用。其技术涵盖了从模型架构、训练方法到应用部署的多个层面，展现出强大的创新能力和应用潜力。以下将详细介绍DeepSeek的核心技术、工作原理以及具体实现方式。一、核心技术1.大语言模型（LLM）DeepSeek的核心产品是自研的大语言模型，其主要特点包括：(1)基于Transfor
  • React 19 深度剖析：从架构升级到性能优化 九情丶 react.js架构性能优化
    React19深度剖析：从架构升级到性能优化目录React19架构升级新特性深度解析性能优化最佳实践高级功能应用工程化实践迁移策略实战案例常见问题解决1.React19架构升级1.1新一代并发渲染引擎React19采用全新的并发渲染架构，显著提升了应用性能：//新的并发模式配置constroot=createRoot(document.getElementById('root'),{concurr
  • 从CV工程师到CtrlCV架构师：PromptCoder如何让前端搬砖变成乐高拼装 正宗咸豆花 前端人工智能AIGCai个人开发
    《从CV工程师到CtrlCV架构师：PromptCoder如何让前端搬砖变成乐高拼装》各位在座的代码艺术家、CSS炼金术师、React吟游诗人，今天我们要聊一个能让原型图自动「现出原形」的黑魔法——是的，我说的不是Figma切图插件，而是能让你的Ctrl+C/V进化成量子纠缠的PromptCoder。官网：PromptCoder当截图遇见AI：前端复刻的「降维打击」还记得那些年我们对着设计图手动敲
  • Kafka 副本 leader 是怎么选举的？？思维导图 代码示例（java 架构) 用心去追梦 kafkajava架构
    Kafka中的副本（Replica）Leader选举是确保数据高可用性和容错性的重要机制。当一个分区的Leader副本不可用时，Kafka需要从该分区的ISR（In-SyncReplicas）列表中选择一个新的Leader来继续处理生产者和消费者的请求。ISR列表包含所有与Leader保持同步的副本。Kafka副本Leader选举思维导图KafkaReplicaLeaderElection├──触
  • 企业技术架构图 iteye_14949 企业架构图技术架构图
    发布一企业技术架构图，供大家参考。该技术架构图是本人根据多年企业技术架构经验而制定，是企业技术的总架构图，希望对CTO们有所借鉴。简单说明：1.中间件基础运行环境是经过统一规划的以WebLogic、JBOSS为主的集群环境2.企业集成平台是以基础业务应用为基础服务于上层平台和基础业务应用的高度集成平台3.数据中心是企业公共数据的集中管理比如用户数据、企业编码，可以通过数据集成平台或服务集成平台分发
  • DM数据库体系架构 小蜗牛_ 数据库
    目录一、逻辑存储结构二、物理存储结构三、内存结构3.1内存池3.2缓冲区3.3排序区3.4哈希区四、管理DM线程一、逻辑存储结构DM数据库为数据库中的所有对象分配逻辑空间，并存放在数据文件中。在DM数据库内部，所有的数据文件组合在一起被划分到一个或者多个表空间中，所有的数据库内部对象都存放在这些表空间中。同时，表空间被进一步划分为段、簇和页（也称块）。通过这种细分，可以使得DM数据库能够更加高效地
  • 【自动化】深度解析仓库存储UI自动化 从零开始的-CodeNinja之路 自动化uilog4j
    目录一、分层测试1.1单元(Unit)测试1.2接口（Service/服务/API）测试1.3集成（UI）测试1.4分层测试总结二、UI自动化2.1UI自动化作用2.2UI自动化优点2.3UI自动化缺点三、常见的UI自动化框架分析3.1Cypress和Selenium用户量对比3.2Cypress和Selenium实现架构对比3.3Cypress和Selenium环境框架对比四、如何做好UI自动化
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他