xiaoxu_xiaoyou
xiaoxu_xiaoyou

Hadoop历史版本架构分析

hadoop三大核心

  • hdsf集群（分布式文件系统）
  • yarn集群（数据计算资源调度）
  • mapreduce（分布式计算）

1、1.x版本模型

Hadoop历史版本架构分析_第1张图片

  • 文件系统核心模块（主从架构）

    • NameNode

      集群中的主节点，存储元数据（文件位置、文件大小、文件权限），也管理集群当中的各种数据，相当于文件系统的大脑，在1.x版本中NameNode服务宕机整个服务则瘫痪

    • SecondaryNameNode

      主要能用于hadoop当中元数据信息的辅助管理，减轻NameNode的负担

    • DataNode

      集群当中的从节点，主要存储集群当中的各种数据

  • 数据计算核心模块（主从架构）

    • JobTracker

      接收用户的计算请求，并分配任务给从节点

    • TaskTracker

      负责执行主节点JobTracker分配的任务

2、2.x版本模型

2.1、NameNode与ResourceManager单节点架构Hadoop历史版本架构分析_第2张图片

  • 文件系统核心模块

    • NameNode

      集群当中的主节点，主要用于管理集群当中的各种数据

    • secondaryNameNode

      主要能用于hadoop当中元数据信息的辅助管理

    • DataNode
      集群当中的从节点，主要用于存储集群当中的各种数据

  • 数据计算核心模块

    • ResourceManager

      接收用户的计算请求任务，并负责集群的资源分配，当有任务接收时，ResourceManger会另外启动AppMaster服务对计算任务进行分配（计算任务分配和资源分配），再由ResourceManager管理各个NodeManager资源分配进行各自的计算任务

    • NodeManager：负责执行主节点APPmaster分配的任务

2.2、NameNode单节点与ResourceManager高可用架构模型Hadoop历史版本架构分析_第3张图片

  • 文件系统核心模块

    • NameNode

      集群当中的主节点，主要用于管理集群当中的各种数据

    • secondaryNameNode

      主要能用于hadoop当中元数据信息的辅助管理

    • DataNode

      集群当中的从节点，主要用于存储集群当中的各种数据

  • 数据计算核心模块

    • ResourceManager

      接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过zookeeper实现ResourceManager的高可用，利用zookeeper的watch机制，监听主节点是否正常允许，一旦宕机，备份节点替换主节点进行计算任务分配

    • NodeManager

      负责执行主节点ResourceManager分配的任务

  • zookeeper

    • 部署zookeeper，利用其watch机制

2.3、NameNode高可用与ResourceManager单节点架构模型

Hadoop历史版本架构分析_第4张图片

  • 文件系统核心模块：

    • NameNode

      集群当中的主节点，主要用于管理集群当中的各种数据，其中nameNode可以有两个，形成高可用状态

    • DataNode

      集群当中的从节点，主要用于存储集群当中的各种数据

    • JournalNode

      文件系统元数据信息管理，保证主从的NameNode的数据一致

  • 数据计算核心模块：

    • ResourceManager

      接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分

    • NodeManager

      负责执行主节点ResourceManager分配的任务

    2.4、NameNode与ResourceManager高可用架构模型

    Hadoop历史版本架构分析_第5张图片

    • 文件系统核心模块：

    • NameNode

      集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现HA高可用

    • JournalNode

      元数据信息管理进程，一般都是奇数个

    • DataNode

      从节点，用于数据的存储

  • 数据计算核心模块：

    • ResourceManager

      Yarn平台的主节点，主要用于接收各种任务，通过两个，构建成高可用

    • NodeManager

      Yarn平台的从节点，主要用于处理ResourceManager分配的任务

你可能感兴趣的:(大数据学习,大数据Hadoop架构)

  • 基于MCP架构的ChatBI：破解数据分析难题，让智能对话赋能商业决策 码力金矿 MCP人工智能python架构数据分析数据挖掘数据库sqloceanbase人工智能
    在数据驱动的时代，传统BI工具操作复杂、效率低下，而ChatBI（对话式商业智能）的兴起为企业带来了新希望。本文将深入探讨一种基于MCP（ModelContextProtocol，模型上下文协议）架构的ChatBI解决方案，通过创新设计解决数据准确性、多指标查询及自动化分析等核心痛点。文章以技术拆解+实战案例的形式呈现，帮助您快速理解其原理与价值，助力企业高效实现智能数据分析。关键词：MCP、Ch
  • 数据库领域数据仓库的星型模型与雪花模型对比 数据库管理艺术 数据库专家之路大数据AI人工智能MCP&AgentSQL实战数据库数据仓库ai
    数据库领域数据仓库的星型模型与雪花模型对比关键词：数据仓库、星型模型、雪花模型、数据建模、对比分析摘要：本文深入探讨了数据库领域数据仓库中的星型模型与雪花模型。首先介绍了数据仓库建模的背景知识，包括目的、预期读者和文档结构等。接着详细阐述了星型模型和雪花模型的核心概念、联系以及各自的架构特点，并通过Mermaid流程图进行直观展示。然后对两种模型的核心算法原理展开分析，结合Python源代码进行说
  • 【Python爬虫实战】全面抓取网页资源（图片、JS、CSS等）——超详细教程与源码解析 Python爬虫项目 python爬虫javascript新浪微博开发语言css旅游
    前言在互联网时代，网页数据已经成为重要的信息来源。许多时候，我们不仅需要抓取网页中的文字信息，还需要将网页中的各种资源文件（如图片、CSS样式表、JavaScript脚本文件等）一起抓取并保存下来。这种需求广泛应用于网页备份、离线浏览、数据分析等场景。本篇文章将带你从零开始，系统讲解如何使用Python最新技术，一步步实现抓取网页中所有静态资源的完整流程，包括：页面结构分析爬虫基本架构搭建异步爬取
  • webRTC入门概览 音视频开发老马 webrtc服务器运维
    1.什么是webRTCWebRTC（WebReal-TimeCommunications）是由谷歌开源并推进纳入W3C标准的一项音视频技术，旨在通过点对点的方式，在不借助中间媒介的情况下，实现浏览器之间的实时音视频通信。与Web经典的B/S架构(即浏览器和服务器架构模式)最大的不同是WebRTC的通信不经过服务器，而直接与客户端连接，在节省服务器资源的同时，提高通信效率。2.信令服务器信令(sig
  • Disruptor 介绍 三石成山 java
    Disruptor是由LMAX(一个金融交易平台)开发的一种高性能、低延迟的消息队列框架。它专为高吞吐量、低延迟的并发处理设计，能够极大地提升事件驱动架构的性能。Disruptor在许多实时系统中被广泛使用，尤其是在金融、游戏、日志处理等领域，具有与传统消息队列（如Kafka、RabbitMQ）不同的设计哲学和实现方式。链接LMAX-Exchange/disruptor:HighPerforman
  • 嵌入式开发学习日志Day14（ARM体系架构——RTC及ADC)
    一、RTCRTC（实时时钟）：非易失性在IMX6ULL内部SNVS（安全的非易失性存储器）提供RTC功能；原理图：二、ADC2.1基本概念ADC(模拟数字转换器)：用于将连续变化的模拟信号转换为离散的数字信号以便数字系统对它进行处理；模拟信号：一般指连续变化的电压信号，其值在一定范围内变化；数字信号：由一系列离散数字表示仅取有限值，通常以二进制表示；2.2工作原理将模拟信号分割成一系列离散的取样，
  • OCCT 预览显示与永久显示设计哲学: 非破坏性编辑 (Non-destructive Editing) 设计模式
    在现代三维建模和计算机辅助设计（CAD）领域，用户的每一次操作都可能涉及复杂且耗时的计算。如何为用户提供一个既能实时响应、又能确保数据安全的操作环境，是软件架构设计的核心挑战之一。预览与永久应用分离的机制，正是非破坏性编辑(Non-destructiveEditing)这一核心设计模式的经典体现。非破坏性编辑，顾名思义，是指在编辑过程中，用户的任何尝试性操作都不会立即、永久地改变或破坏原始数据。系
  • 【C#】【Unity 五子棋 2D 游戏技术实现】 小李菜鸟 unity游戏游戏引擎
    一、系统概述该五子棋游戏基于Unity引擎开发，实现了15x15标准棋盘的2D对战功能，包含棋盘渲染、落子交互、胜负判定、悔棋和重新开始等核心功能。系统由两个主要脚本组成：Board2DSetup：负责棋盘界面的初始化，包括背景图像和网格线的生成Gobang2DGameManager：核心游戏逻辑管理，处理落子、胜负判定、UI交互等二、核心流程架构1.棋盘初始化流程1.加载棋盘背景图像，设置Rec
  • Jupiter项目版本演进与技术架构深度解析 齐飞锴Timothea
    Jupiter项目版本演进与技术架构深度解析JupiterJupiter是一款性能非常不错的,轻量级的分布式服务框架项目地址:https://gitcode.com/gh_mirrors/jup/Jupiter项目概述Jupiter是一个高性能的分布式服务框架，专注于提供稳定可靠的RPC通信能力。从版本迭代历史可以看出，该项目在性能优化、功能完善和稳定性提升方面持续演进。本文将深入分析Jupite
  • 认知引擎的系统性提升路径：从投影到本体的智慧涌现
    核心议题：结合从投影（Projection）推断本体（Ontology）的根本挑战，旨在设计一套认知引擎的系统性提升路径。其最终目标是在知识基础设施（GlobalKnowledgeInfrastructure,GKI）中，构建一个可持续、可进化、能够自我完善并不断逼近“知识奇点”的认知系统。设计视角：以“知识架构师”（KnowledgeArchitect）的身份，我们将构建一个涵盖认知机制、知识结
  • 嵌入式SoC多线程架构迁移多进程架构开发技巧 不脱发的程序猿 嵌入式嵌入式
    目录1、架构迁移步骤2、架构迁移的关键点3、迁移实例将嵌入式SoC开发从单进程多线程架构迁移多进程架构是一项需要谨慎规划和实施的任务，尤其在资源有限的嵌入式系统中。这种架构转变通常是为了提高系统的稳定性、隔离性、安全性和并发处理能力。在单进程多线程架构中，多个线程共享相同的内存空间、文件描述符和全局变量，适合处理轻量级任务并发。然而，这种架构的缺点在于：共享资源管理复杂：线程之间共享内存，容易引发
  • 微服务之间的调用方式总结 lanbing 微服务微服务架构云原生
    微服务架构是一种将一个单一应用程序划分为多个小型、独立服务的设计模式，每个服务运行在自己的进程中，并通过轻量级通信机制（通常是HTTP或消息队列）进行交互。微服务之间的调用是构建分布式系统的关键部分，常见的调用方式包括以下几种：一、同步调用（SynchronousCommunication）1.HTTP/REST使用标准的HTTP协议和RESTful风格进行服务间通信。使用JSON/XML传输数据
  • Java领域Spring Cloud网关的配置与使用 Java大师兄学大数据AI应用开发 javaspringcloud开发语言ai
    Java领域SpringCloud网关的配置与使用关键词：SpringCloudGateway、微服务网关、路由配置、过滤器、负载均衡、服务发现、API网关摘要：本文深入探讨SpringCloudGateway在Java微服务架构中的核心作用与实现原理。文章从网关的基本概念出发，详细解析其架构设计、路由配置、过滤器链等核心功能，并通过实际代码示例展示如何配置和使用SpringCloudGatewa
  • Python, C ++,C #开发全球英才阐教版集结令APP Geeker-2025 pythonc++c语言
    以下是为使用**Python、C++和C#**开发**全球英才(阐教版)集结令APP**的深度技术方案，融合三语言优势构建跨平台、高智能的玄门英才聚合系统：---###一、系统架构设计```mermaidgraphTDA[多端客户端]-->B{C#阐道引擎}B-->C[C++玄法核心]C-->D[Python慧识层]D-->E[AI英才匹配]C-->F[天机推演]B-->G[三界通信]G-->H[
  • Python, Rust 开发教育/医疗/文化资源去中心化分配APP Geeker-2025 pythonrust
    以下是为教育、医疗、文化资源设计的**去中心化分配APP**的完整技术方案，结合Python的灵活性和Rust的高性能与安全性，实现公平透明的资源分配：---###系统架构设计```mermaidgraphTDA[用户终端]-->B[区块链网络]A-->C[分配引擎]B-->D[智能合约]C-->E[资源数据库]D-->F[分配记录]subgraph技术栈C-.Rust.->G[核心分配算法]D-
  • Python, Go 开发客户服务软件APP Geeker-2025 pythongolang
    以下是一个结合Python和Go开发的**客户服务软件APP**的完整技术方案，充分利用Python的AI能力和Go的高并发特性，构建高性能、智能化的客户服务系统：---###系统架构设计```mermaidgraphTDA[客户端]-->B[GoAPI网关]B-->C[工单管理]B-->D[实时聊天]B-->E[知识库]B-->F[AI引擎]C-->G[工单数据库]D-->H[消息队列]F-->
  • 常见JAVA集合面试题（自用整理，持续更新）
    一、简要介绍Java集合框架的整体架构1.Java集合框架主要分为两大接口体系：Collection和Map。2.Collection是单列集合的根接口，下面又有三个子接口，分别是List（有序、可重复）、Set（无序、不可重复）和Queue（队列）。3.Map是双列集合的根接口，用于存储键值对。4.以下是java集合的基础架构图5.Java集合框架的核心继承关系图（文本描述版）├─Collect
  • AWS多账号管理终极指南：从安装配置到高效使用 ivwdcwso 运维与云原生aws云计算iam多账号cli
    引言：为什么需要多账号管理？在云计算时代，企业使用多个AWS账号已成为最佳实践。根据AWSWell-ArchitectedFramework，多账号架构可以：实现环境隔离（生产/测试/开发）满足不同业务单元的安全要求简化资源管理和成本分配符合合规性要求（如SOC2、ISO27001）本文将手把手带您完成从AWSCLI安装到多账号配置的全过程，特别针对中国区与全球区的混合使用场景。第一部分：AWSC
  • Docker 与 Serverless 架构：无服务器环境下的容器化部署 you的日常 容器技术Docker性能优化实践dockerserverless架构容器
    Serverless（无服务器）架构作为云计算领域的革命性范式，以其无需管理服务器、按需付费、自动伸缩的特性，正在改变着应用开发和部署的方式。然而，传统的函数即服务（Function-as-a-Service,FaaS），如AWSLambda，在运行时环境、部署包大小和复杂依赖管理方面存在一定的局限性。幸运的是，Docker容器的出现为Serverless带来了新的活力。容器的强大可移植性和环境一
  • 解释LLM怎么预测下一个词语的 ZhangJiQun&MXP 教学2024大模型以及算力2021AIpython语言模型python深度学习人工智能机器学习
    解释LLM怎么预测下一个词语的通过上文词的向量进行映射在Transformer架构的大语言模型（如GPT系列、BERT等）中，词语会先被转化为词向量。在预测下一个词时，模型会基于之前所有词的向量表示（并非仅仅上一个词，但上一个词的向量是重要信息来源之一）进行计算。以GPT-2为例，在生成文本时，它会将输入文本中每个词对应的词向量依次输入到模型的多层Transformer编码器-解码器结构中。每一层
  • 大语言模型：是逐字生成还是一次多词？ ZhangJiQun&MXP 教学2024大模型以及算力2021AIpython算法prompt人工智能自然语言处理均值算法
    大语言模型（LLM）既可以按顺序逐个生成单词（token），也能实现一次生成多个token核心差异源于解码策略与模型架构设计一、常规“逐个生成”模式（基础逻辑）多数入门级演示或简单文本生成中，LLM会默认按“生成一个token→拼接回输入→再生成下一个”的流程，本质是自回归（Auto-Regressive）机制的基础应用。比如用小语言模型续写“今天天气____”：模型先基于“今天天气”预测第一个t
  • 3步打造Java六边形帝国！解耦业务逻辑全攻略：破解5大陷阱！ 墨瑾轩 一起学学C#【三】java开发语言
    关注墨瑾轩，带你探索编程的奥秘！超萌技术攻略，轻松晋级编程高手技术宝库已备好，就等你来挖掘订阅墨瑾轩，智趣学习不孤单即刻启航，编程之旅更有趣**六边形架构的“3步魔法召唤术”**第一步：定义核心业务逻辑——给业务装上“女王皇冠”！定义：“就像给业务女王颁发‘独立宣言’，用纯业务类和接口定义核心逻辑！”案例①：订单服务核心逻
  • JVM调优实战 Day 13：微服务架构中的JVM优化 在未来等你 JVM调优实战JVMJava性能优化调优虚拟机
    【JVM调优实战Day13】微服务架构中的JVM优化文章标签jvm调优,微服务架构,JVM性能优化,Java内存管理,JVM参数配置,云原生应用,Java开发,架构师成长之路文章简述在微服务架构中，JVM的调优不再只是单个应用的问题，而是涉及多个服务实例、容器化部署和动态伸缩等复杂场景。本文作为“JVM调优实战”系列的第13天，深入探讨了微服务环境下JVM优化的核心技术点，包括内存分配策略、GC调
  • RESTful API 设计原则深度解析 大曰编程 java面试后端
    在Web服务架构中，RESTfulAPI作为一种轻量级、可扩展的接口设计风格，通过HTTP协议实现资源的标准化访问。本文从核心原则、URL设计、HTTP方法应用、状态管理及面试高频问题五个维度，结合工程实践与反例分析，系统解析RESTfulAPI的设计规范与最佳实践。一、RESTful核心原则与架构约束1.1六大核心原则原则定义设计目标资源导向以资源（Resource）为核心，而非操作（如“用户”
  • JWT认证性能优化实战指南
    JWT认证性能优化实战指南一、技术背景与应用场景随着微服务与云原生架构的普及，基于Token的认证方式成为保证系统安全与可扩展性的首选方案。JWT（JSONWebToken）以其自包含、自验证、跨语言支持等优点，在分布式环境中广泛应用。但在高并发场景下，JWT的解析、签名与验证过程可能成为性能瓶颈。本篇文章将结合真实生产环境，深入剖析JWT认证的核心原理，重点分析性能瓶颈，并提供多种可落地的优化实
  • 【Linux】冯诺依曼结构体系 nanguochenchuan Linux操作系统linux运维服务器
    冯诺依曼结构基础冯诺依曼结构是现代计算机的基础设计蓝图，包含五大核心部件：运算器：执行算术逻辑运算（现代CPU的ALU）控制器：协调各部件工作（现代CPU的控制单元）存储器：统一存储程序和数据（内存）输入设备：如键盘、鼠标输出设备：如显示器、打印机核心特点：采用二进制系统存储程序原理：程序和数据共同存储在内存中顺序执行指令（存在冯诺依曼瓶颈）现代计算机的实现主流架构（x86/ARM）仍基于冯诺依曼
  • Elasticsearch性能调优金字塔：从分片与副本策略构建海量日志分析平台 lingRJ777 Java技术栈应用javabackendelasticsearchspringbootmicroserviceselk
    Elasticsearch性能调优金字塔：从分片与副本策略构建海量日志分析平台引言在当前的微服务架构体系中，一个复杂的业务流程往往会横跨数十甚至上百个服务。当线上出现问题时，如何从每天产生的TB级海量日志中快速定位根源，成为衡量系统可观测性的关键。传统的日志聚合方案在面对如此巨大的数据量时，普遍会遇到两大核心挑战：高并发写入瓶颈：数千个服务实例同时产生大量日志，要求日志系统具备极高的写入吞吐能力，
  • C#架构可扩展性终极指南：3招让代码像变形金刚一样灵活！ 墨瑾轩 一起学学C#【七】c#架构开发语言
    关注墨瑾轩，带你探索编程的奥秘！超萌技术攻略，轻松晋级编程高手技术宝库已备好，就等你来挖掘订阅墨瑾轩，智趣学习不孤单即刻启航，编程之旅更有趣C#架构可扩展性的“超能力”实战指南秘籍1：模块解耦——给代码装“乐高积木”核心思想：模块化是代码的“变形引擎”，用接口和依赖注入（DI）让模块像乐高一样自由拼装！1.1问题场景：硬编码依赖的“灾难现场”
  • 电子电气架构 --- SOVD功能简单介绍 汽车电子实验室 思考车载总线类型汽车行业架构电气电子架构开发的应对策略电子电气架构开发语言ECU刷写与busoff原则SOVD功能简单介绍
    我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：简单，单纯，喜欢独处，独来独往，不易合同频过着接地气的生活，除了生存温饱问题之外，没有什么过多的欲望，表面看起来很高冷，内心热情，如果你身边有这样灵性的人，一定要好好珍惜他们眼中有神有光，干净，给人感觉很舒服，有超强的感知能力有形的无形的感知力很强，能感知人的内心变化喜欢独处，好静，
  • 电子电气架构 --- 电子电气架构设计平台 汽车电子实验室 思考汽车行业架构AUTOSAR诊断文件DEXT硬件架构AUTOSAR的信息安全架构分布式
    我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师：周末洗了一个澡，换了一身衣服，出了门却不知道去哪儿，不知道去找谁，漫无目的走着，大概这就是成年人最深的孤独吧!旧人不知我近况，新人不知我过往，近况不该旧人知，过往不与新人讲。纵你阅人何其多，再无一人恰似我。时间不知不觉中，来到新的一年。2025开始新的忙碌。成年人的我也不知道去哪里渡
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他