幻想vs理想
幻想vs理想

hadoop 基准测试与读写测试

hadoop 基准测试与读写测试

排序100G数据

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.2.jar teragen 1000000000 /tmp/test/terasort/100G-input

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.2.jar terasort /tmp/test/terasort/100G-input /tmp/test/terasort/100G-output

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.2.jar teravalidate /tmp/test/terasort/100G-output /tmp/test/terasort/100G-validate



测试读写性能

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10000

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 10000

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -clean


参考：

http://www.opstool.com/article/249

http://jeoygin.org/2012/12/hadoop-benchmarks.html


你可能感兴趣的:(hadoop 基准测试与读写测试)

  • 从零开始写C++3D游戏引擎（开发环境VS2022+OpenGL）之十一点二五 光照贴图(lighting maps)的实现 细嚼慢咽逐条读代码系列 金沙阳 c++3d游戏引擎
    写在篇前的话作为一个曾经在代码堆里面苦苦挣扎的萌新，困惑的事情在于库，各种依赖，包换文件，链接库，纠结于代码的作用意义。尤其在3D引擎开发的问题上，很多人都被各种困难给阻拦，放弃了在3D渲染，3D游戏引擎上大涨鸿图的机会。当然关于3D游戏引擎的教程已经汗牛充栋，但是大部分的教程都是由过来人写的，代码中的逻辑与实现，在过来人眼中自然且简单，在初学者眼里却是晦涩繁杂，因此从一个初学者的角度来写一篇关于
  • python读取excel数据和提取图片 我就是全世界 pythonexcel开发语言
    1.引言1.1日常工作中Excel的使用在现代办公环境中，Excel（电子表格软件）是数据管理和分析的重要工具之一。无论是财务报表、销售数据、项目管理还是日常报告，Excel都扮演着不可或缺的角色。其强大的数据处理能力、灵活的格式设置以及丰富的图表功能，使得Excel成为各行各业专业人士的首选工具。Excel的主要功能包括：数据录入与管理：用户可以轻松输入、编辑和管理大量数据。数据分析：通过内置的
  • Postman高级功能深度解析：Mock Server与自动化监控——构建高效API测试与监控体系 测试渣 测试工具postman
    引言：Postman在API开发中的核心价值在数字化时代，API（应用程序编程接口）已成为系统间交互的“神经网络”，其质量直接影响用户体验与业务连续性。然而，传统API测试面临两大挑战：开发阶段依赖：前端与后端团队需同步开发，导致进度延迟；测试环境复杂：生产数据敏感、测试场景覆盖不全、性能压力模拟困难。Postman作为全球领先的API开发与测试工具，通过其MockServer与自动化监控两大核心
  • 自动驾驶AVM环视算法--鱼眼相机的畸变矫正原理和实测（图片和视频测试） 金书世界 手撸AVM全景代码数码相机
    参考：金书世界测试工程和视频：链接：https://pan.baidu.com/s/11GNLuIxcONGCeobp0MbXFQ?pwd=0z6l提取码：0z6l1、平面相机的成像和坐标系如下所示说明1、f（ud，vd）就是以图像中心为原点坐标(和p(x，y)坐标相对，就是坐表原点不同)。2、p（x，y）就是在图像坐标系下的坐标点，坐标点的为图像的左上角点，这个和世界图像的保存数据的坐标一直。3
  • 华为OD机试九日集训第2期 - 按算法分类，由易到难，循序渐进，提升编程能力和解题技巧，从而提高机试通过率 哪 吒 搬砖工逆袭Java架构师华为od算法九日集训Java
    目录一、适合人群二、本期训练时间三、如何参加四、数据结构与算法大纲五、华为OD九日集训第1期第1天、逻辑分析第2天、队列第3天、双指针第4天栈第5天滑动窗口第6天、二叉树第7天、并查集第8天、矩阵第9天、贪心算法六、国内直接使用满血ChatGPT4o、o1、o3-mini-high、Claude3.7Sonnet、满血DeepSeekR11、纯原版ChatGPT、Claude2、技术支持3、支持所
  • AI系统API网关原理与代码实战案例讲解 AI大模型应用之禅 DeepSeekR1&AI大模型与大数据计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    AI系统API网关原理与代码实战案例讲解1.背景介绍在现代分布式系统中，API网关作为一个重要的组件，起到了至关重要的作用。它不仅仅是一个简单的请求路由器，更是一个集成了安全、负载均衡、缓存、监控等多种功能的综合性服务。特别是在AI系统中，API网关的作用尤为重要，因为AI系统通常需要处理大量的数据请求，并且需要保证高可用性和高性能。API网关的概念最早出现在微服务架构中，旨在解决微服务之间的通信
  • 芒格的“思维格栅“：构建全面的投资分析框架 AGI大模型与大数据研究院 DeepSeekai
    芒格的"思维格栅"：构建全面的投资分析框架关键词：芒格、思维格栅、投资分析框架、跨学科思维、投资决策摘要：本文深入探讨了芒格的“思维格栅”理论及其在构建全面投资分析框架中的应用。首先介绍了“思维格栅”理论的背景和重要性，接着阐述了其核心概念与联系，包括跨学科思维的原理和架构。通过详细讲解核心算法原理和具体操作步骤，结合数学模型和公式进行举例说明，帮助读者理解如何运用这一理论进行投资分析。随后通过项
  • CentOS 7系统中hadoop的安装和环境配置 代码小张z centoshadooplinux
    1.创建Hadoop安装解压路径：mkdir-p/usr/hadoop2.进入路径：cd/usr/hadoop3.下载安装包（我这里用的是阿里云镜像压缩包）：wgethttps://mirrors.aliyun.com/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz4.解压安装包到hadoop文件路径：tar-zxvf/usr/hadoo
  • 模型部署实战：PyTorch生产化指南 小诸葛IT课堂 pytorch人工智能python
    ‌一、为什么要做模型部署？‌模型部署是将训练好的模型‌投入实际应用‌的关键步骤，涉及：模型格式转换（TorchScript/ONNX）性能优化（量化/剪枝）构建API服务移动端集成本章使用ResNet18实现图像分类，并演示完整部署流程。‌二、模型转换：TorchScript与ONNX‌‌1.准备预训练模型importtorchimporttorchvision#加载预训练模型model=torc
  • Spring Boot 性能优化：如何解决高并发下的瓶颈问题？ zhyoobo springboot性能优化后端
    一、高并发场景的挑战与诊断方法论1.1典型性能瓶颈四层模型在2000+QPS的电商秒杀场景中，SpringBoot应用常面临四层压力传导：网络层瓶颈TCP连接耗尽导致SYN队列溢出（Linux默认仅1024个）SSL握手消耗大量CPU资源（RSA2048单次握手约需10ms）HTTP/1.1的队头阻塞问题（单个连接只能顺序处理请求）应用层瓶颈线程池配置不当引发的上下文切换风暴（默认Tomcat线程
  • 算力技术演进与多场景融合路径 智能计算研究中心 其他
    内容概要算力技术的演进正经历从异构计算到量子计算的范式跃迁。当前技术图谱中，芯片制程突破与架构创新持续推动算力密度提升，如5nm以下先进工艺与存算一体设计显著增强运算单元效率。与此同时，模型压缩、数据预处理等算法优化手段使单位算力产出提高30%以上。典型应用场景中，工业互联网通过自适应计算实现毫秒级实时控制，医疗影像领域借助分布式计算完成TB级数据处理，而智能安防系统依托边缘计算降低端到端时延至5
  • 金融风控算法透明度与可解释性优化 智能计算研究中心 其他
    内容概要金融风控算法的透明化研究面临模型复杂性提升与监管合规要求的双重挑战。随着深度学习框架在特征提取环节的广泛应用，算法可解释性与预测精度之间的平衡成为核心议题。本文从联邦学习架构下的数据协作机制出发，结合特征工程优化与超参数调整技术，系统性分析逻辑回归、随机森林等传统算法在召回率、F1值等关键指标上的表现差异。研究同时探讨数据预处理流程对风控决策鲁棒性的影响，并提出基于注意力机制的特征权重可视
  • 联邦学习算法安全优化与可解释性研究 智能计算研究中心 其他
    内容概要本研究围绕联邦学习算法的安全性优化与模型可解释性增强展开系统性探索。首先，针对联邦学习中数据隐私泄露与模型性能损耗的固有矛盾，提出一种融合差分隐私与动态权重聚合的协同优化框架，通过分层加密机制降低敏感信息暴露风险。其次，引入可解释性算法（如LIME与SHAP）构建透明化决策路径，结合注意力机制实现特征贡献度的可视化映射，有效提升模型在医疗影像异常检测与金融欺诈识别场景中的可信度。此外，研究
  • DeepSeek多语言670亿参数高效创作解析 智能计算研究中心 其他
    内容概要本文聚焦DeepSeek系列模型的核心技术突破与应用价值，通过解析其混合专家架构（MoE）的设计逻辑与670亿参数的规模化优势，揭示其在多语言处理、视觉语言理解及代码生成领域的创新表现。从技术特性出发，文章将对比OpenAI等主流模型的性能差异，探讨参数效率与计算资源优化如何支撑低成本、高精度的内容生成场景，例如学术论文写作、智能选题规划及SEO关键词拓展。同时，通过分析DeepSeekP
  • 算力融合创新与多场景应用生态构建 智能计算研究中心 其他
    内容概要算力作为数字经济的核心驱动力，正经历从单一计算范式向融合架构的跨越式演进。随着异构计算、光子计算等底层技术的突破，算力资源逐步形成跨架构协同、多模态联动的智能供给体系，支撑工业互联网、医疗影像、智能安防等场景实现效率跃升。与此同时，量子计算与神经形态计算的前沿探索，正在重塑科学计算与实时决策的技术边界。建议行业关注算力可扩展性与安全标准的协同设计，通过动态调度算法与分布式架构优化，构建弹性
  • 下一代模型技术演进与场景应用突破 智能计算研究中心 其他
    内容概要当前模型技术正经历多维度的范式跃迁，可解释性模型与自动化机器学习（AutoML）成为突破传统黑箱困境的核心路径。在底层架构层面，边缘计算与量子计算的融合重构了算力分配模式，联邦学习技术则为跨域数据协作提供了安全可信的解决方案。主流框架如TensorFlow和PyTorch持续迭代优化能力，通过动态参数压缩与自适应超参数调优策略，显著提升模型部署效率。应用层创新呈现垂直化特征，医疗诊断模型通
  • H800核心性能优化技术 智能计算研究中心 其他
    内容概要作为新一代AI加速卡的核心创新载体，H800通过异构计算架构与动态能效管理技术的协同设计，实现了从硬件底层到应用层的系统性优化。其技术突破聚焦于张量核心重构带来的计算密度提升、混合精度运算对资源利用率的增强，以及智能散热方案在复杂负载场景下的稳定性保障。这些创新不仅显著提升了30%以上的能效比，更通过精细化任务调度机制，解决了深度学习训练中高并发数据处理与模型参数同步的效率瓶颈。值得关注的
  • Goose开源程序本地机上 AI 代理，能够从头到尾自动执行复杂的开发任务。Goose 不仅可以提供代码建议，还可以自主构建整个项目、编写和执行代码、调试故障、编排工作流程以及与外部 API 交互 struggle2025 策略模式人工智能交互
    一、软件下载文末提供程序和源码下载Goose是您的机上AI代理，能够从头到尾自动执行复杂的开发任务。Goose不仅可以提供代码建议，还可以自主构建整个项目、编写和执行代码、调试故障、编排工作流程以及与外部API交互。无论您是在构建想法原型、优化现有代码，还是管理复杂的工程管道，goose都能适应您的工作流程并精确执行任务。goose专为实现最大的灵活性而设计，可与任何LLMAPI配合使用，并与支持
  • ROS导航栈中的move_base模块详解：架构、组件关系与数据流 YRr YRr 架构rosmove_base
    ROS导航栈中的move_base模块详解：架构、组件关系与数据流摘要RobotOperatingSystem（ROS）作为广泛应用于机器人开发的开源框架，其导航栈中的move_base模块是实现机器人自主导航的核心组件。本文将深入解析move_base模块的整体架构，详述其主要组成部分及相互关系，探讨节点、话题与传感器数据的流向，并通过实例说明这些组件如何协同工作以实现高效、稳定的自主导航功能。
  • Servlet NGC2237999 servlet
    JavaSE与JavaEEJavaSE（StandardEdition）和JavaEE（EnterpriseEdition）是Java平台的两个主要版本，它们各自有不同的用途和功能。JavaSE（标准版）定义：JavaSE是Java的标准基础版，提供了核心功能和库，用于开发一般的应用程序，如桌面应用和小型工具。主要特性：包含Java语言的基本语法和标准库（如集合框架、IO操作、网络编程等）。适合开
  • 网络安全漏洞与修复 网络安全软件漏洞 Hacker_Nightrain web安全安全网络
    文章目录一、软件漏洞的概念1、信息安全漏洞简述2、软件漏洞3、软件漏洞概念4、软件漏洞的成因分析二、软件漏洞标准化管理1、软件漏洞分类2、软件漏洞分级3、安全漏洞管理规范一、软件漏洞的概念1、信息安全漏洞简述信息安全漏洞是信息安风险的主要根源之一，是网络攻防对抗中的主要目标。由于信息系统漏洞的危害性、多样性和广泛性，在当前网路空间博弈中，漏洞作为一种战略资源被各方所积极关注。对于信息安全漏洞的不同
  • MDX语言的软件工程 苏墨瀚 包罗万象golang开发语言后端
    MDX语言的软件工程引言在现代软件开发中，技术的进步不断推动着开发流程的变化与优化。MDX（MultidimensionalExpressions）语言作为一种用于查询和操作多维数据集的表达式语言，已在数据分析、商业智能等领域得到了广泛应用。本文将探讨MDX语言在软件工程中的应用，包括其基本概念、工作原理、最佳实践以及在数据分析系统中的具体案例。1.MDX语言概述MDX最初由微软开发，通常用于访问
  • 智能化业财融合的数字化转型与整合：企业财务信息规划设计与实现(4) 数据工坊 企业财务信息化前端框架大数据软件构建
    目录2.5构建“三层三域”的企业财务信息架构体系2.5.1架构总体概述2.5.2“三层架构”划分及功能内容2.5.3“三域架构”划分及功能内容2.5.4“三层三域”技术集成与协同2.5.5“三层三域”架构优势2.5构建“三层三域”的企业财务信息架构体系2.5.1架构总体概述要构建以业务与财务深度融合为基础的数字化管理体系，我们在前面对企业财务资源管理系统架构进行了一般性分层剖析的基础上，描述了企业
  • MyBatis 学习经验分享 吱屋猪_ mybatis学习经验分享
    MyBatis是一个广泛使用的Java持久层框架，它为开发者提供了灵活、易用的数据库操作方式。与Hibernate等全自动化ORM（对象关系映射）框架不同，MyBatis采用了更精细的控制，允许开发者在SQL语句和Java对象之间进行映射。通过它，开发者可以直接编写SQL查询，灵活处理数据库操作，并且仍然享受到框架提供的简化工作流程。以下是我在学习MyBatis过程中的一些经验分享。1.理解MyB
  • Python 问题：ModuleNotFoundError: No module named ‘matplotlib‘ 我命由我12345 Python-问题清单pythonmatplotlib开发语言c++c#后端
    问题与处理策略1、问题描述importmatplotlib.pyplotaspltfig,ax=plt.subplots()ax.plot([1,2,3,4],[1,4,2,3])plt.show()执行上述代码，报如下错误ModuleNotFoundError:Nomodulenamed'matplotlib'#翻译ModuleNotFoundation错误：没有名为matplotlib的模块2
  • DeepSeek混合专家架构赋能智能创作 智能计算研究中心 其他
    内容概要在人工智能技术加速迭代的当下，DeepSeek混合专家架构（MixtureofExperts）通过670亿参数的动态路由机制，实现了多模态处理的范式突破。该架构将视觉语言理解、多语言语义解析与深度学习算法深度融合，构建出覆盖文本生成、代码编写、学术研究等场景的立体化能力矩阵。其核心优势体现在三个维度：精准化内容生产——通过智能选题、文献综述自动生成等功能，将学术论文写作效率提升40%以上；
  • Spring Boot 启动参数终极解析：如何优雅地控制你的应用？ jiajia651304 springboot后端java
    SpringBoot启动参数终极解析：如何优雅地控制你的应用？在使用SpringBoot开发应用时，我们通常需要根据不同的环境（开发、测试、生产）或特定需求调整启动参数，例如：修改默认端口指定不同的配置文件控制JVM内存大小传递自定义参数那么，SpringBoot提供了哪些方式来配置这些启动参数？今天我们就来详细解析SpringBoot启动参数的各种用法，并附带代码示例，让你可以灵活掌控应用的启动
  • 区块链Blockchain weixin_33827590 区块链密码学数据结构与算法
    区块链Blockchain区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法。狭义来讲，区块链是一种按照时间顺序将数据区块以顺序相连的方式组合成的一种链式数据结构，并以密码学方式保证的不可篡改和不可伪造的分布式账本。广义来讲，区块链技术是利用块链式数据结构来验证与存储数据、利用分布式节点共识算法来
  • Git使用规范 糖心何包蛋爱编程 gitjava经验分享intellij-idea
    摘要本文主要讲解Git提交需遵循相应规范。PullRequest方面，一个PR专注一件事。信息填写中，Title分仅含一个commit和多个commit的情况；Content也有要求。还有其它规范，如连接issue，pr完成后要妥善处理，以保证代码提交的高效与规范。开发统一使用git进行版本管理，使用gitsubmodule实现代码模块化。在使用git进行提交和push等操作时需要遵循以下规范。一
  • 工厂函数详解：概念、目的与作用 漫谈网络 网络技术进阶通途工厂函数mininetsdnnfv网络
    一、什么是工厂函数？工厂函数（FactoryFunction）是一种设计模式，其核心是通过一个函数来创建并返回对象，而不是直接使用new或构造函数实例化对象。它封装了对象的创建过程，使代码更灵活、可维护。二、工厂函数的目的与作用目的作用解耦对象创建逻辑将对象的创建与使用分离，调用者无需关心对象的具体实现细节。延迟实例化仅在需要时创建对象，避免资源浪费（如内存、CPU）。支持动态参数根据输入参数返回
  • ASM系列五 利用TreeApi 解析生成Class lijingyao8206 ASM字节码动态生成ClassNodeTreeAPI
       前面CoreApi的介绍部分基本涵盖了ASMCore包下面的主要API及功能，其中还有一部分关于MetaData的解析和生成就不再赘述。这篇开始介绍ASM另一部分主要的Api。TreeApi。这一部分源码是关联的asm-tree-5.0.4的版本。          在介绍前，先要知道一点， Tree工程的接口基本可以完
  • 链表树——复合数据结构应用实例 bardo 数据结构树型结构表结构设计链表菜单排序
    我们清楚：数据库设计中，表结构设计的好坏，直接影响程序的复杂度。所以，本文就无限级分类（目录）树与链表的复合在表设计中的应用进行探讨。当然，什么是树，什么是链表，这里不作介绍。有兴趣可以去看相关的教材。 需求简介： 经常遇到这样的需求，我们希望能将保存在数据库中的树结构能够按确定的顺序读出来。比如，多级菜单、组织结构、商品分类。更具体的，我们希望某个二级菜单在这一级别中就是第一个。虽然它是最后
  • 为啥要用位运算代替取模呢 chenchao051 位运算哈希汇编
        在hash中查找key的时候，经常会发现用&取代%，先看两段代码吧，     JDK6中的HashMap中的indexFor方法： /** * Returns index for hash code h. */ static int indexFor(int h, int length) {
  • 最近的情况 麦田的设计者 生活感悟计划软考想
          今天是2015年4月27号      整理一下最近的思绪以及要完成的任务             1、最近在驾校科目二练车，每周四天，练三周。其实做什么都要用心，追求合理的途径解决。为
  • PHP去掉字符串中最后一个字符的方法 IT独行者 PHP字符串
    今天在PHP项目开发中遇到一个需求，去掉字符串中的最后一个字符 原字符串1,2,3,4,5,6, 去掉最后一个字符","，最终结果为1,2,3,4,5,6 代码如下： $str = "1,2,3,4,5,6,"; $newstr = substr($str,0,strlen($str)-1); echo $newstr;
  • hadoop在linux上单机安装过程 _wy_ linuxhadoop
    1、安装JDK     jdk版本最好是1.6以上，可以使用执行命令java -version查看当前JAVA版本号，如果报命令不存在或版本比较低，则需要安装一个高版本的JDK，并在/etc/profile的文件末尾，根据本机JDK实际的安装位置加上以下几行：    export JAVA_HOME=/usr/java/jdk1.7.0_25  
  • JAVA进阶----分布式事务的一种简单处理方法 无量 多系统交互分布式事务
    每个方法都是原子操作： 提供第三方服务的系统，要同时提供执行方法和对应的回滚方法 A系统调用B,C,D系统完成分布式事务 =========执行开始======== A.aa(); try { B.bb(); } catch(Exception e) { A.rollbackAa(); } try { C.cc(); } catch(Excep
  • 安墨移动广 告：移动DSP厚积薄发 引领未来广 告业发展命脉 矮蛋蛋 hadoop互联网
    　　“谁掌握了强大的DSP技术，谁将引领未来的广 告行业发展命脉。”2014年，移动广 告行业的热点非移动DSP莫属。各个圈子都在纷纷谈论，认为移动DSP是行业突破点，一时间许多移动广 告联盟风起云涌，竞相推出专属移动DSP产品。 　　到底什么是移动DSP呢? 　　DSP(Demand-SidePlatform)，就是需求方平台，为解决广 告主投放的各种需求，真正实现人群定位的精准广
  • myelipse设置 alafqq IP
      在一个项目的完整的生命周期中，其维护费用，往往是其开发费用的数倍。因此项目的可维护性、可复用性是衡量一个项目好坏的关键。而注释则是可维护性中必不可少的一环。 注释模板导入步骤  安装方法： 打开eclipse/myeclipse 选择 window-->Preferences-->JAVA-->Code-->Code
  • java数组 百合不是茶 java数组
    java数组的   声明  创建  初始化；   java支持C语言      数组中的每个数都有唯一的一个下标 一维数组的定义 声明： int[] a = new int[3];声明数组中有三个数int[3] int[] a 中有三个数，下标从0开始，可以同过for来遍历数组中的数
  • javascript读取表单数据 bijian1013 JavaScript
    利用javascript读取表单数据，可以利用以下三种方法获取： 1、通过表单ID属性：var a = document.getElementByIdx_x_x("id"); 2、通过表单名称属性：var b = document.getElementsByName("name"); 3、直接通过表单名字获取：var c = form.content.
  • 探索JUnit4扩展：使用Theory bijian1013 javaJUnitTheory
    理论机制（Theory） 一.为什么要引用理论机制（Theory）         当今软件开发中，测试驱动开发（TDD — Test-driven development）越发流行。为什么 TDD 会如此流行呢？因为它确实拥有很多优点，它允许开发人员通过简单的例子来指定和表明他们代码的行为意图。 TDD 的优点：     &nb
  • [Spring Data Mongo一]Spring Mongo Template操作MongoDB bit1129 template
    什么是Spring Data Mongo Spring Data MongoDB项目对访问MongoDB的Java客户端API进行了封装，这种封装类似于Spring封装Hibernate和JDBC而提供的HibernateTemplate和JDBCTemplate，主要能力包括 1. 封装客户端跟MongoDB的链接管理 2. 文档-对象映射，通过注解:@Document(collectio
  • 【Kafka八】Zookeeper上关于Kafka的配置信息 bit1129 zookeeper
    问题： 1. Kafka的哪些信息记录在Zookeeper中 2. Consumer Group消费的每个Partition的Offset信息存放在什么位置 3. Topic的每个Partition存放在哪个Broker上的信息存放在哪里 4. Producer跟Zookeeper究竟有没有关系？没有关系！！！   //consumers、config、brokers、cont
  • java OOM内存异常的四种类型及异常与解决方案 ronin47 java OOM 内存异常
          　OOM异常的四种类型： 　　　 　　一：　StackOverflowError ：通常因为递归函数引起（死递归，递归太深）。-Xss 128k 一般够用。     　  二：　out Of memory: PermGen Space：通常是动态类大多，比如web 服务器自动更新部署时引起。-Xmx
  • java-实现链表反转-递归和非递归实现 bylijinnan java
    20120422更新： 对链表中部分节点进行反转操作，这些节点相隔k个： 0->1->2->3->4->5->6->7->8->9 k=2 8->1->6->3->4->5->2->7->0->9 注意1 3 5 7 9 位置是不变的。 解法： 将链表拆成两部分： a.0-&
  • Netty源码学习-DelimiterBasedFrameDecoder bylijinnan javanetty
    看DelimiterBasedFrameDecoder的API，有举例： 接收到的ChannelBuffer如下： +--------------+ | ABC\nDEF\r\n | +--------------+ 经过DelimiterBasedFrameDecoder(Delimiters.lineDelimiter())之后，得到： +-----+----
  • linux的一些命令 -查看cc攻击-网口ip统计等 hotsunshine linux
    Linux判断CC攻击命令详解 2011年12月23日 ⁄ 安全 ⁄ 暂无评论 查看所有80端口的连接数 netstat -nat|grep -i '80'|wc -l 对连接的IP按连接数量进行排序 netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n 查看TCP连接状态 n
  • Spring获取SessionFactory ctrain sessionFactory
    String sql = "select sysdate from dual"; WebApplicationContext wac = ContextLoader.getCurrentWebApplicationContext(); String[] names = wac.getBeanDefinitionNames(); for(int i=0; i&
  • Hive几种导出数据方式 daizj hive数据导出
    Hive几种导出数据方式   1.拷贝文件   如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path   2.导出到本地文件系统   --不能使用insert into local directory来导出数据，会报错 --只能使用
  • 编程之美 dcj3sjt126com 编程PHP重构
    我个人的 PHP 编程经验中，递归调用常常与静态变量使用。静态变量的含义可以参考 PHP 手册。希望下面的代码，会更有利于对递归以及静态变量的理解   header("Content-type: text/plain"); function static_function () { static $i = 0; if ($i++ < 1
  • Android保存用户名和密码 dcj3sjt126com android
    转自：http://www.2cto.com/kf/201401/272336.html 我们不管在开发一个项目或者使用别人的项目，都有用户登录功能，为了让用户的体验效果更好，我们通常会做一个功能，叫做保存用户，这样做的目地就是为了让用户下一次再使用该程序不会重新输入用户名和密码，这里我使用3种方式来存储用户名和密码 1、通过普通 的txt文本存储 2、通过properties属性文件进行存
  • Oracle 复习笔记之同义词 eksliang Oracle 同义词Oracle synonym
    转载请出自出处：http://eksliang.iteye.com/blog/2098861 1.什么是同义词       同义词是现有模式对象的一个别名。       概念性的东西，什么是模式呢？创建一个用户，就相应的创建了 一个模式。模式是指数据库对象，是对用户所创建的数据对象的总称。模式对象包括表、视图、索引、同义词、序列、过
  • Ajax案例 gongmeitao Ajaxjsp
    数据库采用Sql Server2005 项目名称为:Ajax_Demo 1.com.demo.conn包 package com.demo.conn; import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException; //获取数据库连接的类public class DBConnec
  • ASP.NET中Request.RawUrl、Request.Url的区别 hvt .netWebC#asp.nethovertree
      如果访问的地址是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree%3C&n=myslider#zonemenu那么Request.Url.ToString() 的值是：http://h.keleyi.com/guestbook/addmessage.aspx?key=hovertree<&
  • SVG 教程 （七）SVG 实例，SVG 参考手册 天梯梦 svg
    SVG 实例 在线实例 下面的例子是把SVG代码直接嵌入到HTML代码中。 谷歌Chrome，火狐，Internet Explorer9，和Safari都支持。 注意：下面的例子将不会在Opera运行，即使Opera支持SVG - 它也不支持SVG在HTML代码中直接使用。   SVG 实例 SVG基本形状 一个圆 矩形 不透明矩形 一个矩形不透明2 一个带圆角矩
  • 事务管理 luyulong javaspring编程事务
    事物管理 spring事物的好处 为不同的事物API提供了一致的编程模型 支持声明式事务管理 提供比大多数事务API更简单更易于使用的编程式事务管理API 整合spring的各种数据访问抽象 TransactionDefinition 定义了事务策略 int getIsolationLevel()得到当前事务的隔离级别 READ_COMMITTED 
  • 基础数据结构和算法十一：Red-black binary search tree sunwinner AlgorithmRed-black
      The insertion algorithm for 2-3 trees just described is not difficult to understand; now, we will see that it is also not difficult to implement. We will consider a simple representation known
  • centos同步时间 stunizhengjia linux集群同步时间
    做了集群，时间的同步就显得非常必要了。 以下是查到的如何做时间同步。 在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。 1)确认已经ntp程序包： # yum install ntp 2)配置时间源（默认就行，不需要修改） # vi /etc/ntp.conf server pool.ntp.o
  • ITeye 9月技术图书有奖试读获奖名单公布 ITeye管理员 ITeye
    ITeye携手博文视点举办的9月技术图书有奖试读活动已圆满结束，非常感谢广大用户对本次活动的关注与参与。 9月试读活动回顾：http://webmaster.iteye.com/blog/2118112本次技术图书试读活动的优秀奖获奖名单及相应作品如下（优秀文章有很多，但名额有限，没获奖并不代表不优秀）：      《NFC：Arduino、Andro
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他