chixushuchu
chixushuchu

Spark 内存管理 以及oom处理

Spark内存管理

Spark执行应用程序时，Spark集群会启动Driver和Executor两种JVM进程，Driver负责创建SparkContext上下文，提交任务，task的分发等。Executor负责task的计算任务，并将结果返回给Driver。同时需要为需要持久化的RDD提供储存。Driver端的内存管理比较简单，这里所说的Spark内存管理针对Executor端的内存管理。
Spark内存管理分为静态内存管理和统一内存管理，Spark1.6之前使用的是静态内存管理，Spark1.6之后引入了统一内存管理。

静态内存管理

存储内存、执行内存和其他内存的大小在 Spark 应用程序运行期间均为固定的，但用户可以应用程序启动前进行配置。
Spark 内存管理 以及oom处理_第1张图片

动态内存管理

与静态内存管理的区别在于储存内存和执行内存共享同一块空间，可以互相借用对方的空间。
Spark1.6以上版本默认使用的是统一内存管理，可以通过参数spark.memory.useLegacyMode 设置为true(默认为false)使用静态内存管理。
Spark 内存管理 以及oom处理_第2张图片

reduce时 oom调优？

  1. 减少每次拉取的数据量
  2. 提高shuffle聚合的内存比例
  3. 提高Excutor的总内存

你可能感兴趣的:(实战)

  • Git 核心操作全解析：从忽略规则到分支实战 越来越无动于衷 elasticsearch大数据搜索引擎
    本文结合真实命令行操作记录，深度拆解Git核心功能：忽略文件配置、变更暂存与对比、分支管理、冲突解决及Stash临时工作流，帮你建立从“会用命令”到“理解原理”的完整认知。一、忽略文件：.gitignore配置1.1为什么需要.gitignore？排除日志文件、编译产物、临时文件、编辑器配置等无需版本控制的内容；避免这些文件出现在gitstatus的“未跟踪文件”列表，保持仓库整洁。1.2语法规则
  • 【RK3576】Android 14 驱动开发实战指南 Evan_ZGYF丶 RK3576Android14驱动开发
    获取更多相关的【RK3576】【Android14】驱动开发，可收藏系列博文，持续更新中：【RK3576】Android14驱动开发实战指南文章目录开发准备开发调试写这篇文章，主要是正好在做RK3576开发，网上相关的开发资料较少，因此想将开发过程中的一些实践经验记录下来，方便后续查找，顺便分享过程中很多章节会先搭个框架，后续开发过程中再逐步完善…开发准备【RK3576】【Android14】开发
  • 【DeepSeek实战】10、模型上下文协议（MCP）全解析：从核心架构到实战应用，揭秘AI协作的“凤雏”之力 无心水 人工智能架构DeepSeek实战模型上下文协议MCPCSDN技术干货DeepSeekAI大模型
    在人工智能技术飞速发展的今天，大型语言模型（LLM）的能力不断突破，但跨模型协作、上下文一致性维护等问题却成为制约AI系统向更智能、更协同方向发展的瓶颈。模型上下文协议（ModelContextProtocol，MCP）作为专为大模型设计的标准化通信框架，如同“凤雏”之于“卧龙”，为解决这些核心问题提供了关键方案。本文将全面解析MCP的核心概念、架构设计、实操代码、应用案例及未来趋势，通过5000
  • 【自然语言处理】文本规范化 2401_84149564 自然语言处理自然语言处理人工智能文本规范化python分词词的规范化分句
    目录一、引言二、分词三、词规范化四、分句五、文本规范化的Python代码实战六、总结一、引言在自然语言处理的许多任务中，第一步都离不开文本规范化。文本规范化的作用是将使用字符串表示的文本转化为更易于计算机处理的规范形式。文本规范化一般包括3个步骤：分词、词的规范化、分句。本文将分别介绍这3个步骤及Python代码实战。二、分词词是语言的基本单元，人类学习语言的过程也是从理解词开始的。显而易见，自然
  • C#远程自动更新源码项目实战 微尘-黄含驰
    本文还有配套的精品资源，点击获取简介：远程自动更新是确保应用程序运行最新版本的关键功能。通过使用C#语言，可以构建一个基础框架来实现这一功能。本项目源码涉及网络通信、版本控制、文件下载与解压、安装替换、进度显示、错误处理、签名验证、自启动更新、服务端接口以及安全考虑等核心技术点。理解并修改AutoUpdate、autoupdate和AULWriter等关键文件，可以帮助开发者根据自身需求定制远程自
  • PHP实战就业指南：从入门到高薪的核心技能图谱
    PHP实战就业指南：从入门到高薪的核心技能图谱残酷现实与光明前景：尽管新兴语言不断涌现，PHP仍占据全球78.9%的服务器市场份额（W3Techs2024），国内招聘平台日均发布2.3万+PHP岗位，薪资范围6K-45K。关键在于掌握市场真正需要的技能组合。一、就业市场三大方向与薪资对标方向代表岗位薪资范围(1-3年经验)核心技术栈要求企业级开发PHP高级开发工程师15K-25KLaravel/S
  • 【软件系统架构】系列七：系统性能——网络性能深入解析
    目录一、什么是网络性能？网络性能的核心指标二、网络性能影响因素1.物理层因素2.链路质量3.网络设备性能4.协议栈影响5.应用层特性三、网络性能测试指标详解网络性能测试方法四、网络性能测试方法1.链路测试2.路径分析3.协议级分析4.大规模监控五、网络性能优化策略1.带宽优化2.延迟与抖动优化3.丢包率控制4.TCP调优5.DNS优化六、网络性能瓶颈诊断流程（实战推荐）七、不同网络环境的性能关注重
  • AI实战(三)：AI写的剧本VS姜文风演技指导，有送彩蛋蓝图 初音不在家 人工智能大数据自然语言处理深度学习
    @[TOC]一、前情回顾大家好，这是我用AI打造“爆款短剧引擎”系列的最后一篇文章。在前两篇文章中，我们已经：通过“逆向工程”的方法，创造了一个名为**“多巴胺生成器”**的AI虚拟人格。分析了它生成的第一份作品——《千亿后妈不好惹》的剧本大纲，见识了其背后冷酷而精准的商业逻辑。今天，我们将迎来最终的交付物。我们来看看，当AI把那些冰冷的逻辑，转化为热气腾腾、有具体人物和对话的剧本时，效果究竟如何
  • 微服务网站开发学习路线与RuoYi-Cloud实战指南 你喜欢喝可乐吗？ ruoyi-cloudmicroservicesjavaweb微服务学习运维
    微服务网站开发学习路线与RuoYi-Cloud实战指南微服务架构已成为现代网站开发的主流选择，它通过将大型应用拆分为小型自治服务，实现了系统的高内聚、低耦合、独立部署和扩展。掌握微服务开发技能需要系统性学习，从基础概念到技术栈再到实战应用。本文将为您提供从零开始学习微服务的完整路线图，并结合RuoYi-Cloud开源框架进行详细举例，帮助您快速上手微服务网站开发。一、微服务基础概念与架构特点微服务
  • Vert.x逆袭指南：像外卖小哥一样高效的异步编程哲学 —— 每秒处理百万消息的轻量级响应式引擎 zhysunny Java类库java后端
    目录一、核心装备：Vert.x工具箱全景1.1灵魂组件：EventLoop（永不堵车的快递站）二、基础订单处理：Future与Promise模式2.1基础异步操作流程2.2并行订单冲刺三、全栈式快餐车：Vert.xWeb实战3.1打造高并发HTTP服务器3.2异步数据库连接池四、连锁加盟模式：Vert.x集群4.1构建分布式披萨联盟五、响应式编程的味觉革命：四大核心优势5.1性能对比实验（单节点）
  • Day02: BeanDefinition的注册艺术：揭秘@ComponentScan如何转化为Spring灵魂 zhysunny Springspringjava后端
    目录一、从@ComponentScan说起：Spring的组件扫描入口二、BeanDefinition：Spring容器的DNA三、ClassPathBeanDefinitionScanner：Spring的"扫雷专家"1.扫描器的初始化2.扫描器的核心配置3.扫描过程揭秘4.候选组件的查找：findCandidateComponents()四、元数据处理：注解如何转化为Bean属性五、实战：自定
  • Swagger UI：API文档自动生成 - REST接口可视化神器 zhysunny Java类库java
    目录一、SwaggerUI是什么？二、SpringBoot整合SwaggerUI实战1.添加依赖2.基础配置3.编写一个REST控制器4.定义User模型三、启动并访问SwaggerUI四、SwaggerUI的核心功能1.接口可视化展示2.在线测试功能3.模型定义展示五、Swagger注解大全六、高级配置技巧1.添加JWT认证支持2.自定义UI界面3.分组显示不同模块七、SwaggerUI的替代方
  • Android 异构计算与 OpenCL/CUDA/OpenVX 的协同方式实战解析 观熵 国产NPU×Android推理优化android人工智能
    Android异构计算与OpenCL/CUDA/OpenVX的协同方式实战解析关键词Android异构计算、OpenCL、CUDA、OpenVX、GPU加速、NPU调度、HSA架构、神经网络推理、计算图编排、SoC协同处理、AI芯片编程摘要随着国产SoC平台持续迭代，Android系统中异构计算模式已从传统CPU+GPU并行计算，扩展到集成NPU、DSP、ISP等多核单元的复杂协同体系。在AI推理
  • 【云原生】Helm来管理Kubernetes集群的详细使用方法与综合应用实战 景天科技苑 云原生K8S零基础到进阶实战云原生kubernetes容器Helmk8sk8s集群
    ✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~作者简介：景天科技苑《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，云原生k8s，linux，she
  • DDD核心知识解析 我是廖志伟 Java场景面试宝典DDDDomain-DrivenDesignSoftwareArchitecture
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • ShardingSphere详解 我是廖志伟 Java场景面试宝典ShardingSphereDistributedDatabaseMiddleware
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • 微服务架构核心技术 我是廖志伟 Java场景面试宝典ServiceGovernanceMicroservicesDistributedSystems
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • Spring MVC 技术解析 我是廖志伟 Java场景面试宝典SpringMVCJavaWebMVCDesignPattern
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • 领域驱动设计核心解析
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • Spring技术全解析 我是廖志伟 Java场景面试宝典SpringFrameworkIoCContainerAOP
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • 并发编程核心技术 我是廖志伟 Java场景面试宝典ConcurrencyJavaMultithreading
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • ShardingSphere技术解析
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • 并发编程与MyBatis核心解析 我是廖志伟 Java场景面试宝典ConcurrentProgrammingJavaMyBatis
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • ShardingSphere 架构解析 我是廖志伟 Java场景面试宝典DatabaseDistributedSystemsShardingSphere
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
  • 〖Python 数据库开发实战 - Redis篇②〗- Linux系统下安装 Redis 数据库 哈哥撩编程 #⑤-数据库开发实战篇Python全栈白宝书python数据库数据库开发实战linux安装redis
    订阅Python全栈白宝书-零基础入门篇可报销！白嫖入口-请点击我。推荐他人订阅，可获取扣除平台费用后的35%收益，文末名片加V！说明：该文属于Python全栈白宝书专栏，免费阶段订阅数量4300+，购买任意白宝书体系化专栏可加入TFS-CLUB私域社区。福利：加入社区的小伙伴们，除了可以获取博主所有付费专栏的阅读权限之外，还有机会加入星荐官共赢计划，详情请戳我。作者：不渴望力量的哈士奇(哈哥)，
  • AI产品经理面试宝典第18天：AI思维矩阵构建与实战应用面试题与答法 TGITCIC AI产品经理一线大厂面试题产品经理面试AI产品经理面试大模型产品经理面试AI面试大模型面试
    如何构建AI思维矩阵？产品经理的"降维攻击"密码面试官：请解释什么是AI思维矩阵？作为产品经理如何构建这种思维？你的回答：AI思维矩阵不是技术架构，而是产品经理在AI时代的核心认知框架。它包含四个关键维度：软硬结合创新：如智能音箱通过硬件采集语音数据，软件优化交互体验，形成闭环数据驱动决策：在智能客服场景中，通过用户对话数据优化意图识别模型，实现NLU准确率提升30%生态协同视角：以智能家居为例，
  • 关于 Excel 学习和数据分析有什么书籍或网站推荐？ cda2024 excel学习数据分析
    在当今信息爆炸的时代，Excel和数据分析已经成为职场人士必备的技能。无论是处理日常工作中的数据、制作报表，还是进行更深入的数据分析，Excel都是一个不可或缺的工具。那么，如何系统地学习Excel和数据分析呢？有哪些书籍或网站能够帮助我们快速上手并掌握这些技能？今天，我们就来探讨一下关于Excel学习和数据分析的书籍与网站推荐。一、Excel学习入门（一）书籍推荐《Excel数据分析与应用实战》
  • C++数据结构————二叉树 Гений.大天才 C++语言入门以及基础算法c++数据结构开发语言
    【前言】在数据结构与算法的世界里，二叉树（BinaryTree）始终占据着核心地位。它既是众多高级树形结构（B+树、红黑树、线段树、字典树……）的“基因”，又是面试、竞赛与工程实战中绕不开的考点。本文将用大约2万字的篇幅，从“零”开始，把C++二叉树的所有常见形态、常见算法、常见坑点与常见优化一次性讲透。全文配套可编译运行的C++17/20代码2000余行，所有示例均在GCC13/Clang17/
  • JavaScript 性能优化实战指南
    JavaScript性能优化实战指南一、引言JavaScript是一种广泛使用的编程语言，尤其在前端开发中占据重要地位。随着Web应用的复杂度不断增加，性能优化成为开发过程中不可或缺的一部分。性能优化不仅可以提升用户体验，还能减少服务器负载，提高应用的响应速度。本文将从多个方面详细探讨JavaScript性能优化的实战技巧，包括代码优化、内存管理、异步编程、资源加载优化等，旨在为开发者提供一份全面
  • 告别内存焦虑！用Dask打开Python大数据并行计算的“任意门“ 小张在编程 python大数据开发语言
    引言当你在Jupyter里用Pandas读取20GB的CSV文件，看到内存占用率从10%飙升到90%，最后弹出"MemoryError"时；当你想对亿级数据做分组聚合，却发现单线程计算要等上半小时——这些场景是不是像极了用小推车搬运万吨货物？Python生态中，Dask库就像一台"并行计算推土机"，能把大数据拆分成小块并行处理，让你的普通电脑也能拥有分布式计算的能力。本文将从原理到实战，带你掌握这
  • 312个免费高速HTTP代理IP（能隐藏自己真实IP地址） yangshangchuan 高速免费superwordHTTP代理
        124.88.67.20:843 190.36.223.93:8080 117.147.221.38:8123 122.228.92.103:3128 183.247.211.159:8123 124.88.67.35:81 112.18.51.167:8123 218.28.96.39:3128 49.94.160.198:3128 183.20
  • pull解析和json编码 百合不是茶 androidpull解析json
    n.json文件: [{name:java,lan:c++,age:17},{name:android,lan:java,age:8}]   pull.xml文件 <?xml version="1.0" encoding="utf-8"?> <stu>     <name>java
  • [能源与矿产]石油与地球生态系统 comsci 能源
          按照苏联的科学界的说法,石油并非是远古的生物残骸的演变产物,而是一种可以由某些特殊地质结构和物理条件生产出来的东西,也就是说,石油是可以自增长的....       那么我们做一个猜想: 石油好像是地球的体液,我们地球具有自动产生石油的某种机制,只要我们不过量开采石油,并保护好
  • 类与对象浅谈 沐刃青蛟 java基础
           类，字面理解，便是同一种事物的总称，比如人类，是对世界上所有人的一个总称。而对象，便是类的具体化，实例化，是一个具体事物，比如张飞这个人，就是人类的一个对象。但要注意的是：张飞这个人是对象，而不是张飞，张飞只是他这个人的名字，是他的属性而已。而一个类中包含了属性和方法这两兄弟，他们分别用来描述对象的行为和性质（感觉应该是
  • 新站开始被收录后，我们应该做什么？ IT独行者 PHPseo
    新站开始被收录后，我们应该做什么？         百度终于开始收录自己的网站了，作为站长，你是不是觉得那一刻很有成就感呢，同时，你是不是又很茫然，不知道下一步该做什么了？至少我当初就是这样，在这里和大家一份分享一下新站收录后，我们要做哪些工作。       至于如何让百度快速收录自己的网站，可以参考我之前的帖子《新站让百
  • oracle 连接碰到的问题 文强chu oracle
    Unable to find a java Virtual Machine－－安装64位版Oracle11gR2后无法启动SQLDeveloper的解决方案 作者：草根IT网 来源：未知 人气：813标签： 导读：安装64位版Oracle11gR2后发现启动SQLDeveloper时弹出配置java.exe的路径，找到Oracle自带java.exe后产生的路径“C:\app\用户名\prod
  • Swing中按ctrl键同时移动鼠标拖动组件（类中多借口共享同一数据） 小桔子 java继承swing接口监听
            都知道java中类只能单继承，但可以实现多个接口，但我发现实现多个接口之后，多个接口却不能共享同一个数据，应用开发中想实现：当用户按着ctrl键时，可以用鼠标点击拖动组件，比如说文本框。 编写一个监听实现KeyListener,NouseListener,MouseMotionListener三个接口，重写方法。定义一个全局变量boolea
  • linux常用的命令 aichenglong linux常用命令
    1 startx切换到图形化界面 2 man命令:查看帮助信息 man 需要查看的命令,man命令提供了大量的帮助信息,一般可以分成4个部分 name:对命令的简单说明 synopsis:命令的使用格式说明 description:命令的详细说明信息 options:命令的各项说明 3 date:显示时间 语法：date [OPTION]... [+FORMAT]
  • eclipse内存优化 AILIKES javaeclipsejvmjdk
    一 基本说明      在JVM中，总体上分2块内存区,默认空余堆内存小于 40%时，JVM就会增大堆直到-Xmx的最大限制；空余堆内存大于70%时，JVM会减少堆直到-Xms的最小限制。     1)堆内存(Heap memory):堆是运行时数据区域，所有类实例和数组的内存均从此处分配,是Java代码可及的内存，是留给开发人
  • 关键字的使用探讨 百合不是茶 关键字
    //关键字的使用探讨/*访问关键词private 只能在本类中访问public 只能在本工程中访问protected 只能在包中和子类中访问默认的 只能在包中访问*//*final   类 方法 变量 final 类 不能被继承 final 方法 不能被子类覆盖，但可以继承 final 变量 只能有一次赋值，赋值后不能改变 final 不能用来修饰构造方法*///this()
  • JS中定义对象的几种方式 bijian1013 js
        1. 基于已有对象扩充其对象和方法(只适合于临时的生成一个对象)： <html> <head> <title>基于已有对象扩充其对象和方法(只适合于临时的生成一个对象)</title> </head> <script> var obj = new Object();
  • 表驱动法实例 bijian1013 java表驱动法TDD
    获得月的天数是典型的直接访问驱动表方式的实例，下面我们来展示一下： MonthDaysTest.java package com.study.test; import org.junit.Assert; import org.junit.Test; import com.study.MonthDays; public class MonthDaysTest { @T
  • LInux启停重启常用服务器的脚本 bit1129 linux
    启动，停止和重启常用服务器的Bash脚本，对于每个服务器，需要根据实际的安装路径做相应的修改   #! /bin/bash Servers=(Apache2, Nginx, Resin, Tomcat, Couchbase, SVN, ActiveMQ, Mongo); Ops=(Start, Stop, Restart); currentDir=$(pwd); echo
  • 【HBase六】REST操作HBase bit1129 hbase
    HBase提供了REST风格的服务方便查看HBase集群的信息，以及执行增删改查操作   1. 启动和停止HBase REST 服务 1.1 启动REST服务 前台启动（默认端口号8080） [hadoop@hadoop bin]$ ./hbase rest start   后台启动 hbase-daemon.sh start rest   启动时指定
  • 大话zabbix 3.0设计假设 ronin47
    What’s new in Zabbix 2.0? 去年开始使用Zabbix的时候，是1.8.X的版本，今年Zabbix已经跨入了2.0的时代。看了2.0的release notes，和performance相关的有下面几个：          :: Performance improvements::Trigger related da
  • http错误码大全 byalias http协议javaweb
    响应码由三位十进制数字组成，它们出现在由HTTP服务器发送的响应的第一行。 响应码分五种类型，由它们的第一位数字表示： 1）1xx：信息，请求收到，继续处理 2）2xx：成功，行为被成功地接受、理解和采纳 3）3xx：重定向，为了完成请求，必须进一步执行的动作 4）4xx：客户端错误，请求包含语法错误或者请求无法实现 5）5xx：服务器错误，服务器不能实现一种明显无效的请求
  • J2EE设计模式-Intercepting Filter bylijinnan java设计模式数据结构
    Intercepting Filter类似于职责链模式 有两种实现 其中一种是Filter之间没有联系，全部Filter都存放在FilterChain中，由FilterChain来有序或无序地把把所有Filter调用一遍。没有用到链表这种数据结构。示例如下： package com.ljn.filter.custom; import java.util.ArrayList;
  • 修改jboss端口 chicony jboss
    修改jboss端口   %JBOSS_HOME%\server\{服务实例名}\conf\bindingservice.beans\META-INF\bindings-jboss-beans.xml   中找到 <!-- The ports-default bindings are obtained by taking the base bindin
  • c++ 用类模版实现数组类 CrazyMizzz C++
    最近c++学到数组类，写了代码将他实现，基本具有vector类的功能 #include<iostream> #include<string> #include<cassert> using namespace std; template<class T> class Array { public: //构造函数
  • hadoop dfs.datanode.du.reserved 预留空间配置方法 daizj hadoop预留空间
    对于datanode配置预留空间的方法 为：在hdfs-site.xml添加如下配置  <property>     <name>dfs.datanode.du.reserved</name>     <value>10737418240</value>    
  • mysql远程访问的设置 dcj3sjt126com mysql防火墙
    第一步: 激活网络设置 你需要编辑mysql配置文件my.cnf. 通常状况，my.cnf放置于在以下目录： /etc/mysql/my.cnf (Debian linux) /etc/my.cnf （Red Hat Linux/Fedora Linux) /var/db/mysql/my.cnf (FreeBSD) 然后用vi编辑my.cnf，修改内容从以下行： [mysqld] 你所需要: 1
  • ios 使用特定的popToViewController返回到相应的Controller dcj3sjt126com controller
    1、取navigationCtroller中的Controllers NSArray * ctrlArray = self.navigationController.viewControllers; 2、取出后，执行， [self.navigationController popToViewController:[ctrlArray objectAtIndex:0] animated:YES
  • Linux正则表达式和通配符的区别 eksliang 正则表达式通配符和正则表达式的区别通配符
    转载请出自出处：http://eksliang.iteye.com/blog/1976579 首先得明白二者是截然不同的 通配符只能用在shell命令中,用来处理字符串的的匹配。 判断一个命令是否为bash shell(linux 默认的shell)的内置命令 type -t commad 返回结果含义 file  表示为外部命令 alias  表示该
  • Ubuntu Mysql Install and CONF gengzg Install
    http://www.navicat.com.cn/download/navicat-for-mysql Step1: 下载Navicat ，网址：http://www.navicat.com/en/download/download.html Step2：进入下载目录，解压压缩包：tar -zxvf navicat11_mysql_en.tar.gz
  • 批处理，删除文件bat huqiji windowsdos
    @echo off ::演示：删除指定路径下指定天数之前（以文件名中包含的日期字符串为准）的文件。 ::如果演示结果无误，把del前面的echo去掉，即可实现真正删除。 ::本例假设文件名中包含的日期字符串（比如：bak-2009-12-25.log） rem 指定待删除文件的存放路径 set SrcDir=C:/Test/BatHome rem 指定天数 set DaysAgo=1
  • 跨浏览器兼容的HTML5视频音频播放器 天梯梦 html5
    HTML5的video和audio标签是用来在网页中加入视频和音频的标签，在支持html5的浏览器中不需要预先加载Adobe Flash浏览器插件就能轻松快速的播放视频和音频文件。而html5media.js可以在不支持html5的浏览器上使video和audio标签生效。   How to enable <video> and <audio> tags in
  • Bundle自定义数据传递 hm4123660 androidSerializable自定义数据传递BundleParcelable
          我们都知道Bundle可能过put****()方法添加各种基本类型的数据，Intent也可以通过putExtras(Bundle)将数据添加进去，然后通过startActivity()跳到下一下Activity的时候就把数据也传到下一个Activity了。如传递一个字符串到下一个Activity   把数据放到Intent
  • C＃：异步编程和线程的使用（.NET 4.5 ） powertoolsteam .net线程C#异步编程
    异步编程和线程处理是并发或并行编程非常重要的功能特征。为了实现异步编程，可使用线程也可以不用。将异步与线程同时讲，将有助于我们更好的理解它们的特征。 本文中涉及关键知识点 1. 异步编程 2. 线程的使用 3. 基于任务的异步模式 4. 并行编程 5. 总结 异步编程 什么是异步操作？异步操作是指某些操作能够独立运行，不依赖主流程或主其他处理流程。通常情况下，C＃程序
  • spark 查看 job history 日志 Stark_Summer 日志sparkhistoryjob
    SPARK_HOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh 增加如下内容 export SP
  • SSH框架搭建 wangxiukai2015eye springHibernatestruts
    MyEclipse搭建SSH框架 Struts Spring Hibernate 1、new一个web project。 2、右键项目，为项目添加Struts支持。    选择Struts2 Core Libraries -<MyEclipes-Library>      点击Finish。src目录下多了struts
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他