EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器

大数据运维的挑战—如何保证集群稳定与运行效率

企业级大数据集群通常拥有海量的数据存储、日常运算成干上万的计算任务，需要满足各类上层业务的计算需求。对于这类集群的运维往往充满着挑战：海量的数据、庞杂的组件以及组件之间复杂的依赖关系、对于时效要求的的运算任务，都会提升运维难度。作为支撑平台，大数据集群的稳定性和运行效率，会直接影响到公司业务的正常运作和发展。

EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器_第1张图片

集群管理员往往对整体集群做好了监控运维体系，对于大数据集群，简单的监控运维体系能够帮助管理员在遇到故障的时候定位问题。但对于整体集群的运行效率，集群的状态，通过单纯的监控指标很难给出一个全面的解答。

对于大数据集群，管理员以及 CIO 等更关注以下的内容：

  • 集群内的节点的运行状态和资源使用状况；
  • 运行在集群上的服务组件的状态监控和异常处理，包括 YARN、HDFS、Hive 和 Spark 等；
  • 计算任务运行情况和执行效率；
  • 整体集群的健康程度和如何改进。

面对运维挑战，EMR重磅推出：智能运维诊断系统(EMR Doctor)

为了提升大数据集群运维效率，辅助 EMR 用户完善集群监控体系。E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor（简称EMR Doctor）。 EMR Doctor 作为开源大数据集群的管家，会自动每日巡检集群。集群管理员只需要定期查看健康检查报告，并且根据报告中的建议对集群做相应的优化调整，即可全局了解集群的健康状况和动态走势，并保持集群的健康度。

如何使用 EMR Doctor

  1. 进入 EMR 控制台健康检查页面。

    1. 登录 EMR on ECS 控制台。
    2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
    3. 在集群管理页面，单击目标集群的集群ID。
    4. 单击上方的健康检查页签。
  1. 在健康检查页面，您可以看到当前集群的健康检查报告（T+1）。健康状态列显示了该集群的健康度，您可以点击查看报告进入检查报告页面。

  1. 健康检查报告中包含集群计算资源的总体分析

  1. 健康检查报告中包含计算任务从各个维度的排名并给出任务调优建议

  1. 健康检查报告中包含对集群存储的总体分析，以及大小文件和冷热数据的详细分析

EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器_第2张图片

  1. 健康检查报告主要分析内容如下，更详细说明请参见查看健康检查状态和报告
计算资源分析 概述 状态概述
需要关注的问题
计算基础信息 集群计算评分
集群算力内存时
集群算力CPU时
计算引擎内存算力时
计算任务信息 计算任务算力内存时分析
计算任务评分排行榜
Spark Spark任务算力分析及调优建议
Tez Tez任务算力分析及调优建议
MapReduce MapReduce任务算力分析及调优建议
HDFS存储资源分析（需开启存储资源信息采集开关） 概述 状态概述
需要关注的问题
HDFS基础信息 HDFS存储资源使用趋势
文件总数随时间变化趋势
评分趋势
HDFS文件大小分布 HDFS文件大小比例
一级目录空文件个数Top10
一级目录极小文件个数Top10
一级目录小文件个数Top10
一级目录中等文件个数Top10
一级目录大文件个数Top10
HDFS冷热数据分布 HDFS冷热数据
一级目录极冷数据大小Top10
一级目录冷数据大小Top10
一级目录温数据大小Top10
一级目录热数据大小Top10
HIVE存储资源分析（需开启存储资源信息采集开关） 概述 状态概述
需要关注的问题
Hive基础信息 存储趋势
文件数量趋势
评分趋势
Hive库信息 库存储排名
库文件总数排名
库评分
Hive表文件大小分布 Hive表文件大小分布比例
Hive表空文件个数Top10
Hive表极小文件个数Top10
Hive表小文件个数Top10
Hive中等文件个数Top10
Hive大文件个数Top10
Hive冷热数据分布 Hive冷热数据分布
Hive表极冷数据大小Top10
Hive表冷数据大小Top10
Hive表温数据大小Top10
Hive表热数据大小Top10
Hive表存储格式分布 Hive表存储格式分布
Hive表TextFile/Parquet/ORC格式文件分析

如何开通EMR Doctor

开通及使用咨询问题请见 EMR Doctor常见问题

  • EMR-3.39.0之前版本、EMR-5.5.0之前版本，EMR-4.10之前版本需要手动开通健康检查功能，请参见开通指南
  • EMR-3.39.0及更高版本，EMR-5.5.0及更高版本，EMR-4.10及更高版本默认提供健康检查功能，无需手动开通。

你可能感兴趣的:(大数据运维spark数据安全)

  • 我们为什么要用大语言模型来迭代数据安全能力？ 大模型. 语言模型人工智能自然语言处理架构深度学习大数据大模型
    在当今科技飞速发展的时代，大语言模型无疑是最炙手可热的话题之一。从OpenAI的GPT系列到谷歌的BERT，这些拥有海量参数的模型宛如智能巨人，正重塑着自然语言处理（NLP）的格局。你或许好奇，大语言模型究竟为何如此备受瞩目？这得从自然语言处理领域的核心任务——文本分类说起。文本分类，就像是给五花八门的文本信息贴上合适的“标签”，无论是判断一封邮件是正常邮件还是垃圾邮件，分析社交媒体上的评论是积极
  • Java实现文件内容加解密 qq_34759280 Javajava安全加解密
    背景近期在做一个对数据安全要求比较高的软件，用户要求做到对接口、文件、以及数据库部分敏感字段进行加密。由于系统中文件内容比较敏感，用户要求除了客户其他人不能查看文件具体内容，包括运维人员和开发人员。探讨其实文件加密并不算太复杂。无非就是在用户上传文件的时候将文件内容读出加密写入后再存到服务器，然后用户下载的时候将内容读出然后解密再写入输出流即可。简单实现计算机数据内容是二进制，针对二进制最简单高效
  • PostgreSQL 数据备份与恢复：掌握 pg_dump 和 pg_restore 的最佳实践
    title:PostgreSQL数据备份与恢复：掌握pg_dump和pg_restore的最佳实践date:2025/1/28updated:2025/1/28author:cmdragonexcerpt:在数据库管理中，备份与恢复是确保数据安全和业务连续性的关键措施。PostgreSQL提供了一系列工具，以便于数据库管理员对数据进行备份和恢复，其中pg_dump和pg_restore是最常用且功
  • RDD 算子全面解析：从基础到进阶与面试要点 天冬忘忧 Sparkspark大数据
    Spark的介绍与搭建：从理论到实践_spark环境搭建-CSDN博客Spark的Standalone集群环境安装与测试-CSDN博客PySpark本地开发环境搭建与实践-CSDN博客Spark程序开发与提交：本地与集群模式全解析-CSDN博客SparkonYARN：Spark集群模式之Yarn模式的原理、搭建与实践-CSDN博客Spark中RDD的诞生：原理、操作与分区规则-CSDN博客Spar
  • 备份与恢复管理系统深度解析及代码实践 我的运维人生 服务器linux运维运维开发技术共享
    备份与恢复管理系统深度解析及代码实践在现代数据驱动的世界中，数据备份与恢复管理系统的重要性不言而喻。无论是面对硬件故障、软件崩溃、自然灾害还是人为误操作，有效的备份与恢复策略都是企业保障数据安全、减少业务中断风险的关键。本文将深入探讨备份与恢复的基本概念、类型、策略，并结合代码示例展示实际操作。一、备份与恢复的基本概念备份是指按照预定的规则，周期性地将业务数据制作成一份或多份拷贝，并存放于专门的备
  • anaconda中pyspark_自学大数据——9 Anaconda安装与使用pyspark 步六孤陆
    首先从Anaconda官网上下载Anaconda。一、解压安装包sudobashAnaconda3-2020.07-Linux-x86_64.shchown-Rhadoop:hadoop/opt/anaconda/vi/etc/profileexportANACONDA_HOME=/opt/anacondaexportPATH=$PATH:$ANACONDA_HOME/bin:source/etc
  • PySpark数据处理过程简析 AI天才研究院 Python实战自然语言处理人工智能语言模型编程实践开发语言架构设计
    作者：禅与计算机程序设计艺术1.简介PySpark是ApacheSpark的PythonAPI，可以用Python进行分布式数据处理，它在内存中利用了ApacheHadoopYARN资源调度框架对数据进行并行处理。PySpark可以直接使用Hadoop文件系统、HDFS来存储数据，也可以通过S3、GCS、ADLS等云存储平台保存数据。因此，在不同的数据源之间移动数据时，只需要复制一次数据就可以完成
  • 2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群 王络不稳定 sparkbigdata大数据
    第一部分Spark快速入门01_Spark快速入门【Anaconda软件安装】[掌握]使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。Anaconda是跨平台的，有Windows、MacOS、Linux版本。#下载地址：ht
  • PySpark rainyrainbow 大数据hadoop
    1.PySpark的搭建https://blog.csdn.net/qq_36330643/article/details/78429109PySpark是Spark为Python开发者提供的API，位于$SPARK_HOME/bin目录，其依赖于Py4J。在Pycharm中配置使用spark1.在Pycharm中新建python项目，解释器使用的是python3.4File=>Settings切
  • spark2如何集成到cdh里 蘑菇丁 经验hadoop大数据+机器学习+oracle
    最近做性能测试需要spark2测试下和spark1.6性能有多大差别，官方文档里写着可以集成，但是自己怎么搞都不行，折磨了3天的时间，目前终于把spark2集成到集群里了我安装的是最新版本的下载spark2安装包wgethttp://archive.cloudera.com/beta/spark2/parcels/latest/SPARK2-2.0.0.cloudera.beta2-1.cdh5.
  • 大数据之Spark运行流程 「已注销」 Spark大数据sparkhadoop
    文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方，可以再看看，附上对应文章的链接：Spark的部署模式，本篇文章主要讨论SparkOnYarn两种部署模式的运行流程。（一）SparkOnYarn集群的Client模式运行流程该模式的Dri
  • xgboost-spark-scala maokunnn DMxgboostsparkscala
    今天学习写scala，拿xgboost试一下～先记一下xgboost调参要点：7.xgboost中比较重要的参数介绍（1）objective[default=reg:linear]定义学习任务及相应的学习目标，可选的目标函数如下：“reg:linear”–线性回归。“reg:logistic”–逻辑回归。“binary:logistic”–二分类的逻辑回归问题，输出为概率。“binary:logi
  • 大数据平台建设整体架构设计方案 AI天才研究院 ChatGPTAI大模型企业级应用开发实战大数据AI人工智能大厂Offer收割机面试题简历程序员读书硅基计算碳基计算认知计算生物计算深度学习神经网络大数据AIGCAGILLMJavaPython架构设计Agent程序员实现财富自由
    《大数据平台建设整体架构设计方案》关键词：大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink、项目规划、运维管理、最佳实践。摘要：本文将深入探讨大数据平台建设整体架构设计方案，从概述与核心概念、技术栈、建设实践、运维管理以及经验展望等多个方面进行详细阐述。通过梳理大数据平台的核心组成
  • 迈入数智时代的恒生电子：四大新品推动金融数智化从量变走向质变 数据猿 算法大数据人工智能机器学习区块链
    数据智能产业创新服务媒体——聚焦数智·改变商业最近两三年，国内金融科技行业风云迭起。而随着《数据安全法》、《征信业管理条例》和《征信业务管理办法》等一系列法规政策的相继出台，金融科技将步入良性发展轨道。中国人民银行行长易纲日前在国际清算银行（BIS）监管大型科技公司国际会议上表示，在数字经济时代，金融与科技融合发展是全球性趋势，科技向善是人类命运共同体的内在要求，如何在提升金融业创新能力的同时防范
  • Scala简介 醉游江湖 scala
    hadoop生态圈—>javaspark生态圈—>scala1.scala是面向对象的、面向函数的基于静态类型的编程语言。静态语言（强类型语言）静态语言是在编译时变量的数据类型即可确定的语言，多数静态类型语言要求在使用变量之前必须声明数据类型。例如：C++、Java、Delphi、C#,Scala等。scala编译后是字节码文件可以调用java源有的库动态语言（弱类型语言）动态语言是在运行时确定数
  • spark官方配置参数详解 我丶怀念的 sparkscalads
    以下是整理的Spark中的一些配置参数，官方文档请参考SparkConfiguration。Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的conf/spark-env.sh脚本设置。例如IP地址、端口等信息日志配置：可以通过log4j.properties配置Spark属性Spark属性
  • 【spark床头书系列】如何在YARN上启动Spark官网权威详解说明 BigDataMLApplication sparkspark大数据分布式
    【spark床头书系列】如何在YARN上启动Spark官网权威详解说明点击这里看全文文章目录添加其他JAR文件准备工作配置调试应用程序Spark属性重要说明KerberosYARN特定的Kerberos配置Kerberos故障排除配置外部Shuffle服务使用ApacheOozie启动应用程序使用Spark历史服务器替代SparkWebUI官网链接确保HADOOP_CONF_DIR或者YARN_C
  • xgboost在spark集群使用指南 一颗小草333 算法mapreducespark数据挖掘
    简介XGBoost是一个优化的分布式梯度增强库，具有高效、灵活和可移植性。在梯度增强框架下实现了机器学习算法。XGBoost提供了一种并行树增强(也称为GBDT、GBM)，可以快速、准确地解决许多数据科学问题。相同的代码在主要的分布式环境(Hadoop、SGE、MPI)上运行，可以解决数十亿个示例的训练问题。xgb相对于gbt所做的改进：1.2.3.XGBoost可以使用R、python、java
  • MongoDB 数据库备份和恢复全攻略 翻晒时光 数据库数据库mongodb
    在当今数据驱动的时代，数据库的稳定运行和数据安全至关重要。MongoDB作为一款流行的NoSQL数据库，以其灵活的文档模型和高扩展性备受青睐。然而，无论数据库多么强大，数据丢失的风险始终存在，因此掌握MongoDB的备份和恢复方法是数据库管理的关键环节。本文将深入探讨MongoDB的备份和恢复策略，帮助你更好地保护数据资产。一、备份的重要性数据丢失可能由多种原因导致，如硬件故障、软件错误、人为误操
  • HSM能为区块链、IoT等新兴技术提供怎样的保护？ Anna_Tong 区块链物联网iothsm数据加密
    随着区块链和物联网（IoT）技术的快速发展，数据安全已成为最为关键的挑战之一。在这些技术的应用中，涉及到大量的敏感数据和交易信息，因此如何确保数据的机密性、完整性和真实性，成为了亟待解决的问题。硬件安全模块（HSM）作为一种高度安全的加密服务技术，正日益成为保障区块链和IoT技术安全的核心工具。HSM具体能为区块链和IoT做些什么？它又是如何保护这些技术免受安全威胁的呢？HSM在区块链中的应用：密
  • 性能优化案例：通过合理设置spark.default.parallelism参数的值来优化PySpark程序的性能 weixin_30777913 大数据sparkpython
    在PySpark中，spark.default.parallelism是一个关键参数，直接影响作业的并行度和资源利用率。通过合理设置spark.default.parallelism并结合数据特征调整，可显著提升PySpark作业的并行效率和资源利用率。建议在开发和生产环境中进行多轮基准测试以确定最优值。以下是如何通过调整此参数优化性能的详细说明，结合案例和最佳实践：1.参数作用与问题场景参数意义
  • 性能优化案例：通过合理设置spark.storage.memoryFraction参数的值来优化PySpark程序的性能 weixin_30777913 python大数据spark
    优化PySpark程序的性能时，合理设置spark.storage.memoryFraction（或相关内存参数）是关键。合理设置spark.storage.memoryFraction需结合任务类型和内存使用监控。对于缓存密集型任务，适当提高存储内存比例；对于Shuffle密集型任务，优先保障执行内存。新版本Spark的动态内存机制简化了调优，但手动干预在极端场景下仍有效。最终需通过反复测试验证
  • 转：Spark RDD算子练习题 爱萨萨 技术-大数据sparkRDD练习
    版权声明：本文为博主原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_40825218/article/details/83720732给定数据如下：12张三25男chinese5012张三25男math6012张三25男english7012李四20男chinese5012李四20男math5012李四20男e
  • spark sql的练习题 a大数据yyds sparkspark
    1、使用StructuredStreaming读取Socket数据，把单词和单词的反转组成json格式写入到当前目录中的file文件夹中2、请使用StructuredStreaming读取student_info文件夹写的csv文件，2.1、统计出文件中的男女生各有多少人2.2、统计出姓“王”男生和女生的各有多少人3、请使用StructuredStreaming读取department_info文
  • Spark>sql练习题 BigMoM1573 Sparkspark
    练习题-------------------------------以下使用StructuredStreaming：-------------------------------1、请使用StructuredStreaming读取Socket数据，统计出每个单词的个数2、请使用StructuredStreaming读取student_info文件夹写的csv文件，2.1、统计出文件中的男女生各有多
  • 《Spark大数据分析与内存计算》——第三章 阿万古 课程作业spark数据分析大数据
    第三章作业及答案快捷查找：Ctrl+F在搜索框中输入题目一.单选题（共17题）1.(单选题)并不是所有企业都能自己产生数据，从而用于决策辅助，而更多的互联网企业如电商等大部分是要靠什么来抓取互联网数据进行分析A.HadoopB.pythonC.SparkD.网路爬虫正确答案:D:网路爬虫;2.(单选题)什么负责即席查询的应用A.MLlibB.SparkStreamingC.GraphXD.Spar
  • PySpark之金融数据分析（Spark RDD、SQL练习题） 唯余木叶下弦声 大数据大数据sparkpysparkpython数据分析sql
    目录一、数据来源二、PySparkRDD编程1、查询特定日期的资金流入和流出情况2、活跃用户分析三、PySparkSQL编程1、按城市统计2014年3月1日的平均余额2、统计每个城市总流量前3高的用户四、总结一、数据来源本文使用的数据来源于天池大赛数据集，由蚂蚁金服提供，包含用户基本信息、申购赎回记录、收益率、银行间拆借利率等多个维度，本文通过PySpark实现对该数据集的简单分析。数据来源：天池
  • 用 Docker 搭建 Spark 集群 yeasy BigdataDockersparkDocker云计算集群分布式计算
    简介Spark是Berkeley开发的分布式计算的框架，相对于Hadoop来说，Spark可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。熟悉Hadoop的同学也不必担心，Spark很多设计理念和用法都跟Hadoop保持一致和相似，并且在使用上完全兼容HDFS。但是Spark的安装并不容易，依赖包括Java、Scala、HDFS等。通过使用Docker，可以快速的在本地
  • 企业级应用框架guns架构与开发实践 福建低调
    本文还有配套的精品资源，点击获取简介：在IT领域，企业架构是组织信息和技术集成设计的关键。"guns"项目提供了一套高效、灵活且可扩展的企业管理架构设计框架。本文深入探讨guns项目的核心特性、应用场景和开发实践，以及如何使用不同的集成开发环境（IDE）进行项目开发。guns基于SpringBoot框架，集成MyBatis和Shiro，简化了微服务开发和权限控制，确保了数据安全。文章还详细介绍了g
  • 全面解析物联网信息安全知识体系 无声远望
    本文还有配套的精品资源，点击获取简介：本资料集详细介绍物联网信息安全的多个重要方面，包括基础概念、数学基础、数据安全与隐私保护、集成安全技术、安全分析、防护策略和身份认证。从基本的物联网安全概念到深度探讨密码学基础，再到数据保护技术，再到全面的系统安全设计，安全分析，防御措施以及身份验证技术，这些内容将为研究者、开发者和管理者提供物联网安全的全面视角。1.物联网信息安全基础概念在现代技术不断发展的
  • 遍历dom 并且存储（将每一层的DOM元素存在数组中） 换个号韩国红果果 JavaScripthtml
    数组从0开始！！ var a=[],i=0; for(var j=0;j<30;j++){ a[j]=[];//数组里套数组，且第i层存储在第a[i]中 } function walkDOM(n){ do{ if(n.nodeType!==3)//筛选去除#text类型 a[i].push(n); //con
  • Android+Jquery Mobile学习系列(9)-总结和代码分享 白糖_ JQuery Mobile
    目录导航   经过一个多月的边学习边练手，学会了Android基于Web开发的毛皮，其实开发过程中用Android原生API不是很多，更多的是HTML/Javascript/Css。   个人觉得基于WebView的Jquery Mobile开发有以下优点： 1、对于刚从Java Web转型过来的同学非常适合，只要懂得HTML开发就可以上手做事。 2、jquerym
  • impala参考资料 dayutianfei impala
    记录一些有用的Impala资料   1. 入门资料 >>官网翻译：     http://my.oschina.net/weiqingbin/blog?catalog=423691   2. 实用进阶 >>代码&架构分析：     Impala/Hive现状分析与前景展望：http
  • JAVA 静态变量与非静态变量初始化顺序之新解 周凡杨 java静态非静态顺序
    今天和同事争论一问题，关于静态变量与非静态变量的初始化顺序，谁先谁后，最终想整理出来！测试代码： import java.util.Map; public class T { public static T t = new T(); private Map map = new HashMap(); public T(){ System.out.println(&quo
  • 跳出iframe返回外层页面 g21121 iframe
    在web开发过程中难免要用到iframe，但当连接超时或跳转到公共页面时就会出现超时页面显示在iframe中，这时我们就需要跳出这个iframe到达一个公共页面去。 首先跳转到一个中间页，这个页面用于判断是否在iframe中，在页面加载的过程中调用如下代码： <script type="text/javascript"> //<!-- function
  • JAVA多线程监听JMS、MQ队列 510888780 java多线程
    背景：消息队列中有非常多的消息需要处理，并且监听器onMessage（）方法中的业务逻辑也相对比较复杂，为了加快队列消息的读取、处理速度。可以通过加快读取速度和加快处理速度来考虑。因此从这两个方面都使用多线程来处理。对于消息处理的业务处理逻辑用线程池来做。对于加快消息监听读取速度可以使用1.使用多个监听器监听一个队列；2.使用一个监听器开启多线程监听。 对于上面提到的方法2使用一个监听器开启多线
  • 第一个SpringMvc例子 布衣凌宇 spring mvc
    第一步：导入需要的包； 第二步：配置web.xml文件 <?xml version="1.0" encoding="UTF-8"?> <web-app version="2.5" xmlns="http://java.sun.com/xml/ns/javaee" xmlns:xsi=
  • 我的spring学习笔记15-容器扩展点之PropertyOverrideConfigurer aijuans Spring3
    PropertyOverrideConfigurer类似于PropertyPlaceholderConfigurer，但是与后者相比，前者对于bean属性可以有缺省值或者根本没有值。也就是说如果properties文件中没有某个bean属性的内容，那么将使用上下文（配置的xml文件）中相应定义的值。如果properties文件中有bean属性的内容，那么就用properties文件中的值来代替上下
  • 通过XSD验证XML antlove xmlschemaxsdvalidationSchemaFactory
    1. XmlValidation.java package xml.validation; import java.io.InputStream; import javax.xml.XMLConstants; import javax.xml.transform.stream.StreamSource; import javax.xml.validation.Schem
  • 文本流与字符集 百合不是茶 PrintWrite()的使用字符集名字 别名获取
    文本数据的输入输出;           输入;数据流,缓冲流         输出;介绍向文本打印格式化的输出PrintWrite();   package 文本流; import java.io.FileNotFound
  • ibatis模糊查询sqlmap-mapping-**.xml配置 bijian1013 ibatis
            正常我们写ibatis的sqlmap-mapping-*.xml文件时，传入的参数都用##标识，如下所示： <resultMap id="personInfo" class="com.bijian.study.dto.PersonDTO"> <res
  • java jvm常用命令工具——jdb命令(The Java Debugger) bijian1013 javajvmjdb
            用来对core文件和正在运行的Java进程进行实时地调试，里面包含了丰富的命令帮助您进行调试，它的功能和Sun studio里面所带的dbx非常相似，但 jdb是专门用来针对Java应用程序的。         现在应该说日常的开发中很少用到JDB了，因为现在的IDE已经帮我们封装好了，如使用ECLI
  • 【Spring框架二】Spring常用注解之Component、Repository、Service和Controller注解 bit1129 controller
    在Spring常用注解第一步部分【Spring框架一】Spring常用注解之Autowired和Resource注解（http://bit1129.iteye.com/blog/2114084）中介绍了Autowired和Resource两个注解的功能，它们用于将依赖根据名称或者类型进行自动的注入，这简化了在XML中，依赖注入部分的XML的编写，但是UserDao和UserService两个bea
  • cxf wsdl2java生成代码super出错,构造函数不匹配 bitray super
        由于过去对于soap协议的cxf接触的不是很多,所以遇到了也是迷糊了一会.后来经过查找资料才得以解决. 初始原因一般是由于jaxws2.2规范和jdk6及以上不兼容导致的.所以要强制降为jaxws2.1进行编译生成.我们需要少量的修改: 我们原来的代码 wsdl2java com.test.xxx -client http://..... 修改后的代
  • 动态页面正文部分中文乱码排障一例 ronin47
    公司网站一部分动态页面，早先使用apache+resin的架构运行，考虑到高并发访问下的响应性能问题，在前不久逐步开始用nginx替换掉了apache。 不过随后发现了一个问题，随意进入某一有分页的网页，第一页是正常的（因为静态化过了）；点“下一页”，出来的页面两边正常，中间部分的标题、关键字等也正常，唯独每个标题下的正文无法正常显示。 因为有做过系统调整，所以第一反应就是新上
  • java-54- 调整数组顺序使奇数位于偶数前面 bylijinnan java
    import java.util.Arrays; import java.util.Random; import ljn.help.Helper; public class OddBeforeEven { /** * Q 54 调整数组顺序使奇数位于偶数前面 * 输入一个整数数组，调整数组中数字的顺序，使得所有奇数位于数组的前半部分，所有偶数位于数组的后半
  • 从100PV到1亿级PV网站架构演变 cfyme 网站架构
    一个网站就像一个人，存在一个从小到大的过程。养一个网站和养一个人一样，不同时期需要不同的方法，不同的方法下有共同的原则。本文结合我自已14年网站人的经历记录一些架构演变中的体会。 1：积累是必不可少的 架构师不是一天练成的。 1999年，我作了一个个人主页，在学校内的虚拟空间，参加了一次主页大赛，几个DREAMWEAVER的页面，几个TABLE作布局，一个DB连接，几行PHP的代码嵌入在HTM
  • [宇宙时代]宇宙时代的GIS是什么？ comsci Gis
           我们都知道一个事实，在行星内部的时候，因为地理信息的坐标都是相对固定的，所以我们获取一组GIS数据之后，就可以存储到硬盘中，长久使用。。。但是，请注意，这种经验在宇宙时代是不能够被继续使用的          宇宙是一个高维时空
  • 详解create database命令 czmmiao database
    完整命令 CREATE DATABASE mynewdb   USER SYS IDENTIFIED BY sys_password   USER SYSTEM IDENTIFIED BY system_password   LOGFILE GROUP 1 ('/u01/logs/my/redo01a.log','/u02/logs/m
  • 几句不中听却不得不认可的话 datageek
    1、人丑就该多读书。 2、你不快乐是因为：你可以像猪一样懒，却无法像只猪一样懒得心安理得。 3、如果你太在意别人的看法，那么你的生活将变成一件裤衩，别人放什么屁，你都得接着。 4、你的问题主要在于：读书不多而买书太多，读书太少又特爱思考，还他妈话痨。 5、与禽兽搏斗的三种结局：(1)、赢了，比禽兽还禽兽。(2)、输了，禽兽不如。(3)、平了，跟禽兽没两样。结论：选择正确的对手很重要。 6
  • 1 14:00 PHP中的“syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM”错误 dcj3sjt126com PHP
    原文地址：http://www.kafka0102.com/2010/08/281.html   因为需要，今天晚些在本机使用PHP做些测试，PHP脚本依赖了一堆我也不清楚做什么用的库。结果一跑起来，就报出类似下面的错误：“Parse error: syntax error, unexpected T_PAAMAYIM_NEKUDOTAYIM in /home/kafka/test/
  • xcode6 Auto layout and size classes dcj3sjt126com ios
    官方GUI   https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/AutolayoutPG/Introduction/Introduction.html   iOS中使用自动布局（一）   http://www.cocoachina.com/ind
  • 通过PreparedStatement批量执行sql语句【sql语句相同，值不同】 梦见x光 sql事务批量执行
    比如说：我有一个List需要添加到数据库中，那么我该如何通过PreparedStatement来操作呢？ public void addCustomerByCommit(Connection conn , List<Customer> customerList) {    String sql = "inseret into customer(id
  • 程序员必知必会----linux常用命令之十【系统相关】 hanqunfeng Linux常用命令
    一.linux快捷键 Ctrl+C : 终止当前命令 Ctrl+S : 暂停屏幕输出 Ctrl+Q : 恢复屏幕输出 Ctrl+U : 删除当前行光标前的所有字符 Ctrl+Z : 挂起当前正在执行的进程 Ctrl+L : 清除终端屏幕，相当于clear   二.终端命令 clear : 清除终端屏幕 reset : 重置视窗，当屏幕编码混乱时使用 time com
  • NGINX IXHONG nginx
    pcre 编译安装 nginx conf/vhost/test.conf   upstream admin { server 127.0.0.1:8080; }   server {                 listen       80; &
  • 设计模式--工厂模式 kerryg 设计模式
    工厂方式模式分为三种：   1、普通工厂模式：建立一个工厂类，对实现了同一个接口的一些类进行实例的创建。   2、多个工厂方法的模式：就是对普通工厂方法模式的改进，在普通工厂方法模式中，如果传递的字符串出错，则不能正确创建对象，而多个工厂方法模式就是提供多个工厂方法，分别创建对象。   3、静态工厂方法模式：就是将上面的多个工厂方法模式里的方法置为静态，
  • Spring InitializingBean/init-method和DisposableBean/destroy-method mx_xiehd javaspringbeanxml
    1.initializingBean/init-method 实现org.springframework.beans.factory.InitializingBean接口允许一个bean在它的所有必须属性被BeanFactory设置后，来执行初始化的工作，InitialzingBean仅仅指定了一个方法。 通常InitializingBean接口的使用是能够被避免的，（不鼓励使用，因为没有必要
  • 解决Centos下vim粘贴内容格式混乱问题 qindongliang1922 centosvim
    有时候，我们在向vim打开的一个xml，或者任意文件中，拷贝粘贴的代码时，格式莫名其毛的就混乱了，然后自己一个个再重新，把格式排列好，非常耗时，而且很不爽，那么有没有办法避免呢？ 答案是肯定的，设置下缩进格式就可以了，非常简单： 在用户的根目录下 直接vi  ~/.vimrc文件 然后将set pastetoggle=<F9> 写入这个文件中，保存退出，重新登录，
  • netty大并发请求问题 tianzhihehe netty
    多线程并发使用同一个channel java.nio.BufferOverflowException: null at java.nio.HeapByteBuffer.put(HeapByteBuffer.java:183) ~[na:1.7.0_60-ea] at java.nio.ByteBuffer.put(ByteBuffer.java:832) ~[na:1.7.0_60-ea]
  • Hadoop NameNode单点问题解决方案之一 AvatarNode wyz2009107220 NameNode
    我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入一个共享的NFS filer(注：NetApp NFS Filer)。 经常遇到需要中断服务的问题是给hadoop打补丁。 DataNod
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他