意识流丶
意识流丶

分布式计算平台Hadoop

Hadoop简介

Hadoop 是Apache基金会下一个开源的分布式计算平台，它以分布式文件系统HDFS和MapReduce算法为核心，为用户提供了系统底层细节透明的分布式基础架构。
Github地址：https://github.com/apache/hadoop
官方网站：https://hadoop.apache.org/
官方文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
中文社区：http://chinahadoop.com/

Hadoop的两个核心组成：

1.HDFS：分布式文件系统，存储海量的数据。是可扩展、容错、高性能的分布式文件系统，异步复制，一次写入多次读取，主要负责存储。
2.MapReduce：并行处理框架，实现任务分解和调度。包含map(映射)和 reduce(归约)过程，负责在 HDFS 上进行计算。

Hadoop特点

1.高扩展：能可靠地存储和处理千兆字节的数据，理论上是无限的
2.低成本：借鉴谷歌，可以通过普通机器组成的服务器群来分发以及处理数据，这些服务器群总计可达数千个
3.高效率：通过分发数据，Hadoop可以在数据所在的节点上并行地处理他们，这使得处理的非常迅速
4.可靠性：Hadoop能自动地维护数据的多份副本，并且在任务失败后能自动的重新部署计算任务

Hadoop用途

搭建大型数据仓库，PB级数据存储、处理、分析及统计，用于搜索引擎、BI、日志分析及数据挖掘等

Hadoop生态圈

Hadoop 已经成长为一个庞大的生态体系，只要和大数据相关的领域，都有 Hadoop 的身影。下图是一个 Hadoop 生态系统的图谱，详细列举了在 Hadoop 这个生态系统中出现的各种数据工具。
分布式计算平台Hadoop_第1张图片
image

在window中使用Hadoop

1.Hadoop下载

推荐通过镜像下载
下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

分布式计算平台Hadoop_第2张图片
image.png
选择最新的3.2.0，下载tar.gz文件
分布式计算平台Hadoop_第3张图片
image.png

2.Hadoop安装

下载完后直接解压

解压过程中可能遇到的问题

分布式计算平台Hadoop_第4张图片
image.png

解决方法，在cmd中使用解压命令start winrar x -y hadoop-3.2.0.tar.gz

解压完成如下：

分布式计算平台Hadoop_第5张图片
image.png
关键目录说明：

bin：存放Hadoop的操作命令
etc：存放Hadoop的配置文件
sbin：Hadoop的管理命令
share：包括Hadoop的文档和组件包

3.配置Hadoop相关的环境变量

新建系统变量

变量名：HADOOP_HOME
变量值：Hadoop解压路径

分布式计算平台Hadoop_第6张图片
image.png

添加path属性,

%HADOOP_HOME%\bin和%HADOOP_HOME%\sbin添加到path环境变量中

检验是否安装Hadoop成功

cmd中输入hadoop version,显示安装的版本号即可

分布式计算平台Hadoop_第7张图片
image.png

4.Hadoop配置文件的修改

主要在/etc/hadoop中修改
4.1.配置默认hdfs的访问端口，主要修改core-site.xml

9000端口是通过http协议连接Hadoop使用的端口


      fs.defaultFS
      hdfs://localhost:9000

修改后core-site.xml为





    
        fs.defaultFS
        hdfs://localhost:9000
4.2.设置复制数为1，即不进行复制。以及加入namenode文件路径以及datanode数据路径。主要修改hdfs-site.xml

需要先在Hadoop安装目录下新建两个文件夹namenode和datanode，用来做名字节点和数据节点的数据存储，根据自己的所在路径去设置

    
        dfs.replication
        1
    
        
        dfs.namenode.name.dir    
        file:///E:/hadoop/hadoop-3.2.0/namenode    
        
        
        dfs.datanode.data.dir    
        file:///E:/hadoop/hadoop-3.2.0/datanode

修改后hdfs-site.xml为





    
        dfs.replication
        1
    
        
        dfs.namenode.name.dir    
        file:///E:/hadoop/hadoop-3.2.0/namenode    
        
        
        dfs.datanode.data.dir    
        file:///E:/hadoop/hadoop-3.2.0/datanode
4.3.设置mr使用的框架为yarn,主要修改mapred-site.xml 
    
        mapreduce.framework.name
        yarn

修改后mapred-site.xml为





    
        mapreduce.framework.name
        yarn
4.4.设置yarn使用mr混洗,主要修改yarn-site.xml 
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler

修改后yarn-site.xml为




    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler

5.启动Hadoop服务

5.1.格式化 HDFS,在cmd中执行hdfs namenode -format
前提：在windows中启动需要在bin目录中加入hadoop.dll和winutils.exe

否则会报异常

java.io.FileNotFoundException: Could not locate Hadoop executable: 
E:\hadoop\hadoop-3.2.0\bin\winutils.exe 
-see https://wiki.apache.org/hadoop/WindowsProblems

获取hadoop.dll和winutils.exe

Hadoop2.6.0到Hadoop3.0.0版本(如更新了新版本可以使用)：
官方推荐：https://github.com/steveloughran/winutils
版本最好对应起来，更新到3.0.0版本，在上面直接下载即可，下载完后引入到bin目录

分布式计算平台Hadoop_第8张图片
image.png

注：由于用的是Hadoop3.2.0版本

需要在https://github.com/s911415/apache-hadoop-3.1.0-winutils上获取

格式化成功如下
分布式计算平台Hadoop_第9张图片
image.png
格式化之后，namenode里会自动生成一个current文件夹，则格式化成功
分布式计算平台Hadoop_第10张图片
image.png
5.2.在sbin中执行start-all.cmd，可以用命令或者直接双击
同时启动了如下4个服务：

Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager

分布式计算平台Hadoop_第11张图片
image.png

可能存在的问题

5.2.1.其中Hadoop Namenode和YARN Resourc Manager启动会报异常
java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/server/timelineservice/collector/TimelineCollectorManager
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.server.timelineservice.collector.TimelineCollectorManager

原因：缺少timelineservice.jar包
解决方法：
把share\hadoop\yarn\timelineservice\的hadoop-yarn-server-timelineservice-3.2.0.jar复制到share\hadoop\yarn\lib文件夹

5.2.2.hadoop.dll引入错误，或者版本不对应，Hadoop datanode和YARN Node Manager启动会报异常

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;I)Z
org.apache.hadoop.util.DiskChecker$DiskErrorException: 
Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0

报的异常是getStat出了问题,也就是说SHELL.WINDOWS是false了,应该是hadoop.dll的问题
解决方法：更换成对应版本的hadoop.dll

6.1通过YRAN网站查看Hadoop查看所有节点状态。默认地址为：http://localhost:8088/

分布式计算平台Hadoop_第12张图片
image.png

6.2文件管理页面默认地址为：http://localhost:9870/

在3.0.0之前的版本中文件管理的端口是50070，在3.0.0中替换成9870端口

分布式计算平台Hadoop_第13张图片
image.png

这里需要注意的是操作权限问题

权限不足会提示Permission denied: user=dr.who, access=WRITE, inode="/":sportsbenpeng:supergroup:drwxr-xr-x

可以在hdfs-site.xml中过滤权限验证
 
    dfs.permissions 
    false

需要深入了解Hadoop3.2.0

可以参考官方文档：https://hadoop.apache.org/docs/r3.2.0/

你可能感兴趣的:(分布式计算平台Hadoop)

  • Python 发送短信 黑足-山治 短信发送python
    Python发送短信短信发送平台在发送短信前需要添加两个配置文件，将下面两个文件复制下来即可xmltojson.py```#-*-coding:utf-8-*-#pythonxml.etree.ElementTreeimportxml.etree.ElementTreeasET#fromxml.domimportminidomclassxmltojson:#globalvar#showlogSHO
  • AI快速变现之路，AI视频创作 头脑旋风 AI变现之路人工智能音视频
    以下是针对AI视频创作的快速变现方案，包含详细操作步骤、工具推荐及行业应用案例，结合2025年AIGC技术趋势设计：一、核心操作流程详解1.需求分析与脚本生成工具推荐：ChatGPT4.0+ScriptStudio（视频脚本专用工具）操作步骤：通过问卷星收集客户需求（品牌调性/目标平台/时长要求）输入prompt到ChatGPT生成多版本脚本（示例：“生成一个30秒的科技产品广告脚本，风格类似苹果
  • Uniapp 小程序获取用户手机号功能实现 前端小雪的博客. uni-app小程序
    在开发Uniapp小程序时，获取用户手机号是一个常见的需求，比如用于用户注册、身份验证等场景。下面将详细介绍如何在Uniapp小程序中实现获取用户手机号的功能。前端代码实现1.uniapp自带按钮在页面中添加一个按钮，当用户点击该按钮时，会触发获取手机号的操作。这里使用v-if指令判断当前平台是否为微信小程序，只有在微信小程序环境下才显示该按钮。去绑定2.处理获取手机号事件在script部分，实现
  • 华为MRS产品组件 QianJin_zixuan hadoophive大数据数据库架构gaussdb
    MRS：MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务（全栈大数据平台），轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。集群管理：使用MRS的首要操作就是购买集群，MRS的扩容不论在存储还是计算能力上，都可以简单地通过增加Core节点或者Task节点来完成。集群Core节
  • 基于MatrixOS的多模态数据智能平台：技术架构与实现路径 ITPUB-微风 架构
    在数字化和智能化的时代，数据已成为企业创新和决策的关键要素。然而，随着数据量的爆炸式增长，尤其是非结构化数据的激增，如何有效管理和利用这些数据成为了一个巨大的挑战。矩阵起源公司推出的MatrixOS，一个基于MatrixDC、MatrixOne和MatrixGenesis的多模态数据智能平台，为这一挑战提供了创新的解决方案。矩阵起源与MatrixOS简介矩阵起源成立于2021年，致力于构建开放的技
  • 游戏代练的终极武器：一站式平台，助你轻松拓展业务
    游戏代练的终极武器：一站式平台，助你轻松拓展业务你是否厌倦了零散的订单、繁琐的沟通和低效的收款方式？你是否渴望拥有更多稳定客户，提升收入，将游戏代练业务做大做强？一站式游戏代练平台，就是你的终极武器！为什么选择一站式平台？海量订单，源源不断：平台汇聚大量游戏玩家，为你提供充足的订单来源，告别“无单可接”的烦恼。高效接单，省时省力：智能匹配系统，精准推送符合你技能和档期的订单，无需再为寻找客户而四处
  • 基于matlab开发的图书馆信息管理系统 2201_75931014 matlab
    《基于MatlabGUI的图书管理系统》是一套完备的代码实现方案，专为热衷于数据分析的爱好者以及潜心学习的人士量身打造。Matlab（矩阵实验室）作为一款功能强大的编程环境，在数值计算、数据分析以及可视化展示等方面展现出了卓越的优势。本系统借助Matlab的图形用户界面（GUI）功能，精心构建了一个直观且易于操作的图书管理平台，能够便捷地助力用户开展图书的录入、查询、修改以及删除等各类操作。Mat
  • c++ 智能指针_超详细 C/C++ 学习路线分析：学好 C/C++，走遍天下都不怕 weixin_39637919 c++智能指针c++构造函数数组c++标准异常类层次结构c++图形界面编程c++基于mfc之地图量算c++电视遥控(静态+友元)
    C/C++遍布的领域有后端服务器，移动互联网后端，经典Windows界面开发，移动互联网端界面开发，跨平台界面开发，图形分析，系统架构，应用设计，分布架构，还有现在最为流行的人工智能等一些新的技术领域。所以说：C/C++俨然已成为一门贵族语言，成为了编程界最重要的语言之一。如果大家如果在自学遇到困难，想找一个C++学习环境，可以加入我们的C++学习圈，点击我加入吧，会节约很多时间，减少很多在学习中
  • AI 平台技术架构设计方案 数研妙手 AI技术实践人工智能
    一、引言随着人工智能技术的广泛应用，构建一个高效、灵活且可扩展的AI平台至关重要。本方案旨在提供一个全面的AI平台技术架构设计，以满足不同场景下的AI开发、训练、部署和管理需求。二、设计目标高效性：确保在训练和推理过程中能够充分利用计算资源，快速处理大量数据，缩短训练时间和推理延迟。灵活性：支持多种AI框架、算法和模型，能够适应不同的业务场景和需求变化。可扩展性：易于扩展计算资源、存储容量和功能模
  • 高校数字化运营平台解决方案：构建统一的服务大厅、业务平台、办公平台，助力打造智慧校园 泛微OA办公系统 高校数字化运营平台泛微智慧校园行政办公高校运营校园服务统一高校
    教育数字化是建设教育强国的重要基础，利用技术和数据助推高校管理转型，从而更好地支撑教学业务开展。近年来，国家多次发布政策，驱动教育行业的数字化转型。《“十四五”国家信息化规划》，推进信息技术、智能技术与教育教学融合的教育教学变革，提升教育信息化基础设施建设水平，构建高质量教育支撑体系；《关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见》，到2025年，基本形成结构优化、集约高效、安全可
  • 华为与泛微签署合作备忘录，共推通用办公领域鸿蒙化发展 泛微OA办公系统 鸿蒙易秒办泛微将与鸿蒙生态持续深度合作
    11月28日，华为与泛微签署鸿蒙通用办公全面合作协议，标志着双方在鸿蒙生态通用办公市场的合作迈向了一个全新高度。基于HarmonyOSNEXT，双方将联合打造更好用的移动办公平台，携手推动更多组织机构迈向数智化转型的快车道。原生鸿蒙操作系统HarmonyOSNEXT又称为原生鸿蒙，作为华为终端专用操作系统，提供了高品质的智能体验，并支持全新的原生应用和元服务，它是面向万物互联智慧时代的全新系统。凭
  • 深信服与泛微达成战略合作，携手打造安全可控统一身份管控平台与专属移动APP 泛微OA办公系统 泛微深信服令信通统一身份
    近日，网络安全知名厂商——深信服与泛微达成战略合作，双方将充分发挥在各自领域的专业优势与资源积累，从品牌、产品、技术、渠道等多方面展开深度合作。双方发挥深信服网络安全、云计算与泛微协同管理软件的组合服务优势，在统一身份管控平台与移动数字化产品上实现集成合作，共同助力组织打造：系统更安全、身份更可控、访问更灵活的全程数字化运营平台。强强联合·展开全方位合作-共同服务好客户-01.深信服·零信任平台&
  • Hive SQL 使用及进阶详解 小四的快乐生活 hivesqlhadoop
    一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveSQL（也称为HQL），用于对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行数据查询和分析。Hive将SQL查询转换为MapReduce、Tez或Spark等分布式计算任务，使得不熟悉Java编程的数据分析人员也能方便地处理大规模数据。二、HiveSQL基础使用（一）环境准备在
  • kafka小白基础知识 小四的快乐生活 kafka分布式
    一、Kafka入门（一）Kafka简介Kafka是一个开源的分布式流处理平台，最初由LinkedIn开发，后来贡献给了Apache软件基金会。它被设计用于处理实时数据流，具有高吞吐量、可扩展性、持久性和容错性等特点。Kafka主要用于构建实时数据管道和流式应用程序，如日志收集、消息系统、事件驱动架构等。（二）核心概念主题（Topic）：Kafka中的消息以主题为单位进行分类，类似于数据库中的表。生
  • NVIDIA JetPack 6.2 引入超级模式 雨田嘟嘟 nvidialinux
    NVIDIAJetPack6.2为NVIDIAJetsonOrinNano和JetsonOrinNX模块引入超级模式借助SuperModes，JetsonOrinNX系列可将AITOPS提升高达70%。你值得拥有！！！Jetson平台服务：一系列即用型服务，用于在Jetson上加速AI应用程序开发。JetPack6JetPack6是有史以来最大的升级。它不仅带来了更新的内核和更新的Ubuntu根文
  • uni-app 之 文件（图片、视频.....）上传与下载 郭宝 微信小程序uni-app前端vue.jsjavascript
    文件上传uploadFile函数参数说明如下：参数名类型必填说明平台差异说明urlString是开发者服务器urlfilesArray是（files和filePath选其一）需要上传的文件列表。使用files时，filePath和name不生效。App、H5（2.6.15+）fileTypeString见平台差异说明文件类型，image/video/audio仅支付宝小程序，且必填。fileFil
  • uniapp+vue微信小程序项目中实现手机号授权登录 郭宝 Web前端微信java开发语言
    效果图：实现方式：手机号授权登录open-type有效值值说明平台差异说明getPhoneNumber获取用户手机号，可以从@getphonenumber回调中获取到用户信息微信小程序、百度小程序、抖音小程序、支付宝小程序、快手小程序、京东小程序。App平台另见一键登陆getPhoneNumber(e){
  • 【uni-app】微信小程序使用lime-painter生成海报 cjsnyxz 前端
    lime-painter是一个专为UniApp设计的插件，用于优雅地生成海报，并支持下载海报图片。它支持在多个平台中使用，并且提供了盒子、文字、图片、二维码等配置选项，允许开发者根据项目需求按照UI设计稿对海报进行高度还原。本文将介绍如何使用lime-painter插件在UniApp中实现海报的生成及下载。技术栈：uni-app、Vue3（3.4.21）、TypeScript（4.9.5）、wot
  • Python Cookbook-2.12 将二进制数据发送到 Windows 的标准输出 我不会编程555 #Python学习windowspython开发语言笔记
    任务在Windows平台上，你想把二进制数据(比如一张图片)发送到stdout中。解决方案Python标准库中，依赖特定平台(Windows)的模块msvcrt提供了setmode函数，可用来完成这个任务:importsysifsys,platform=="win32":importos，msvcrtmsvcrt,setmode(sys.stdout.fileno()，os.O_BINARY)现在
  • 设计模式-模版方法 老菜鸟的每一天 设计模式设计模式模版方法
    解释在面向对象系统的分析与设计过程中经常会遇到这样一种情况：对于某一个业务逻辑（算法实现）在不同的对象中有不同的细节实现，但是逻辑（算法）的框架（或通用的应用算法）是相同的。Template提供了这种情况的一个实现框架Template模式是采用继承的方式实现这一点：将逻辑（算法）框架放在抽象基类中，并定义好细节的接口，子类中实现细节。一、应用场景示例：跨平台文件解析假设需要开发支持Windows/
  • 云上玩转DeepSeek系列之五：实测优化16%, 体验FlashMLA加速DeepSeek-V2-Lite推理 deepseekllm人工智能
    2月25日，DeepSeek-AI面向社区开源了其技术成果FlashMLA（https://github.com/deepseek-ai/FlashMLA），这是一个面向推理优化的高效多层注意力（Multi-HeadLatentAttention）解码内核。该技术通过优化多头潜在注意力机制和分页KV缓存系统，显著提升了大语言模型的长序列处理能力与推理效率。我们第一时间在人工智能平台PAI上进行拆箱
  • c语言 printf 颜色,关于printf如何输出颜色 XY LIU c语言printf颜色
    该楼层疑似违规已被系统折叠隐藏此楼查看此楼只靠签到升级太慢了，第二次发帖。。。之前一直不知道咋用printf输出颜色，找了度娘就知道了。。大一快结束了，c语言也学了半学期了，要走的路还很长啊。。。这是给和我一样的新手看的，大神们一笑而过就好。。。进入正题：cdroid是在安卓平台运行的，所以是linux下，可以这样输出颜色：//小范例#includeintmain(){printf("\033[3
  • DeepSeek热潮下的“同质化困局”与破局之道 Hello kele 人工智能人工智能经验分享
    2025年的竞标现场：个个都喊“DeepSeek”想象一下，2025年的某个竞标会，四五家数据分析公司围着一个大客户，争得脸红脖子粗。每家公司都使劲推销自己的平台，拍胸脯说：“我们有DeepSeek，绝对能帮你实现智能化升级！”“DeepSeek能实时给你精准的生意洞察和预测。”“有了DeepSeek，数据会自己告诉你哪里有商机。”“我们用DeepSeek的大模型，自动生成深度报告，给你靠谱的决策
  • XTDrone 无人机仿真平台使用教程 杭战昀Grain
    XTDrone无人机仿真平台使用教程项目地址:https://gitcode.com/gh_mirrors/xt/XTDrone1.项目的目录结构及介绍XTDrone是一个基于PX4、ROS和Gazebo的无人机仿真平台。以下是项目的主要目录结构及其介绍：XTDrone/├──communication/#通信模块├──control/#控制模块├──coordination/#协同模块├──im
  • Flink事件时间案例：电商订单实时分析的奇妙之旅[特殊字符] 狮歌~资深攻城狮 linqc#
    Flink事件时间案例：电商订单实时分析的奇妙之旅嘿，小伙伴们！今天咱们通过一个具体的案例来看看Flink在处理事件时间方面的强大威力这个案例就是电商订单的实时分析，就像我们平时在电商平台购物时，平台需要实时了解订单的各种信息一样案例背景假设我们有一个电商平台，每天有大量的用户下单购买各种商品我们希望能够实时统计每个商品的销量，并且按照订单的实际发生时间来进行分析，而不是按照系统处理订单的时间。这
  • DeepSeek-R1 满血版第三方在线平台汇总 Just_Paranoid 技术流ClipDeepSeekCozeHunyuanQwen
    为大家收集汇总了一些已经部署了DeepSeek-R1的第三方平台，这些渠道不仅降低了我们的使用成本，还能让我们更加轻松畅快地使用DeepSeek！无需再担心服务器繁忙的问题，赶快来看看吧！DeepSeek官方https://chat.deepseek.com/GitCode-GitCodeAIhttps://gitcode.com/ai/CSDN-C知道https://so.csdn.net/ch
  • ADV212图像压缩芯片调试记录一 cjx_csdn fpga开发verilog
    项目场景：最近两个月在调试ADV212芯片，目的是在FPGA平台上采用该芯片实现对图像数据的压缩功能。不得不说，这款芯片是我目前遇到的调试起来“较为”复杂的一款芯片了，光芯片手册就有六部分（1.ADV212；2.ADV202_HIPI_mode；3.ADV212_UserGuide；4.ADV212ProgrammingGuide；5.HIPI_mode_overview；6.TechNote_A
  • 【区块链技术开发】 关于Windows10平台Solidity语言开发环境配置 源代码杀手 区块链技术开发区块链
    目录1、安装Node.js2、安装Solidity编译器3、安装RemixIDE4、安装MetaMask浏览器插件5、环境配置与问题解决6、安装Ganache:以太坊区块链开发测试工具7、安装Web3.js库8、VsCode配置Solidity语言环境并运行示例代码编译方法1：运行上述示例只需在终端输入编译命令Solcjs编译方法2：安装Solidity插件9、在VSCode运行合约参考文献在Wi
  • Arm clang 小米人er 精品专栏arm开发
    关于使用Clang和ARMClang是否需要购买许可证的问题，以下是清晰的解答：1.开源Clang（LLVM项目）许可证类型：Apache2.0（允许免费商用）。是否需要付费：否。无论是个人还是商业用途，均可免费使用Clang编译器，无需购买许可证。2.ARMClang（ARM官方工具链）可能的分支：开源版本：若ARM提供基于LLVM/Clang的开源工具链（如某些ARM平台的LLVM移植），同样
  • k8s服务健康检查不通过一直重启 AustinCien kubernetes容器云原生
    健康检查不通过说明在默认的15分钟内平台没有拿到所有实例的健康页面先看报错提示，再看日志是否有程序类报错、数据库、中间件连接等的错误信息。如果无提示就从下面可能性找原因：原因一：由于应用的资源配额过低，导致应用启动慢，使启动时间超出健康检查时间解决：检查应用的CPU配额和内存配额，适当调大额度原因二：由于健康检查时间设置过短，使健康检查时间低于应用启动时间解决：检查健康检查的不健康阈值，适当调大阈
  • Spring4.1新特性——综述 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Schema与数据类型优化 annan211 数据结构mysql
    目前商城的数据库设计真是一塌糊涂，表堆叠让人不忍直视，无脑的架构师，说了也不听。 在数据库设计之初，就应该仔细揣摩可能会有哪些查询，有没有更复杂的查询，而不是仅仅突出 很表面的业务需求，这样做会让你的数据库性能成倍提高，当然，丑陋的架构师是不会这样去考虑问题的。 选择优化的数据类型 1 更小的通常更好 更小的数据类型通常更快，因为他们占用更少的磁盘、内存和cpu缓存，
  • 第一节 HTML概要学习 chenke htmlWebcss
    第一节 HTML概要学习 1. 什么是HTML HTML是英文Hyper Text Mark-up Language(超文本标记语言)的缩写，它规定了自己的语法规则，用来表示比“文本”更丰富的意义，比如图片，表格，链接等。浏览器（IE,FireFox等）软件知道HTML语言的语法，可以用来查看HTML文档。目前互联网上的绝大部分网页都是使用HTML编写的。 打开记事本 输入一下内
  • MyEclipse里部分习惯的更改 Array_06 eclipse
    继续补充中---------------------- 1.更改自己合适快捷键windows-->prefences-->java-->editor-->Content Assist-->      Activation triggers for java的右侧“.”就可以改变常用的快捷键 选中 Text
  • 近一个月的面试总结 cugfy 面试
    本文是在学习中的总结，欢迎转载但请注明出处：http://blog.csdn.net/pistolove/article/details/46753275 前言       打算换个工作，近一个月面试了不少的公司，下面将一些面试经验和思考分享给大家。另外校招也快要开始了，为在校的学生提供一些经验供参考，希望都能找到满意的工作。 
  • HTML5一个小迷宫游戏 357029540 html5
         通过《HTML5游戏开发》摘抄了一个小迷宫游戏，感觉还不错，可以画画，写字，把摘抄的代码放上来分享下，喜欢的同学可以拿来玩玩！ <html> <head> <title>创建运行迷宫</title> <script type="text/javascript"
  • 10步教你上传githib数据 张亚雄 git
    官方的教学还有其他博客里教的都是给懂的人说得，对已我们这样对我大菜鸟只能这么来锻炼，下面先不玩什么深奥的，先暂时用着10步干净利索。等玩顺溜了再用其他的方法。 操作过程（查看本目录下有哪些文件NO.1）ls （跳转到子目录NO.2）cd+空格+目录 （继续NO.3）ls （匹配到子目录NO.4）cd+ 目录首写字母+tab键+（首写字母“直到你所用文件根就不再按TAB键了”） （查看文件
  • MongoDB常用操作命令大全 adminjun mongodb操作命令
    成功启动MongoDB后，再打开一个命令行窗口输入mongo，就可以进行数据库的一些操作。输入help可以看到基本操作命令，只是MongoDB没有创建数据库的命令，但有类似的命令 如：如果你想创建一个“myTest”的数据库，先运行use myTest命令，之后就做一些操作（如：db.createCollection('user')）,这样就可以创建一个名叫“myTest”的数据库。 一
  • bat调用jar包并传入多个参数 aijuans
    下面的主程序是通过eclipse写的： 1.在Main函数接收bat文件传递的参数（String[] args）  如：   String ip =args[0];          String user=args[1];       &nbs
  • Java中对类的主动引用和被动引用 ayaoxinchao java主动引用对类的引用被动引用类初始化
      在Java代码中，有些类看上去初始化了，但其实没有。例如定义一定长度某一类型的数组，看上去数组中所有的元素已经被初始化，实际上一个都没有。对于类的初始化，虚拟机规范严格规定了只有对该类进行主动引用时，才会触发。而除此之外的所有引用方式称之为对类的被动引用，不会触发类的初始化。虚拟机规范严格地规定了有且仅有四种情况是对类的主动引用，即必须立即对类进行初始化。四种情况如下：1.遇到ne
  • 导出数据库 提示 outfile disabled BigBird2012 mysql
    在windows控制台下，登陆mysql，备份数据库：   mysql>mysqldump -u root -p test test > D:\test.sql 使用命令 mysqldump 格式如下： mysqldump -u root -p *** DBNAME > E:\\test.sql。 注意：执行该命令的时候不要进入mysql的控制台再使用，这样会报
  • Javascript 中的 && 和 || bijian1013 JavaScript&&||
            准备两个对象用于下面的讨论 var alice = { name: "alice", toString: function () { return this.name; } } var smith = { name: "smith",
  • [Zookeeper学习笔记之四]Zookeeper Client Library会话重建 bit1129 zookeeper
    为了说明问题，先来看个简单的示例代码：   package com.tom.zookeeper.book; import com.tom.Host; import org.apache.zookeeper.WatchedEvent; import org.apache.zookeeper.ZooKeeper; import org.apache.zookeeper.Wat
  • 【Scala十一】Scala核心五：case模式匹配 bit1129 scala
    package spark.examples.scala.grammars.caseclasses object CaseClass_Test00 { def simpleMatch(arg: Any) = arg match { case v: Int => "This is an Int" case v: (Int, String)
  • 运维的一些面试题 yuxianhua linux
    1、Linux挂载Winodws共享文件夹   mount -t cifs //1.1.1.254/ok /var/tmp/share/ -o username=administrator,password=yourpass 或 mount -t cifs -o username=xxx,password=xxxx //1.1.1.1/a /win    
  • Java lang包-Boolean BrokenDreams boolean
             Boolean类是Java中基本类型boolean的包装类。这个类比较简单，直接看源代码吧。 public final class Boolean implements java.io.Serializable,
  • 读《研磨设计模式》-代码笔记-命令模式-Command bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.List; /** * GOF 在《设计模式》一书中阐述命令模式的意图：“将一个请求封装
  • matlab下GPU编程笔记 cherishLC matlab
    不多说，直接上代码 gpuDevice % 查看系统中的gpu,,其中的DeviceSupported会给出matlab支持的GPU个数。 g=gpuDevice(1); %会清空 GPU 1中的所有数据,,将GPU1 设为当前GPU reset(g) %也可以清空GPU中数据。 a=1; a=gpuArray(a); %将a从CPU移到GPU中 onGP
  • SVN安装过程 crabdave SVN
    SVN安装过程   subversion-1.6.12   ./configure --prefix=/usr/local/subversion --with-apxs=/usr/local/apache2/bin/apxs --with-apr=/usr/local/apr --with-apr-util=/usr/local/apr --with-openssl=/
  • sql　行列转换 daizj sql行列转换行转列列转行
    行转列的思想是通过case when 来实现 列转行的思想是通过union all 来实现 下面具体例子： 假设有张学生成绩表(tb)如下: Name Subject Result 张三 语文　　74 张三 数学　　83 张三 物理　　93 李四 语文　　74 李四 数学　　84 李四 物理　　94 */ /* 想变成 姓名   &
  • MySQL--主从配置 dcj3sjt126com mysql
    linux下的mysql主从配置： 说明：由于MySQL不同版本之间的(二进制日志)binlog格式可能会不一样，因此最好的搭配组合是Master的MySQL版本和Slave的版本相同或者更低， Master的版本肯定不能高于Slave版本。（版本向下兼容） mysql1  : 192.168.100.1    //master mysq
  • 关于yii 数据库添加新字段之后model类的修改 dcj3sjt126com Model
    rules: array('新字段','safe','on'=>'search') 1、array('新字段', 'safe')//这个如果是要用户输入的话，要加一下， 2、array('新字段', 'numerical'),//如果是数字的话 3、array('新字段', 'length', 'max'=>100),//如果是文本 1、2、3适当的最少要加一条，新字段才会被
  • sublime text3 中文乱码解决 dyy_gusi Sublime Text
    sublime text3中文乱码解决 原因：缺少转换为UTF-8的插件 目的：安装ConvertToUTF8插件包 第一步：安装能自动安装插件的插件，百度“Codecs33”，然后按照步骤可以得到以下一段代码： import urllib.request,os,hashlib; h = 'eb2297e1a458f27d836c04bb0cbaf282' + 'd0e7a30980927
  • 概念了解：CGI，FastCGI，PHP-CGI与PHP-FPM geeksun PHP
    CGI CGI全称是“公共网关接口”(Common Gateway Interface)，HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具，其程序须运行在网络服务器上。 CGI可以用任何一种语言编写，只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。 FastCGI FastCGI像是一个常驻(long-live)型的CGI，它可以一直执行着，只要激活后，不
  • Git push 报错 "error: failed to push some refs to " 解决 hongtoushizi git
    Git push 报错 "error: failed to push some refs to " . 此问题出现的原因是：由于远程仓库中代码版本与本地不一致冲突导致的。 由于我在第一次git pull --rebase 代码后，准备push的时候，有别人往线上又提交了代码。所以出现此问题。 解决方案： 1： git pull    2：
  • 第四章 Lua模块开发 jinnianshilongnian nginxlua
    在实际开发中，不可能把所有代码写到一个大而全的lua文件中，需要进行分模块开发；而且模块化是高性能Lua应用的关键。使用require第一次导入模块后，所有Nginx 进程全局共享模块的数据和代码，每个Worker进程需要时会得到此模块的一个副本（Copy-On-Write），即模块可以认为是每Worker进程共享而不是每Nginx Server共享；另外注意之前我们使用init_by_lua中初
  • java.lang.reflect.Proxy liyonghui160com
      1.简介   Proxy 提供用于创建动态代理类和实例的静态方法 （1）动态代理类的属性 代理类是公共的、最终的，而不是抽象的 未指定代理类的非限定名称。但是，以字符串 "$Proxy" 开头的类名空间应该为代理类保留 代理类扩展 java.lang.reflect.Proxy 代理类会按同一顺序准确地实现其创建时指定的接口
  • Java中getResourceAsStream的用法 pda158 java
    1.Java中的getResourceAsStream有以下几种： 1. Class.getResourceAsStream(String path) ： path 不以’/'开头时默认是从此类所在的包下取资源，以’/'开头则是从ClassPath根下获取。其只是通过path构造一个绝对路径，最终还是由ClassLoader获取资源。 　　2. Class.getClassLoader.get
  • spring 包官方下载地址（非maven） sinnk spring
    SPRING官方网站改版后，建议都是通过 Maven和Gradle下载，对不使用Maven和Gradle开发项目的，下载就非常麻烦，下给出Spring Framework jar官方直接下载路径:   http://repo.springsource.org/libs-release-local/org/springframework/spring/   s
  • Oracle学习笔记(7) 开发PLSQL子程序和包 vipbooks oraclesql编程
        哈哈，清明节放假回去了一下，真是太好了，回家的感觉真好啊！现在又开始出差之旅了，又好久没有来了，今天继续Oracle的学习！      这是第七章的学习笔记，学习完第六章的动态SQL之后，开始要学习子程序和包的使用了……，希望大家能多给俺一些支持啊！     编程时使用的工具是PLSQL
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他