Hadoop集群

大数据平台（二）——命令行编译打包自己的MapReduce程序

本文通过WordCount实例向大家分享，将自己编写的mapreduce程序通过编辑在命令行模式下在Hadoop集群下运行。
white先生·2020-07-12 22:23

大数据企业

这个Autonomy（欧特米）是一家英国公司，他最擅长的是非结构化数据的分析，Vertica（歪踢靠）最擅长的是结构化和非结构化，Vertica可以作为SQL分析引擎直接部署到Hadoop集群中，直接存取
Huhiseven·2020-07-12 22:45

hadoop 2.x 集群搭建

集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNode(还有SecondaryNameNode
hello_小杰·2020-07-12 21:02

HBase的安装配置和使用Java连接

Hadoop集群搭建可参考：http://blog.csdn.net/yanhang0610/article/details/518965451系统环境系统：CentOS7.0。
yanhang0610·2020-07-12 18:22

Hadoop2.8.1伪分布式环境配置

前言本文搭建了一个由两节点（master、slave0）构成的Hadoop伪分布式集群，Hadoop版本选取了hadoop2.8.1，本人主要初次搭建Hadoop集群，期间遇到了很多问题，花了好长时间，
天空飞翔的小燕子·2020-07-12 17:53

Hadoop集群搭建 -------未完！！！！！！

前言：1）Vmware网络模式介绍。参考：http://blog.csdn.net/collection4u/article/details/141276712）Hadoop部署模式有：本地模式（Local(或Standalone)Mode）、伪分布模式、完全分布式模式、HA完全分布式模式。区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块
xiaozhu_you·2020-07-12 16:42

HBase的下载安装官方案例

blog.csdn.net/wx1528159409目录一、安装准备环境二、HBase安装1.Zookeeper正常部署，群起现有的Zookeeper集群（用脚本启更快）2.Hadoop正常部署，启动Hadoop
攻城狮Kevin·2020-07-12 16:34

apache-hive-1.2.2安装教程

1、安装前提1、hadoop集群（伪分布式也可以）2、mysql数据库这里假设hadoop集群和mysql数据库都安装好了。
码农A·2020-07-12 15:09

Centos7.5 Ambari2.7.4部署

AmbariApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、P
草宝虫·2020-07-12 15:47

Hadoop集群调优

系统层面调优避免使用swap分区:swap分区指的系统的物理内存不够用的时候,把物理内存中的一部分空间释放出来,以供当前运行的程序使用。通过vm.swappiness参数控制,值阈为0~100,值越高说明操作系统内核更积极的将应用程序的数据交换到磁盘。将Hadoop守护进程的数据交换到磁盘是很危险的,有可能导致操作超时,所以一般将改值设为0。内存分配策略vm.overcommit_memory的值
storm_fury·2020-07-12 12:47

hadoop集群环境搭建（超详细）

1.首先准备三台机器,三台机器之间要互通免密码登录vim/etc/hosts//配置文件配置三台机器的互通ssh-keygen-trsa//生成公私钥对(四个回车)ssh-copy-idlocalhost//本机免密码ssh-copy-id虚拟机名称//互登免密码2.安装hadoop三种运行方式-单机模式-伪分布式-完全分布式echo$JAVA_HOME//检查jdk是否安装(必要的环境)tar-
会~飞的鱼·2020-07-12 11:59

Ambari部署

1、文档编写目的ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
lianchaozhao·2020-07-12 11:22

[Elasticsearch实战] snapshot restore 备份还原

一般使用Elasticsearch的公司都有hadoop集群，那么我们可以这么做：把Elasticsearch索引数据转移到HDFS上，以解决Elast
king_wang·2020-07-12 10:33

安装单机的hbase2.1.0安装

安装单机habse已具备的前提条件：hadoop集群已经具备hbase的下载链接：http://archive.apache.org/dist/hbase/2.1.0/hbase-2.1.0-bin.tar.gzhbase
夜空07·2020-07-12 10:42

vmware搭建hadoop集群

0.安装环境安装系统版本，集群IP列表ubunut16.04server192.168.24.128ubuntu-master192.168.24.129ubuntu-slave1192.168.24.130ubuntu-slave21.创建用户和用户组(hadoop用户的密码也是hadoop方便记忆)useraddhadooppasswdhadoopgroupaddbigdatausermod-
isoldier·2020-07-12 10:25

hadoop集群的datanode负载高问题的排查过程记录

为什么80%的码农都做不了架构师？>>>通过clouderamanager界面发现线上hadoop环境的某一个datanode节点loadaverage过高（>160）和cpu利用率过高（>90），top发现绝大部分为lqz（此处已脱敏）的进程在占据cpu和负载，如下截图：使用如下命令查看具体是哪些java进程jps-mlv|greplqz#此处已进行脱敏经查发现大部分为org.apache.ha
weixin_34150224·2020-07-12 09:48

hadoop集群运行jps命令以后Datanode节点未启动的解决办法

出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfsnamenode-format)，这时namenode的clusterID会重新生成，而datanode的clusterID保持不变。1：其实网上已经有解决办法了，这里自己脑补一下，也可以让别人看到我是怎么解决的。出现这个问题主要是和配置这个文件相关：core-site.xml；fs.defau
weixin_33974433·2020-07-12 08:29

浅谈大规模Hadoop集群自动化部署与运维

文章讲的是浅谈大规模Hadoop集群自动化部署与运维，2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013Hadoop中国技术峰会（ChinaHadoopSummit2013
weixin_33721427·2020-07-12 07:16

Zookeeper异常：FAILED TO WRITE PID与Permission denied

搭建好的Hadoop集群环境突然在启动的时候抛出异常信息，之前测试很正常，后来仔细看了下抛出的异常信息，发觉很可能是权限的问题。
低调的洋仔·2020-07-12 05:10

Hadoop集群live nodes为0解决方案

集群搭好后查看livenodes数一直为0，查看logs中显示如下内容：2012-07-0210:44:20,270INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver:localhost/127.0.0.1:9000.Alreadytried0time(s).2012-07-0210:44:21,458INFOorg.apache.ha
unclewz·2020-07-12 04:46

hadoop集群运行jps命令以后Datanode节点未启动的解决办法

出现该问题的原因：在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfsnamenode-format)，这时namenode的clusterID会重新生成，而datanode的clusterID保持不变。1：其实网上已经有解决办法了，这里自己脑补一下，也可以让别人看到我是怎么解决的。出现这个问题主要是和配置这个文件相关：core-site.xml；fs.defau
ugug654·2020-07-12 04:38

hadoop学习笔记——NO.6_MapReduce_1

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
蔡茂昌·2020-07-12 04:05

docker + ambari（hortonworks ） 快速搭建hadoop 环境

最近在搭建hadoop环境的时候，最初尝试去写一些脚本去安装包以及修改配置，后来发现源软件https://ambari.apache.org/可以管理部署监控hadoop集群，于是尝试用docker安装试验
trumanz·2020-07-12 01:54

Hadoop集群（第3期）_VSFTP安装配置

1、VSFTP简介VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是VerySecureFTP从此名称可以看出来，编制者的初衷是代码的安全。安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速与高稳定性也是VSFTP的两个重要特点。在速度方面，使用ASCII代码的模式下载数据时，VSFTP的速度是Wu-FTP的两倍，如果Linux主机使用2.4.*的内核
tracyking1986·2020-07-12 01:19

Hadoop集群（第1期）_CentOS安装配置

1、准备安装1.1系统简介CentOS是什么？CentOS是一个基于RedHat企业级Linux提供的可自由使用的源代码企业级的Linux发行版本。每个版本的CentOS都会获得七年的支持（通过安全更新方式）。新版本的CentOS每两年发行一次，而每个版本的CentOS会定期（大概每六个月）更新一次，以便支持新的硬件。这样，建立一个安全、低维护、稳定、高预测性、高重复性的Linux环境。CentO
tracyking1986·2020-07-12 01:19

Hadoop集群（第2期）_机器信息分布表

1、分布式环境搭建采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1集群的架构其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档的采集。2、集群机器详细信息2.1Master服务器名称详细信息机器名称Master.Hadoop机器I
tracyking1986·2020-07-12 01:49

三台主机搭建hadoop集群过程记录

步骤在一台主机上安装好hadoop伪分布式环境，作为master节点。用硬盘对拷的方式复制到另外两台slave主机，修改主机名etc/sysconfig/network修改etc/hosts文件把ip和主机名对应修改conf/slavesconf/masters文件以及其他配置文件把master主机的hadoop文件夹复制到slave主机上sudoscp-r/usr/hadoop/hadoop-2
sunsi_10·2020-07-12 00:58

centos7+hadoop-3.1.0搭建分布式集群超详细教程

XSHell三、修改主机名称和网络名称四、关闭防火墙五、关闭selinux六、jdk的安装与卸载七、hadoop的安装八、克隆九、配置slave1和slave2十、ssh免密登录十一、格式化节点十二、启动hadoop
喬喬·2020-07-11 23:40

Hive 2.3.x 使用 MySQL存储元数据 安装部署

1、集群规划本文前置基础Hadoop安装部署参照之前的Hadoop集群搭建的那篇博客：CentOS7环境下Hadoop3NameNodeResourceManagerHA集群搭建现在NameNode1节点上安装部署
青羿之羽·2020-07-11 22:39

Ambari系列（四）：基于Ambari做二次开发（DIY）

前言Ambari能够搭建、管理Hadoop集群，这是一件很酷的事情，让集群管理变的easy，但是有可能也有自己的一些需求，如果我想基于Ambari做二次开发DIY，修改一下界面，增加一些功能，添加一个模块等等
zachary_OOM·2020-07-11 22:39

java环境配置及jps命令未找到

最近基于CentOS7下安装hadoop集群，碰到了java环境变量的问题，同时也出现了jps命令无法找到的情况。简要描述一下基于CentOS7下Java环境的配置及jps命令未找到的处理。
Leshami·2020-07-11 22:37

最简hadoop3.x完全分布式集群搭建

vmware软件，需要使用secureCRT登录Linux机器方便操作准备好jdk8和hadoop-3.1.2安装包所有需要的安装包均为官网下载下来的传送门提取码wgze效果描述最后的集群为一个三台机器的hadoop
小书go·2020-07-11 21:48

Hadoop集群的搭建——完全分布式的安装配置（3节点）

目录集群节点分配准备工作hadoop安装配置配置hadoop-env.sh配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置slaves文件配置hadoop的环境变量集群启动集群节点分配hadoop01hadoop02hadoop03HDFSNameNodeDataNodeDataNodeSecondaryNameNod
咕噜oo·2020-07-11 21:02

Hadoop集群搭建七 MYSQL平台的安装和使用

Hadoop集群搭建七MYSQL平台的安装和使用MySQL数据库的集群版本有管理节点、数据服务节点、SQL服务节点总共3类服务节点，集群中要求至少一台单独的主机作为管理节点，而集群模式需要满足数据有备份和数据处理能够分布并行的基本要求
离人散·2020-07-11 20:09

Hbase的安装以及相对于redis的对比介绍

安装前需要事先搭建好zookeeper集群以及hadoop集群hadoop:https://blog.csdn.net/qq_
beyond丿qq:1559810637·2020-07-11 20:16

Cent os 7 搭建Hadoop集群

配置静态IP操作目标文件vi/etc/sysconfig/network-scripts/ifcfg-enp0s3修改结果BOOTPROTO=staticIPADDR=192.168.31.190NETMASK=255.255.255.0GATEWAY=192.168.31.1DNS1=221.228.255.1允许联网ONBOOT=yes重启网络servicenetworkstart配置vi/e
长河落日渊·2020-07-11 20:39

hive知识点详解

Hive支持的常用数据类型和文件格式Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的
倒吃甘蔗·2020-07-11 18:30

Hue 的编译安装及简单使用

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduceJob，执行Hive的SQL语句，浏览HB
BackToMeNow·2020-07-11 18:16

【Linux云计算架构：第一阶段-Linux操作系统入门到精通】第19章——shell脚本的基础

本节所讲内容：19.1shell基本语法19.2SHELL变量及运用19.3数学运算19.4实战-升级系统中的java版本到1.8版本-为后期安装Hadoop集群做准备19.1shell基本语法19.1.1
就叫一片白纸·2020-07-11 17:33

Hadoop集群启动后在网页无法看到DataNode信息

问题描述：node82作为namenode节点，node81,node80,node79作为datanode,jps显示都是启动的，可以登陆网页却看不到datanode节点信息。网页显示：各节点之间都可以ping解决方案：1.首先在Master上pingslave，发现都可以ping通，这是可以找到的2.首先在slaves上pingMaster，直接pingMaster的hostname，发现根本
大鱼-瓶邪·2020-07-11 15:34

CDH 和ambari之间的比较

Ambari是Apache软件基金顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视ApacheHadoop集群，支持HadoopHDFS,、HadoopMapReduce、Hive、HCatalog
千淘万漉·2020-07-11 12:49

ambari二次开发（一）

ambari二次开发准备工作Ambari能够搭建、管理Hadoop集群，这是一件很酷的事情，让集群管理变的easy，但是有可能也有自己的一些需求，如果我想基于Ambari做二次开发DIY，修改一下界面，
lcm_linux·2020-07-11 10:48

Hadoop集群占用系统态Cpu较高问题解决

问题描述问题1：Syscpu占用较高问题解决处理过程1：修改配置文件分析nmon发现dm-2磁盘压力较大，该磁盘主要写logs\localavg-cpu:%user%nice%system%iowait%steal%idle39.680.0060.320.000.000.00Device:rrqm/swrqm/sr/sw/srsec/swsec/savgrq-szavgqu-szawaitsvct
pigcoffee·2020-07-11 07:49

Mac系统下，Hadoop集群的搭建

-环境主节点操作系统：macOSHighSierra10.13.3虚拟机软件：ParallelsDesktop从节点操作系统：Centos7Centos7jdk版本：1.8.0_144Macjdk版本：1.8.0_171Hadoop版本：Hadoop2.8.1本文是在Mac上创建两个虚拟机，两个虚拟机和Mac主机组成三个节点，主节点为Mac，两个从节点为centos7。-安装虚拟机安装Parall
涛哥带你学编程·2020-07-11 07:49

MacOS 下hive的安装与配置

本节我们就在Hadoop集群的基础上进行Hive的安装与配置。
hitchenghengchao·2020-07-11 07:45

Hadoop节点上负载过高的问题分析

背景最近发现我们的hadoop集群的客户端机器负载经常飙到几百，导致机器反应很慢，客户反应无法提交job，或者job跑的很慢。
you can make it·2020-07-11 07:26

Hadoop集群_MapReduce初级案例,六大案例

跟着这几个案例敲了一遍，前面几个是跟着敲，后面三个自己慢慢敲出来了~最后一个有一点难度Map函数处理每一行，Combine函数处理Map的结果，作为中间函数，可以自己重写，也可使用MapReduce框架提供的，Reduce函数处理最终结果，写入HDFS。我使用IDEA直接远程写操作hdfs，需要改hdfs-site.xml加一行dfs.permissionsfalse测试使用。就可以直接写hdfs
guin_guo·2020-07-11 06:42

为hadoop毕设的忙碌之路

然后，查一台笔记本怎么搭建hadoop集群呢？大神们给了
Rindy_RR·2020-07-11 05:37

hadoop 把mapreduce任务从本地提交到hadoop集群上运行

MapReduce任务有三种运行方式：1、windows（linux）本地调试运行，需要本地hadoop环境支持2、本地编译成jar包，手动发送到hadoop集群上用hadoopjar或者yarnjar
b078109·2020-07-11 02:22

Mac上搭建Hadoop环境(3) — Hive下载及安装

文章目录前言主要步骤安装mysql配置hive元数据库Hive安装设置环境变量设置配置文件准备mysql-connector-java初始化元数据启动metastore测试前言之前已经完成了hadoop
abc33880238·2020-07-11 01:02
上一页 47 48 49 50 51 52 53 54 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他