Hadoop集群

hbase+zookeeper集群搭建

（博客源址http://blog.chinaunix.net/uid-23916356-id-3255678.html）继上一篇的hadoop集群搭建的基础上，再把hbase和zookeeper（独立部署
lxf310·2020-08-22 17:25

spark1.4版本与CDH5.1.3版本hive整合

环境说明：hadoop集群安装的是CDH5.1.3；spark是1.4版本，安装方式为standlone。
重拾梦想·2020-08-22 17:16

Centos7下Hbase的安装与配置

通过前面的教程，我们已经完成了hadoop集群的部署，现在我们在它的基础上来配置Hbase吧。1首先我们去官网下载hbase点击它下载就可以了。
_茂茂·2020-08-22 17:18

Hbase 1.2.5安装过程

1下载和解压1.1下载Hbase可以在Hadoop集群的某些机器(一台也可以，例如选择namenode节点来安装)上安装，也可以全部机器上都安装。
Source_00·2020-08-22 16:01

Elasticsearch、MongoDB和Hadoop比较

假如你有诸如Elasticsearch或者Solr这样的搜索引擎，它们存储着JSON文档，MongoDB存着JSON文档，或者一堆JSON文档存放在一个Hadoop集群的HDFS中。
平叔叔·2020-08-22 13:37

Hadoop集群各守护进程入门级详解

Hadoop是一个能够对大量数据进行分布式处理的软件架构，分布式处理主要体现在分布式存储和分布式计算方面。在一个hadoop分布式集群中，hadoop是基于主/从（master/slave）架构运行的，而想让集群运行起来需要在集群中运行一系列的后台（deamon）程序，这些后台程序就被我们称为hadoop的守护进程。现在所被人熟知的有hadoop1.x和hadoop2.x两大版本，不同版本的had
PassionXxt·2020-08-22 13:53

本地调试提交hadoop集群任务

在hadoop的开发过程中,通常情况我们习惯使用window的eclipse或者idea完成MapReduce的相关开发,并且使用hdfs的文件系统以及提交任务到hadoop集群中进行计算,对于这个过程我们需要使用相关的配置代码完成操作
叩丁狼教育·2020-08-22 12:35

Hadoop 配置eclipse

通过前面几篇，我们已经布置好Hadoop集群环境了。接下来配置eclipse，使用eclipse编写Hadoop代码。
zoux·2020-08-22 11:05

id_rsa id_pub 公钥与私钥

本文基于实际Linux管理工作，实例讲解工作中使用ssh证书登录的实际流程，讲解ssh证书登录的配置原理，基于配置原理，解决实际工作中，windows下使用SecureCRT证书登录的各种问题，以及实现hadoop
diyxiaoshitou·2020-08-22 10:58

（一）Hbase集群安装与常见问题解决

首先说明，要使用hbase是需要先安装hadoop和zookeeper的（也可以使用自带的但是不建议），参考[zookeeper集群安装][hadoop集群安装]我用的是三台机器，mini1,mini2
小猪Harry·2020-08-22 09:42

Windows 7平台利用Vmware Workstation 11虚拟机搭建Hadoop 2.7.4基于Ubuntu kylin 14.04集群环境

本文的Hadoop集群搭建在VmwareWorkstation11之
dumbbellyang·2020-08-22 09:40

docker hadoop集群配置

环境1、操作系统：CentOS64位网路设置hostnameipcluster-master172.18.0.2cluster-slave1172.18.0.3cluster-slave2172.18.0.4cluster-slave3172.18.0.5一、docker安装二、拉去centos最新版本镜像dockerpullcentos2.1按照集群的架构，创建容器时需要设置固定IP，所以先要在
爬虫研究僧·2020-08-22 04:34

虚拟机hadoop集群的搭建(上)

虚拟机环境nat网络的创建(准备网络环境)使用工具VMwareWorkstationPro(虚拟机vm)SecureCRT(用于在Windows上操作Linux)系统环境CentOS6.5创建步骤使用vm用CentOS6.5系统镜像创建一个虚拟机,打开虚拟机2.关闭防火墙Linux操作系统中永久性生效，重启后不会复原关闭：chkconfigiptablesoff即时生效，重启后复原关闭：servi
K也许K·2020-08-22 04:46

Apache Hadoop最佳实践和反模式

ApacheHadoop是一个用于构建大规模，共享存储和计算基础设施的软件框架，Hadoop集群经常用于各种研究和开发项目，如Yahoo！
原文链接·2020-08-22 02:43

深入剖析阿里巴巴云梯YARN集群

阿里巴巴的Hadoop集群，即云梯集群，分为存储与计算两个模块，计算模块既有MRv1，也有YARN集群，它们共享一个存储HDFS集群。
原文链接·2020-08-22 02:56

Centos下安装桌面环境及vnc

在用kvm搭建hadoop集群环境时，为便于虚机管理，安装了桌面环境和vncserver，本文记录了centos6下从完全命令行界面直接安装桌面环境，并且设置vnc远程连接的过程，相对比较简单，仅作备忘参考用途
运维-Frank·2020-08-21 23:17

大数据技术之Hadoop（YARN的搭建）与SHELL脚本（集群分发脚本xsync）

大数据技术之Hadoop（YARN的搭建）与SHELL脚本（集群分发脚本xsync）1.YARN的搭建1.1集群部署规划1.2配置YARN1.在配置的hadoop集群中选择hadoop112：进入hadoop
可爱的杨一凡·2020-08-21 23:47

大数据基础四 —MapReduce

MapReduce是一个分布式运算程序的编程框架，它的核心功能是将用户编写的业务逻辑代码和自带的默认组件整合成一个完整的分布式运算程序，并行运行在hadoop集群上。
大手牵小手q·2020-08-21 22:45

hadoop 8088端口无法访问

hadoop集群正常启动，日志无任何错误。而8088端口不能访问。则需要为yarn-site.xml文件添加一下属性。并重新执行start-yarn.sh。
443441968·2020-08-21 21:10

zookeeper崩溃后修复

使用cloudera搭建hadoop集群，由于使用ubuntu系统，根目录空间分配不足，导致数据录入一部分，集群崩溃，后来对ubuntu系统的根目录进行设置，扩大了根目录的空间，但是zookeeper中一台机器的节点一直无法启动
nma_123456·2020-08-21 20:01

大数据中Zookeeper的安装

在本集群中有master，slave，slave1三个节点其中master为主服务器，slave和slave1为从服务器要求各服务器之间系统时间要保持一致1.先决条件hadoop集群运行环境配置好，比如
keep_walk·2020-08-21 19:08

Hadoop集群启动NameNode错误 JAVA.IO.IOEXCEPTION: NAMENODE IS NOT FORMATTED

JAVA.IO.IOEXCEPTION:NAMENODEISNOTFORMATTED.新创建的HADOOP集群启动时报错NAMENODE没有启动成功出现的错误:出错的原因:hadoop集群创建完成之后namenode
fa124607857·2020-08-21 19:11

ZooKeeper伪分布式集群安装及使用

让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。
Fens·2020-08-21 17:26

【1】Kettle输入输出

执行结果输出输出可为文件、其他数据库，HDFS、HBase等输出文件4.填写文本文件输出组件的信息输出表中5.选择插入更新组件，选择要插入的表的连接信息输出为HDFS文件同文本文件输出，只不过需要指定Hadoop
JNSimba·2020-08-21 16:02

使用Apache Ambari管理Hadoop集群

1.服务管理（1）登录到实训系统，接着登录到安装好的ambari平台（用户名：密码admin：admin），ambari大数据平台首页。如图1所示：（2）服务信息，在页面左侧的服务列表中，可以选中任何一个想要操作的服务。以HDFS为例，单击左侧服务列表中的“HDFS”按钮后，就会在服务列表右侧看到该服务的相关信息，如图2所示：（3）服务操作，在页面右侧，单击“服务操作”下拉框，可以对服务进行重启、
舜岳·2020-08-21 15:59

Hadoop：Pipes接口实现

下面我们同样使用Hadoop发行版中自带单词统计的例子，这个Map和Reduce函数是使用C/C++编写的，然后使用管道机制在Hadoop集群中运行用户的作业，在使用Hadoop
oraclestudyroad·2020-08-21 15:01

(Hadoop入门系列一)Hadoop集群搭建

Hadoop所需环境配置操作系统：Ubuntu1604-64位Hadoop版本：Apachehadoop2.6.1配置集群hostnameHadoop集群由一个master节点和一个slave节点组成：
jy_arm·2020-08-21 14:25

linux 一些命令 ftp 配置等

文章出自http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503864.htmlHadoop集群（第3期）_VSFTP安装配置1、VSFTP简介VSFTP
ifnotok·2020-08-21 14:41

hadoop集群搭建

Hadoop运行环境搭建1.环境准备1.修改主机名2.关闭防火墙3.创建hadoop用户4.配置hadoop用户具有root权限5.在/opt目录下创建文件夹（1）在/opt目录下创建module、soft文件夹sudomkdirmodulesudomkdirsoft（2）修改module、software文件夹的所有者sudochownhadoop:hadoopmodule/soft/2.安装J
allen398·2020-08-21 14:26

《Hadoop》之"踽踽独行"（十）快速搭建一个Hadoop完全分布式集群

现在呢，hadoop集群的搭建原理，我们也知道了，
从明老师·2020-08-21 13:21

01-centeros7下安装hadoop集群

1面试部分：简述hadoop分布式安装步骤a)安装Javab)创建unix用户账号及网络环境配置c)安装hadoopd)SSH配置e)配置hadoopf)格式化HDFS文件系统g)启动和停止守护进程2CenterOS7下hadoop完全分布式集群安装2.1以root身份在centerOS安装jdk在/usr目录下创建java目录mkdir/usr/javacd/usr/java将下载的jdk-8-
wshsdm·2020-08-21 12:24

基于异构arm硬件的Hadoop集群测试

3月份的时候做了单机版的hadooponarm的测试，最近又买了一个新的arm板子，就考虑把他们串起来组一个hadoop集群。而且由于产品更新换代的问题，硬件上是异构的。
weixin_34249678·2020-08-21 12:30

数据分析与挖掘 - R语言：KNN算法

环境：CentOS6.5Hadoop集群、Hive、R、RHive，具体安装及调试方法见博客内文档。KNN算法步骤：需对所有样本点（已知分类+未知分类）进行归一化处理。
weixin_34234823·2020-08-21 11:41

什么是Hadoop以及Hadoop集群

一、简单理解Hadoop是一个大象：一个hadoop集群主要包含三个主要的模块：Mapreduce,hdfs,yarn。
XZY028·2020-08-21 06:10

spring与其他jar包冲突

半年了…中间想转大数据，看了spark,搭了hadoop集群，用了hive,看了jvm和机器学习，其实应该从9月开始算，6-9去实习了，又用了springboot,java后端开发的框架从ssh->ssm
caibaoli·2020-08-21 05:41

安装集群版本hbase

一、安装背景：sunshine02、sunshine03、sunshine04三个节点安装了zookeeper,hadoop集群。
有一束阳光叫温暖·2020-08-21 05:54

【Hadoop集群系列-3】分布式集群运行wordcount报错exited with exitCode: 1【Error: Could not find or load main class】

一、集群情况集群搭建过程见https://blog.csdn.net/lynne_cat/article/details/102975026二、运行命令bin/hadoopjarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jargrepinputoutput'dfs[a-z.]+'三、报错信息命令行输出19/11/1216:47:1
lynne_cat·2020-08-21 04:31

Flink on Yarn部署

比如启动一个有4个TaskManager（每个节点都有4GB堆内存）的Yarn会话：1.下载Flink的软件包，如flink-1.1.2-bin-hadoop26-scala_2.11.tgz（因为我的Hadoop
DataFlow范式·2020-08-21 04:34

Hadoop学习笔记一 ：HDFS总结

支持同一数据多个副本保存机制，能有效避免数据丢失情况高扩展性：Hadoop能够很方便地扩展大量节点，用于分布式存储与计算高效率性：Hadoop结合MapReduce的思想，支持分布式并行工作，处理工作高容错性：在Hadoop
Chord_Gll·2020-08-21 03:30

flink on yarn 集群模式启动报错及解决方案汇总

注意：想要使用flinkonyarn模式，需要确保hadoop集群启动成功，并且需要在yarn的某一个节点上面执行flinkonyarn的脚本没有启动hadoop集群，执行flink的bin/yarn-session.sh
bigdata1024·2020-08-21 02:48

自建Hive数据仓库跨版本迁移到阿里云E-MapReduce

最佳实践概述应用场景客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。
阿里云云栖号·2020-08-20 23:40

使用Amazon Athena和 Amazon QuickSight进行天气数据可视化分析

从传统的方案来看，需要企业自行架设Hadoop集群，由于大数据分析对数据存储和数据运算需求都比较高，所以硬件配置的需求也很高，导致整个项目成本高昂。在使用了云服务器以后，可
光环云极客·2020-08-20 23:56

使用Amazon Athena和 Amazon QuickSight进行天气数据可视化分析

从传统的方案来看，需要企业自行架设Hadoop集群，由于大数据分析对数据存储和数据运算需求都比较高，所以硬件配置的需求也很高，导致整个项目成本高昂。在使用了云服务器以后，可
光环云极客·2020-08-20 23:56

hadoop部署+eclipse遇到的问题

最近在物理机上部署hadoop集群，部署之前学习了很多理论知识，实际部署的时候还是遇到了很多问题。
WuWuWu_you·2020-08-20 22:56

用VMWare搭建Hadoop集群

这里记录下用VMWare搭建hadoop集群的坑。安装VMware如果是重装的情况要注意:尽量把VMware清理干净再安装，否则就会出现无法正常使用VMware的情况。
时光格·2020-08-20 21:08

用VMWare搭建Hadoop集群

这里记录下用VMWare搭建hadoop集群的坑。安装VMware如果是重装的情况要注意:尽量把VMware清理干净再安装，否则就会出现无法正常使用VMware的情况。
时光格·2020-08-20 21:34

Apache Hadoop YARN

YARN是做什么的YARN在Hadoop中的功能作用有两个，第一是负责Hadoop集群中的资源管理(resourcemanagement)，第二是负责对任务进行调度和监控(scheduling/monitoring
poype·2020-08-20 21:23

Apache Hadoop YARN

YARN是做什么的YARN在Hadoop中的功能作用有两个，第一是负责Hadoop集群中的资源管理(resourcemanagement)，第二是负责对任务进行调度和监控(scheduling/monitoring
poype·2020-08-20 21:23

配置Hadoop和HIVE

Hadoop集群需要一个机器作为Master节点，其余的机器都是slave节点(Master节点同时也可以p配置成slave节点)。HIVE只需在Master节点中配置和使用即可。
zouxinfox·2020-08-20 21:20

Hadoop常用端口和定义方法

Hadoop常用端口和定义方法Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。
Bill-Zhang·2020-08-20 21:45
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他