Hadoop集群

搭建集群

 Hadoop集群规划HDFS:NNDNYARN:RMNMhadoop000192.168.199.234NNRMDNNMhadoop001192.168.199.235DNNMhadoop002192.168.199.236DNNM
程研板·2020-08-13 10:55

欢迎使用CSDN-markdown编辑器

Hadoop集群安装下载压缩包wget“http://uri”安装并配置zookeeperdataDir=/data1/data/zookeeperclientPort=2181server.1=host1
三棱球·2020-08-12 17:09

zookeeper分布式锁理解

不希望多并发执行，只希望一条一条线程，一个一个请求排队执行，比如应用程序修改zookeeper的某个节点，而这个节点是一个集群的配置，那么我只希望一条线程去统一修改配置，而不希望并发去修改配置；再如，我希望hadoop
disalong·2020-08-12 16:06

Hadoo-2.8.5集群安装Hive-2.3.6及安装问题处理

一.安装前准备Hive是基于hadoop的，所以首先要安装好hadoop集群，至于安装hadoop可以参考https://blog.csdn.net/zhi_zixing/
至子星·2020-08-12 14:27

大数据技术之Hadoop(MapReduce)

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
lin_0421·2020-08-12 12:09

大数据学习笔记之HBase（二）：HBase安装与部署相关

文章目录十一、HBase的安装与部署10.1、Zookeeper集群的正常部署并启动10.2、Hadoop集群的正常部署并启动10.3、解压HBase10.4、修改HBase配置文件10.4.1、hbase-env.sh
Leesin Dong·2020-08-12 11:54

基于docker搭建hadoop集群

目前线上环境都是传统的虚机，所以docker在日常开发中大部分是用来在本地搭建开发用的一些中间件比如redis、kafka啥的，不得不说，docker这个东西到目前没有感觉还是挺好的，最主要的是它比vmware轻太多了，一般如果用vmware的话，开四五台已经是上限了，但是如果用docker，限制就会笑很多，而且，搭建好的环境还可以导出镜像，已被在其他地方使用，很方便。目前正准备复习和总结一下Ha
Olge·2020-08-12 00:49

Mac下Hadoop单机模式安装

一、安装Hadoop配置ssh配置ssh就是为了能够实现免密登录，这样方便远程管理Hadoop并无需登录密码在Hadoop集群上共享文件资源。
xianglingchuan·2020-08-12 00:31

基于docker搭建的hadoop集群（省去配置hadoop镜像，直接从远程仓库pull镜像）

1.安装Docker后面的docker上搭建hadoop集群参考了：基于Docker搭建Hadoop集群之升级版所以这里主要讲下怎么安装Docker以及一些注意事项更新yum源#yum-yupdate安装
scau_wyf·2020-08-12 00:25

Yarn 的组成及其工作流程

由于这种架构资源调度和计算高度耦合，导致了一个Hadoop集群中只能跑MapReduce计算任务，无法跑其它的计算任务，维护成本很高。
weixin_33989780·2020-08-11 23:58

（centos7）搭建基于docker的hadoop集群：二

在（centos7）搭建基于docker的hadoop集群：一文中，形成了安装有vim、jdk、ssh的centos镜像，现在我们在这个的基础上继续搭建haoop。
还好还好啦·2020-08-11 23:05

centos7系统Hadoop集群搭建和简单使用，resource manager无法启动的问题

搭建过程：https://blog.csdn.net/pucao_cug/article/details/71698903非常详细的文章，感谢大神。根据步骤一步步来，不难，而且基本没有出错。碰到的唯一问题是装java的时候的问题，我的解决方案：https://blog.csdn.net/touziss/article/details/82859035启动hadoop以后，做个小实验熟悉一下。参考h
xcc_233·2020-08-11 23:14

基于docker搭建hadoop集群环境中遇到的一些问题

hadoop的参数环境配置完毕后，运行hadoop出现下图的提示：[root@hadoop0hadoop]#hadoop/usr/app/hadoop/bin/hadoop:line20:which:commandnotfounddirname:missingoperandTry'dirname--help'formoreinformation./usr/app/hadoop/bin/hadoop
rznice·2020-08-11 22:07

Docker部署Hadoop集群之安装Hadoop集群

在很多大公司的内部都会使用到hadoop集群，使用里面的yarn来统一管理资源，hdfs来做为分布式存储。2.这一节将讲解如何通过docker制作镜像，来安装hadoop集群。
DeltaTheta·2020-08-11 22:49

Hadoop集群 启动了之后， ResourceManager未起来的问题解决

启动hadoop，在hadoop-2.5.2下开启集群hadoop-start.sh，用jps查看进程，1493DataNode1665SecondaryNameNode1400NameNode1903NodeManager2504Jps然后访问http://ip:50070可以正常访问，端口8088访问不到，是因为你的ResourceManager在进程中没有打开，（如果是这两个都不能打开，你先
沧海一株莲·2020-08-11 22:49

Linux 环境下运行hadoop 的wordcount 程序

下一篇会介绍在win系统下链接linuxhadoop集群，运行wordcount,并理解hadoop的mapreduce组件。had
秋月丹青·2020-08-11 22:46

[新手安装篇] - Docker搭建Hadoop本地集群

虚拟机下载安装本机传输到虚拟机环境配置bashrchadoop-envshcore-sitexmlhdfs-sitexmlmapred-sitexml安装SSH配置机器的访问连接关系安装SSH配置提交虚拟机启动Hadoop
紫守笨·2020-08-11 22:26

伪分布式和完全分布式hadoop集群搭建

Hadoop伪分布式集群搭建：https://blog.csdn.net/qq_26907251/article/details/78819156除以上链接内的步骤，还需环境变量：1、[root@izwz939y62jl5b2edpvoqszbin]#echo$PATH/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin2、[roo
pbyang5689·2020-08-11 22:46

基于Docker的Hadoop集群的搭建和使用

一、安装Docker安装Docker——点击这里二、在docker中安装ubuntu系统首先从dockerhub上面拉取一个ubuntu镜像$dockerpullubuntu:latest验证是否安装成功$dockerimages安装成功如下图：在启动镜像时，需要一个文件夹向镜像内部进行文件传输，所以在家目录下面新建一个文件用于文件传输$mkdirdocker-ubuntu然后在docker上运行
RevoMore·2020-08-11 22:51

docker 安装 hadoop集群 图示

Docker是目前非常火的开源轻量级的引擎技术，能在linux系统快速创建一个lxc容器来部署应用。目前docker项目还在快速迭代，用go语言开发，用来构建虚拟云服务PAAS非常有前途。docker相对于传统的虚拟机技术，没有guestos虚拟层，能高效率的使用机器资源。本人不了解go语言，对docker也只是初步的学习了基本使用，因为想学习点hadoop东西，用实验室电脑配置太低，用虚拟机搭建
lxzmtb·2020-08-11 22:59

运行hadoop中的例子程序PI

运行hadoop中的例子程序PI命令结果安装好hadoop集群之后，都会想着试一下自己的集群是否正常工作，最简单的方式就是运行hadoop提供的例子程序。
jjkang_·2020-08-11 21:23

hadoop集群在线添加datanode

1,按照如下方法配置安装hadoop服务器，完成准备配置http://blog.csdn.net/hijk139/article/details/83073432，修改master主机的slave配置，添加所需的dataname的主机名或者IP地址3，启动datanode节点上的相关进程$cdpath/to/hadoop$bin/hadoop-daemon.shstartdatanode$bin/
hijk139·2020-08-11 21:07

基于Docker的Hadoop集群搭建

基于Docker的Hadoop集群搭建本文为在阿里云服务器上基于docker的Hadoop集群搭建安装思路为安装docker->运行docker导入ubuntu镜像->运行ubuntu系统->在系统中配置好单个节点
Life_Cycle_·2020-08-11 20:09

hadoop集群启动后datanode没有启动

今天启动hadoop集群后，查看进程发现名称节点的NameNode进程启动了，但是数据节点的DataNode进程没有启动，如下：master上#jps27585Jps26874ResourceManager26622NameNodeslave1
huguihua2002·2020-08-11 12:44

阿里云ECS上搭建Hadoop集群环境——“启动Hadoop时，datanode没有被启动”问题的解决

转载请注明出处：http://blog.csdn.net/dongdong9223/article/details/81285732本文出自【我是干勾鱼的博客】Ingredient：Hadoop：hadoop-2.9.1.tar.gz（ApacheHadoopReleasesDownloads，AllpreviousreleasesofHadoopareavailablefromtheApache
我是干勾鱼·2020-08-11 10:34

Hadoop+Spark集群安装步骤详解

x86_64)SP3主机名：192.168.0.10node1192.168.0.11node2192.168.0.12node3192.168.0.13node4软件路径：/data/installHadoop
圈圈任·2020-08-11 05:13

Tomcat Sqoop import异常及其解决方法

软件版本：Sqoop：1.4.6-cdh5.7.3，tomcat：7，JDK：1.7，IntellijIdea2014，Hadoop集群：CDH5.7.3；mysql：5.6；问题描述：在使用Sqoop
fansy1990·2020-08-11 05:05

Hadoop高可用安装（HA）

操作系统：CentOS-7.8Hadoop版本：3.2.1Zookeeper版本：3.4.14一、环境说明本次安装的为完全分布式高可用的Hadoop集群，本次安装使用的是Hadoop3.2.1，分别部署了
爱做梦的锤子·2020-08-11 05:29

用户画像的生产

数据收集，通过数据收集工具，如Flume或自己写的脚本程序，把需要使用的数据统一存放到Hadoop集群,骆驼mysql。
落叶翩翩·2020-08-11 05:17

HDFS特性和常用功能

0.HDFS集群的配置Hadoop集群配置后start-dfs.sh启动hdfs服务Hadoop集群配置见前文CentOS7下配置Hadoop集群和Zookeeper集群https://blog.csdn.net
翱翔的江鸟·2020-08-11 04:31

hadoop集群Restful接口的使用

一、介绍在通常情况下，我们使用HDFS的command命令去查看hdfs上的文件，或者使用默认的hadoop的web管理器查看，从hadoop0.2.23后，hadoop设计了一套Rest风格的接口，通过http协议访问的方式，去浏览和操作HDFS上的数据。下面将一下hadoop的rest接口。二、解析（1）原生restHDFS的原生rest接口需要进行开启才能够使用，具体是在hdfs-site.
莫西里·2020-08-11 04:34

hbase分布式安装及配置

1.Hbase分布式安装1.1.Hbase0.97分布式安装1.1.1.安装环境安装条件：jkd/hadoop集群已经安装完成Hbase下载地址：http://www.apache.org/dyn/closer.cgi
1057718341_h·2020-08-11 04:47

Hadoop中namenode启动不起来解决方法

之前Hadoop集群都能启动成功，今天准备使用hive的时候发现Hadoop中的namenode启动不起来的，查看日志：2020-04-1422:25:31,793WARNorg.apache.hadoop.hdfs.qjournal.client.QuorumJournalManager
城与澄与橙·2020-08-11 03:24

搭建hadoop集群常见坑二：hadoop集群中namenode启动不起来的成因和二种解决方法

hadoop集群中namenode启动不起来如何解决新手在初次搭建hadoop集群中经常遇到namenode或者databode启动不起来，大概率是因为多次格式化NameNode造成的。
斯特兰奇·2020-08-11 03:39

创建MapReduce程序，并在hadoop集群中运行

关键词：MapReduce,hadoop2.6.0,intellijIDEA,Maven1、在intellijIDEA下创建maven项目2、引入hadoop相关jar包2.6.0org.apache.hadoophadoop-common${hadoop.version}org.apache.hadoophadoop-mapreduce-client-core${hadoop.version}o
封巍·2020-08-11 03:48

CDH中配置HDFS HA、Hbase HA

最近又安装hadoop集群，故尝试了一下配置HDFS的HA，这里使用的是QJM的HA方案。
春宇大数据·2020-08-11 03:58

Spark安装和使用

安装环境如下：操作系统：CentOs6.5Hadoop版本：CDH-5.3.0Spark版本：1.2关于yum源的配置以及Hadoop集群的安装，请参考使用yum安装CDHHadoop集群。
春宇大数据·2020-08-11 03:57

Spark1.2及CDH5.2~CDH5.3安装和使用(A)

安装环境如下：操作系统：CentOs6.5Hadoop版本：CDH-5.3.0Spark版本：1.2关于yum源的配置以及Hadoop集群的安装，请参考使用yum安装CDHHadoop集群。
春宇大数据·2020-08-11 03:57

Hadoop回顾--HDFS的HA机制&Federation机制

为了解决hadoop集群上所谓的“单点”和单NameNode起作用问题，一群NB的程序员引入了HA和Federation机制。
ROGEN-秀发·2020-08-11 02:41

Spark完全分布式集群搭建

前面已经给大家讲解过伪分布式spark的安装，和hadoop集群、以及zookeeper集群的搭建，今天就给大家说下Spark完全分布式集群搭建。
天ヾ道℡酬勤·2020-08-11 02:44

Hadoop集群的搭建

Hadoop集群的搭建MapReduce是多进程Spark是多线程1.Hadoop是什么1）Hadoop是一个由Apache基金会所开发分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析计算问题
williamccc·2020-08-11 02:36

如何再hadoop集群上跑我们自己写MapReduce程序

如何再hadoop集群上跑我们自己写MapReduce程序1.首先我们要将想要被执行的文件放到HDFS上去，例如我在hadoop102:9870/路径下创建了一个input文件下放入我们需要被执行的文件
williamccc·2020-08-11 02:36

Hadoop之MapReduce

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发的运行的在一个Hadoop集群上MapReduce的优缺点1.优点1）MapReduce易于编程，它简单的实现一些接口
williamccc·2020-08-11 02:36

Hive学习笔记 —— Hive的体系结构

进行存储，利用MapReduce进行计算元数据存储（MetaStore）通常是存储在关心数据库，如mysql、derby中在Hive执行HQL语句，其HQL语句会被解析成一个MapReduce作业，并提交到Hadoop
慢行慢行·2020-08-11 02:53

Ubuntu安装Ganglia并监控Hadoop集群

关于Ganglia软件，Ganglia是一个跨平台可扩展的，高性能计算系统下的分布式监控系统，如集群和网格。它是基于分层设计，它使用广泛的技术，如XML数据代表，便携数据传输，RRDtool用于数据存储和可视化。它利用精心设计的数据结构和算法实现每节点间并发非常低的。它已移植到广泛的操作系统和处理器架构上，目前在世界各地成千上万的集群正在使用。它已被用来连结大学校园和世界各地，可以处理2000节点
江南浙里·2020-08-11 01:23

如何使用hadoop进行大规模数据的全局排序？

说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台lowcost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分
程序の之道·2020-08-11 00:17

Apache Pig简单使用实例

Pig包括两部分内容：(1)用于描述数据流的语言，称为PigLatin(2)用于运行PigLatin程序的执行坏境，当前有两个环境：单JVM的本地执行坏境-Hadoop集群的分布式坏境为什么需要Pig：
故事讲到哪了·2020-08-11 00:16

Windows下使用eclipse插件运行自己的MapReduce程序

HadoopEclipse插件不仅能让用户直接在本地(Windows下)提交任务到Hadoop集群上，还能调试代码、查看出错信息和结果、使用图形化的
跟着大数据和AI去旅行·2020-08-10 21:04

Hadoop的安装和配置，Hadoop集群搭建

一，Hadoop的安装：vim/etc/hosts172.25.38.7server7useraddhadoopsu-hadooppwd/home/hadooptarzxfhadoop-2.7.3.tar.gztarzxfjdk-7u79-linux-x64.tar.gzln-sjdk1.7.0_79/jdkln-shadoop-2.7.3hadoopvim/home/hadoop/.bash_p
??ff·2020-08-10 21:08

搭建 Zookeeper 集群详细教程

文章目录1.安装Zookeeper2.配置集群2.1配置节点编号2.2配置zoo.cfg文件2.3同步文件3.启动集群4.编写群起脚本下面以搭建Hadoop集群详细教程中搭建的hadoop集群为例1.安装
一路是夜幕沉沙·2020-08-10 21:00
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他