Hadoop集群

一文搞定Hadoop高可用集群搭建

前期准备1.2集群规划2.安装步骤2.1.安装配置zooekeeper集群（在hadoop05上）2.1.1解压2.1.2.修改配置2.1.3将配置好的zookeeper拷贝到其他节点2.2.安装配置hadoop
LMRzero·2020-07-09 08:31

Hadoop HA高可用集群搭建及常见问题处理

最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。
盛装吾步·2020-07-09 08:41

Spark入门和安装部署集群搭建

如果想要对接外部的数据，比如HDFS读取数据，需要事先搭建一个hadoop集群。
kangaroojie·2020-07-09 08:37

hadoop集群启动和关闭shell脚本

说明：1、先启动zookeeper，再启动hdfs，再启动yarn。2、user为hadoop使用的linux用户。3、采用SSH登陆到其他机器执行脚本的方式，且配置了ssh免密钥登陆。start-hadoop.shuser=hadoopechostartzookeeper...forzkinmaster05master06master07dossh$user@$zk"source/etc/pro
程序小小望·2020-07-09 08:32

NameNode优化笔记 (一)

最后我到了淘宝实习了一年半,那时候因为身份还是学生,前期主要维护淘宝的Hadoop集群,后期主要研发Hive,同时向社区贡献了一
coderplay·2020-07-09 07:24

Hadoop作业JVM堆大小设置优化

前段时间，公司Hadoop集群整体的负载很高，查了一下原因，发现原来是客户端那边在每一个作业上擅自配置了很大的堆空间，从而导致集群负载很高。下面我就来讲讲怎么来现在客户端那边的JVM堆大小的设置。
BDX_Hadoop_Opt·2020-07-09 07:20

YARN 在字节跳动的优化与实践

1.YARN简介1.1YARN生态圈YARN(YetAnotherResourceNegotiator)是Hadoop集群的资源管理系统，是Hadoop生态中非常重要的成员项目。
字节跳动技术团队·2020-07-09 07:53

Spark集群部署

Spark集群集群环境基于hadoop集群64bit（hadoop2.5.1、jdk1.7）CentOS6.4下安装配置Spark-0.9集群Spark是一个快速、通用的计算集群框架，它的内核使用Scala
Garry1115·2020-07-09 06:27

安装hadoop集群---resourcemanager和NameNode不在同一台机器上

1、复制虚拟机，搞了5台。1：namenode2：secondardNameNode，resourcemanager3，4，5：DataNode2、修改了网卡配置，连接上SecureCRT---------root----用户----------3、date查看了时间4、开机启动了ntpdatechkconfig--listchkconfig--level12345ntpdateon5、ntpda
我叫曾小牛·2020-07-09 04:30

hadoop集群资源管理系统YARN以及YARN的运行原理

一.简介：YARN(YetAnotherResourceNegotiator)1.(官网解释)最基本的思想是纱线拆分功能的资源管理与作业调度/监控到单独的进程。具体设想是全球(ResourceManagerRM)和每应用程序(applicationmasterAM)。应用程序是一个单一的DAG或作业的作业。2.在hadoop1.x中jobtracker负责作业的调度（将任务与tasktracker
不会水的鱼i·2020-07-09 04:45

Hadoop集群安装

1、环境CentOS5.8Master192.168.2.110M1hadoop2110Slave192.168.2.100S1hadoop2100Slave192.168.2.101S2hadoop2101Slave192.168.2.125S3hadoop2125Slave192.168.2.132S4hadoop2132Slave192.168.2.144S5hadoop2144vim/et
yq495·2020-07-09 04:30

Hadoop本地开发，9000端口拒绝访问

可是在MyEclipse开发中，总是无法远程连接到Hadoop集群的9000端口。今天终于明白哪里配置错误了，在这分享给大家。希望对大家有用。
梦幻逝水·2020-07-09 03:18

使用shell脚本实现自动SSH互信功能（免密登录）

说假设有一个1000台节点的Hadoop集群，要配置节点之间的SSH免密码登录，该如何用shell脚本实现？#!
ycb1689·2020-07-09 03:03

从jdk安装到hadoop集群安装全部过程

文章目录jdk的安装hadoop安装和jdk修改linux主机之间实现免密登录安装过程中遇到的问题hadoop3.1.2集群启动过程中出现Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic,password)../sbin/start-dfs.sh出现Startingnamenodeson[hadoop1]hadoop1:ssh:conn
Ethan-bigdata·2020-07-09 02:24

大数据平台Hive四天入门学习指南

hive是基于Hadoop的由Facebook公司开发并开源的一个大数据仓库工具，它以SQL语法来操作Hadoop集群，可以将sql语句转换为MapReduce任务进行运行。
xinxindsj·2020-07-09 02:27

调用阿里云接口的python脚本

#coding=utf-8importssl,sys,reimportjsonimporttimefromhdfsimportClient#Hadoop集群端口号Hdfs_client=Client("
十色花·2020-07-09 01:21

解读MapReduce程序实例

Mapreduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
xaio7biancheng·2020-07-09 01:03

hadoop集群的高可用（Namenode&&ResourceManager）

主机名ipsoft运行的进程master192.168.1.115jdk,hadoopNameNode,DFSZKFailoverController(zkfc)slave1192.168.1.116jdk,hadoopNameNode,DFSZKFailoverController(zkfc)slave2192.168.1.117jdk,hadoopResourceManagerslave319
woloqun·2020-07-09 00:07

如何使用vagrant在虚拟机安装hadoop集群

原文地址：http://blog.cloudera.com/blog/2013/04/how-to-use-vagrant-to-set-up-a-virtual-hadoop-cluster/vagrant是一个非常好用的工具，可以用它来在单台物理机器编程管理多个虚拟机(vms)。其支持原生VirtualBox，并同时提供了对VMwareFusion、AmazonEC2虚拟机集群的插件支持。va
wf1982·2020-07-09 00:26

hadoop集群的启动与停止

@目录单点启动群起集群查看是否启动成功集群启动/停止方式总结单点启动如果集群是第一次启动，需要格式化NameNodehadoopnamenode-format在某一台机器上启动NameNode节点hadoop-daemon.shstartnamenode在其他机器上启动DataNode节点hadoop-daemon.shstartdatanode漫长的启动时间…………思考：每次都一个一个节点启动，
孙晨c·2020-07-08 23:00

《Python自然语言处理-雅兰·萨纳卡(Jalaj Thanaki)》学习笔记：12 安装指导

安装指导12.1安装Python、pip和NLTK12.2安装PyCharm开发环境12.3安装依赖库12.4框架安装指导12.5解决你的疑问12.6总结本附录为您提供了有关安装Python库、单节点Hadoop
miniAI学堂·2020-07-08 22:11

如何快速搭建hadoop大数据平台

大家都知道，hadoop最核心的无非是HDFS和MapRedure,Java并发编程框架中的Fork/join有点类似MapReudre，下面我们快速讲解一下如何搭建一个hadoop平台，前期准备搭建一个hadoop
常识的Blog·2020-07-08 22:48

HBASE常见问题

HBase搭建过程中需要注意什么是否使用外部ZooKeeper，这个一般使用Hadoop集群的ZooKeeper集群即可。
张林强超级ok·2020-07-08 21:42

搭建Hadoop集群，一个月6T的数量需要几台服务器

搭建Hadoop集群，一个月6T的数量需要几台服务器配置几个namenode,几个datanode,namenode和datanode怎么部署，内存与硬盘大小量,看你副本数量设置是多少,一般默认为3,那么仅这些就需要
Studying Zhou·2020-07-08 21:25

多次格式化namenode出现的问题

删除hadoop的tmp目录下的所有内容,重新格式化namenode，启动hadoop集群,发现只能启动其中一个namenode。
我是A_lin呀·2020-07-08 20:59

本地虚拟机停止时自动停止hadoop集群

在学习过程中，本地部署的VMware虚拟机，不可避免的需要关机，如果关机前忘记停止hadoop集群，可能导致一些意想不到的问题下面是讲hadoop集群一键停止脚本加入到关机执行计划中，使操作系统正常关机前自动停止
Harm灬小海·2020-07-08 20:09

安装Hive遇到的一些问题及解决方案

问题一：安装好hive启动包错，截图如下：原因分析：造成这种问题的原因主要是重启了Hadoop集群，但是没有重新启动集群而导致的。
z小赵·2020-07-08 18:37

自己总结的Hadoop集群配置相关，hdfs篇（持续总结最新最全hadoop资料）

所用hadoop版本，2.8.0什么是hadoop？（1）hadoop是用于处理（运算分析）海量数据的，且是采用分布式集群的方式；（2）通俗来说，可以把hadoop理解为一个编程框架（比如springmvc、spring、hibernate/mybatis），有着自己特定的API封装和用户编程规范，用户可借助这些API来实现数据处理逻辑；（3）从另一个角度，hadoop又可以理解为一个提供服务的软
家蹲·2020-07-08 18:07

7个改进 Hadoop MapReduce性能的窍门

blog.cloudera.com/blog/2009/12/7-tips-for-improving-mapreduce-performance/）Cloudedera公司提供的的一项服务是帮助客户优化Hadoop
weixin_34368949·2020-07-08 18:26

hdfs调优

本文章来自hackershell.cn,转载请标注出处描述这篇文章主要从一些配置设置相关方面去调优Hadoop集群的笔记，内容来自网上或一些实践经验1.HDFS审计日志HDFS审计日志是一个和进程分离的日志文件
weixin_34343000·2020-07-08 17:20

hadoop之 Zookeeper 分布式应用程序协调服务

(1)Zookeeper在Hadoop集群中的作用Zookeeper是分布式管理协作框架，Zookeeper集群用来保证Hadoop集群的高可用，（高可用的含义是：集群中就算有一部分服务器宕机，也能保证正常地对外提供服务
weixin_34161032·2020-07-08 17:35

Yarn篇--搭建yarn集群

前述有了上次hadoop集群的搭建，搭建yarn就简单多了。废话不多说，直接来二。规划三。
?Briella·2020-07-08 15:31

搭建Hadoop的Eclipse开发环境

经过一些列繁琐的配置后，hadoop集群终于可以跑起来了，wordcount例子也能正确运行，好了，我们可以进行Map-Reduce开发了。
maolazhu·2020-07-08 12:52

Spark Streaming（二）Flume

现状分析如何解决我们的数据从其他的server上移动到Hadoop之上脚本shellcp到Hadoop集群的机器上，然后使用hadoopfs-put命令传到hadoop上【问题：1.这种方法如何做监控，
vincent_duan·2020-07-08 12:07

大数据面试题

Hadoop部分①怎么搭建一个Hadoop集群？②Hadoop的Shuffer机制？③切片概念？文件256M时，几个切片？④Mr任务提交到yarn流程？⑤数据倾斜概念？Hive部分①hive本质？
孙晨c·2020-07-08 11:00

从零搭建大数据集群（Apache 版本/CDH）

看完本Chat后，你将会明白如何搭建Apache版本的Hadoop集群以及CDH版本的大数据集群。
GitChat的博客·2020-07-08 11:37

CentOS 7 SSH配置免密码登录

目的在搭建Linux集群服务的时候，主服务器需要启动从服务器的服务，如果通过手动启动，集群内服务器几台还好，要是像阿里1000台的云梯hadoop集群的话，轨迹启动一次集群就得几个工程师一两天时间，是不是很恐怖
爱新觉罗6256·2020-07-08 10:07

centos6.7minimal安装配置

为了搭建一个hadoop集群，准备在vmware装上几台虚拟机。centos6.7minimal安装和配置按照正常虚拟机安装顺序，选择minimal安装。
pamperxg·2020-07-08 08:49

hive的安装部署

hive安装的前提是hadoop集群已经安装好，然后执行以下安装操作。
sunqingok·2020-07-08 06:50

Hadoop启动顺序 | jps对应进程 | hadoop | zookeeper | hbase | spark

Hadoop启动hadoop集群后，可以通过jps命令显示当前所有java进程pid的命令，也就显示了所有与Hadoop相关的进程。
stone_fall·2020-07-08 06:04

hadoop之离线处理电商项目架构和实现

处理流程1.涉及的基本技术组件Hadoop：HDFSMapReduce(清洗)YARN、需要部署Hadoop集群Hive：外部表、SQL、解决数据倾斜、sql优化、基于元数据管理、SQL到MR过程Flume
shell33168·2020-07-08 05:49

vagrant搭建hadoop集群

hadoop原本是打算用docker配置hadoop的，但是遇到了docker下centos/7systemctl异常，以及没有ssh的问题，遂，该用vagrant方式在virtualbox虚拟机上运行环境virtualboxcentosbox文件jdkhadoop网络gw:192.168.33.1netmask:255.255.255.0nodeip:hdp-node-01hdp-node-02
longtails·2020-07-08 04:16

ssh证书登录(实例详解)

前言本文基于实际Linux管理工作，实例讲解工作中使用ssh证书登录的实际流程，讲解ssh证书登录的配置原理，基于配置原理，解决实际工作中，windows下使用SecureCRT证书登录的各种问题，以及实现hadoop
涌动的·2020-07-08 04:11

手把手搭建Hadoop-HA高可用分布式文件系统

背景根据我们之前搭建的hadoop集群，都只有一个namenode，一个resourcemanager。
喜讯XiCent·2020-07-08 02:21

Hadoop2.8.5集群完整配置

先配一个单个的hadoop集群（虚拟机有namenode、datanode）一、先安装一台干净的虚拟机（Centos6.10）1、先解决各种网络配置2、主机名与IP映射3、安装jdk4、免密设置（具体的去我博客里面找一下
努力的阳光蓝孩·2020-07-08 01:35

大数据hadoop集群的搭建总结及步骤

CentOS6.5mini版hadoop集群搭建流程CentOS7系列：关闭防火墙：systemctlstopfirewalld禁止防火墙开机启动：systemctldisablefirewalld安装虚拟机的时候需要配置好主机名和网络主机名
夕阳下的独行者·2020-07-08 00:10

CentOS6.5下安装在eclipse配置Hadoop插件

前提：虚拟机中以安装好Hadoop集群。一、安装eclipse解压Eclipse即可，进入eclipse解压之后的目录执行命令.
励志编程小能手·2020-07-08 00:19

安装Spark集群(简述)

前提:已经安装好hadoop集群和zookeeper,功能正常1.上传安装包(所有节点)(略)2.解压(略)3.修改配置文件cd/apps/spark-2.2.0-bin-hadoop2.7/conf/
哈尔科夫扫地僧·2020-07-07 23:11

hadoop：datanode连接不上namenode

记录一次hadoop集群启动过程中datanode连接不上namenode的经历。
sixloop·2020-07-07 21:25

分布式计算框架MapReduce

8、hadoop集群xml配置9、JavaAPI编程，使用MapReduce开发WordCount什么是MapReduce？MapReduce是一种编程模型，其理论来自Goo
OnTheRoad_Kang·2020-07-07 21:06
上一页 50 51 52 53 54 55 56 57 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他