hadoop配置

hadoop 伪分布式部署(linux) 超详细版

Hadoop配置本地模式下，不需要配置也可以使用，因此伪分布式需要追加如下配置：exportHADOOP_HOME="/usr/local/hadoop-2.7.2"exportPATH=$HADOOP_HOME
Henry_Lin_Wind·2019-03-30 11:45

转载——学习之路——Spark(2)

文章目录服务器配置shh免密登录安装JDK和Scala配置Hadoop配置Spark引用本文转载于www.zicesun.comicesuns.github.io本文讲介绍如何搭建spark集群。
Icesuns·2019-03-29 19:50

hadoop集群搭建--完全分布式

完全分布式操作系统软件要求三、配置详情1.安装虚拟机和配置网络2.上传jdk和hadoop安装VMwaretools设置共享文件夹3.安装jdk和hadoop解压jdk和hadoop创建软链接4.配置环境变量配置hadoop
MengShi_·2019-03-28 20:38

Mac上搭建Hadoop环境(2) — Hadoop下载及安装

文章目录前言下载hadoop安装hadoop配置hadoophadoop-env.shyarn-env.shslaves更新*.xml配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml
Lestat.Z.·2019-03-24 10:49

eclipse远程调试Hadoop

环境配置1、Hadoop集群搭建完成，能正常对外访问2、远程主机jdk、eclipse安装完成eclipse远程调试Hadoop配置首先需要有MapReduce相应插件，将相应插件放到eclipse的插件目录下
1crazygorilla·2019-03-19 10:18

Intellij IDEA 创建Hadoop开发工程

1.将Centos上搭建好的Hadoop配置环境，打包传到Windows目录D:\tools\hadoop2.下载Hadoop在Window上的相关库文件，并将相关文件复制到D:\tools\hadoop
DeaSun·2019-03-10 00:00

Hadoop入门

为我创建的普通用户获得root权限1.1基础网络环境1.1.1先配置网络连通1.1.2配置网络地址与主机名的对应关系（可选）1.1.3关闭防火墙1.2ssh免密登陆1.3JDK的安装(二)Hadoop的安装(三)Hadoop
Samuel_Yumuy·2019-03-07 20:35

Hadoop3.2.0群集设置

目的先决条件安装在非安全模式下配置Hadoop配置Hadoop守护进程的环境配置Hadoop守护进程监控NodeManager的健康状况slave文件Hadoop机架意识记录操作Hadoop集群Hadoop
张伯毅·2019-02-18 18:26

使用JDBC操作Hive

首先启动Hive的远程服务：hiveserver2&所需jar包的pom文件如下：org.apache.hivehive-jdbc2.3.0为了避免在程序运行时出现以下错误：修改hadoop配置文件$HADOOP_HOME
曲健磊·2019-02-16 22:39

CentOS7.2配置Hadoop2.6.5

Hadoop配置文件/etc/profile配置Java和Hadoop环境exportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdkexportCLASSPATH=.
Rest探路者·2019-01-31 14:00

Mac Hadoop配置

$brewinstallhadoop设置ssh免密登录从系统偏好设置->共享，打开远程登录（允许所有用户）控制台输入ssh-keygen-trsa-P''授权你的公钥到本地可以无需密码实现登录。cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys配置hadoop使用brew安装的hadoop在以下地址（各自确认版本）/usr/local/Cellar/hadoo
華華公子·2019-01-23 13:39

Hadoop 三种配置形态共存

hadoop_home}/etc/full2.创建符号连接$>ln-spesudohadoop##(使用哪个模式，就将哪个模式创建连接)3.对hdfs进行格式化$>hadoopnamenode-format4.修改hadoop
一只小菜鸟(*￣︶￣)·2019-01-21 14:19

配置SSH免密码登陆

groupadd-g1000hadoop#useradd-u2000-ghadoophadoop#mkdir-p/app/hadoop#chown-Rhadoop:hadoop/app/hadoop#passwdhadoop
FeelTouch·2019-01-16 00:05

Hadoop学习第二天-------Hadoop集群搭建

一、下载Hadoop安装包，我这里用到的是tar.gz格式的安装包，大家可以从官网自行下载二、修改Hadoop配置文件Hadoop设计的配置文件有以下七个并且都在$HADOOP_HOME/etc/hadoop
非秃程序员·2019-01-11 13:57

hadoop配置ssh无密码登录

检查每个虚拟机上是否安装了ssh和启动了ssh服务rpm-qa|grepssh如图所示表示安装了如果没有安装请执行下面的代码yum-yinstallopensshopenssh-serveropenssh-clients每个虚拟机上都创建hadoop用户并设置密码执行如下命令即可#useradd-mhadoop-Groot-s/bin/bash#passwdhadoop授予管理员权限(以下的操作都
杰灬杰·2019-01-10 09:17

大数据学习-Hadoop生态章---HDFS完全分布式(1.X版本)搭建及eclipse插件集成

准备至少3台机器（通过克隆虚拟机；配置好网络JDK时间hosts，保证节点间能互ping通）时间同步(ntpdatetime.nist.gov)ssh免秘钥登录(两两互通免秘钥)二.完全分布式搭建下载解压缩Hadoop
fg19941101·2019-01-07 22:23

Hive中压缩使用详解与性能分析

同理，HIVE也可以使用hadoop配置的压缩方法对中间结果或最终数据进行压缩。1.什么是压缩及优劣？hive中数据做压缩和解压缩跟windows下的数据压缩差不错，同样有很多中压缩算法，结果是
牛大财有大才·2019-01-05 22:50

Hadoop3.1.1——全分布式安装以及配置

3.配置静态IP4.添加hadoop用户5.ssh免密登陆设置6.安装配置JDK7.安装Hadoop配置文件时间同步（每个节点）主节点和分节点之间，时间同步很重要。这里是通过控制时区来实现。
Darcy__·2019-01-03 15:31

HDFS完全分布式搭建

目录前期配置时间同步配置免密登录配置/etc/hosts（所有节点内）修改hadoop配置文件将配置好的安装包分发到其他节点上JDK配置（所有节点）格式化NameNode并启动HDFS可能遇到的问题启动成功后
kimshell_·2018-12-26 15:01

4.搭建HBase

Hbase安装部署基本步骤：1、在Hadoop配置的基础上，配置环境变量HBASE_HOME、hbase-env.sh编辑vim~/.bashrc加入exportHBASE_HOME=/usr/local
qimogao·2018-12-25 00:56

【大数据】解决Hive JDBC的连接出错的一种问题

  记得一个月前我写过一篇文章：【大数据】Hive作者肯定进修过蓝翔挖掘机  那时候我就点名批评过两位了（Hive作者和我的大数据老师）本以为他们在Hive配置文件里面挖个大坑就完了，没想到，他们还在Hadoop
midnight_time·2018-12-13 19:08

Kerberos认证代码分析Can't get Kerberos realm

12org.apache.hadoop.security.UserGroupInformation.setConfiguration(conf)sun.security.krb5.Config.refresh()首先根据传进来的Hadoop
hellozhxy·2018-11-29 15:36

hive(四)--在java中通知thrift接口操作hive

二、hive启动thrift接口1、hadoop配置修改hadoop的配置文件core-site.xml，添加如下配置：hadoop.proxyuser.china.hosts*hadoop.proxyuser.china.groups
panda-star·2018-11-27 23:26

Hadoop 配置API

Hadoop配置本文章在其他文章基础上参考编辑Hadoop配置APIhadoop中的组件都是通过Hadoop自己的配置API配置的，一个Configuration类的实例代表了Hadoop集群的配置。
IT代码民工·2018-11-13 16:54

hadoop配置

腾讯云中伪分布式配置：首先给主机定义一个名称：注意这里需要配置本机的内网机器，其它机器的外网地址10.104.222.163hadoopmaster127.0.0.1VM_222_163_centosVM_222_163_centos127.0.0.1localhost.localdomainlocalhost127.0.0.1localhost4.localdomain4localhost4#T
vincentxia·2018-11-10 16:40

Hive访问方式

本文前提：1.本文使用的软件版本为：hadoop2.7.4hive1.2.1jdk1.82.运行hive之前保证jdk与hadoop配置完毕，并且启动HDFS和Yarn。
启明龍·2018-10-29 11:26

Hadoop 2.0 HA 3节点高可用集群搭建

概览1.集群规划2.准备3.修改Hadoop配置文件4.复制内容5.启动集群6.查看jps7.测试1.集群规划HDFSHA背景HDFS集群中NameNode存在单点故障（SPOF）。
leanaoo·2018-10-22 20:44

hadoop配置

hadoop入门配置准备环境：cetnos6.9、java-1.7.0-openjdk-1.7.0.191.x86_64、hadoop1.2.1编辑配置文件hadoop-env.sh:exportJAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.191.x86_64core.site.xml:hadoop.tmp.dir/hadoopdfs.name.
听说我很强·2018-10-20 15:00

二十七、修改本地临时文件存储目录及Hadoop配置文件说明

修改本地临时文件存储目录及Hadoop配置文件说明1、修改本地临时文件存储目录1.1、停止进程[[email protected]]$sbin/yarn-daemon.shstopnodemanager
大话JAVA的那些事·2018-10-13 13:19

hadoop之旅4-centerOS7： hadoop配置yarn资源管理器

首先介绍一下什么是yarn资源管理器：YARN（YetAnotherResourceNegotiator）是一个通用的资源管理平台，可为各类计算框架提供资源的管理和调度。其核心出发点是为了分离资源管理与作业调度/监控，实现分离的做法是拥有一个全局的资源管理器（ResourceManager，RM），以及每个应用程序对应一个的应用管理器（ApplicationMaster，AM），应用程序由一个作业
weixin_33949359·2018-10-11 14:09

HBase集群部署

1.1操作步骤说明：1.下载安装包2.修改配置文件3.regionservers4.hbase-site.xml5.hbase-env.sh6.拷贝hadoop配置文件7.分发配置文件8.启动集群2.1
hxhh·2018-10-09 15:54

hadoop配置

目录1.搭建hadoop要求：2.创建虚拟机3.免用户名登录4.免用户名登录5.配置hadoop6.参看文章：7.关于hadoop各个文件配置的详解：1.搭建hadoop要求：VirtualBoxubuntu16.04jdk1.8hadoop2.7.42.创建虚拟机note:共创建3个虚拟机：master,slave1,slave2。这里用户均设置为hadoop3个虚拟机的网络设置：桥接3.免用户
biubiubiu888·2018-09-24 14:00

Hadoop学习笔记(二) 安装Hadoop单节点集群

Hadoop包1.3将解压的文件夹重命名为Hadoop,然后拷贝到/usr/local下2.设置Hadoop环境变量2.1打开.bashrc文件2.2在文件里后面添加如下配置2.3让配置立即生效3.修改Hadoop
盐城三爷·2018-09-14 14:08

Hadoop目录

1.1nameNode1.2dataNode1.2.1datanodeUnhealthyNodes1.2.2资源监控web接口1.3安全模式1.4安全1.4.1hadoop的ACL权限1.4.2apachehadoop
九师兄-梁川川·2018-09-12 12:21

在Kubernetes上部署Hadoop

在Kubernetes上部署Hadoop思路：基于Hadoop集群中所有节点使用一致的配置文件考虑，建立支持ReadWriteMany的PVC挂载到POD内用来存放Hadoop配置文件（一份配置文件在所有
迷途的攻城狮（798570156）·2018-09-06 20:50

windows下eclipse项目KPIUrlViewerCounter操作hadoop2.8.3 mapreduce(4)

hadoop环境搭建详情见hadoop系列第一篇与第三篇博客(hadoop配置直接影响到本程序的运行)数据准备(https://download.csdn.net/download/elmo66/10636257
_lichaoxi·2018-08-31 11:24

windows下eclipse项目wordcount操作hadoop2.8.3 mapreduce(3)

hadoop环境搭建详情见hadoop系列第一篇博客(hadoop配置直接影响到本程序的运行)另外，windows环境下运行mapreduce程序需要hadoop.dll与winutils.exe的支持
_lichaoxi·2018-08-30 09:37

hadoop完全分布式搭建(CentOS 6.5)

hadoop完全分布式搭建(CentOS6.5)1.关闭防火墙2.修改hostname3.修改网络映射hosts4.配置免密登录5.准备软件环境6.配置环境变量7.修改hadoop配置文件7.1hadoop-env.sh
goldlone·2018-08-29 15:49

hadoop2.7.7集群搭建

.集群搭建首先在master主节点上完成解压和配置，再copy到其他节点上在master节点上，解压cd/opttar-zvxfhadoop-2.7.7.tar.gzln-shadoop-2.7.7/hadoop
meepomiracle·2018-08-14 20:31

Hadoop配置参数详情

Hadoop运行模式分为安全模式和非安全模式，在这里，我将讲述非安全模式下，主要配置文件的重要参数功能及作用，本文所使用的Hadoop版本为2.6.4。etc/hadoop/core-site.xml参数属性值解释fs.defaultFSNameNodeURIhdfs://host:port/io.file.buffer.size131072SequenceFiles文件中.读写缓存size设12
Ebaugh·2018-08-14 15:45

Hadoop配置免登陆

配置ssh免登陆生成ssh免登陆密钥cd~，进入到我的home目录cd.ssh/ssh-keygen-trsa（四个回车）执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免登陆的机器上例如拷贝到自己的机器上：cpid_rsa.pubauthorized_keys执行完上述命令之后，在次进入的hadoop的sbin目录下执行./start-all.sh
_陌子曦·2018-08-03 15:23

kylin 整合笔记

修改hadoop配置文件kylin访问异常1.修改hadoop配置文件重启hadoop服务2.重启完hadoop，需要重启hbase，个人经验要重启两次服务蔡靠谱，一次可能重启不成功。
ruitu-ruiyou·2018-07-27 11:26

Hadoop集群搭建常用命令、目录及注意

目录：（1）/usr/local/hadoop/（2）hadoop配置目录：/usr/local/hadoop/etc/hadoop（3）/usr/local/hadoop/sbin（4）share目录在
灿若星辰丶·2018-07-17 19:27

Hadoop分布式集群搭建完全详细教程

Centos7jdk1.7.0_67hadoop-2.5.0.tar.gz1.安装VMware虚拟机环境2.安装Centos操作系统3.修改主机名配置网络4.配置ssh无密码登录5.上传jdk配置环境变量6.上传hadoop
编程南风·2018-07-13 15:51

Mapredce应用开发

hadoop-local.xml包含默认的Hadoop配置。
灯火阑珊不知处·2018-07-11 19:20

超详细的Hadoop2配置详解

mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gztarzxvfhadoop-2.8.4.tar.gz3.修改Hadoop
易金刚·2018-06-23 23:21

记一次测试环境Hbase数据备份恢复以及恢复后部分表无法删除的问题处理

一、Hbase数据备份恢复说明：因为测试环境要修改hadoop配置文件hdfs-site.xml的参数hdfs.rootdir修改前的配置hbase.rootdirhdfs://masters/hbase1
断臂人·2018-06-15 16:29

Hadoop分布式文件系统利用 java API 实现

（前提：自己的linux系统中的集群已搭建完毕)1.首先在电脑中安装hadoop配置环境变量：右键点击“计算机”-->属性-->高级系统设置-->环境变量创建一个“HADOOP_HOME”，值为hadoop
FYDragon大龍·2018-06-11 19:10

hdfs集群节点的服役和退役（上线 下线）

首先，hadoop配置文件目录下的hdfs-site.xml中维护这集群“白名单”和“黑名单”两个文件，如果没有的话需要在配置文件中添加这两个属性。  
fantasticqiang·2018-06-02 12:06

Hadoop集群如何动态的增删节点

集群环境是CentOS6；Hadoop版本为2.7.3一、增加节点1.配置主节点和新增节点的免密登录（ssh信任）2.将新的节点的ip（如果在主节点的/etc/hosts中配置了名字也可以用名字替代）加入到Hadoop
DM_Source·2018-05-16 17:25
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他