2.6.5

学大数据之hadoop-day3-hadoop伪分布式搭建

学习大数据之Hadoopday3hadoop伪分布式的搭建首先做好准备工作1jdkjava8版本以上2hadoop的安装包，本人使用的是hadoop-2.6.5.tar.gz3网络环境良好开搞1首先我们把
weixin_45210609·2019-06-12 19:05

hadoop伪分布式集群搭建--------来瞅瞅吧

集群搭建一、基础操作上传：yuminstalllrzsz-y------可以下载上传操作指令rz-------可以进行上传文件解压：tar-zxvfjdktar-zxvfhadoop-2.6.5.tar.gz
Crazy_Clown·2019-06-12 15:12

Hadoop安装教程——基于Ubuntu16.04的Hadoop2.6.5的配置

Hadoop安装教程——基于Ubuntu16.04的Hadoop2.6.5的配置本教程适合于原生Hadoop2，包括Hadoop2.6.0,Hadoop2.7.1等版本环境本教程使用Ubuntu16.0464
nuancolor·2019-05-19 16:27

基于Hadoop2.6.5(HA)的HBase2.0.5配置

1.配置在CentOS7Three上配置,注意：一定要安装bin包，不能安装src包/usr/local/hbase/hbase-2.0.5/conf编辑hbase-env.sh,替换成如下配置exportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdkexportHBASE_MANAGES_ZK=false#用外部zk编辑hbase-site.xml，增加配置h
Rest探路者·2019-04-23 15:00

基于Hadoop2.6.5(HA)的Hive1.2.1的MySQL方式配置

1.Hive配置MySQLHive只是一个工具，无需配置多台机器，我在CentOS7One机器上配置Hive/usr/local/hive/apache-hive-1.2.1-bin/confcphive-default.xml.templatehive-site.xml编辑hive-site.xml配置MySQL连接地址javax.jdo.option.ConnectionURLjdbc:mys
Rest探路者·2019-04-23 15:00

七台机器部署Hadoop2.6.5高可用集群

1.HA架构注意事项两个Namenode节点在某个时间只能有一个节点正常响应客户端请求，响应请求的节点状态必须是activestandby状态要能够快速无缝切换成active状态，两个NN节点必须时刻保持元数据一致将edits文件放到qjournal(一种分布式应用，依赖zookeeper实现，管理edits)，而不存储在两个NN上，如果各个edits放在各个NN上，只能通过网络通信达到同步效果，
Rest探路者·2019-04-12 19:00

解决hadoop2.6.5一台机器多块盘存储不均问题

在hadoop2.6.5，datanode数据存储盘选择策略有两种方式复制：首先是要遵循hadoop1.0磁盘文件夹投票，实现类：RoundRobinVolumeChoosingPolicy.java另外一种是选择可用空间足够多的磁盘方式存储
sh_qd·2019-04-08 16:26

windows10+pycharm+Spark

安装环境：Win10安装软件：hadoop2.6.5，spark2.3.3，python3.7.2，JDK1.8、pycharm注：win10环境下安装spark2.4，运行pyspark报ImportError
chen1306541·2019-04-08 09:38

在centOS中安装spark2.1.1

我用到的各个版本不管你搭建哪个版本的集群，它依赖的各个版本一定要兼容，不然会遇到各种问题spark2.1.1hadoop2.6.5jdk1.7scala2.11.6jdk的安装https://blog.csdn.net
@进行中·2019-04-02 19:40

centos7下hadoop2.6.5全分布式安装教程

1、准备虚拟机三台192.168.25.101node01192.168.25.102node02192.168.25.103node032、配置免密登录生成秘钥ssh-keygen-trsa通过scp将内容写到其他主机文件中scp-p~/.ssh/[email protected]:/root/.ssh/authorized_keys略3、jdk安装下载jdk1.8解压j
24koby·2019-04-02 16:34

Spark集群搭建（三台虚拟机）以及运行实验项目经验总结

2.1Vmware下载安装以及在VMware虚拟机安装Ubuntu18.042.2网络配置（设置静态IP地址）2.2.1在VMware中配置网络环境2.2.2通过Terminal命令行来设置IP地址3Hadoop2.6.5
Flamewaker·2019-03-24 20:20

Windows下安装protobuf

例如：我的hadoop版本是hadoop-2.6.5查询路径：hadoop-2.6.5\share\hadoop\common\lib\protobuf-java-2.5.0.jar，所以需要下载的protobuf
学习菌csdn·2019-03-13 18:36

dubbo 2.7.0 中缺乏 的解决方案

一、背景 从dubbo2.6.5升级到2.7.0，突然发现好多地方不能用了，dubbo:annotation直接报红，原先的@Service和@Reference中直接报了过时，源码里面也没有告知替代的类
JMCui·2019-03-13 17:00

hadoop执行wordcount程序、本地编写、放到hadoop集群上运行

在执行hadoopjar命令之前，必须先启动hadoop集群1、首页简历maven工程，导入hadoop依赖4.0.0com.luximghadoop20.0.1-SNAPSHOTjar2.6.5junitjunit4.10testorg.apache.hadoophadoop-common
@进行中·2019-03-10 16:50

Hadoop的简单搭建

Hadoop部署文档一：实验准备VMwareWorkstations12，ubuntu14.04server版，Hadoop-2.6.5.tar.gz，jdk-7u51-linux-x64.tar.gz
恶魔的眼泪哟·2019-03-09 19:56

关于升级 Dubbo 版本到 2.6.5 后启动失败的“坑”

问题现象Dubbo从低版本升级到2.6.5版本后，启动失败，报错如下：05-Mar-201916:02:25.204??
赛小文·2019-03-05 18:09

使用hadoop MR处理数据导入Elasticsearch

我的hadoop版本hadoop-2.6.5。我的Es版本elasticsearch-6.4.3。首先保证你的hadoop集群可以跑wordcount例子。
jiajia-zhai·2019-02-26 18:19

3.0.geomesa使用环境搭建过程

其版本号如下：vmVMware-workstation-full-14.1.1.28517oscentos7jdkjdk-8u192hadoop2.6.5hbase1.3.3geoserver2.14.2
山华水清·2019-02-19 22:12

2. 基于 Mac 平台 VMware 虚拟机的 Spark 安装（2）- 安装 Hadoop

/87379865这篇文章里，2.基于Mac平台VMware虚拟机的Spark安装（2）-安装Hadoop以下所有操作，root账户一、安装Hadoop(基于master机器)在官网下载hadoop-2.6.5
姜萌芽·2019-02-16 10:54

CentOS7.2配置Hadoop2.6.5

Hadoop配置文件/etc/profile配置Java和Hadoop环境exportJAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdkexportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportHADOOP_HOME=/usr/loc
Rest探路者·2019-01-31 14:00

在CentOS6.9搭建Spark2.4.0集群

集群架构：master：10.200.4.117（oracle02）worker1：10.200.4.116（oracle03）worker2：10.100.125.156（db01）集群已安装Hadoop2.6.5
andyguan01_2·2019-01-24 17:39

Hadoop/hbase单机测试环境搭建记录

Hadoop/hbase单机测试环境搭建记录基础设施操作系统CentOSLinuxrelease7.5.1804(Core)（vmware虚拟机）硬件1核cpu2G内存20G硬盘Hadoop版本Hadoop2.6.5HbaseHbase
菜鸟测试员lucas·2019-01-15 10:01

Hadoop2.X HA搭建

三台机器：node01,node02,node031.安装hadoop2.x进行配置修改此处为hadoop2.6.5配置hadoop-env.sh,配置jdk环境2.配置core-site.xmlfs.defaultFShdfs
Cheam22·2019-01-14 22:17

spring boot 2.1学习笔记【十二】SpringBoot 2 集成 dubbo 2.6.5

springboot系列学习笔记全部文章请移步值博主专栏**：springboot2.X/springcloudGreenwich。由于是一系列文章，所以后面的文章可能会使用到前面文章的项目。springboot系列代码全部上传至GitHub：https://github.com/liubenlong/springboot2_demo本系列环境：Java11；springboot2.1.1.REL
快乐崇拜234·2019-01-14 20:09

dubbo框架学习的问题

dubbo框架学习的问题1.usedubboversion2.6.5,pleasecheckstatusofproviders(disabled,notregisteredorinblacklist)如果抛出以下异常
衣服架子·2019-01-14 00:36

hadoop分布式集群搭建

.51cto.com/14048416/2341450hadoop分布式集群搭建：1.集群规划：2.具体步骤：（1）上传安装包，并解压到相关目录：[hadoop@hadoop01home]$putc:/hadoop-2.6.5
原生zzy·2019-01-11 12:21

SpringBoot集成dubbo

org.springframework.bootspring-boot-starter-webcom.alibaba.bootdubbo-spring-boot-starter0.2.1-SNAPSHOTcom.alibabadubbo2.6.5com.alibaba.springspring-context-support1.0.2org.apache.curatorcurator-fra
想追求完美的梦·2018-12-20 15:06

Ambari2.6.2集成Kerberos

“坑”说明如果HDP版本是2.6.5、Ambari版本是2.6.2.2，切记与Kerberos集成时，注意一下Kerberos的版本。Kerberos版本一定不能是1.15.1-18，会受伤的。
FanoLi·2018-12-18 15:02

HDP-2.6.5 & ambari-2.6.2 安装配置

安装文件列表*ambari-2.6.2.2-centos7.tar.gz*HDP-2.6.5.0-centos7-rpm.tar.gz*HDP-GPL-2.6.5.0-centos7-gpl.tar.gz*HDP-UTILS-1.1.0.22-centos7.tar.gz*jdk-8u162-linux-x64.tar.gz*apache-tomcat-8.5.27.tar.gz*mysql-co
weixin_34025151·2018-12-13 12:28

HDP-2.6.5 & ambari-2.6.2 安装配置

安装文件列表*ambari-2.6.2.2-centos7.tar.gz*HDP-2.6.5.0-centos7-rpm.tar.gz*HDP-GPL-2.6.5.0-centos7-gpl.tar.gz*HDP-UTILS-1.1.0.22-centos7.tar.gz*jdk-8u162-linux-x64.tar.gz*apache-tomcat-8.5.27.tar.gz*mysql-co
FanoLi·2018-12-13 12:28

使用dubbo调用服务

创建服务提供者1.创建服务接口并编写实现类2.导入jar包,这里使用maven导入com.alibabadubbo2.6.5io.nettynetty-all4.0.23.Finalcom.101teczkclient0.11org.apache.curatorcurator-recipes4.0.13
小梦星星·2018-12-09 11:28

CentOS 7 下安装 Python3.7.1

最近需要在机器上装awscli，需要python2.6.5+或python3.3+，python3我这边通过源码编译的方式安装。
m20082008m·2018-12-09 00:00

为 Amazon EKS 配置 kubectl

配置awscli安装awscli需要满足Python2version2.6.5+orPython3version3.3+，centos7安装python3可以参考CentOS7下安装Python3.7.1
m20082008m·2018-12-09 00:00

hadoop集群datanode、nodemanager节点下线

所以整理一下方法一、修改hdfs-site.xml文件1.在namenode节点hdfs.site中增加配置，在standby中也同时修改dfs.hosts.exclude/data/app/hadoop-2.6.5
Alex_Sheng_Sea·2018-12-05 16:47

spark sql 访问Hive数据表

测试环境hadoop版本：2.6.5spark版本：2.3.0hive版本：1.2.2master主机：192.168.11.170slave1主机：192.168.11.171代码实现针对Hive表的
苍老流年·2018-12-04 14:14

Hadoop整个MR的过程源码解析（二）-map端任务的执行

map端相对于client端就会复杂很多，里面包含了map的读入，重新赋值，输出等过程，入口为；mapTask的run方法，因为我自己使用的是2.6.5的版本所以是使用的newapi，此处需要注意的地方是
程序员小鹏·2018-11-27 20:47

【hadoop】hadoop完全分布式集群安装

装备1.hadoop-2.6.5.tar.gz2.三台服务器（虚拟机就可以）3.centos7Core服务器规划后面我就直接说名字不说IP了（192.168.31.60）master（192.168.31.61
java劝退师·2018-11-11 17:00

storm整合hdfs—将数据写到hdfs

首先介绍一下用例业务中使用的软件版本：storm1.1.0、hadoop2.6.5、zookeeper3.4.10;使用maven构建项目。
夏天小厨·2018-11-06 11:21

IDEA编写wordcount，读取hdfs文件，运行在Spark集群例子

前期：已安装好hadoop集群和spark集群，hadoop2.6.5，spark2.3.1，jdk1.8.scala2.1.0第一步：在idea编写scala程序，并且要打包（pom文件的build标签中配置好
璀璨下的一点星辰·2018-10-31 10:51

Hadoop分布式环境搭建

本笔记是个人参照林子雨老师教学文档进行撰写，详细请看厦门大学数据库实验室观看个人搭建hadoop平台实用的环境：Ubuntu14.0464位*3、JDK1.8、Hadoop2.6.5(apache)一、
Ares_song·2018-10-17 17:39

windows 下运行spark on yarn (非submit方式)

本地环境本地操作系统:windows10.1709教育版本地hadoop版本:hadoop-2.6.5本地winutils版本:hadoop2.6.4-2.6.7本地spark版本:spark-2.2.0
Tony_wei01·2018-09-14 11:44

Hadoop2.6 API文件操作总结

Hadoopdfs文件操作API官方文档当前稳定版apiHadoop2.6.5DFSAPI连接配置Configurationconf=newConfiguration();conf.set("fs.defaultFS
georgeguo·2018-08-21 19:02

Hadoop-2.6.5报错STDERR: mkdir: Cannot create directory /user/.../files. Name node is in safe mode.

使用Python的MrJob写了MapReduce任务后，运行MapReduce任务的时候报错如下：经过排查发现，这是由于hadoop刚刚启动，还处于安全模式下，因此执行MapReduce任务会报错，等待一会，待hadoop安全正常的启动后，再执行同样的任务，就正常了。如果还是报同样的错误，那么你可以离开安全模式，操作方法如下：bin/hadoopdfsadmin-safemodeleave。df
Mr_JWYang·2018-08-04 14:51

Hbase master HA使用

实验环境master：192.168.0.160slave1：192.168.0.161zookeeper：192.168.0.161hadoop版本：2.6.5主机操作系统：ubuntu-16.04HbaseHA
苍老流年·2018-07-23 11:09

hadoop单节点搭建

ssh/authorized_keys2.jdkcat/etc/profilesource/etc/profile3.hosts和hostname修改二、hadoop部署1.解压包tarxfhadoop-2.6.5
huanglongdejia·2018-07-17 23:27

hive 环境搭建

实验环境namenode:192.168.0.160datanode:192.168.0.160，192.168.0.161mysql-server:192.168.0.170hadoop版本:2.6.5hive
苍老流年·2018-07-13 01:01

hadoop HDFS机架感知

实验环境hadoop版本:2.6.5master:192.168.1.160slave1:192.168.1.161机架感知一个hadoop分布式集群会有很多的服务器，由于受到机架槽位和交换机网口的限制
苍老流年·2018-06-24 16:44

基于hadoop2.6.5搭建5个节点的分布式集群—（八）yarn配置

1.配置mapred-site.xml（默认没有mapred-site.xml文件，从mapred-site.xml.template文件复制一份，改名为mapred-site.xml就可以）2.配置yarn-site.xmlyarn.resourcemanager.connect.retry-interval.ms2000yarn.resourcemanager.ha.enabledtrueya
billyuncle·2018-06-17 16:44

基于hadoop2.6.5搭建5个节点的分布式集群—（七）安装hadoop

1、将下载好的hadoop-2.6.5.tar.gz安装包，上传至hadoop001节点中的/usr/hadoop/app目录下。2、解压安装包：tarzxvfhadoop-2.6.5.tar.gz。
billyuncle·2018-06-17 15:10

基于hadoop2.6.5搭建5个节点的分布式集群—（六）安装Zookeeper

1.将本地下载好的zookeeper-3.4.10.tar.gz安装包，上传至hadoop001节点下的/home/hadoop/app目录下；2.解压3.删除zookeeper-3.4.10.tar.gz安装包4.重命名5.修改Zookeeper中的配置文件复制一个zoo.cfg文件编辑zoo.cfg文件6、通过脚本deploy.sh将Zookeeper安装目录拷贝到其他节点上面，输入deplo
billyuncle·2018-06-16 21:15
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他