Hadoop2

Flink集群部署详细步骤

我集群环境是hadoop2.6，Scala2.11版本的，所以下载的是：flink-1.3.1-bin-hadoop26-scala_2.11.tgz。
稻草一根·2020-08-18 13:08

SparkSQL代码笔记03——连接hive

一、使用内置hiveps:需要注意内置hive是非常容易出现问题的1.先启动集群/opt/software/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh2.进入到
嘉平11·2020-08-18 12:28

Maven中同时使用CDH 的hive与ElasticSearch(ES) 内部依赖的netty jar冲突的问题

2、pom文件中引用的hive及ES如下org.springframework.dataspring-data-hadoop2.5.0.RELEASEorg.apache.hadoophadoop-common2.6.0
yushuai_IT·2020-08-18 12:17

Hadoop MapReduce 读写Elasticsearch

Elasticsearch-Hadoop的GIT项目地址如下：https://github.com/elastic/elasticsearch-hadoop2
宇毅·2020-08-18 12:23

Spark On Yarn 部署与配置

开始安装部署spark1.编辑spark-env.sh我的配置：exportSPARK_HOME=/home/hadoop/spark-2.4.3-bin-hadoop2.7exportSCALA_HOME
CCWeiXiao·2020-08-18 12:30

hadoop2.6数据导入elasticsearch2.2（解析hbase导出数据）

参考网址：https://www.elastic.co/guide/en/elasticsearch/hadoop/current/mapreduce.html1.下载依赖jarelasticsearch-hadoop2.2.0
willwill1101·2020-08-18 12:25

CentOS7搭建flink1.6与消费kafka操作

写在最前，本次环境搭建是在Hadoop2.6.1，三节点的基础上完成的。
ChanKamShing·2020-08-18 12:22

【已解决】Hive启动后报错：FAILED: LockException [Error 10280]: Error communicating with the metastore

centos7+hadoop2.6.5+hive1.2.2+mysql5.7.26记录采坑过程！
神是念着倒·2020-08-18 12:16

nginx安装，make install报错： cannot create regular file启动报错find: “/lost+found”: 权限不够/opt/module/pcre-8.37

1.0.1t.tar.gz|zlib-1.2.8.tar.gz|nginx-1.11.1.tar.gz下载地址:http://nginx.org/download/nginx-1.4.2.tar.gz2.解压[cevent@hadoop213
cevent·2020-08-18 12:10

flume多路复用/故障转移/负载均衡/日志聚合

一、多路复用（1）conf配置[cevent@hadoop207~]$cd/opt/module/apache-flume-1.7.0/[cevent@hadoop207apache-flume-1.7.0
cevent·2020-08-18 12:10

HIVE-DDL数据操作、分区、二级分区、联合查询、创建、修改、更换表列

1.启动dfs、yarn、hiveserver2[cevent@hadoop207~]$cd/opt/module/hadoop-2.7.2/[cevent@hadoop207hadoop-2.7.2]
cevent·2020-08-18 12:09

（转）yarn 集群部署，遇到的问题小结

link：http://blog.csdn.net/uniquechao/article/details/26449761版本信息：hadoop2.3.0hive0.11.01.ApplicationMaster
weixin_33743703·2020-08-18 12:33

hbase 二级索引实现

环境：hadoop2.2+hbase0.94不过同样应该适用于hadoop2.4及hbase0.985，未测试二级索引可以对单个表建立索引，也可以全局建立索引，也就是对所有表：1.全局建立索引，可以修改
王树民·2020-08-18 12:29

linux下创建用户、用户组及赋予sudoer权限

1创建用户组hadoopgroupaddhadoop2创建用户hadoop并添加进用户组hadoopuseradd-d/home/hadoop-ghadoop-s/bin/bash-mhadoop其含义如下
victorwjw·2020-08-18 12:50

shark 0.9.1 整理安装笔记

一安装环境：组件的版本：hadoop：2.3.0spark：0.9.0shark：0.9.1-hadoop2hive：0.11.0jdk：orcalHotSpot1.7.0_55（ps：特别注意jdk1.6
uniquechao·2020-08-18 12:17

Flink 1.4.2的安装

依赖需求Java1.8.0Scalacoderunnerversion2.11.2Hadoop2.7配置安装首先解压安装包flink-1.4.2-bin-hadoop27-scala_2.11.tgz[
u4110122855·2020-08-18 12:16

阿里云搭建集群的过程记录（一）

参考网址：1、http://www.bcmeng.com/hadoop-zookeeper-hbase/（阿里云ECS的Hadoop2.6.0|Zookeeper3.4.6|Hbase0.98.13集群搭建
Mr.Jansor·2020-08-18 12:39

基于Centos6.5搭建Flink集群

1、准备环境1.1节点环境#系统版本cat/etc/redhat-releaseCentOSrelease6.5(Final)#hadoop版本hadoopversionHadoop2.7.3.2.5.3.0
寻找手艺人·2020-08-18 12:26

Hadoop Yarn内存使用优化配置

第一部分HadoopYarn内存使用优化配置在Hadoop2.0中,YARN负责管理MapReduce中的资源(内存,CPU等)并且将其打包成Container.这样可以精简MapReduce,使之专注于其擅长的数据处理任务
cz-神算子·2020-08-18 11:10

在Ambari上用rest提交Spark到Yarn上

系统JDK版本：jdk1.8.0_66HDP版本：2.4.2.0-258Hadoop版本：Hadoop2.7.1.2.4.2.0-258Spark版本：1.6.0.2.4前期准备/usr/hdp/2.4.2.0
洪荒或有仙·2020-08-18 11:08

解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

用idea在Windows7，hadoop2.6.1的环境下编写简单的map测试时编译后出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(
ruanmianmian1·2020-08-18 11:05

Flink的安装部署

Standalone集群安装1.上传安装包到linux系统使用rz命令/winscp2.解压tar–zxvfflink-1.5.0-bin-hadoop24-scala_2.11.tgz3.修改配置文件
Ta-ttoo·2020-08-18 11:50

JanusGraph之使用总结

JanusGraph的安装及使用a.下载地址：https://github.com/JanusGraph/janusgraph/releases/b.unzipjanusgraph-0.3.1-hadoop2
一杯儿·2020-08-18 11:25

Linux7 下 Flink 环境搭建

起步准备好两个源文件，flink二进制文件，以及jdk文件，自行百度下载，下载后上传到linux服务器home目录下，安装步骤如下flink-1.3.1-bin-hadoop2-scala_2
晴_空·2020-08-18 11:08

hadoop2.x-hdfs写流程

写流程Hdfsclient:DistributedFileSystem.create()创建空文件-->ClientProtocol.create()Namenode:文件系统目录树中指定路径下添加新文件操作记录到editlogHdfsclient:HdfsDataOutputStream->DFSOuputStreamfor循环：ClientProtocol.addBlock()向Namenod
小蜗牛也有梦想·2020-08-18 11:31

YARN 初识

ApacheYARN(YetAnotherResourceNegotiator，另一个资源协调者)是Hadoop的集群资源管理系统，它从Hadoop2.0版本开始被引入，主要是为了改进MapReduce
qiruiduni·2020-08-18 11:57

hbase 二级索引实现

环境：hadoop2.2+hbase0.94不过同样应该适用于hadoop2.4及hbase0.985，未测试二级索引可以对单个表建立索引，也可以全局建立索引，也就是对所有表：1.全局建立索引，可以修改
mllhxn·2020-08-18 11:38

SparkStreaming之基本数据源输入

环境：Redhat5.564位（我这里的Linux版本有点低，你可以再高一些）spark-1.6.3-bin-hadoop2.6scala-2.10.6jdk-8u91-linux-x64开发工具：scala-SDK
小强签名设计·2020-08-18 11:59

hbase通过mapreduce进行数据导入迁移报错

执行hbase/lib包下面的hbase-server-0.98.6-hadoop2.jar这个jar包里面有些类可以供我们直接使用。例如：CellCou
lsr40·2020-08-18 11:50

eclipse或STS运行maven工程出现Missing artifact jdk.tools:jdk.tools:jar:1.7问题

最近项目中使用到大数据平台，代码中应用了hbase-client.0.98.6-hadoop2.jar包，该包中引用了jdk.tools.1.7，所以导致eclipse中pom.xml老是提示Missingartifactjdk.tools
波波happy·2020-08-18 11:48

yarn 集群部署，遇到的有关问题小结

yarn集群部署，遇到的有关问题小结优良自学吧提供yarn集群部署，遇到的有关问题小结,yarn集群部署，遇到的问题小结版本信息：hadoop2.3.0hive0.11.01.ApplicationMaster
iteye_19679·2020-08-18 11:31

0073 spark streaming从端口接受数据进行实时处理的方法

一，环境Windows_x64系统Java1.8Scala2.10.6spark1.6.0hadoop2.7.5IDEAIntelliJ2017.2nmap工具（用到其中的ncat命令，对应Linux中的
gendlee1991·2020-08-18 11:05

MRv1到MRv2

MRv1是Hadoop1中的MapReduce，MRv2是Hadoop2中的MapReduce。
jiewuyou·2020-08-18 10:41

Centos7下的Filnk集群部署

装JDK的过程不再赘述采用源码安装，直接解压在/etc/profile中写入PATH即可1.下载flink-1.7.1-bin-hadoop27-scala_2.11.tgz2.解压tar-zxvfflink
綮地·2020-08-18 10:32

Flink高可用集群搭建

部署flink的准备工作flink版本的选择需要考虑hadoop的版本，本集群hadoop的版本为2.7.4,flink的版本为flink-1.7.2-bin-hadoop27-scala_2.11.tgzflink
CCWeiXiao·2020-08-18 10:38

CentOS7搭建flink1.6

写在最前，本次环境搭建是在Hadoop2.6.1，三节点的基础上完成的。
weixin_30480583·2020-08-18 10:24

yarn 集群部署，遇到的问题小结

版本信息：hadoop2.3.0hive0.11.01.ApplicationMaster无法访问点击applicationmater链接，出现http500错误，java.lang.Connect.exception
uniquechao·2020-08-18 10:48

elasticsearch创建快照、恢复快照

（一）准备工作环境：elasticsearch5.6.3&repository-hdfsplugincentos7jdk1.8hadoop2.7.2配置hadoop环境，后续可通过浏览器查看hadoop
ok0011·2020-08-18 10:57

一起了解YARN的架构及原理

3）不支持MapReduce之外的计算框架，比如Storm、Spark、Flink什么是YARNYARN是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。
菜鸟级的IT之路·2020-08-18 10:36

大数据技术栈速览之：YARN

在Hadoop2.0及后续版本中，MapReduce的调度部分被外部化并重新编写为名为Yarn的新组件，但Yarn执行调度与Hadoop上运行的任务类型无关，Yarn可在Hadoop上执行除MapReduce
itbgj·2020-08-18 10:49

Windows 搭建 Spark

Windows中Spark环境搭建环境：Win10+Java(1.8.0_231)+Scala(2.12.10)+Hadoop(2.7.7)+Spark(spark-2.4.4-bin-hadoop2.7
XzzF1024·2020-08-18 08:26

5 centos 6.10 三节点安装apache hadoop 2.9.1

Hadoop版本：apachehadoop2.9.1JDK版本：OracleJDK1.8集群规划master（1）：NN，RM，DN，NM，JHSslave1（2）：DN，NMslave2（3）：DN，
weixin_30569033·2020-08-18 04:45

kettle 7.0导数据hbase1.2.7 （测试）

wiki.pentaho.com/display/BAD/Loading+Data+into+HBase1、kettle连接hadoop问题kettle有对应的hadoop版本，kettle7.0默认是对应的hadoop2.4
星宫社·2020-08-17 23:48

CentOS 6.5 hadoop 2.7.3 集群环境搭建

CentOS6.5hadoop2.7.3集群环境搭建所需硬件，软件要求使用virtualbox构建三台虚拟机模拟真实物理环境操作系统：CentOS6.5主机列表：masterip:192.168.3.171slave1ip
Level_Meng·2020-08-17 23:59

VirtualBox下 Centos6.10+Hadoop2.6集群搭建 Windows客户端搭建

1Centos下载安装Centos镜像下载地址https://www.centos.org/download/我选择的是DVD版本在VitrualBox里面新建一个虚拟机硬盘给了10G，其他属性默认，开机，选择启动盘，把下载好的镜像放入，开始安装趁安装的时候，在虚拟机上面视图，调成自动缩放模式，如果发现鼠标不见了，按一下键盘右边（注意是右边）的Ctrl，安装的时候根据提示操作，最后的安装进度条安装
阿团团·2020-08-17 23:40

apache avro 简介

并且相同数据量下序列化后的数量较大影响机器之间的传输速度c)rpc数据序列化在Hadoop圈子中比较出名的两个工具：apacheavro和google的protocolbuffer前者在Hadoop1中使用到，后者在Hadoop2
iteye_3893·2020-08-17 22:11

Hadoop完全分布式集群搭建手记（CentOS6.7+Hadoop2.6手把手胸贴胸详细版）

车厢上画着陈旧的火焰看看它机器的脸车厢上画着陈旧的火焰看看它脸上的时间陈旧的草被台阶切断她微微向后看着——顾城《蝗虫》Part0笔者从一个Linux小白的角度来讲述亲身经历安装Hadoop的全过程。虽说网上教程是有许多的，但是总感觉或因版本问题或因作者互抄不负责的原因，许多需要强调的细节并没有讲清楚。笔者自己在安装的过程中，由于对Linux不熟悉的原因还是踩了许多坑的，因此把整个过程分享出来。首先
薛定谔的死猫·2020-08-17 18:17

centos7 下部署hadoop2.7.6 完全分布式(或伪分布式) 2台云主机部署

一直反复研究hadoop的安装，之前都是百度的各种博客，跟着部署伪分布式，由于自己只有2台渣渣云服务器，所以一直想对原理稍微理解一点，能够在2台机器上部署，目前对部署终于小有收货，记录下来，以便后续继续部署,下面是在虚拟机的部署过程。下面附上2篇参考博客，都说的很详细，很好。多台机部署，其实每台机的配置都是一样的。所以先部署号一台机，后面分发就可以了。1、https://blog.csdn.net
湛蓝丶·2020-08-17 17:49

Linux安装hadoop

前提：下载hadoop2.8.5wget下载hadoop，或如果是虚拟机，也可以使用sftp从windows上传hadoop文件wget-P/home/cent/Downloadshttps://mirrors.tuna.tsinghua.edu.cn
yangtom249·2020-08-17 17:20

spark-2.4.4完全分布式搭建

下载sparkwgethttp://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz
小小白@·2020-08-17 17:33
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他