Hadoop环境搭建

HBase2.1.1 HA完全分布式集群搭建(后面降为2.0.6版本)

在搭建HBASE集群的时候需要选择合适的Hadoop版本这里使用的Hadoop2.7.7+HBase2.1.1版本进行搭建Hadoop环境搭建参考Hadoop2.7.7HA完全分布式集群搭建内网ip&主机名
Cocktail_py·2020-07-01 08:05

Hadoop环境搭建及单机、伪分布式安装问题总结（踩坑实录）

最近上了一门课，叫大数据基础，这是我第一次没有在别人的帮助下自己解决了如此多的问题，感谢百度，感谢CSDN，感谢各位大佬写的博客。我都觉得踩坑大队队长非我莫属了，怎么会有我这么笨的人，给我整懵了好了废话不多说记录一下我踩的坑。实验名称Hadoop单机配置及伪分布式安装实验环境系统环境：Ubuntu16.04.6JAVA版本：javaopenjdk1.8.0_222Hadoop版本：Hadoop3.
励志要上985·2020-06-29 04:26

hadoop环境搭建

一、安装ssh免密登录命令：ssh-keygenoverwrite(覆盖写入)输入y一路回车将生成的密钥发送到本机地址ssh-copy-idlocalhost（若报错命令无法找到则需要安装openssh-clients）yum–yinstallopenssh-clients测试免密设置是否成功sshlocalhost二、卸载已有java确定JDK版本rpm–qa|grepjdkrpm–qa|gre
weixin_30293079·2020-06-27 15:53

Spark各种模式的环境搭建及相关工作流程介绍

由于SparkonYARN是搭建在HDFS分布式环境下的，所以此处可以参考一下Hadoop环境搭建及相关组件的工作流程介绍进行环境搭建，对应的软件下载地址密码:k9ir2
小简铺子·2020-06-27 10:09

ambari离线安装以及hadoop环境搭建详细过程

一、安装环境六台相同配置的虚拟机OS:CentOSrelease6.5(Final)(x86_64)Cores(CPU):8(8)Disk:50GBMemory:8GB最好先安装自己的jdk，配置好环境变量。二、安装包下载安装包过大(最大的hdp包3GB)，虚拟机环境外网网络不稳定，在线安装太耗时，只能用制作离线源方式进行安装，so，先下载以下安装包，备用。http://public-repo-1
_delin·2020-06-23 20:23

大数据应用技术课程实践--选题与实践方案

答：选择Kaggle分析数据项目项目：房价预测（HousePrices）理由与意义：由于第一题Hadoop环境搭建困难重重，加上硬件设备需要500G+8G以上，故选择第二题。
ling9709·2020-06-23 19:00

Kylin实践（一）--Hadoop环境搭建

做了半年kylin，基本停留在操作WebUI的层面，当然，期间也遇到一些坑，但是大多是社区好心人帮忙解决的，尤其跟环境相关的，一出问题，很长时间都解决不了，现在项目的kylin服务已经完成并且对外提供服务了，有了一些基础，想更深入一点学习使用kylin，学习需要理论结合实践，生产环境肯定不能随便动了，那就自己动手搭一个环境吧。三台Centos7的虚拟机，内存8G，8核CUP，200G硬盘。10.0
紫藤庄园庄主·2020-06-23 18:45

Kylin实践（二）--Cube构建

接上篇：Kylin实践（一）--Hadoop环境搭建https://blog.csdn.net/isscici06/article/details/80624797-------------------
紫藤庄园庄主·2020-06-23 18:45

基础环境搭建（一）-CentOS7安装

基础环境搭建主要分为三部分说明：一、Linux系统安装二、VMware与Linux环境配置三、Hadoop环境搭建一、Linux系统安装>>VMware安装1、通过官网下载：https://my
canjian215215·2020-06-21 12:26

Hadoop环境搭建(centos)

Hadoop环境搭建(centos)本平台密码83953588abc配置Java环境下载JDK(本实验从/cgsrc文件中复制到指定目录)mkdir/usr/local/javacp/cgsrc/jdk
SmithBee·2020-04-22 21:00

Hadoop高可用环境搭建

在Hadoop环境搭建中，我们配置多个DataNode保证了DataNode的高可用，但是NameNode是单点的，在生产环境存在风险。
忘净空·2020-04-12 08:47

基础环境搭建（二）-CentOS网络配置

基础环境搭建主要分为三部分说明：一、Linux系统安装二、VMware与Linux环境配置三、Hadoop环境搭建二、VMware与Linux环境配置>>VMware网络配置说明：由于Linux系
canjian215215·2020-04-07 11:54

Hadoop完全分布式模式安装部署

在Linux上搭建Hadoop系列：1.Hadoop环境搭建流程图2.搭建Hadoop单机模式3.搭建Hadoop伪分布式模式4.搭建Hadoop完全分布式模式注：此教程皆是以范例讲述的，当然你可以按照教程搭建一个与教程一样的
主神·2020-04-07 01:28

(四)大数据学习之Hadoop环境搭建

1.hadoop目录结构Hadoop目录结构2.Hadoop安装准备工作：(1)安装好linux操作系统(2)关闭防火墙(3)在linux上安装JDK3.安装Hadoop(1)将Hadoop安装包拷贝到/opt/software文件目录下(2)将Hadoop安装包解压到/opt/module文件目录下命令为：tar-zxvfhadoop-2.8.4.tar.gz-C/opt/module//将ha
Movle·2020-04-05 21:12

1、Hadoop环境搭建

Hadoop有三种模式：本地模式、伪分布模式、集群模式1、本地模式1、在/opt下面创建一个software文件2、将文件hadoop-2.6.5.tar.gz拷贝到/opt/software下面3、在usr下创建hadoop把hadoop-2.6.5.tar.gz复制到/usr/hadoop下4、解压hadoop-2.6.5.tar.gz：tar-zxvfhadoop-2.6.5.tar.gz5
Tumbler_Zeng·2020-04-02 11:00

MacOS下Hadoop环境搭建

安装Homebrew是MacOs系统下一款强大的软件包管理工具，通过它可以安装git、wget等工具，同样Hadoop的安装也可以通过它来进行：brewinstallhadoop这样hadoop被安装在系统的/usr/local/Cellar/hadoop目录之下。配置hadoop安装后，提供三种运行模式：独立模式伪分布模式完全分布式以下是《Hadoop权威指南》对这三种模式的解释：Standal
AirChen·2020-03-16 23:17

"hello world" in Spark Hadoop

本文中所需初始环境请参照SparkHadoop环境搭建helloword几乎任何编程语言都会提供一个“hello,world”示例程序，算是编程文档中的标配了，来源参见维基百科词条"helloworld
odirus·2020-03-05 03:37

Hbase完全分布式安装指南

集群规模前期准备工作1.java环境安装2.修改hosts文件3.ssh无密码登陆设置4.关闭防火墙serviceiptablesstopchkconfigiptablesoffHadoop环境搭建HBase
SnorlaxSE·2020-03-04 04:35

Hadoop环境搭建

开始正式搭建Hadoop环境，之所以分开写，也是便于阅读及以后参考。Hadoop环境的搭建过程中，需要配置几个XML文件，接下来简单介绍下这几个XML文件的作用core-site.xml主要配置NameNode的一些信息，主要属性如下：fs.defaultFShdfs://nshadoop.tmp.dir/usr/local/hadoop/hdpdata/需要手动创建hdpdata目录ha.zoo
发光如星_275d·2020-02-23 15:12

hadoop环境搭建（hadoop，hbase，zookeeper分布式部署）

硬件环境：两台服务器：192.168.1.110（master）192.168.1.129（slave1），兼容内外网centos7.1cpu2G磁盘100G软件环境：jdk1.8.131hadoop3.1.2hbase1.4.9zookeeper部署步骤：1，查看是否安装jdk，因为安装centos6以上自带安装jdk，所以先检查jdk版本#rpm-qa|grepjava或#rpm-qa|gre
性感的人字拖·2020-02-07 09:01

hadoop学习摘要

参考链接：https://www.zhihu.com/question/333417513https://www.oschina.net/p/hbasehadoop环境搭建：https://blog.csdn.net
飞飞兔·2020-01-18 18:00

大数据平台hadoop分布式集群搭建(单机、集群、基于zookeeper高可用)

hadoop环境搭建，初始如果只有一台可用server虚拟机可单台搭建hdfs环境。生产环境hdfs环境大都采用基于zookeeper实现的高可用集群环境搭建。
zwb_jianshu·2020-01-07 02:01

大数据之Hadoop环境搭建

Hadoop由GNU/Linux平台及其版本支持。因此，我们必须安装一个Linux操作系统来设置Hadoop环境。如果您有除Linux以外的操作系统，您可以在其中安装Virtualbox软件，并在Virtualbox内部安装Linux。安装前设置在将Hadoop安装到Linux环境之前，我们需要使用ssh（SecureShell）来设置Linux。按照以下步骤设置Linux环境。创建用户在开始时，
大数据基础入门教程·2019-12-29 13:20

Flink从入门到上手企业开发 Flink流处理用户画像系统教程 flink详细教程 博客园 flink教程下载

课程介绍课时2:项目价值说明课时3:项目架构讲解课时4:数据来源说明课时5:静态信息和动态信息说明课时6:用户画像之还原真实场景表结构定义讲解课时7:用户画像之flink画像分析模块项目构建课时8:用户画像之hadoop
最优秀的coder·2019-12-27 13:28

总体计划 -- Whatever It Takes

2横向项目：tensorflow，写文章深度学习、神经网络、人脸识别基于CNN的推荐算法优化3找工作，这个是二类事物Java基础、算法、数据结构、4毕业论文：Hadoop+Spark+推荐算法Hadoop
艾剪疏·2019-12-23 07:39

大数据平台hadoop分布式集群搭建(单机、集群、基于zookeeper高可用)

hadoop环境搭建，初始如果只有一台可用server虚拟机可单台搭建hdfs环境。生产环境hdfs环境大都采用基于zookeeper实现的高可用集群环境搭建。
enjoy_muming·2019-12-22 04:36

Flink从入门到上手企业开发 Flink流处理用户画像系统教程 flink详细教程 博客园 flink教程下载

课程介绍课时2:项目价值说明课时3:项目架构讲解课时4:数据来源说明课时5:静态信息和动态信息说明课时6:用户画像之还原真实场景表结构定义讲解课时7:用户画像之flink画像分析模块项目构建课时8:用户画像之hadoop
java20192019·2019-12-07 02:08

hbase环境搭建

可在apache官网下载hbase安装包本文档hbase版本为2.1.7，可与2.8.5版本hadoop适配，请提前安装兼容版本hadoophadoop环境搭建本文档hbase版本为2.1.7，可与3.4.14
普度众生的面瘫青年·2019-10-31 13:19

hadoop环境搭建

可在apache官网下载hadoop安装包本文档hadoop版本为2.8.5，可与2.1.7版本hbase适配请提前安装java环境，建议jdk1.8版本本环境主机名为test01，配置在/etc/hostname中，以下内容中出现的test01，可替换为实际的hostname安装至/usr/local/hadoop解压下载的压缩包至/usr/local/hadooptar-xzvfhadoop-
普度众生的面瘫青年·2019-10-31 12:27

Hadoop环境搭建cdh版本

hadoop环境搭建单机（cdh版本）1.下载安装包下载地址http://hadoop.apache.org/下载hadoop-2.6.0-cdh5.12.22.安装tar-zxvfhadoop-2.6.0
不鼓自鸣·2019-08-28 09:48

Hadoop环境搭建过程中遇到的问题及解决方法

1.启动hadoop之前，ssh免密登录slave主机正常，使用命令start-all.sh启动hadoop时，需要输入slave主机的密码，说明ssh文件权限有问题，需要执行以下操作：1）进入.ssh目录下查看是否有公钥私钥文件authorized_keys、id_rsa、id_rsa.pub2）如果没有公钥私钥文件，则执行ssh-keygen-trsa生成秘钥（master主机和slave主机
小丑鱼·2019-08-05 16:40

大数据开发Hadoop环境搭建简单记录流程（伪分布式的）

参考：https://blog.csdn.net/hliq5399/article/details/78193113https://www.bilibili.com/video/av15390641/?p=61.安装VMware，下载centOS镜像文件2.创建一个虚拟机，启动虚拟机，更改网络模式为net，并配置ipv4，用外面的CRT进行连接3.由于开太多图形界面影响性能，需要配置开机时为命令模
lijieling123·2019-07-29 13:05

超详细的Hadoop环境搭建（Ubuntu18.04.2）

本文共分为三个部分第一部分：Linux环境安装Hadoop运行在Linux环境中，虽然借助工具也可以部署在Windows上，但是还是建议在Linux环境中进行部署，第一部分将简单介绍Linux环境的安装、配置、JDK安装第二部分：Hadoop本地模式安装Hadoop本地模式只能用于本地的开发和调试，如果想要快速体验一下Hadoop，本地模式是我们的不二选择第三部分：Hadoop伪分布式模式配置Ha
Andrew_Lii·2019-07-19 21:20

后端架构师技术图谱(六)-基础架构

Hadoop《用通俗易懂的话说下hadoop是什么,能做什么》《史上最详细的Hadoop环境搭建》HD
咪雅先森·2019-06-26 10:40

Hadoop环境搭建

1新建一个用户useraddhadooppasswdhadoop2要有java环境3关闭防火墙serviceiptablesstop4.tar-zxvf解压hadoop.tar5配置5.1配置JAVA_HOMEcdhadoop/hadoop-env.sh如何知道JAVA_HOME:echo$JAVA_HOME5.2配置core-site.xmlhdfs-site.xmlmapred-site.xm
许进进·2019-06-12 19:51

从头开始搭建 hadoop

所有参考网址均给出链接请自行点击主要参考史上最详细的Hadoop环境搭建https://blog.csdn.net/hliq5399/article/details/78193113第一部分：Linux
lxy6520177·2019-06-11 13:32

【大数据----Hadoop】CDH版Hadoop环境搭建

1.下载组件首先去CDH网站上下载hadoop组件地址：http://archive.cloudera.com/cdh5/cdh/5/注意版本号要与其他的组件CDH版本一致2.环境配置设置主机名和用户名配置静态IP配置SSH免密登录配置JDK3.配置HADOOP1.新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行useradd-mhadoop-s/bin/bashpa
Sunny3096·2019-06-06 08:51

Docker中Hadoop环境搭建

使用腾讯云主机，docker构建集群测试环境。环境1、操作系统：CentOS7.264位网路设置hostnameIPcluster-master172.18.0.2cluster-slave1172.18.0.3cluster-slave2172.18.0.4cluster-slave3172.18.0.5Docker安装curl-sSLhttps://get.daocloud.io/docker
coolwxb·2019-06-05 00:00

hadoop环境搭建

环境准备安装Java环境，zookeeper环境，修改/etc/hosts文件node1ip地址1node2ip地址2node3ip地址3node4ip地址4关闭防火墙，关闭selinux，并确定防火墙状态,打开selinux文件，修改SELINUX=disabledsystemctlstopfirewalldsystemctldisabledfirewalldsystemctlstatusfir
奈文杰·2019-04-26 16:34

Flink从入门到上手企业开发 Flink流处理用户画像系统教程 flink详细教程 博客园 flink教程下载

课程介绍课时2:项目价值说明课时3:项目架构讲解课时4:数据来源说明课时5:静态信息和动态信息说明课时6:用户画像之还原真实场景表结构定义讲解课时7:用户画像之flink画像分析模块项目构建课时8:用户画像之hadoop
斜杠程序员·2019-04-19 00:00

hadoop分布式部署（转载）--贼靠谱

原文地址：https://blog.csdn.net/sjmz30071360/article/details/798890551.集群搭建形式Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、
Ace_Wang·2019-04-08 16:20

果子 基于Flink流处理的动态 用户画像

01课程介绍.mp402项目价值说明.mp4`03项目架构讲解.mp404数据来源说明.mp405静态信息和动态信息说明.wmv07用户画像之flink画像分析模块项目构建.wmv08用户画像之hadoop
a18998154627·2019-03-19 00:00

Hadoop环境搭建----（Hive安装与配置）

下载地址http://mirror.bit.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz解压到/data/hadoop/apache-hive/修改配置文件cd/data/hadoop/apache-hive/conf/cphive-env.sh.templatevimhive-env.sh#添加hadoop变量exportH
打卤·2019-03-18 15:54

Hadoop在Windows10下的安装及简单操作

Hadoop环境搭建准备工作：首先从网站https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Coding_Ann·2019-03-12 17:17

Hadoop在Windows10下的安装及简单操作

Hadoop环境搭建准备工作：首先从网站https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Coding_Ann·2019-03-12 17:17

HDFS，Hive，Yarn的定义及环境搭建

Hadoop环境搭建1)下载Hadoop'''importjava.util.
阿呆33168·2019-01-19 23:37

大数据之hadoop 环境搭建从零开始——WordCount词频计数入门实战训练

这里的前提是要先安装一个干净的CentOS系统，我这里用的是CentOS6.6，安装教程参考另一篇博客：https://blog.csdn.net/gaofengyan/article/details/85054337目录hadoop
高风言·2019-01-04 22:53

Hadoop环境搭建与入门实例

1目的及要求基于Hadoop平台，实现广度优先搜索(BFS)的Mapreduce算法找到图中两个点的最短路径。给定一个图（采用邻接列表输入文件格式：源节点ID，相邻节点ID，源节点到相邻节点的距离），基于MapReduce的方式，采用广度优先搜索(BFS)找到两个顶点的最短距离。2实验环境本实验基于虚拟机环境，所采用的软件及其版本如下：虚拟机软件：OracleVirtualBox5.2.6虚拟机操
doubleXnine·2019-01-03 20:36

hadoop环境搭建预备

lz也是刚开始学习hadoop，整理了一下环境的搭建，这一篇先将预备环境搭建出来。虚拟机配置首先搞出来五台虚机，lz使用的是centos6.9版本64位的。配置一下五台虚机的hosts,方便以后操作 vim/etc/hosts //增加下面五行配置。ip自行处理 192.168.146.132node1 192.168.146.133node2 192.168.146.134node3 192.1
翻滚啊牛宝宝·2018-12-01 00:00

史上最详细的Hadoop环境搭建

GitChat作者：鸣宇淳原文：史上最详细的Hadoop环境搭建关注公众号：GitChat技术杂谈，一本正经的讲技术【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础
zh_250·2018-11-13 10:35
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他