Hadoop环境搭建

hadoop学习---运行第一个hadoop实例

hadoop环境搭建好后，运行第wordcount示例1.首先启动hadoop：sbin/start-dfs.sh,sbin/start-yarn.sh（必须能够正常运行）2.进入到hadoop的安装目录下
池小白·2020-08-10 22:34

hadoop环境搭建过程中遇到Unable to load native-hadoop library for your platform

hadoop环境搭建完成后，在执行hadoopfs-ls命令的时候，系统报了一个错：17/02/1907:28:58WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform
CapitalZ·2020-08-10 12:37

【环境搭建】CDH版Hadoop环境搭建

1.下载组件首先去CDH网站上下载hadoop组件地址：http://archive.cloudera.com/cdh5/cdh/5/注意版本号要与其他的组件CDH版本一致2.环境配置设置主机名和用户名配置静态IP配置SSH免密登录配置JDK3.配置HADOOP1.新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行useradd-mhadoop-s/bin/bashpa
weixin_34356310·2020-08-09 00:44

Hadoop环境搭建之伪分布式运行模式

一、hadoop伪分布式运行模式介绍在一台主机模拟多主机。Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程。在这种模式下，Hadoop使用的是分布式文件系统，各个作业也是由JobTraker服务，来管理的独立进程。在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其
火成哥哥·2020-08-08 01:24

[Hadoop学习]Esri/gis-tools-for-hadoop介绍

上一篇，我们已经将Hadoop环境搭建好了，今天我们就根据Esri提供的gis-tools-for-hadoop来切身体会一下Hadoop的工作原理以及Hadoop与GIS的初次约会。
积思园·2020-08-04 15:10

Spark+Hadoop环境搭建

一、工具下载：1、spark下载目前最新的是2.1.1，spark2.0开始api和之前的还是有比较多的变化，因此如果选择2.0以上版本，最好看一下api变化，下载地址：http://spark.apache.org/downloads.html2、hadoop下载目前最新的hadoop版本已经到了3.0了，可以根据你的选择需要的版本，下载地址：https://dist.apache.org/re
PRIMEZPY·2020-08-04 10:46

Hadoop环境搭建----（利用ZooKeeper搭建Hadoop的HA集群）

1、安装Zookeeper集群具体安装步骤参考之前的文档https://blog.csdn.net/liyyzz33/article/details/886895942、安装hadoop集群具体安装步骤参考之前的文档https://blog.csdn.net/liyyzz33/article/details/88397249这只需要根据以上安装好的集群进行修改配置3、修改hadoop集群修改cor
打卤·2020-08-03 19:39

【菜鸟窝】Hadoop生态系统、Hadoop虚拟机环境准备、Hadoop环境搭建（含安装包和教程）

hadoop环境搭建视频:https://www.cniao5.com/course/lessons/102441.1Hadoop简介1.1.1Hadoop的诞生Hadoop是由ApacheLucene
Bella人工智能爱好者·2020-08-03 15:32

Hadoop学习之路——安装准备

Hadoop环境搭建设备准备篇目录Hadoop环境搭建设备准备篇一、虚拟机环境准备1、工具准备2、安装虚拟机3、克隆，并修改虚拟机配置一、虚拟机环境准备学习了一段时间大数据相关的知识，突发奇想想要开个博客来与更多的同行交流学习
淮南亦生橘·2020-08-03 12:03

搭建大数据平台系列(0)-机器准备

目前本系列文章有：搭建大数据平台系列(0)-机器准备搭建大数据平台系列(1)-Hadoop环境搭建[hdfs,yarn,mapreduce]搭建大数据平台系列(2)-zookeeper环境搭建搭建大数据平台系列
抹布先生M·2020-07-31 19:17

HADOOP集群搭建实战

参考《史上最详细的hadoop环境搭建》https://blog.csdn.net/hliq5399/article/details/78193113参考《单机部署》https://www.cnblogs.com
chongjiapi1753·2020-07-30 19:37

hadoop环境搭建

1.下载Cygwin(略)2.安装Cygwin(略)3.安装ssh,这里在安装Cygwin的时候，选择cur,再在左边框内输入"ssh"搜索出选项，然后点击框内的default改为instant,这样就会安装ssh.然后安装结束.4.免登陆ssh设置*.$ssh-keygen-tdsa#生成dsa密匙.[无需用户名密码]*.cat~/.ssh/id_dsa.pub>>~/.ssh/authoriz
a1000005aa·2020-07-27 18:04

Hadoop环境搭建及相关组件的工作流程介绍

1前言本篇博客主要是记录Hadoop环境配置包括单机伪分布环境搭建，分布式环境搭建和Hadoop相关组件的工作流程介绍，包括HDFS读写流程，YARN的资源调度流程，MapReduce工作流程。建议先理解各个组件的工作流程，再去配置环境会更容易理解。2Hadoop单机伪分布配置说明：Windows的上一台虚拟机VM,系统Centos6.5,系统用户zkpk,超级用户roota.配置主机名(root
小简铺子·2020-07-27 13:16

Hadoop环境搭建

更改主机名hostnamectlset-hostnamemaster配置host192.168.1.88master配置主机名与ip的映射关系hadoop伪分布式安装软件安装目录：/usr/local/hadoop-2.6.2/解压tar-zxvf/home/afei/hadoop-2.6.2.tar.gz-C/usr/local/配置环境变量[root@masterbin]#vi/etc/pro
这最后微笑是美丽·2020-07-16 05:22

史上最详细的Hadoop环境搭建,从0开始，图解全部过程

Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。第
此id已存在·2020-07-15 11:55

大数据-Hadoop环境搭建

2：环境搭建在Hadoop具体开始前,先来搭建一下环境创建虚拟机安装虚拟机VMWare创建虚拟机安装CentOS组成集群配置每台主机关闭防火墙关闭SELinux设置主机名重启设置时钟同步服务配置用户权限免密登录安装辅助软件JDKZookeeper安装Hadoop下载并解压修改配置分发到每个节点格式化HDFS启动集群创建虚拟机1：通过ISO镜像安装2:直接复制安装好的虚拟机注意事项：windows
cwl_java·2020-07-15 07:01

Hadoop环境搭建实验

一、准备工作master:172.17.24.56slave1:172.17.24.183slave2:172.17.24.184slave3:172.17.24.185修改主机名时间同步修改/etc/hosts,通过主机名相互ping通ssh无密钥登录在master上配置ansible二、环境搭建1.四台机器添加hadoop账号useraddhadoopecho"123456"|passwd--
长鼻子的蘑菇小象·2020-07-15 06:27

大数据学习系列之一 ----- Hadoop环境搭建(单机)

一、环境选择1，服务器选择阿里云服务器:入门型(按量付费)操作系统:linuxCentOS6.8Cpu：1核内存：1G硬盘:40Gip:39.108.77.2502，配置选择JDK:1.8（jdk-8u144-linux-x64.tar.gz）Hadoop:2.8.2(hadoop-2.8.2.tar.gz)3，下载地址官网地址:JDK：http://www.oracle.com/technetw
weixin_34302561·2020-07-15 05:06

HBase环境搭建

首先确保已经安装Hadoop，Hadoop的安装请参考Hadoop环境搭建安装软件HBase下载地址HBase官网下载解压安装HBasetar-zxvfhbase-1.2.5-C..
忘净空·2020-07-15 04:08

Hadoop的基本配置及HDFS的简单使用

软件存放目录/home/hadoop/app软件安装目录/sofWare软件安装包Hadoop环境搭建1）下载Hadoophttp://archive.cloudera.com/cdh5/cdh/5/hadoop
王大涛·2020-07-15 02:13

hadoop环境搭建

安装jdk#查看java的安装包yum-ylistjava*#安装openjdk8yum-yinstalljava-1.8.0-openjdk*环境配置安装完成后，javacjava可正常使用#备份mv/etc/profile/etc/profile.bak#编辑vim/etc/profile##openjdk的安装位置在/usr/lib/jvm#追加exportJAVA_HOME=/usr/li
韦轩·2020-07-15 01:41

Hadoop完全分布式集群搭建（2.9.0）

1.集群搭建形式Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式单机模式——在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。
sjmz30071360·2020-07-14 22:31

Spark之路：（一）Scala + Spark + Hadoop环境搭建

一、Spark介绍Spark是基于内存计算的大数据分布式计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。1.提供分布式计算功能，将分布式存储的数据读入，同时将任务分发到各个节点进行计算；2.基于内存计算，将磁盘数据读入内存，将计算的中间结果保存在内存，这样可以很好的进行迭代运算；3.支持高
sage_wang·2020-07-14 22:04

Hadoop 分布式集群搭建

关于本文中的hadoop环境搭建，也是在网上参考各路大神前辈的博文，以及整理自己在搭建过程中遇到问题；下一步计划就是开始利用搭建好的h
爱吃土豆的土豆君·2020-07-14 20:54

大数据——Hadoop集群的搭建

hadoop环境搭建注：三个重要网址hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop官方网址：hadoop.apache.orghadoop
BHBshy·2020-07-14 19:27

【绝对有效，从头开始自己一步一步测试的】CentOs 8.0 下安装Hadoop环境搭建

CentOs8.0下安装Hadoop在Linux系统下安装Hadoop环境具体流程：1.首先安装javajdk1.8有两种方法：安装Oracle的jdk（相对复杂）；安装OpenJDK（相对简单，我安装的是这种）;这两种jdk的区别，给个链接大家去看https://www.php.cn/java-article-415831.html安装OpenJDK一个命令就搞定[root@localhost/
不堪沉沦·2020-07-14 19:22

大数据之hadoop环境搭建笔记

文章目录1.环境选择2.搭建过程2.1java环境2.2hadoop配置2.3其他配置2.3.1修改host2.3.2关闭防火墙2.3.3克隆虚拟机2.3.4SSH免密登陆2.4启动1.环境选择操作系统：centos7.2hadoop2.7.6jdk1.8_1442.搭建过程首先将下载的压缩包解压到对应的目录，使用命令：tar-zxvf[文件名]-C[解压位置]2.1java环境1.配置java环
结巴分词·2020-07-14 12:11

Hadoop环境搭建之zookeeper安装

Hadoop环境搭建一、预备知识1.大数据导论1.1大数据概念大数据（bigdata），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量
Imflash·2020-07-14 04:26

Hadoop环境搭建

目录零、码仙励志一、百度云下载需要的软件二、安装VM三、VM网络设置四、安装CentOS7五、master网络配置六、从master克隆slave0和slave1七、slave0和slave1网络配置八、同步时间九、Xshell5的安装与使用1.Xshell5的作用2.Xshell5的安装3.Xshell5的使用十、Xftp5的安装与使用1.Xftp5的作用2.Xftp5的安装3.Xftp5的使用
码仙♥·2020-07-14 02:52

hadoop自学日记--1.单机hadoop环境搭建

hadoop自学日记–1.单机hadoop环境搭建前言本人大数据小白，从头开始学大数据技术，记录学习过程，自我鞭策。大数据特点volume（大量的），即数据量大。
aladdin_sun·2020-07-14 02:58

大数据必备——Hadoop环境搭建

Hadoop环境搭建1.环境准备1.1配置静态ip1.2配置主机映射1.3在/opt下创建两个文件夹，software，install1.4免密登陆1.5安装jdk2.安装Hadoop2.1本地模式安装
@哇咔咔·2020-07-14 01:19

Hadoop环境搭建(单机)

一、环境准备操作系统：CentOS-6.5-x86_64-minimal.iso安装包：百度云：系统安装，和静态ip配置，和实现SSH免密登录示例，看前面的文章：https://blog.csdn.net/xingkongtianma01/article/category/7680374https://blog.csdn.net/xingkongtianma01/article/category/
Peter-OK·2020-07-14 00:51

工欲善其事，必先利其器——Hadoop环境搭建（一）

环境操作系统：Ubuntu16.04（搭建在vritualBox虚拟机）Hadoop版本：2.9.1（http://mirror.bit.edu.cn/apacge/hadoop/common）,一般下载最新的稳定版本，即下载‘stable’下的2.x.y.tar.gz创建hadoop用户如果安装Ubuntu时不是用hadoop用户名，怎增加一个hadoop用户。sudouseradd-m-had
NIUNIU_SUISUI·2020-07-14 00:35

看了必会之——Hadoop环境搭建(单机)

文章目录1.环境准备2.配置主机名，主机映射3.创建文件夹4.免密登陆4.安装jdk6.安装Hadoop解压配置Hadoop环境变量格式化文件系统启动hadoop验证是否成功1.环境准备一个纯净版的centos7虚拟机，配置好静态ip环境配置方法2.配置主机名，主机映射hostnamectlset-hostnamehadoop1vi/etc/hosts192.168.25.131hadoop13.
锦超风采·2020-07-14 00:56

Spark+Hadoop集群搭建：（零）简介与说明

主要包括1单节点Hadoop环境搭建2多节点（集群）Hadoop环境搭建3Spark安装及pyspark的使用4SparkStandaloneCluster的使用3使用
闻曦·2020-07-13 11:42

hadoop环境搭建遇到的问题：-bash: jps: command not found

在伪分布式环境搭好后需要执行命令查看运行任务情况当我们执行jps时发生：-bash:jps:commandnotfound说明运行的jps程序找不到，当然你去java的bin目录下执行时可以的。解决方案：1.cat会得到以下内容，当然PATH是我已经改过的；命令：[root@node2~]#cat./.bash_profile#Getthealiasesandfunctionsif[-f~/.ba
wickedvalley·2020-07-12 15:54

Hadoop单机环境搭建

本文章采用Hadoop版本为hadoop-2.6.0-cdh5.7.0，jdk版本为1.7Hadoop环境搭建下载Hadoop下载地址：http://archive.cloudera.com/cdh5/
Sx_Ren·2020-07-09 09:29

Spark+Hadoop环境搭建

一、工具下载：1、spark下载目前最新的是2.1.1，spark2.0开始api和之前的还是有比较多的变化，因此如果选择2.0以上版本，最好看一下api变化，下载地址：http://spark.apache.org/downloads.html2、hadoop下载目前最新的hadoop版本已经到了3.0了，可以根据你的选择需要的版本，下载地址：https://dist.apache.org/re
梦翼-·2020-07-08 09:24

Hadoop环境搭建问题汇总

一、启动HDFS时dataNode一直没有启动我们执行hdfs启动命令后，再输入jps命令查看启动进程，发现没有DataNode进程hadoopnamenode-formatsbin/start-dfs.sh原因当我们使用hadoopnamenode-format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件中dfs.name.dir的路径我的是/usr/loc
lockie_zou·2020-07-06 14:56

史上最详细的Hadoop环境搭建(一)

GitChat作者：鸣宇淳原文：史上最详细的Hadoop环境搭建关注公众号：GitChat技术杂谈，一本正经的讲技术【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础
yimenglin·2020-07-06 10:20

eclipse远程连接Hadoop

关于Hadoop环境搭建可参照本人之前写的文章：Centosmini配置hadoop2.7.3废话不多说，直接上干货。
xiakexiaohu·2020-07-06 08:13

HDFS实例

hadoop环境搭建好后，运行第wordcount示例首先启动hadoop:start-all.sh2.进入到hadoop的安装目录下（我的是/root/opt/module/hadoop-2.7.3）
慕尔如星·2020-07-06 05:49

Hadoop环境搭建注意事项

1.防火墙要处于关闭状态关闭防火墙，输入：chkconfigiptablesoff重启后关闭serviceiptablesstop立即关闭但重启后失效2.三台机器都要做ssh安装：opensshyuminstall-yopenssh-serveryuminstall-yopenssh-clients做A连B的配置：A电脑：ssh-keygen-trsa-P‘’scp.ssh/id_rsa.pubr
东粟·2020-07-06 05:54

VirtualBox+ubuntu+hadoop环境搭建

第一步：安装VirtualBox.安装软件的话自己到网上去download吧！此处我用的是VirtualBox4.1.8。第二步：安装ubuntu.安装软件可以自己从网上download，此处我用的是ubuntu-10.10-desktop-i386。剩下的具体安装过程就可以仿照以下网址了：http://sjsky.iteye.com/blog/1123907。（此处做了一个设置，可以方便的将自己
weixin_30321709·2020-07-05 20:22

linux环境下的hive mysql hadoop环境搭建

软件环境Centos6.5vmwareworkstation11JDK1.6或者以上版本hadoop-1.2.1hive-0.8.1sshhadoop环境搭建sshd服务安装和配置ssh免密码登陆一般来说
小白的菜刀·2020-07-04 15:01

docker 搭建 hadoop 集群平台

起哥前几天给我推荐了一个北大的公众号，里面有讲一些关于hadoop环境搭建的文章。
郭 璞·2020-07-04 06:11

eclipse+hadoop环境搭建及注意事项

废话不多说直接上干货。一、工具准备（1）win10-64位（2）jdk1.7-64位（3）eclipse-luna-64，下载地址：https://www.eclipse.org/downloads/packages/release/Luna/SR2（4）hadoop-eclipse-plugin-1.2.1.jar，下载地址：http://files.cnblogs.com/alex-blog/
Lord_War·2020-07-04 06:12

hadoop环境搭建

1.准备Linux环境修改主机名vim/etc/hosts192.168.1.101soc101关闭防火墙查看防火墙状态serviceiptablesstatus关闭防火墙serviceiptablesstop查看防火墙开机启动状态chkconfigiptables--list关闭防火墙开机启动chkconfigiptablesoff创建用户、赋予权限useraddhadooppasswdhado
小李_a98e·2020-07-04 04:40

手撕项目-Flink电商实时分析四

目录1.前端服务2.hadoop环境搭建3.总结1.前端服务构建前端服务DsViewservice，创建项目，添加对应的maven依赖测试前端服务连redis服务引入mavenorg.springframework.bootspring-boot-starter-data-redis2.2.6
坏男坏男·2020-07-02 03:29

hadoop环境搭建（三）

0.配置java环境，主机名和ip的映射，ssh免密登录，关闭防火墙1.上传hadoop包至apps下，然后解压缩:tar-zxvfhadoop.tar.gz2.配置hadoop-env.sh:exportJAVA_HOME=/usr/java/jdk1.7.0_453.配置core-site.xml:fs.defaultFShdfs://linux1:9000hadoop.tmp.dir/hom
陈永坤·2020-07-01 21:51
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他