hadoop环境搭建

Hadoop环境搭建三（完全分布式）

Hadoop完全分布式模式.理论讲解一.集群配置二.集群分发三.分布式集群格式化四.集群单点启动五.ssh免密登录六.启动停止集群.理论讲解1.节点的作用（1）我们启动了4个节点：namenode、datanode、resourcemanager、nodemanagerNamenode存储文件（2）yarn的作用2.MapReduce将计算过程分为两个阶段：Map和Reduce.Map阶段并行处理
57486649·2022-09-06 19:12

Hadoop+hive+flask+echarts大数据可视化项目之系统数据整合和hadoop环境搭建

Hadoop+hive+flask+echarts大数据可视化项目（二）--------------系统数据整合和hadoop环境搭建----------------关注Hadoop+Hive+Flask
play_big_knife·2022-07-22 07:18

Spark Streaming之流式词频统计（Socket数据源）

一、环境Spark、Hadoop环境搭建可参看之前文章。
碣石观海·2022-06-14 22:18

Hadoop 深入浅出 ---- 入门 （1）

1.4.1HDFS架构概述1.4.2YARN架构概述1.4.3MapReduce架构概述1.4.4三者之间的关系1.5Hadoop的安装1.5.1虚拟机的安装1.6大数据技术生态体系1.7推荐系统的框图2.Hadoop
Aphelios_King·2022-02-28 10:17

hadoop环境搭建(五)

Mysql安装1、下载软件包：mysql-5.7.36-1.el7.x86_64.rpm-bundle.tar将其上传到linux下/opt/software中检查当前系统是否安装过Mysql:rpm-qa|grepmariadbrpm-qa|grepmariadbmariadb-libs-5.5.56-2.el7.x86_64//如果存在通过如下命令卸载将其解压到/opt/module下命令为：
南浅（●＾o＾●）·2021-12-08 16:35

hadoop环境搭建(四)

完全分布式部署一、配置集群100101102HDFSnamenode、datanodedatanodeSecondarynamenode(2nn)、datanodeYARNnodemanagerresourcemanager、nodemanagernodemanager二、修改配置：切换路径：cd/opt/module/hadoop-3.1.3/etc/hadoop/(1)配置core-site.
南浅（●＾o＾●）·2021-12-06 18:38

hadoop环境搭建(三)

hadoop的伪分布式部署1.配置集群环境（1）修改第一个配置在/opt/module/hadoop-3.1.3/etc/hadoop目录下，设置hadoop-env.sh文件vihadoop-env.sh命令模式下输入：/JAVA_HOME回车（2）修改第二个配置在/opt/module/hadoop-3.1.3/etc/hadoop目录下，设置core-site.xml文件vicore-sit
南浅（●＾o＾●）·2021-12-06 18:15

hadoop环境搭建(一)补充

如果电脑上没有VMnet8解决方案：如果之前下载过VMware，需要将所有的VM文件夹删除掉，然后下载一个CCleaner下载CCleaner,清理注册表然后再安装VMware，再打开自己本机的网络适配器就可以看到VMnet1、VMnet8啦！
南浅（●＾o＾●）·2021-12-06 17:34

hadoop环境搭建(一)

一、安装VM和虚拟机（CentOS）1.注意:CentOS单独放一个文件夹2.安装VM15蓝屏（版本和电脑不兼容）解决方法：下载VM16二、修改主机名（当前虚拟机的主机名）1.查看当前的主机名命令：hostname2.修改主机名命令：vi/etc/hostname修改后需要重启命令：reboot-hnow第二种修改主机名的方式hostnamectlset-hostname(回车后bash)bash
南浅（●＾o＾●）·2021-12-06 10:38

hadoop环境搭建(二)

如果ping192.168.1.100没有ping通配完静态ip后需要重启网络,命令：servicenetworkrestart一、我们需要在/opt下面创建两个文件夹software：放软件的压缩包；module：放软件解压后的文件夹命令：mkdirsoftwaremkdirmodule二、把jdk-8u212-linux-x86.tar.gz和hadoop-3.1.3.tar.gz拖到/opt
南浅（●＾o＾●）·2021-12-05 21:23

大数据基础（hadoop环境搭建及使用）

大数据大数据概念大数据特点（4V）Volume（大量）Velocity（高速）Variety（多样）Value（低价值密度）HadoopHadoop是什么Hadoop三大发行版本Hadoop优势Hadoop组成HDFSHDFS架构概述NameNode（nn）DataNode(dn)SecondaryNameNode(2nn)BlockYARN架构概述MapReduce架构概述Hadoop运行环境搭
向天再借500年·2021-09-08 12:34

大数据学习笔记第一课-Windows下hadoop环境搭建（2019-01-09）

作为一个有6年工作经验的蜘蛛人，已经记不清爬了多少网站的多少数据了，见识到各种各样的数据，在此期间听到看到不少大数据相关的知识点，却又对它们一知半解，故此决定把这些相关技术系统学习一遍并留下学习脚印。一、下载相关文件1.JDK下载2.Hadoop-2.7.6下载（更多版本下载地址）3.Windows下安装Hadoop工具下载，提取码：84wg二、JDK安装1.JDK安装方法注：JDK安装路径不能包
滴答日记·2021-06-07 01:47

小白视角的大数据基础实践(二)Hadoop环境搭建与测试

1.简介实验环境Vmware(Ubuntu18.04)Java1.8Hadoop3.1.31.1基础知识Hadoop是一个由Apache基金会所开发的开源分布式计算平台，为了让用户可以在不了解分布式底层细节的情况下开发分布式程序。Hadoop是一个基础架构系统，是Google的云计算基础架构的开源实现，主要由HDFS、MapReduce组成，其中HDFS是Google的GFS的开源实现，MapRe
小生凡一·2021-05-31 09:52

Hive环境搭建

Hive的安装需要提前安装Hadoop和MySQL，Hadoop的安装请参考Hadoop环境搭建，下面是MySQL的安装。
忘净空·2021-05-17 15:58

【大数据】Hadoop环境搭建图文教程（VM安装教程+Linux环境下配置+搭建三节点的Hadoop集群）

文章目录大数据Hadoop环境搭建一、基本配置二、即将完成的任务三、实验背景四、知识要点文档说明：VMware版本：linux版本1.三台linux服务器的安装1.安装VMware2.通过Vmware安装第一台
是我，Zack·2021-05-15 10:05

基础环境搭建（三）-Hadoop环境搭建

基础环境搭建主要分为三部分说明：一、Linux系统安装二、VMware与Linux环境配置三、Hadoop环境搭建三、Hadoop环境搭建说明：经过前面两步的努力，现在可以通过我们创
canjian215215·2021-04-28 05:22

搭建大数据平台系列(4)-hive环境搭建

目前本系列文章有：搭建大数据平台系列(0)-机器准备搭建大数据平台系列(1)-Hadoop环境搭建[hdfs,yarn,mapreduce]搭建大数据平台系列(2)-zookeeper环境搭建搭建大数据平台系列
抹布先生M·2021-04-20 21:45

【Hadoop第三步】Hadoop环境搭建

_大数据_qq_38570733的博客-CSDN博客整体流程和步骤比较详细，一些内容有错误，整理如下：2.hadoop环境搭建这个内容很好，错误较少，最后有开启和验证例子3.Hadoop完全分布式搭建-
鸡汤姜末·2021-02-02 16:36

hadoop环境搭建

一、集群节点配置及服务主机名角色运行服务安装目录tinygao1MasterNameNodeResourceManager/data/program/hadoop-2.8.0/tinygao2SlaveDataNodeNodeManager/data/program/hadoop-2.8.0/tinygao3SlaveDataNodeNodeManager/data/program/hadoop-
hello高world·2020-10-11 16:48

【Hadoop环境搭建】七.集群时间同步

Hadoop在进行并行计算的时候，要求每台虚拟机的时间在同一时间，允许有一定的延迟，但是不能够有太大的延迟。集群时间同步，方便后期对于集群进行维护，以便在出现故障时判断在同一时间到底是哪台机器出现了问题，哪个节点出现了问题。1.选取一台虚拟机作为时间目标，其他虚拟机通过脚本与这台虚拟机保持时间同步，这里选取虚拟机1（1）查看虚拟机中是否安装了ntprpm-qa|grepntp若出现ntp相关的软件
VI-茄子·2020-09-17 01:03

【Hadoop环境搭建】六.SSH免密码登录

SSH机制解析图（假如有一台叫做weekend110的终端要远程登录叫做spark01的终端）我们要做的只是黑色箭头的步骤，绿色的是SSH机制的内部实现。SSH免密码登录可以在启动Hadoop的时候不需要输入很多次密码了，而且可以使三台虚拟机之间进行直接通讯。hadoop001：HDFS文件分布式系统的主节点（数据存储）-可以随意访问虚拟机2和虚拟机3hadoop002：MapReduce主节点（
VI-茄子·2020-09-17 01:03

【Hadoop环境搭建】九.分布式离线计算框架---MapReduce

Hadoop中有两个重要的组件：一个是HDFS，另一个是MapReduce，HDFS主要用来存储大批量的数据，而MapReduce则是通过计算来发现数据中有价值的内容。本章我们主要介绍MapReduce中的以下几方面内容：MapReduce的应用场景、工作机制和编程模型MapReduce的执行原理WordCount本地测试实例9.1安装Linux版本的eclipse9.1.1下载安装包并解压文件首
VI-茄子·2020-09-17 01:03

【Hadoop环境搭建】八.Hadoop集群模式部署

前面介绍的伪分布式是基于单个节点，而完全分布式是基于两个或两个以上节点完成Hadoop集群搭建。下面基于三个节点完成。整个虚拟机的部署情况：（1）HDFS的服务进程主要有三个：namenode，datanode，secondarynamenode1）我们以第一台机器作为分布式存储的主节点，也就是namenode所在的节点2）然后真正存储数据的datanode分布在三台机器中3）secondaryn
VI-茄子·2020-09-17 01:03

Hadoop环境搭建完成遇到的问题

Hadoop环境搭建之后遇到的问题Hadoop环境搭建完成之后，IDEA配置完成，代码编写完成，运行的结果可能不尽人意。如果你遇到下图的错误，那么这篇文章可以帮到你。这个错误说，缺少log4j文件。
uuu_柚子·2020-09-15 23:01

大数据日志分析１：基础环境搭建

需要对产品的数据进行运营分析，目前已有技术栈不能支撑现有的需求，需要学习新的技术，前期调研需求后选定的框架为大数据框架，主要使用hadoop+flume+log4j进行大数据的日志处理．前期准备：开发环境：ubuntu18.4hadoop
_不二_·2020-09-15 11:20

Hadoop环境搭建之本地运行模式

一、hadoop本地运行模式介绍默认的模式，无需运行任何守护进程，所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。使用本地文件系统，而不是分布式文件系统。Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行
火成哥哥·2020-09-15 02:24

Hadoop环境搭建、启动和管理界面查看

一、hadoop环境搭建：1.hadoop6个核心配置文件的作用：core-site.xml：核心配置文件，主要定义了我们文件访问的格式hdfs://hadoop-env.sh：主要配置我们的java路径
dengmanzhou3124·2020-09-14 10:21

hadoop学习(day01)-环境搭建

hadoop-project-dist/hadoop-common/SingleCluster.html厦门大学数据库实验室文章：http://dblab.xmu.edu.cn/blog/install-hadoop/国外hadoop
sj206327327206·2020-09-12 20:40

Centos下使用IDEA，Maven开发操作Hadoop环境搭建

windows下搭建见：https://blog.csdn.net/qq_25948717/article/details/81982612先安装jdk。Centos下安装IDEA网上很多教程，很简单。下载maven：http://maven.apache.org/download.cgi下载解压安装解压：vim/etc/profile然后还需要配置环境变量。#在适当的位置添加exportM2_H
大鱼-瓶邪·2020-09-12 00:03

Hadoop环境搭建(本地模式，伪分布模式)

一.什么是hadoop?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high
tt2048·2020-09-11 22:27

Spark学习2 Mac OS X上Eclipse中搭建Hadoop的开发环境

一、在MacOSX上搭建Hadoop开发环境Mac上的Hadoop环境搭建可以参考MacOSX上搭建Hadoop开发环境指南。
明明家的小榛果·2020-09-11 09:16

Hadoop环境搭建步骤

文章目录前言一、虚拟机安装二、安装JDK和Hadoop1.基本信息配置2.安装JDK和Hadoop三、安装Zookeeper集群四、Hadoop集群的高可用配置五、Hadoop集群的正常启动顺序总结前言Hadoop开发环境搭建为了防止以后每次搭建的时候查看太多教程而导致时间无端消耗，本次重装环境自行进行过程记录。一、虚拟机安装基于VMware平台安装centos8，主要就是下载镜像安装打开就行，该
Emily_0916·2020-08-26 11:11

idea打包hadoop的mapreduce程序，使用maven的方式

大概流程是这样的，hadoop环境搭建好以后，自己创建两个文件，通过hadoop命令将文件扔到hdfs里面。
updownline·2020-08-25 17:21

史上最详细的 Hadoop 环境搭建

史上最详细的Hadoop环境搭建（上篇）史上最详细的Hadoop环境搭建（中篇）史上最详细的Hadoop环境搭建（下篇）
With__Sunshine·2020-08-25 06:34

hadoop环境搭建之安装Ambari

1、安装Ambariyuminstallambari-server2、配置Ambariambari-serversetup3、配置的具体流程如下3.1、检查SELinux是否关闭，如果关闭不用操作Usingpython/usr/bin/pythonSetupambari-serverCheckingSELinux...SELinuxstatusis'disabled'因为之前已经关闭了SELinu
我是知青·2020-08-25 03:31

史上最详细、最全面的Hadoop环境搭建

作者：鸣宇淳gitbook.cn/books/5954c9600326c7705af8a92a/index.html前言这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。第一部分：Linux环境安装第
民工哥·2020-08-24 17:10

hbase_学习_01_HBase环境搭建(单机)

一、前言本文承接上一篇：hadoop_学习_02_Hadoop环境搭建(单机)，主要是搭建HBase的单机环境二、环境准备1.说明hbase的下载来源有：官方版本：http://archive.apache.org
didi9310·2020-08-24 12:15

hadoop环境搭建（详解）

hadoop环境搭建引言：随着人工智能和大数据的热潮的到来，大数据变得越来越火了，坏蛋哥的信念就是致力于大数据的发展和进步，希望能为大数据的发展和推广尽一份绵薄之力。
坏蛋哥·2020-08-22 22:06

搭建大数据平台系列(2)-zookeeper环境搭建

目前本系列文章有：搭建大数据平台系列(0)-机器准备搭建大数据平台系列(1)-Hadoop环境搭建[hdfs,yarn,mapreduce]搭建大数据平台系列(2)-zookeeper环境搭建搭建大数据平台系列
抹布先生M·2020-08-22 18:46

hadoop环境搭建

1，需要的软件虚拟机（VMWare、VirtualBox。。。）、centos、hadoop、jdk、xshell(xftp)2，安装虚拟机1）安装虚拟机软件：我用的是VirtualBox(VirtualBox-5.1.18-114002-Win.exe)，全下一步，傻瓜式安装。2）创建裸机：打开VirtualBox-新建-（填写名称、选择系统）-全下一步，裸机安装完成。3）装系统：设置镜像：选择
l_8173·2020-08-22 14:12

搭建大数据平台系列(3)-hbase环境搭建

目前本系列文章有：搭建大数据平台系列(0)-机器准备搭建大数据平台系列(1)-Hadoop环境搭建[hdfs,yarn,mapreduce]搭建大数据平台系列(2)-zookeeper环境搭建搭建大数据平台系列
抹布先生M·2020-08-19 06:25

搭建大数据平台系列(1)-Hadoop环境搭建[hdfs,yarn,mapreduce]

目前本系列文章有：搭建大数据平台系列(0)-机器准备搭建大数据平台系列(1)-Hadoop环境搭建[hdfs,yarn,mapreduce]搭建大数据平台系列(2)-zookeeper环境搭建搭建大数据平台系列
抹布先生M·2020-08-19 06:12

Hadoop 入门教程（超详细）

文章目录1Hadoop介绍1.1Hadoop是什么1.2Hadoop的发展历史1.3Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop的组成1.6大数据技术生态体系2Hadoop环境搭建
西门催学不吹雪·2020-08-19 05:44

Linux搭建Hadoop开发环境

Linux搭建Hadoop开发环境2.Hadoop环境搭建安装配置：[1].官网下载Hadoop-2.7.5安装包：hadoop-2.7.5.tar.gz[2].把Hadoop-2.7.5安装包利用Xftp5
marklin·2020-08-17 15:33

Ubuntu中Hadoop环境搭建

Ubuntu中Hadoop环境搭建JDK安装方法一：通过命令行直接安装（不建议）有两种java可以安装oracle-java8-installer以及openjdk(1)安装oracle-java8-installeraptinstallsoftware-properties-commonadd-apt-repositoryppa
kexinxin1·2020-08-16 06:09

伪分布式hadoop环境搭建

参考博客：https://blog.csdn.net/hliq5399/article/details/78193113按照这个一步一步，就顺利地完成了；以下是几个要注意的：修改hostname，这里我没有修改，但是似乎没有什么影响（后面的jps命令没有显示namenode和datanode…不知道是不是因为这个）编辑core-site.xml,hdfs-site.xml等配置文件时总会报第一行错
糊涂小姐·2020-08-16 00:17

Hadoop系统完全分布式集群搭建方法

Hadoop系统分布式集群搭建方法记得以前学习hadoop时，互联网上有不少有关Hadoop环境搭建的方法，但很多语焉不详，步骤不清晰。
zolalad·2020-08-15 09:35

Movle博客文章汇总

一.HadoopHadoop基础介绍Hadoop环境搭建-本地模式Hadoop环境搭建-全分布模式HDFS基础概念以及HDFS命令行操作Hadoop之通过API操作HDFSHDFS的数据流HDFS之NameNode
Movle·2020-08-12 10:09

《Hadoop权威指南》之史上最简单的Hadoop环境搭建

hadoop-2.7.3版本1、安装java环境2、hadoop/etc/hadoop/hadoop-env.sh>>JAVA_HOME=/root/java/jdk83、在命令行输入hadoop就会有提示信息,说明最基本的环境已经安装完成4、配置namenode的节点信息hadoop/etc/hadoop/core-site.xmlfs.defaultFShdfs://master:9000  
lyzx_in_csdn·2020-08-11 22:01

Hadoop环境搭建

官方文档http://hadoop.apache.org/docs/r3.0.3/hadoop-project-dist/hadoop-common/SingleCluster.htmlhadoop单机搭建172.25.33.1----server1创建普通用户hadoop，获取hadoop包和jdk包useraddhadoop创建软链接添加java环境变量并生效vim.bash_profiles
Octopus_onemore·2020-08-11 05:01
上一页 1 2 3 4 5 6 7 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他