hadoop集群搭建

Ubuntu下部署Hadoop集群+Hive（二）

Hadoop集群搭建准备环境hadoop-3.3.6.tar.gz，jdk-8u421-linux-x64.tar.gz根据自己的使用下载对的hadoop和jdk版本hadoop下载地址：ApacheHadoopJDK
岩屿·2024-08-23 14:46

hadoop集群搭建踩坑实录

由于不可控以及不可知的原因我搭建的hadoop集群突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过Xshell远程访问了具体原因尚不知晓克隆成功后发现集群先格式化集
温文尔雅的流氓·2024-02-07 10:39

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论，我会及时更新）一、配置Hadoop集群主节点1.进入目标文件夹。cd/usr/local/hadoop/etc/ha
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论，我会及时更新）一、Xshell和Xftp的使用在这里我们首先要了解两个软件，一个是Xshell另一个是Xftp。1.Xshell是一个强大的安全终端模拟软件，它支持SSH1,SS
学习BigData·2024-02-05 13:31

Hadoop集群搭建

以下是一个基本的Hadoop集群搭建流程，假设你已经有了一些基础的Linux操作系统知识，并且准备在多台机器上搭建一个简单的Hadoop集群。
终将老去的穷苦程序员·2024-02-04 19:53

Hadoop3.x学习笔记

Hadoop入门1、Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式（官方WordCount）4、Hadoop
魅Lemon·2024-01-26 09:24

Hadoop集群搭建：4.修改Hadoop的配置文件、节点启动

配置文件的路径：/module/hadoop-2.7.2/etc/hadoop1.核心配置文件配置core-site.xml,命令：vicore-site.xml在该文件的中config范围内编写如下配置fs.defaultFShdfs://node1:9000hadoop.tmp.dir/module/hadoop-2.7.2/data/tmpcore-site.xml2.HDFS配置文件配置h
丶珍视当下·2024-01-09 23:38

hadoop集群搭建、spark集群搭建、pyspark搭建（linux+window）

1、前言本文记录学习过程中Hadoop、zookeeper、spark集群搭建，主要为pyspark库服务（具体为window上pyspark环境和pyspark库，linux上spark框架、pyspark应用程序、pyspark环境和pyspark库）。pyspark环境是用anaconda3搭建的环境。pyspark应用程序，是安装spark集群里面自带的，提供一个python解释器环境来执
Lfx_come on·2024-01-09 06:02

Zookeeper集群搭建

系列文章目录Ubuntu常见基本问题Hadoop3.1.3安装（单机、伪分布）Hadoop集群搭建HBase2.2.2安装（单机、伪分布）Zookeeper集群搭建HBase集群搭建Spark安装和编程实践
WE-ubytt·2023-12-31 08:53

Hadoop集群搭建教程（完全分布式）

环境准备：本案例使用VMwareWorkstationPro虚拟机创建服务器来搭建Hadoop集群，所用软件及版本及简要配置方法如下：1.VMwareWorkstationPro15.5.1（推荐使用15以上版本，感觉优化比14好了许多）2.Ubuntu16.0464bit（3台，用户名均为Hadoop，主机名分别为node-1，node-2，node-3）注意：三台虚拟机用户名需要一致，也可以对
这是一个死肥宅·2023-12-30 07:27

HBase 集群搭建

文章目录安装前准备兼容性官方网址集群搭建搭建Hadoop集群搭建Zookeeper集群解压缩安装配置文件高可用配置分发HBase文件服务的启停启动顺序停止顺序验证进程查看Web端页面安装前准备兼容性1）
撕得失败的标签·2023-12-25 19:05

Hadoop+Hive学习笔记-4

Hadoop集群搭建配置三台虚拟机之间的免密登录1切换到root用户：crontab-e在第一行写入：*/5****/usr/sbin/ntpdatentp1.aliyun.com三台机器都一同操作，这一步让三台机器的时间服务器一致
fwings260·2023-12-24 08:22

Hadoop集群的搭建（全网最详细，看了就会）

在搭建之前请一定要确保Hadoop集群搭建的前置准备已经完成，详细内容可以参考我的这篇文章。
叶落长街·2023-12-21 08:49

Hadoop集群搭建详细教程

Hadoop环境搭建1.环境准备1.首先创建一台模板机所谓的模板机是进行了一些最基础的配置，比如说进行主机名修改、网络配置、下载一些插件等准备工作。不会创建虚拟机的可以通过Centos7.5安装配置及虚拟机搭建详细教程进行虚拟机创建。1.1网络测试[root@hadoop101~]#pingwww.baiu.com如果ping不通百度，可能是网络配置没有配置好，可以通过配置文件等修改。1.2修改I
百万攻程狮·2023-12-21 08:49

hadoop集群搭建之HA模式

1.Hadoop环境变量相关配置1.在node01上创建hadoop安装路径：mkdir/opt/bigdata2.解压hadoop软件包tarxfhadoop-2.6.5.tar.gzmvhadoop-2.6.5/opt/bigdata/3.配置hadoop环境便令vi/etc/profileexportJAVA_HOME=/usr/java/defaultexportHADOOP_HOME=/
新鲜氧气·2023-12-20 05:27

Hadoop集群搭建 - 解压tar.gz包 - 基于CentOS7 -【连载中】

续上一篇文章：7.Hadoop集群搭建-上传应用/软件-基于CentOS7-【连载中】目录扩展解压文件解压jdk到指定文件夹解压Hadoop到指定文件夹进入到解压后的目录查看是否解压成功扩展说明：以下表格中红色标
AdminLog·2023-12-19 00:58

Hadoop集群搭建

https://www.zybuluo.com/DFFuture/note/6268991.查看hostname修改主机名sudogedit/etc/hostname重启reboot2.编辑hostsudogedit/etc/hosts删除127.0.1.1那一行，并添加：192.168.86.140ubuntu1192.168.86.143ubuntu2192.168.86.144ubuntu3
摩V羯座·2023-12-15 06:50

hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步

HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有
蔡茂昌·2023-12-02 19:20

Hyper-v虚拟机Hadoop集群搭建

大数据Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。(海量数据存储)HDFS为海量的数据提供了存储，而MapReduce**分布式计算**则为海量的数据提供了计算总结：用Java开发HDFS–解决大数据存储问题MapReduce–解决大数据计算问题HDF
真.电脑人·2023-11-30 16:16

电商平台数据仓库搭建02-Hadoop集群搭建

1，项目说明本项目来源于github电商平台数据仓库搭建。项目为个人学习记录，项目代码及文件可访问电商平台数据仓库搭建获得。2，项目准备虚拟机准备虚拟机开发工具为VMware15。本次项目我自己使用的CentOS版本为CentOS7。虚拟机需要配置3台，分别为Hadoop102，Hadoop103，Hadoop104。配置ssh、jdk1.vm-tools，并创建新用户hadoop并配置root权
王小磊~·2023-11-30 13:04

Spark集群安装（On Yarn）

说明：基于已经搭建完成的Hadoop集群，关于Hadoop集群搭建，可参考：https://blog.csdn.net/weixin_37901366/article/details/13017066一
maplea2012·2023-11-30 03:55

Sqoop工具MySQL导入数据到Hbase（Hbase部署）

基础环境集群工具版本sqoop-1.4.7.bin__hadoop-2.6.0mysql驱动，插件包jar提取码：LWXBhadoop-2.6.5hbase-2.2.6-bin以上是集群和工具的版本hadoop
一只little白·2023-11-26 19:44

大数据开发学习笔记

前言：本文介绍了各个大数据开发框架及数据库的学习记录链接有什么问题欢迎大家留言或者私信交流~Hadoophadoop集群搭建+hive安装_hadoop集群安装hive-CSDN博客Hadoop基础入门
THE WHY·2023-11-17 16:01

大数据系列-Hadoop集群搭建（2）集群配置

上篇已经把Hadoop安装到各虚拟机（大数据系列-Hadoop集群搭建（1）），本篇通过认识Hadoop，规划虚拟机部署。
zhm6422107·2023-11-17 03:59

Ubuntu22.04 Hadoop3.3.4 jdk18.02 安装配置

hadoop-3.3.4_x_y_z423的博客-CSDN博客(112条消息)hadoop3.3.4集群安装部署_hwbays的博客-CSDN博客加倍推荐，Hadoop集群配置内容讲的及其详细基于docker的hadoop
落非·2023-11-15 05:15

linux ssh免密登录配置

在hadoop集群搭建的过程中，通常会对集群服务进行群启/群停的操作，而集群中的主机执行启动命令通常需要通过ssh登录到其它主机，为了解决ssh时不输入用密码的问题，在这里研究了下ssh免密登录，操作步骤记录如下
ths512·2023-11-13 22:56

Hadoop集群搭建（完全分布式版本）

一、准备工作三台虚拟机：master、node1、node2时间同步ntpdatentp.aliyun.com调整时区cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtimejdk1.8（三台都要配置）java-version修改主机名三台分别执行vim/etc/hostname并将内容指定为对应的主机名关闭防火墙：systemctlstopfirewal
大数据CV工程师·2023-11-12 21:28

CentOS7 hadoop集群搭建

搭建Hadoop集群配置名字hadoop1、hadoop2、hadoop3hostnamectlset-hostnamehadoop1hostnamectlset-hostnamehadoop2hostnamectlset-hostnamehadoop3修改/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.l
AGMY·2023-11-10 16:34

hadoop集群搭建

准备三台虚拟机hadoop1hadoop2hadoop3ip分别为：192.168.56.211，192.168.56.212，192.168.56.213配置三台虚拟机的主机名和映射vi/etc/hosts分别添加如下内容：192.168.56.211hadoop1192.168.56.212hadoop2192.168.56.213hadoop3分别配置三台虚拟机的主机名为：hadoop1ha
昱宸星光·2023-11-10 16:28

Hadoop集群搭建，基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】，常见问题解决

Hadoop集群搭建，基于3.3.4hadoop和centos8【小白图文教程-从零开始搭建Hadoop集群】，常见问题解决Hadoop集群搭建，基于3.3.4hadoop1.虚拟机的创建1.1第一台虚拟机的创建
杀死一只知更鸟debug·2023-11-05 23:10

Hadoop环境搭建

1Hadoop集群环境搭建概述所谓集群，就是一组通过网络互联的计算机，集群中的每一台计算机称作一个节点，Hadoop集群搭建就是在这个物理集群之上安装部署Hadoop相关的软件，然后对外提供大数据存储和分析等相关服务
星星失眠️·2023-11-05 03:00

在Linux中进行hadoop集群搭建

在公网IP为x.x.x.x、y.y.y.y和z.z.z.z并装有Centos8的服务器上进行hadoop集群搭建，都安装hadoop-3.1.3和server-jre-8u202-linux-x64。
Jerry 二河小鱼·2023-11-05 00:58

Hadoop集群搭建（超级详细）

感谢评论区大佬们指出文章中的一些错误，已经进行修改。如果还存在其他错误，希望大佬们指出！需要的安装包：jdk-8u162-linux-x64.tar.gz（提取码：6k1i）、hadoop-3.1.3.tar.gz（提取码：07p6）1集群规划安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划：主机名IP用户HDFSYARNhadoopMaster待定rmc
阮哈哈哈哈哈·2023-11-05 00:26

hadoop集群搭建之运行环境准备以及群启HDFS,YARN集群

hadoop入门-运行环境的搭建前期准备工作：制作了一模拟机hadoop101,然后在hadoop101的基础上，进行克隆，制作了一台hadoop102的服务器，配置好了jdk1.8以及hadoop3的环境变量hadoop安装目录介绍[[email protected]]$lldrwxr-xr-x.2atguiguatguigu40969月122019bindrwxr-xr
倔强的耗子·2023-11-04 11:26

hadoop集群四之zookeeper、kafka安装

hadoop集群一之虚拟机安装(mac)hadoop集群二之hadoop安装hadoop集群搭建完成后，紧接着我们将安装zookeeper组件。
皮皮虾不皮呀·2023-11-03 21:03

大数据入门之hadoop集群搭建（CentOS 7）

hadoop集群搭建安装系统在VMware下创建新的虚拟机这里需要和自己电脑匹配可以从资源监视器中看到自己的cpu数量，由于需要4台虚拟机，所以这里用4个处理器内核用于一台虚拟机中这里的内存也与自己电脑的实际情况匹配由于桥接网络麻烦
Charon.（卡隆）·2023-11-03 15:39

大数据平台搭建——基于mysql上搭建hive（基于CentOS-7）

hadoop集群搭建教程一、搭建mysql客户端1、下载有关文件MySQL下载地址（官网）（1）因为搭建的平台基于CentOS-7系统，所以选择以下版本，读者可以根据自己虚拟机系统选择（2）选择以下文件下载
爱吃炸鸡的boy~~·2023-11-03 15:07

hadoop集群搭建

hadoop有三种部署方式1、Local(Standalone)Mode（单机模式）数据存储在本地2、Pseudo-DistributedMode（伪集群模式）数据存储在HDFS3、Fully-DistributedMode（集群模式）集群部署，数据存储在HDFS一、安装JDK因为hadoop是Java语言开发的，所以依赖jdk环境，需要先安装jdkJDK安装教程二、安装hadoop2.1、下载h
有人看我吗·2023-10-25 16:51

在mac上进行hadoop集群搭建

一、环境说明软件版本环境&软件版本操作系统&macOs11.2.1虚拟机&VMwareFusion12.1服务器&CentOS7.8jdk1.8hadoop2.9.2集群规划框架linux01linux02linux03HDFSNameNode、DataNodeDataNodeSecondaryNameNode、DataNodeYARNNodeManagerNodeManagerNodeManag
大鱼1995·2023-10-24 01:40

伪分布式Hadoop集群搭建

Hadoop：前提：jdk安装好、Hadoop解压好，并且配置好环境变量vi/etc/profileexportJAVA_HOME=jdk具体安装目录exportHADOOP_HOME=hadoop具体安装目录exportPATH=$PATH:$JAVA_HOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbinsource/etc/profilejava-versionh
陆墨宁·2023-10-15 12:02

Hadoop集群搭建

[配置/etc/hosts]添加新用户useraddhadooppasswdhadoopjava环境scp-r/usr/lib/java/jdktarget:/usr/lib/java/jdkvim~/.bashrc[JAVA_HOME][JRE_HOME][CLASSPATH][PATH]source~/.bashrc安装Hadoophadoop-env.sh:JAVA_HOMEcore-sit
快点学·2023-10-14 06:54

大数据Hadoop集群搭建-04安装配置HDFS

Hadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建-01前期准备HDFS是配合Hadoop使用的分布式文件系统，分为namenode:
叫我懒猫·2023-10-14 04:32

hadoop集群搭建

vim/etc/hosts192.168.1.2Master.Hadoop192.168.1.3Slave1.Hadoop192.168.1.4Slave2.Hadoop192.168.1.5Slave3.Hadoop若能用主机名进行ping通，说明刚才添加的内容，在局域网内能进行DNS解析。hadoop:https://dlcdn.apache.org/hadoop/common/hadoop-
我有甜甜·2023-09-21 15:45

Hadoop集群搭建的总结

准备工作虚拟机安装三台linux，可以先安装一台虚拟器，然后进行克隆。这里我使用的是：centos6.5ip配置配置网络虚拟编辑器。如果是采用克隆的机器，注意修改mac地址，和ip地址。修改主机名vi/etc/sysconfig/network设置一台机器为master,另外两台为：node1,node2。集群搭建步骤1.设置ip：使用命令servicenetworkrestart重启网卡2.关闭
qq_40178533·2023-09-21 05:43

Spark实例学习(一)spark3.x集群搭建

目录集群规划spark安装包下载虚拟机搭建NAT静态网络配置Hadoop集群搭建scala安装配置spark修改conf下文件分发虚拟机修改启动文件名配置历史日志启动sparkUI界面查看测试spark
阳光里哭泣的狗·2023-09-14 10:34

Hadoop集群搭建

目录导引Hadoop集群搭建1.安装VMwareWorkstation16PRO2.基于VMwareWorkstation16PRO安装Centos7完全分布式安装1.Hadoop集群节点设置2.准备三台虚拟机
db_gjq_2038·2023-09-13 15:35

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群（分布式存储）主角色：NameNode
藤藤菜丶·2023-09-09 05:45

Docker部署Hadoop集群

前几天写了文章“Hadoop集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利。
丨程序之道丨·2023-09-06 03:01

大数据技术——hadoop集群搭建出现的问题

出现的问题和解决方案ssh免密出现的问题：解决方法：出现上图的是语法错误，在ssh和-keygen中多了空格，去掉即可2.ssh免密登录出现的问题：ssh登陆报错“WARNING:REMOTEHOSTIDENTIFICATIONHASCHANGED“解决方法：1)通过ssh-keygen密钥工具更新ssh-keygen-f~/.ssh/known_hosts-R远程主机IP地址2)手动清除～/.s
肉肉肉肉肉肉~丸子·2023-09-06 03:46

hadoop集群搭建出现的一些问题总结

为了实现三台主机(masterslave1slave2)间的免密码登录，分别将slave1和slave2的公钥发送给master，然后再将master复制到slave1和slave2ssh-copy-idmaster验证master里面的authorized_keyscat.ssh/authorized_keys这里出现了问题，只有master和slave2的公钥，没有slave1，最后发现是sl
大角牛向前冲_momo·2023-09-06 03:45
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他