Hadoop集群

Ambari HDP集群搭建全攻略

最近因为工作上需要重新用Ambari搭了一套Hadoop集群，就把搭建的过程记录了下来，也希望给有同样需求的小伙伴们一个参考，作者：图头数据AmbariUbuntu14.04最新版本2.2.1HDPUbuntu
javastart·2023-01-17 09:04

hadoop集群，namenode启动，所有的datanode无法启动

Hadoop集群安装后观察datanode。
binglihan·2023-01-16 11:12

hadoop集群 Web 页面在linux中可以访问到，但是在本地访问不了

【注】1、当我们成功启动集群之后，发现在Linux中可以打开Web页面，而在本地却打不开。这是因为你没有关闭防火墙。问题描述解决方案1、查看防火墙状态：systemctlstatusfirewalld.service2、关闭防火墙systemctlstopfirewalld.service
提着垃圾袋的·2023-01-15 20:31

hadoop3.0 启动后输入 jps没有进程

其次hadoop集群格式化完成后,启动集群成功,jps没有进程原因:java的进程好没有没记录到tmp文件夹下.问题解决1、重新更换一个JDK版本即可，不过这里source/etc/profile好像没用
提着垃圾袋的·2023-01-15 20:30

七、Hadoop系统应用之搭建Hadoop高可用集群（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hadoop集群搭建前安装准备参考：一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）一、Hadoop系统应用之安装准备
七层楼的疯子·2023-01-14 15:36

二、Hadoop系统应用之Hadoop集群搭建（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hadoop集群搭建前安装准备参考：一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）一、Hadoop系统应用之安装准备
七层楼的疯子·2023-01-14 15:06

三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）

Hadoop集群搭建前安装准备参考：一、Hadoop系统应用之安装准备（一）（超详细步骤指导操作，WIN10，VMwareWorkstation15.5PRO，CentOS-6.7）一、Hadoop系统应用之安装准备
七层楼的疯子·2023-01-14 15:06

【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口

问题：在虚拟机启动hadoop集群后，在window浏览器无法访问http://master:50070、http://master:8088等集群监控界面。
落叶阳光·2023-01-13 00:45

大数据---Hadoop集群搭建学习（干货）

文章目录Hadoop集群搭建学习1Hadoop发展史2Hadoop三大发行版本3Hadoop的优势（4高）4Hadoop组成（面试重点）5HDFS架构概述6MapReduce架构概述7大数据技术生态体系
yidianyidei·2023-01-12 21:06

Hadoop集群崩溃时的处理方法

下面我来教大家遇到Hadoop集群崩溃的如何处理。其实很简单，教大家正确的处理这种故障。首先不管它机器怎么坏，只要你别把什么etc、bin目录这些路径给搞坏就行。我们
星川皆无恙·2023-01-12 10:06

Hadoop集群搭建配置教程

Hadoop3.1.3集群搭建前言集群规划集群搭建具体步骤1、下载`hadoop-3.1.3.tar.gz`2、上传并解压3、配置`path`变量4、修改配置文件4.1修改文件`hadoop-env.sh`4.2修改文件`workers`4.3修改文件`core-site.xml`4.4修改文件`hdfs-site.xml`4.5修改文件`mapred-site.xml`4.6修改文件`yarn-
笑看风云路·2023-01-11 11:52

Hadoop集群搭建（详细版）

Hadoop集群搭建的前提准备1、确保VMware虚拟机和CentOS系统的成功安装2、打开终端检查是否有外网：ping网络名（例如：pingwww.baidu.com）3、如果有外网，需要安装一些依赖
乱小世·2023-01-11 11:51

Hadoop集群搭建教程（详细）

需要的安装包：1.jdk压缩包2.hadoop压缩包请前往百度云上上下载相关安装包(密码：8op1)开始搭建hadoop集群一.使用VMvare创建两个虚拟机，我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙
普通网友·2023-01-11 11:51

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介HDFS集群YARN集群Hadoop部署模式Hadoop集群源码编译安装0.Hadoop源码编译1.集群角色规划2.服务器基础环境准备安装JDK1.8(安装OracleJDK8
识途老码·2023-01-11 11:20

学习Hadoop（一）——搭建hadoop集群

最近开始学习大数据的相关知识，要学习大数据就不得不提到Hadoop。一般来说学习一门新的知识，很多都是先理论再实践我则不然，先实践，再了解理论目录一、VM网络设置二、安装Centos72.1网络配置2.2设置主机名2.3hosts设置2.4安装JDK2.5关闭防火墙2.6同步时间2.7克隆服务器2.8免密钥登陆三、安装hadoop3.1下载hadoop3.2解压3.3环境变量配置3.4检查四、部署
jc_hook·2023-01-11 09:47

鲲鹏BigData Pro解决方案中Hive组件的部署

2Hive组件的部署部署的前提是，启动Hadoop集群。
阿智智·2023-01-08 10:38

大数据面试通关手册｜Spark面试题(四)

1）本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接
王知无(import_bigdata)·2023-01-07 15:38

python大数据hadoop_Python+Spark 2.0+Hadoop 机器学习与大数据实战pdf,9787302490739下载

编辑推荐1.Hadoop集群安装与分散式运算和存储介绍通过实机操作，学会如何安装VirtualBox、UbuntuLinux、Hadoop单机与多台机器集群安装，并学会使用HDFS分散式存储与MapReduce
weixin_39862382·2023-01-07 14:42

在hadoop集群上编写mapreduce程序_Hadoop集群安装系列------伪分布式安装(根据官方文档编写)...

1.预备简单理解hdfs的原理hdfs的作用2.开始搭建2.1设置配置信息修改hadoop-env.sh文件将hadoop-env.sh文件中的#Thejavaimplementationtouse.下修改成:exportJAVA_HOME=${JAVA_HOME}exportJAVA_HOME=/root/bigdata/jdk修改core-site.xml文件#etc/hadoop/core-
weixin_39595537·2023-01-06 19:38

HBase分布式集群搭建（zookeeper+hadoop+hbase）超详细！

2.8.5hbase：hbase-1.4.13master：namenode、resourcemanager，slave1：secondarynamenode、datanode，slave2：datanode一、Hadoop
程序员进化者·2023-01-06 11:40

3台机器配置hadoop集群_Hadoop+Hbase 分布式集群架构

安装搭建Hadoop1、配置说明本次集群搭建共三台机器，具体说明下：主机名IP说明nn01192.168.1.51DataNode、NodeManager、ResourceManager、NameNodedn01192.168.1.52DataNode、NodeManager、SecondaryNameNodedn02192.168.1.53DataNode、NodeManager2、安装前准备2
张狂年少·2023-01-06 11:04

Hadoop 和 Spark 知识点整理汇总

文章目录前言一、LINUX系统常用命令汇总二、Hadoop常用命令汇总三、Hadoop基本概念1.Hadoop特性2.Hadoop架构2.1Hadoop集群2.2HDFS2.3.YARN四、HadoopHDFS
见夏莫语冰·2023-01-04 18:56

hadoop3.X学习笔记进阶篇-MapReduce

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2MapR
404 Not Bug·2023-01-03 09:07

原创分享 计算机毕业设计PySpark+LSTM+Hadoop招聘推荐系统 招聘大数据 招聘数据分析 协同过滤算法(基于物品+基于用户) 招聘可视化大屏 就业推荐系统 就业数据分析

Spark_Java_API、Spark_SQL数据可视化：echartsSpider(数据源)：Python、requests机器学习：协同过滤算法(基于用户、基于物品全部实现)、LSTM情感分析中间件：Spark集群、Hadoop
haochengxu2022·2022-12-29 23:13

饿了么大数据计算引擎实践与应用

其中6人的离线团队需要维护大数据集群规模如下：Hadoop集群规模1300+HDFS存量数据40+PB，Read3.5PB+/天，Write500TB+/天14WMRJob/天，10WSparkJob/
Simple_Zz·2022-12-29 13:00

十四、《大数据项目实战之用户行为分析》HBase分布式集群搭建

HBase集群建立在Hadoop集群的基础上，而且依赖于ZooKeeper，因此在搭建HBase集群之前，需要将Hadoop集群（本例使用的Hadoop集群为非HA模式，即一个NameNode）和ZooKeeper
大数据张老师·2022-12-28 23:52

大数据基础平台搭建-（二）Hadoop集群搭建

大数据基础平台搭建-（二）Hadoop集群搭建大数据平台系列文章：1、大数据基础平台搭建-（一）基础环境准备2、大数据基础平台搭建-（二）Hadoop集群搭建大数据平台是基于ApacheHadoop_3.3.4
dyj095·2022-12-23 11:57

Hadoop集群搭建

文章目录前言一、Hadoop概述二、Hadoop特性优点三、Hadoop集群搭建（一）集群简介（二）集群规划（三）解压Hadoop安装包（四）编辑配置文件总结前言#博学谷IT学习技术支持#想要了解Hadoop
敲键盘的杰克·2022-12-23 03:54

Zookeeper简介和安装

ZooKeeper是Hadoop项目中的一个子项目，是Hadoop集群管理的一个必不可少的模块，它主要用来解决分布式集群中应用系统的一致性问题。
Charge8·2022-12-22 15:47

hadoop集群配置（保姆级教学）

目录1.集群配置（1）集群部署规划(2）配置文件说明(3）配置集群（1）核心配置文件（2）HDFS配置文件（3）YARN配置文件（4）MapReduce配置文件2群起集群（1）配置workers（2）启动集群（1）格式化NameNode（2）启动HDFS(3）集群基本测试3配置历史服务器(1）配置mapred-site.xml（2）分发配置（3）在hadoop102启动历史服务器（4）查看历史服务
Echo bigdata·2022-12-22 12:26

Hadoop运行模式（本地运行模式）

伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。完全分布式模式：多台服务器组成分布式环境。生产环境使用。
守猪_待兔·2022-12-21 16:21

Hadoop（二）Hadoop运行模式

生产环境不用伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个
大象君c·2022-12-21 16:20

数据仓库Hive的使用

数据仓库Hive的使用一、试验目的要求二、试验环境三、试验内容任务一启动hadoop集群任务二启动Hive，查看当前的数据库列表任务三Hive的数据模型---分区表任务四Hive的数据模型---桶表任务五
大菜彩·2022-12-20 08:10

【大数据存储技术】「#3」将数据从Hive导入到MySQL

Hive、MySQL和SqoopHive预操作启动MySQL、hadoop、hive创建临时表inner_user_log和inner_user_info使用Sqoop将数据从Hive导入MySQL启动hadoop
小手の冰凉·2022-12-20 08:34

hadoop集群搭建

集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
·2022-12-19 18:52

基于Ubuntu下hadoop集群搭建

一、Hadoop集群搭建1、安装虚拟机1、安装vmtoolshadoop@ubuntu:sudoapt-getinstallopen-vm-tools-desktop-y2、安装vim编辑器hadoop
为什么要学习·2022-12-19 11:04

第五章 Hive的安装与配置

系列文章：第一章Hadoop集群搭建的准备第二章Hadoop集群搭建第三章Zookeeper分布式集群部署（2n+1台虚拟机）第四章Hadoop高可用集群搭建（HA）第五章Hive的安装与配置待更新第九章
开朗小哥·2022-12-18 22:02

【数开】黑马-大数据开发

黑马大数据开发-课程笔记1、Hadoop1.1、介绍Hadoop1.2、Hadoop特性优点1.3、hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？
浪里小飞侠·2022-12-18 22:24

-bash: xsunc: 未找到命令 如何解决？

在搭建Hadoop集群环境的时候，用到了同步即xsync命令，写完脚本后又发现，执行过程中有问题，特此总结。
瑞雪美景·2022-12-18 22:06

hadoop集群搭建配置 =v=

配置1.主机映射设置主机名hostnamectlset-hostnamecentos01分别在主机centos01、centos02、centos03打开/etc/hosts文件，添加如下的主机映射，如下图：4条配置信息如下：192.168.0.144hadoop01192.168.0.151centos01192.168.0.152centos02192.168.0.153centos032.免
weixin_44987754·2022-12-16 14:01

云计算-基于hadoop-2.7.7从0开始搭建

二、Hadoop的组成三、关于hadoop集群安装的三种方式对比四、主要名词解释三、开始安装hadoop-2.7.7初始环境配置3.安装好用的vimVimForCpp6.SSH配置单机模式安装单机模式-
Python-AI Xenon·2022-12-15 15:58

如何实现 hadoop 的安全机制

(1)共享hadoop集群:a:管理人员把开发人员分成了若干个队列，每个队列有一定的资源，每个用户及用户组只能使用某个队列中指定资源。b:HDFS上有各种数据，公用的，私有的，加密的。
Jee.Li·2022-12-15 11:36

ubuntu20桌面版编译hadoop3.3.1源码后，启动单个节点的集群Single Node

前言在ubuntu20桌面上顺利编译hadoop3.3.1各种源码，编译命令如下都通过了，接下来是找到编译后的文件启动一个节点的hadoop集群。
liwulin0506·2022-12-15 11:15

【玩转系列01】Zookeeper操作与使用手册

Zookeeper作为Hadoop项目中的一个子项目，是Hadoop集群管理的一个必不可少的模块，它主要用来控制集群
uaapi·2022-12-14 17:11

CentOS虚拟机搭建Hadoop集群

注：本文是对https://www.bilibili.com/video/BV1CU4y1N7Sh的实践。环境CentOS7.7JDK8Hadoop3.3.0准备VMWare的网络设置：略。准备好3台虚拟机，其IP地址分别为192.168.88.151、192.168.88.152、192.168.88.153，其hostname分别为host1、host2、host3。以第一台VM为例：[roo
蓝黑2020·2022-12-13 13:34

CenOS7 Hadoop集群搭建（一）：CentOS7虚拟机的创建

根据自己的学习工作进行总结：搭建环境介绍：VMware12.5.2下载地址及激活码：百度网盘提取码：hdwbCentOS-7-x86_64-Minimal-181下载地址:清华大学开源软件镜像站CenOS7Hadoop
机智的小狐狸·2022-12-13 13:01

CentOS虚拟机搭建Hive环境

关于如何搭建Hadoop集群，请参考我另一篇文档。
蓝黑2020·2022-12-13 13:58

Hadoop 分布式计算系统（map-reduce）介绍

Hadoop分布式计算系统（map-reduce）介绍hadoop组成什么是分布式计算hadoop1.x分布式计算总体架构hadoop2.x分布式计算总体架构分布式计算原理JAVA代码实现hadoop组成hadoop
ithinking110·2022-12-12 11:37

Hive的安装与配置——第2关：Hive Shell入门基础命令

相关知识HiveShell运行在Hadoop集群环境上，是Hive提供的命令行接口（CLI），在Hive提示符输入HiveQL命令，HiveShell把HQL查询转换为一系列MapReduce作业对任务进行并行处理
真题OK撒·2022-12-12 09:48

【大数据入门核心技术-Ambari】（一）Ambari介绍

一、什么是AmbariApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
forest_long·2022-12-12 09:33
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他