Hadoop集群

linux公钥 还需要密码,centos配置ssh免密码登录后仍要输入密码的解决方法

前言在搭建Linux集群服务的时候，主服务器需要启动从服务器的服务，如果通过手动启动，集群内服务器几台还好，要是像阿里1000台的云梯Hadoop集群的话，轨迹启动一次集群就得几个工程师一两天时间，是不是很恐怖
橘子说柠檬你好甜·2023-08-15 16:19

Hbase 错误：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 解决方案

项目场景：提示：Hadoop集群版本为3.2.2、Hbase集群版本为2.3.6、Zookeeper集群版本为3.6.3问题描述：在使用Hbase命令时，出现以下：ERROR:org.apache.hadoop.hbase.PleaseHoldException
freedom_Mr·2023-08-15 11:26

构建Hadoop集群实验

（1）在#后输入cd/home/命令，进入home目录下，在#后输入viDockerfile命令，创建并编辑一个Dockerfile文件，示例代码如下：[root@xxxhome]#viDockerfile按i（小写）键，进入编辑模式，将以下代码输入至Dockerfile文件当中。示例代码如下：FROMcentosMAINTAINERzingADDjdk-7u79-linux-x64.tar.gz
舜岳·2023-08-15 02:21

05-Hadoop集群部署(普通用户)

Hadoop集群部署（普通用户）Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
书香恋仁心·2023-08-14 12:51

在Deepin(深度)操作系统上使用docker在idea中搭建一个简单的Hadoop集群(一)

在Deepin(深度)操作系统上使用docker在idea中搭建一个简单的Hadoop集群(一)**本文将使用详细的描述和代码来展示Deepin系统下,一个包含master(主节点)+两个slave(工作节点
叶青舟·2023-08-14 12:35

大数据开发基础-环境配置篇-Hadoop集群安装

鼠鼠接下来将更新一系列自己在学习大数据开发过程中收集的资源、和自己的总结、以及面经答案、LeetCode刷题分析题解。首先是大数据开发基础篇环境搭建、组件面试题等其次是更新大数据开发面经的java面试基础最后更新一个大数据开发离线数仓的实战项目，自己写入简历的项目。关注不迷路，学习要进步！！！！！！集群规划node01node02node03角色主节点从节点从节点NameNode√DataNode
葡萄成熟时_·2023-08-14 01:19

2018-12-01 大数据学习

一开始以为是zk集群和hadoop集群的ip地址问题，因为这个集群是部署在阿里云上的，所以会有内部ip和公网ip的转换，以前在旧公司用openstack搭大数据测试集
Bitson·2023-08-13 04:38

虚拟机CentOs7配置网络 （NAT模式）

前言：创建三台虚拟机，先后配置网络IP地址，这里虚拟机的版本的是CentOS7本文适合Hadoop集群网络配置，如果电脑换了网络连不上虚拟机，以及虚拟机ping不通外网，都可以参照一下操作如需了解NAT
weixin_52593633·2023-08-12 12:34

hadoop集群的安装

1、CDH软件版本重新进行编译1、编译hadoop的原因，需要对hadoop安装包中添加以下C程序库2、编译环境的准备2.1：准备Linux环境准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos6.964位的操作系统2.2：虚拟机联网，关闭防火墙，关闭selinux关闭防火墙命令：serveriptablesstopchkconfigiptablesoff关闭se
我还不够强·2023-08-11 16:28

Docker安装Hadoop分布式集群

一、准备环境dockersearchhadoopdockerpullsequenceiq/hadoop-dockerdockerimages二、Hadoop集群搭建1.运行hadoop102容器dockerrun
qq_14910065·2023-08-11 11:00

Hbase伪分布式搭建与完全分布式搭建

2、完全分布式搭建前提：Hadoop集群正常运行zookeeper集群正常运行配置流程配置regionservers
南宫萧言·2023-08-11 08:23

大数据学习之Hadoop——02Hadoop集群安装

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop伪分布式安装：1.自身免秘钥(前提):$ssh-keygen-trsa-P''-f~/.ssh/id_rsa$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keysimage在这里插入图片描述2.安装hadoop：解压hadoop安装包tarxfhadoop-2
Jiang锋时刻·2023-08-11 03:28

hadoop滚动重启脚本

背景再使用开源版本hadoop集群时，有配置参数修改时，需要人工修改并重启节点让配置生效，因此这里这里写了个脚本实现自动滚动重启。脚本：注意：不同版本的hadoop#!
ThomasgGx·2023-08-10 18:51

PySpark之Python版本如何选择(详细版)

问题背景公司目前有两套Spark集群和一套Hadoop集群用来做数据相关的存储和计算。Hadoop的版本是2.7，Spark两套集群，一个是2.1.0版本，一个是2.4.3版本。
eaglecolin·2023-08-10 18:36

hadoop集群：HDFS读写流程图与HDFS元数据管理机制

hadoop集群：HDFS读写流程图与HDFS元数据管理机制1，HDFS读流程客户端通过DistributedFileSystem向NameNode请求下载文件。
扎道·2023-08-09 08:52

Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）

NameNode（主节点）：NameNode是Hadoop集群中的一个核心组件，它负责管理文件系统的命名空间和元数据。
Matrix70·2023-08-09 08:18

Ambari架构源码解析【转载】

Ambari架构源码解析1.Ambari介绍ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
岁月的眸·2023-08-09 01:31

HBase Shell 操作

1、基本操作1.1、进入HBase客户端命令行前提是先启动hadoop集群和zookeeper集群。
让线程再跑一会·2023-08-09 01:00

Hadoop集群启动常见错误

错误一：配置文件错误解决方案：检查配置文件，修改错误。重新分发（同步）常见错误二：重复格式化DataNodeNameNode在格式化时如果发现下面的提示说明重复格式化了datanode和namenode的集群id不一致重复格式化解决方案：1.将所有节点重启（杀死所有节点的服务-NN,DN,RM）2.删除三台节点中的data,logs,/tmp/*3.重新格式化4.启动集群脚本：一键同步到所有集群#
redstone618·2023-08-08 15:30

CDH6.3.2 启用Kerberos 认证

用户需要能够可靠地“识别”自己，然后在整个Hadoop集群中传播该身份。完成此操作后，这些用户可以访问资源（例如文件或目录）或与集群交互（如运行MapReduce作业）。
格格巫 MMQ!!·2023-08-08 13:24

离线数仓之Kerberos基本使用及问题记录

离线数仓之Kerberos基本使用及问题记录文章目录离线数仓之Kerberos基本使用及问题记录0.写在前面1.Kerberos基本使用0.启动Kerberos相关服务1.安全模式下启动Hadoop集群
WHYBIGDATA·2023-08-08 13:54

hadoop Java API 比较python 下的hadoop streaming

javaapi来运行mapreduce程序1首先需要搭建一个hadoop集群。
sadamu0912·2023-08-08 11:23

（十四）大数据实战——hadoop集群一键式高可用实现自动故障转移与故障初始化恢复

前言本节内容延续前面几节内容，综合性的实现hadoop集群的高可用以及hadoop集群故障初始化的恢复，通过一个脚本，实现整个集群的高可用启停与状态观测。
北溟溟·2023-08-08 07:57

Docker Hadoop、Spark、Kafka、Zookeeper等集群服务搭建

目录Docker搭建Hadoop集群（Docker&Hadoop&HDFS&Yarn&Cluster）Docker搭建Myrocks实例（Docker&Mysql&Rocksdb）Docker搭建Kafka
boonya·2023-08-07 12:01

Hive常见面试题

它提供了类似于SQL的查询语言（HiveQL），使用户能够使用SQL语句来查询和分析大规模存储在Hadoop集群上的数据。
Matthew117·2023-08-06 06:13

（十三）大数据实战——hadoop集群之YARN高可用实现自动故障转移

前言本节内容是关于hadoop集群下yarn服务的高可用搭建，以及其发生故障转移的处理，同样需要依赖zookeeper集群的实现，实现该集群搭建时，我们要预先保证zookeeper集群是启动状态。
北溟溟·2023-08-06 00:57

（十二）大数据实战——hadoop集群之HDFS高可用自动故障转移

前言本节内容主要介绍一下hadoop集群下实现HDFS高可用的自动故障转移，HDFS高可用的自动故障转移主要通过zookeeper实现故障的监控和主节点的切换。
北溟溟·2023-08-06 00:26

python自动化部署hadoop集群_大数据集群的自动化运维实现思路

原标题：大数据集群的自动化运维实现思路|作者简介王晓伟知数堂《大数据实战就业》课程讲师六年大数据相关工作经验清华大学软件工程硕士曾就职于网易、搜狗等互联网企业从事大数据及数据仓库的开发管理工作拥有丰富的数据平台建设、及Hadoop生态系统组件优化经验|王老师往期公开课及试听视频：1、第1期课程刚结课(正式课试听视频:https://pan.baidu.com/s/1yfgL5g7FGfjnhas1
weixin_39869959·2023-08-04 19:11

Spark RDD详解

它可以通过YARN或Spark的Standalone在Hadoop集群中运行，并且可以处理HDFS、Hbase、Cassandra、Hive和任何HadoopInputFormat中的数据。
丿沐染烟忱丶·2023-08-04 18:03

mongo-hadoop集成

当hadoop集群需要借助mongodb的数据进行辅助分析时，为了快速实施我们需要将hive集成mongodb1.下载jar包，放到hive节点的第三方包/etc/hive/auxlib目录下(这个目录通过
csdn-延·2023-08-03 20:52

Hadoop集群报错/bin/bash: /bin/java: No such file or directory

在终端运行/bin/java无法运行，所以需要给它创建个软连接，使其指向真正的jdk目录ln-saba就是源文件，当我们进入b时实际进入的是a所以我们只需要在终端执行ln-s/opt/module/jdk1.8/bin/java/bin/java，然后在集群上的每台电脑上都执行相同命令就行
csding11·2023-08-02 13:05

所有集群启动的命令

所有集群启动的命令查询所有节点启动Hadoop集群(Yarn模式)关闭Hadoop集群Spark（local模式）启动Spark集群standalone模式(不用了)关闭standalone模式HA下的
不懂开发的程序猿·2023-08-02 08:34

Ubuntu上安装Hadoop集群

所以这篇文章我们就来介绍一下如何在Ubuntu上搭建Hadoop集群。准备阶段三台在同一局域网内的Linux机器或者虚拟机。配置好Host文件，让三台机器可以通过主机名进行访问。
名字想好没·2023-08-01 23:38

Zookeeper

Zookeeper1.简介最初了解它是在研究生期间，搭建过Hadoop集群，它用于为分布式集群提供一致性服务。它的核心是：类似树形文件系统、通知机制。下面先介绍几个小概念。
粪逗er·2023-08-01 15:12

Hive/Spark/Yarn: User Not Found 错误和 Kerberos / AD / OpenLDAP 之间的关系与解释

类似的问题大多发生在启动了Kerberos的Hadoop集群上，或者集群集成了WindowsAD或OpenLDAP后。本文，我们把这个问题梳理清楚并给出解决方法。
　Laurence·2023-07-31 11:53

VMware搭建Hadoop集群 for Windows（完整详细，实测可用）

目录一、VMware虚拟机安装（1）虚拟机创建及配置（2）创建工作文件夹二、克隆虚拟机三、配置虚拟机的网络（1）虚拟网络配置（2）配置虚拟机主机名（3）配置虚拟机hosts（4）配置DNS、网关等（5）reboot重启虚拟机四、配置SSH服务（1）确认ssh进程（2）生成秘钥（3）秘钥拷贝五、JDK安装（1）把JDK安装包传输到虚拟机（2）把JDK安装包解压到/export/software/（3
沙滩de流沙·2023-07-30 06:01

Zookeeper的使用

对于Zookeeper的介绍和安装教程这里不再赘述，网上很多资料都介绍得很专业，上一篇文章在搭建Hadoop集群的时候也简单介绍了下。
lizb·2023-07-29 20:19

hadoop集群

hadoop集群包含两类节点（Master与Slave）Master节点：运行了Namenode、或者SecondaryNamenode、或者Jobtracker的节点。
莫待花无空折枝·2023-07-29 14:26

Spark-hadoop集群中8020：Connection refused

一、使用CentOs7虚拟机运行spark案例报出8020端口出现错误    前提条件，使用standalone模式下的Spark，使用spark-shell运行example中的相关测试案例spark-examples_2.12-3.0.0.jar，来计算pi。当spark-shell停止掉后，集群监控base:4040页面就看不到历史任务的运行情况，所以需要配置历史服务器记录任务运行情况。  
天堂 沙县小吃·2023-07-29 07:11

R可视化：用Shiny实现类Excel数据透视图

通常而言，数据或存放在MySQL数据库，或存放在Hadoop集群，或存放在阿里云的ODPS上。分析师根据业务需求写SQL语句从数据平台上提取出需要的数据，随后就面临着本文要重点讨论的
weixin_34221775·2023-07-29 03:14

shell脚本去检查hadoop集群的健康状态

#!/bin/bash#检查Namenode的Active和Standby状态active=$(hdfshaadmin-getServiceStatenn1)standby=$(hdfshaadmin-getServiceStatenn2)#检查集群的其他健康状态检查命令#...#判断状态是否健康if[["$active"=="active"&&"$standby"=="standby"]];th
墨卿风竹·2023-07-28 20:34

用sqoop导出hive parquet 分区表到mysql

用sqoop导出hiveparquet分区表到mysql确保你已经安装并配置好了Sqoop工具，并且可以连接到Hadoop集群和MySQL数据库。创建一个MySQL表来存储导出的数据。
墨卿风竹·2023-07-28 20:32

hadoop入门五步走

入门五步走第一步安装hadoop集群1、安装jdk，当前为jdk8，jdk9、10、11由于会移除一些类，导致hadoop集群安装失败安装细节不在赘述2、hadoop的安装细节可参考下面这俩篇文章https
勃列日涅夫·2023-07-28 17:24

Hadoop 系列（五）—— Hadoop 集群环境搭建

一、集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManager服务，但只有hadoop001上部署NameNode和ResourceManager服务。
heibaiying·2023-07-28 14:29

1

第十九章shell脚本的基础本节所讲内容：19.1shell基本语法19.2SHELL变量及运用19.3数学运算19.4实战-升级系统中的java版本到1.8版本-为后期安装Hadoop集群做准备19.1shell
Verity_1022·2023-07-28 05:29

HDFS核心技术详解

其中最底部就是HDFS，它被用来存储Hadoop集群中所有存储节点上的文件。
your_blue_sky·2023-07-27 11:24

Hive

Hive提供了一个被称为Hive查询语言(简称HiveQL或HQL)的SQL方言，来查询存储在Hadoop集群中的数据。
什么都懂一点的小白·2023-07-26 11:16

【大数据平台】从Hadoop到Spark安装配置教程

目录3.java-jdk的安装4.Hadoop以及单机配置的安装5.Hadoop伪分布式的配置6.Hadoop集群的配置（这里建议将后面的工具安装完成后，再配置此步骤，否则会非常痛苦）7.Hbase及其单机模式的安装
奕隆·2023-07-26 06:24

Hadoop 之 Hbase 配置与使用（四）

Hadoop之Hbase配置与使用一.Hbase下载1.Hbase下载二.Hbase配置1.单机部署2.伪集群部署（基于单机配置）3.集群部署1.启动hadoop集群2.启动zookeeper集群3.启动
猪悟道·2023-07-26 06:53

docker搭建hadoop集群（为分布式、完全分布式）

第1章写在前面必读1.1Hadoop生态简单说明说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要
时空无限·2023-07-26 00:23
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他