Hadoop集群

大数据 | Spark安装及测试

采用Yarn部署模式时，需要保证集群中已经安装好Hadoop集群，在此基础上才能实现Yarn模式的部署。
xyzhang2018·2022-12-09 09:55

Hadoop集群搭建准备环境，手把手教你一步一步搭建，超详细

Hadoop运行环境搭建准备环境由于各种原因，本人决定要在实验室使用三台主机搭建一个集群，集群使用的机器是三台破旧主机，破旧到什么程度，就是去库房拔了一下午，扒到了三台勉强还能跑的动的电脑，一言难尽，但总归是找到了三台，配置不高，主要是用于平时的练手实验使用。在主机准备好了之后，就是最开始的一步，重装系统，之前搭建系统使用的是Ubuntu20.0.4版本，但是这次改用了一下linux版本，使用的是
牧码文·2022-12-08 08:07

Hadoop完全分布式环境搭建(三节点)

一、实验机型及架构描述二、基础环境配置三、JDK-Hadoop环境配置四、Hadoop配置文件修改五、启动hadoop集群(均在adserver操作)本篇引用文章地址：https://blog.csdn.net
指剑·2022-12-08 08:15

Hadoop集群搭建完全分布式搭建---------虚拟机版本

大数据自学——之Hadoop集群搭建分布式搭建小白超详细安装教程小蜡笔的安装工具：VMwara(以管理员身份运行哦)、Xshell、Xftp一、准备工作：1.虚拟机安装三台linux本次测试是Centos6.5
北慕辰·2022-12-08 08:14

ML/DL 学习框架汇总

ApacheSystemML（IBM）：灵活的机器学习框架，自动拓展到Spark和Hadoop集群。DMTK（Microsoft）：为了使大数据上的机器学习任务具有高效性，可扩展性，保持灵活性。
无规则@lucio·2022-12-07 21:14

Hadoop大数据开发基础课后答案

Hadoop大数据开发基础课后答案(仅供参考)本书为中国工信出版集团的《Hadoop大数据开发基础》Hadoop集群的搭建与配置一、选择题1.HDFS中的文件块默认保存（C）份。
不太聪明的学渣·2022-12-07 11:06

Hadoop集群启动和关闭脚本

文章目录Hadoop集群启动关闭脚本一、Hadoop集群启动脚本1.在cd$HADOOP_HOME路径下创建jiqunstart.sh文件。
不太聪明的学渣·2022-12-07 11:05

HBase分布式安装配置图文详解

一、准备工作首先确保已经搭建好Hadoop集群环境，可以参考之前的博文安装配置好。
Meyaoo·2022-12-07 08:03

Hadoop的资源隔离

背景最近在一个hadoop集群中发现，当接入的集群的用户较多跑MR相关的spark、hive等服务时，如果不做资源的管理与规划，那么整个Yarn的资源很容易被某一个用户提交的Application占满，
xiaokebiubiubiu·2022-12-06 23:31

Mac上在vm虚拟机上搭建Hadoop集群并安装zookeeper hive hbase（下篇）

zookeeper官网地址上传一下包解压tar-zxvfzookeeper-3.4.9.tar.gz-C../servers/修改配置文件cdzookeeper-3.4.9/conf/cpzoo_sample.cfgzoo.cfgvimzoo.cfg添加myid配置mkdir/export/servers/zookeeper-3.4.9/zkdatasecho1>myid安装包分发并修改myid的
不久之·2022-12-05 17:53

解决Linux root用户设置ssh免密登陆后仍然需要输入密码的问题

解决免密登陆后sshlocalhost需要输入密码问题搭建hadoop集群后,设置ssh免密登录发现还是一直需要输入密码,简直是烦死了,很明显就是ssh免密登录没有设置好.出现该问题有很多原因,比如ssh
Python-AI Xenon·2022-12-05 10:38

Hadoop的伪分布式安装

环境信息1.硬件：内存ddr34G及以上的x86架构主机一部系统环境：windows2.软件：运行vmware或者virtualboxHadoop集群3.其他:无步骤与方法1.安装MapReduce并配置运行环境
燧机科技SuiJi·2022-12-05 02:01

ssh: connect to host hadoop-slave1 port 22: Connection refused

在docker内或者物理机上启动hadoop集群出现如下错误ssh:connecttohosthadoop-slave1port22:Connectionrefused原因是：1.salve1上免密登录没有设置
Thinker aaa·2022-12-04 17:50

MapReduce集群搭建

概述MapReduce运行在Hadoop集群上。但MapReduce是通过另外一批进程来运行的。
小林家的史莱姆·2022-12-04 16:27

docker搭建hadoop集群并进行mapreduce

文章目录docker搭建hadoop集群MapReduce操作一、编写mapreduce代码二、本地运行2.1添加hadoop环境2.2eclipse中运行三、集群测试3.1将Jar上传到HDFS3.2
灼灼meou·2022-12-04 16:27

hadoop面试100道收集（带答案）

配置环境变量d)修改host文件域名e)安装ssh配置无密码登录f)解压hadoopg)配置hadoopconf下面的配置文件h)Hadoopnamenode-format格式化i)Start启动2.列出hadoop
小飞侠-2·2022-12-04 00:14

Hive的表查询操作

首先开启Hadoop集群：cd/opt/hadoop-3.1.4/sbin./start-dfs.sh./start-yarn.sh.
土味霸总·2022-12-03 00:47

Hadoop集群入门配置

文章目录Hadoop概述Hadoop组成HDFS架构概述YARN架构概述MapReduce架构概述一、模板虚拟机环境准备1、hadoop100虚拟机配置要求如下1、安装epel-release2、net-tool：工具包集合3、关闭防火墙，关闭防火墙开机自启4、创建用户并修改密码5、（可选）配置liyuhao用户具有root权限，方便后期加sudo执行root权限的命令6、在/opt目录下创建文件
_七七·2022-12-02 13:01

Hadoop集群配置（一）

文章目录一、实验目标二、实验内容三、实验步骤1、网卡配置，配置固定IP2、关闭防火墙3、关闭selinux4、配置主机名5、安装java6、添加hosts7、安装SSHserver、配置SSH无密码登陆8、安装hadoop与配置8.1、将hadoop添加到环境变量中8.2、配置hadoop-env.sh8.3、配置core-site.xml8.4、配置hdfs-site.xml8.5、配置mapr
一只皮皮虾x·2022-12-02 13:31

Hadoop大数据技术课程总结2021-2022学年第1学期

文章目录Hadoop大数据技术课程总结1.大数据概述1.1大数据时代的4V1.2大数据时代的三次浪潮1.3大数据时代的技术支撑1.4谷歌的3篇论文1.5Hadoop集群规模1.6Hadoop安装过程2.
IT从业者张某某·2022-12-01 20:18

大数据高频面试题——hadoop详解

目录1.2Hadoop1.2.1Hadoop常用端口号1.2.2Hadoop配置文件以及简单的Hadoop集群搭建1.2.3HDFS读流程和写流程1.2.4HDFS小文件处理1.2.5Shuffle及优化
荩辞·2022-11-29 17:07

【精】HDFS Balancer原理、参数详解

1.前言：Hadoop集群长时间运行以后，我们有可能会发现这样一种现象：Datanode节点间的数据不平衡，有的节点使用率很高，有的节点使用率很低。
叹了口丶气·2022-11-29 17:04

不同hadoop集群之间迁移hive数据

#!/bin/bash#set-xDB=$1#获取hive表定义ret=$(hive-e'use${DB};showtables;'|grep-v_es|grep-v_hb|grep-vimportinfo)fortemin$ret;dohive-e"use${DB};showcreatetable$tem">>/tmp/secha.shecho-e';\c'>>/tmp/secha.shdone
yangbosos·2022-11-29 17:02

轻松完成Hadoop集群数据迁移

01PART前言在工作当中经常会遇到集群的升级，或者部署新集群，数据迁移的问题，那么本文就演示ApacheHadoop集群和CDHHadoop集群之间数据互相迁移。
weixin_49067219·2022-11-29 17:01

定位hdfs文件块异常和修复org.apache.hadoop.hdfs.CannotObtainBlockLengthException Cannot obtain block length for

org.apache.hadoop.hdfs.CannotObtainBlockLengthException:CannotobtainblocklengthforLocatedBlock一、问题重启hadoop
薛定谔的猫不吃猫粮·2022-11-29 17:01

hdfs 数据迁移_Hadoop集群跨数据中心迁移实践

近年来，随着零售大数据Hadoop集群的快速增长，已是负重前行的保税区机房的设计容量日渐难以承载，扩建或新建机房势在必行。经领导层决议，基于大数据未来3年的发展需求和多维度推演、论证，新建东莞数据
晨曦姜·2022-11-29 16:57

hadoop集群迁移_Hadoop集群数据均衡处理案例

背景某hadoop集群的某个datanode节点主机有坏盘，但是没有配件及时更换，当几天后更换，启动datanode节点时，CM界面显示对应的XDYDAT10主机可用空间告警。
weixin_39603537·2022-11-29 16:56

OLAP(三)：Impala介绍 、 (和hive/spark对比)、COMPUTE STATS

一、Impala概述Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。
四月天03·2022-11-29 16:45

hadoop集群数据迁移

hadoopdistcphdfs://namenode1/foohdfs://namenode2/bar如果想在两个运行着不同版本HDFS的集群上利用distcp，使用hdfs协议是会失败的，因为RPC系统是不兼容的。想要弥补这种情况，可以使用基于HTTP的HFTP文件系统从源中进行读取。这个作业必须运行在目标集群上，使得HDFSRPC版本是兼容的。例如：hadoopdistcphftp://na
空中的鱼1987·2022-11-29 16:09

大数据实训项目

文章目录一、项目概况1、项目介绍2、项目要求3、爬取字段4、数据存储5、数据分析、转化、演示二、环境配置1、JDK2、Hadoop集群3、zookeeper4、hive5、sqoop6、flume三、爬取数据
3+2=小5？·2022-11-29 16:38

Impala和Hive集成Sentry

本文主要记录CDH5.2Hadoop集群中配置Impala和Hive集成Sentry的过程，包括Sentry的安装、配置以及和Impala、Hive集成后的测试。
Junjie_M·2022-11-29 16:04

hadoop集群迁移

集群迁移主要是要找到两个集群中active状态的namenode集群迁移不同于服务器之间的文件发送，在hdfs中，文件是以块的形式，只可以通过namenode访问文件，所以迁移时需要通过hadoop命令主要命令是distcpdistcp有很多参数，如果是第一次备份，也就是目标集群中没有数据，第一次可以用overwrite，如果是定期备份，可以使用diff，如果是目标文件追加数据，可以用append
你好，我叫罗鹏程·2022-11-29 16:29

hadoop集群搭建和配置

hadoop的优势是分布式集群计算，即搭建hadoop集群（完全分布式Hadoop）集群由节点组成，节点构成不同角色。
木北鲜生·2022-11-29 15:46

Hadoop HDFS命令

hadoop集群搭建好之后，通过HDFS命令操作HDFS分布式文件系统，HDFS命令与linux命令类似所有命令有/bin/hadoop脚本引发，可以使用命令查看帮助文档hadoopfs-help使用HDFS
木北鲜生·2022-11-29 15:16

下载VirtualBox，创建虚拟机，安装Linux系统(Ubuntu版)

Linux系统了解linux系统安装Ubuntu系统linux指令安装hadoop的准备工作问题解决hadoop需要在linux的环境下运行安装linux操作系统，linux的版本——ubuntu创建hadoop
木北鲜生·2022-11-29 15:46

hive详细安装步骤启动等

目录1.安装hadoop集群2.安装mysql，且配置mysql远程连接权限3.cphive-default.xml.templatehive-site.xml4.cphive-env.sh.templatehive-env.sh5
Alex_81D·2022-11-27 14:39

Hadoop集群增加节点不删数据详细操作步骤

首先说一下这篇文章：得先有个Hadoop集群，对于如何搭建请移步博主另一篇文章：超详细的Hadoop集群部署_Alex_81D的博客-CSDN博客今天主要说说当节点不够时，如何快速扩容，一会会儿就搞定了
Alex_81D·2022-11-27 14:39

Ubuntu 16.4虚拟机 配置Hadoop集群

Ubuntu16.4配置Hadoop集群总体步骤环境说明虚拟机配置java安装hadoop安装与配置克隆虚拟机ssh安装使用，免密登录更改hadoop配置结束语总体步骤1、虚拟机配置2、java安装3、
ws_Ando·2022-11-26 00:03

Hive的安装与使用（内嵌模式derby+将Hive的元数据配置到MySQL）配置hive的远程访问，实现多客户端访问安全机制

前期准备：因为hive是构建在hadoop集群之上的，所以要先进行hadoop集群的搭建一、内嵌模式：使用hive内置的关系型数据库（derby）来存储元数据1.下载并上传到虚拟机上，我是在/opt目录下
lidan0427·2022-11-26 00:29

初学者小白容易接受的HBase集群搭建（三台）

搭建HBase集群，依赖hdfs存储，zookeeper协调服务一、前期准备1.搭建好hadoop集群2.搭建好zookeeper集群二、搭建HBase集群1.下载2.解压3.配置HBase的环境变量4
lidan0427·2022-11-26 00:28

膜拜-华为内部都在强推的 783 页大数据处理系统：Hadoop 源代码 pdf

第3章Hadoop集群和YARN，虽然Hadoop也可以在单机上运行,但是这个平台的典型运行场景无疑是在多机的集群(Cluster)上。
倾听铃的声·2022-11-25 19:53

Hadoop完全分布式实现WordCount

运行前提：搭建好你的Hadoop集群，结构如下：MasterSlave1Slave2可以参考我写的搭建教程，跟着我的步骤来就行：hadoop分布式搭建确保你的分布式实例运行成功了，再往下看WordCount
银晗·2022-11-24 06:54

Hadoop搭建-小白友好系

Hadoop搭建-全程CV一条龙：文章目录Hadoop搭建-全程CV一条龙：创建用户必要组件安装配置SSH安装Java安装Hadoop：伪分布式配置：运行实例：分布式HadoopHadoop集群的安装配置大致为如下流程
银晗·2022-11-24 06:23

Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

Linux从零搭建Hadoop集群(CentOS7+hadoop3.2.0+JDK1.8+Mapreduce完全分布式集群案例)关键字和相关配置版本关键字：LinuxCentOSHadoopJava版本
星川皆无恙·2022-11-21 00:00

Kafka部署实验

一、实验介绍1.1实验内容实验在Hadoop集群上部署Kafka分布式发布订阅消息系统，并完成kafka消息管理验证。
蒋猪猪·2022-11-19 19:54

大数据—人工智能领域高水平会议及热点技术汇总

11月24日-28日线上直播一、大数据概述1.大数据及特点分析2.大数据关健技术3.大数据计算模式4.大数据应用实例二、大数据处理架构Hadoop1.Hadoop项目结构2.Hadoop安装与使用3.Hadoop
renhongxia1·2022-11-19 18:01

使用MapReduce求ncdc气象数据中的最低温度

使用脚本启动hadoop集群，并且启动zookeeper，使用jpsall查看。然后创建文件夹，使用wget命令下载数据。
kiritobryant·2022-11-19 05:25

Hadoop集群搭建详细步骤大全

0-Hadoop运行环境搭建1.1,安装虚拟机1）安装虚拟机IP地址192.168.10.100、主机名称hadoop100,4G、硬盘50G（安装vm和光盘，注意放在内存大的硬盘上）（1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况[root@hadoop100~]#pingwww.baidu.com（2）安装epel-release注：ExtraPackages
钰涵雨辰·2022-11-19 04:49

云计算实验-全分布式HADOOP搭建和全分布式运行项目

二、实验环境硬件：惠普计算机软件：VmWare、centos三、实验内容搭建一个全分布式的hadoop集群并且掌握hdfs文件系统。
abtgu·2022-11-16 13:58

配置SSH免密登录(CentOS 7.9操作系统)

比如，在Hadoop集群中，Hadoop控制脚本依赖SSH来执行针对整个集群的操作。(2)在运维部署时，无需重复输入密码和打开多
zhangbeizhen18·2022-11-15 20:09
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他