Hadoop集群

干货丨Hadoop MapReduce 作业长时间卡死怎么办？

源数据文件发到Hadoop集群后，我们的预处理程序会对源数据进行编码转换、数据去重、加时间拉链、数据清洗、错误数据处理等操作，生成贴源的ODS层数据，供上层建模使用。
·2021-07-27 19:49

(二)Hadoop之MapReduce原理分析

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
·2021-07-27 19:46

hadoop集群部署之基础概念介绍（一）

基础原理介绍在进行hadoop集群部署的之前，首先得了解一下hadoop的工作原理。什么是hadoop呢，hadoop是一套大数据处理框架，主要解决海量数据的存储和分析计算。那到底是在hadoop中
远方的旅行者·2021-07-25 16:10

CentOS7 hadoop集群配置-1

一，准备三台centos7服务器vi/etc/hosts三台都输入192.168.12.137bigdata01192.168.12.138bigdata02192.168.12.139bigdata03二，创建免密码登录1)设置本机的ssh免密登录在bigdata01执行ssh-keygen-trsa一路回车cat到authorized_keys文件cat~/.ssh/id_rsa.pub>>~
梅村_9643·2021-07-13 16:32

MapReduce学习笔记——NWU_LK

MapReduceMapReduce概述MapReduce是一个分布式运算程序，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。
NWU_LK·2021-06-29 18:51

ERROR [master/hq555:16000:becomeActiveMaster] master.HMaster: Failed to become active master

解决问题：先修改hbase集群中的所有的hbase-site.xmlhbase.rootdirhdfs://hd555/hbasehadoop集群的core-site.xml中的配置是：fs.defaultFShdfs
一个人一匹马·2021-06-24 17:38

黑猴子的家：MapReduce是什么？？

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
黑猴子的家·2021-06-24 10:30

玩儿数据 - Hadoop集群环境搭建

Hadoop安装部署指南author:yupengupdate_date:2017-04-1708:40:04version:1.0软件级分布式框架1.系统环境要求本安装说明针对Hadoop2.x.y版本有效，其他版本可能有少许不同之处本安装说明针对Linux操作系统环境，在CentOS6.5x64系统环境中部署成功并通过测试，其他操作系统或版本可能有少许不同之处JDK1.8+操作系统Root权限
怒放的葱花·2021-06-23 12:15

搭建本地hadoop集群（虚拟机）

1.搭建虚拟机环境创建三个虚拟机，网络以桥接模式，三台虚拟机在同一网段，保证三台机器能够相互ping通。1.1修改主机名用root账户登录，修改/etc/sysconfig/network文件，将HOSTNAME改成自己想要的起的主机名。我这将三台机器分别改成hadoop01、hadoop02和hadoop03。修改主机名.png修改/etc/hostname文件，修改主机名后重启1.2配置内网映
二进制的二哈·2021-06-22 13:44

Hadoop集群ssh设置免密登录失败

最近按照网上的教程安装hadoop集群,设置服务器免密登录出现问题,卡住了,最后使用ssh-vvv命令找到问题并解决记录下ssh免密登录设置过程1.先查看/home/user/.ssh/文件下是否存在公钥私钥文件
sudop·2021-06-22 13:59

Hadoop集群搭建

一.安装虚拟机环境虚拟机版本：VMwareWorkstationProLInux版本：CentOS-6.10-x86_64-bin-DVD1.iso（下载地址：https://developer.aliyun.com/mirror或者https://tuna.moe/）二.搭建集群1.集群分配两个节点：主节点（master-192.168.31.160），从节点（follower-192.168.
码戈·2021-06-22 05:10

Spark--spark工作模式详解(local/standalone/yarn)

；standalone模式；sparkonyarn模式，又分未yarn-client和yarn-cluster；sparkonmesos模式（暂时没有了解）本地模式-localSpark不一定非要跑在hadoop
李小李的路·2021-06-21 15:17

Docker每次启动容器,IP及hosts指定的操作

前言每次在使用Docker启动Hadoop集群的时候，都需要重新绑定下网卡，固定IP，同时修改/etc/hosts文件，非常麻烦，于是想探寻下原因及优化。
·2021-06-21 12:31

Spark学习(1)-架构原理

是基于HDFS等分布式存储之上的数据处理分析框架，它擅长批量数据处理，处理流工作负载，交互式查询，机器学习等；它可以通过standalone模式，yarn-client或者yarn-cluster等模式在hadoop
技术蜗牛·2021-06-21 07:26

IDEA 运行 WordCount 程序

环境说明Windows10IDEA2020.2.2CentOS7.6Hadoop2.9.2Maven3.6.3JDK1.82.IDEA准备Hadoop环境安装插件JetBrains提供了连接Hadoop
·2021-06-18 21:11

Hadoop伪分布模式的安装

用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop框架最核心的设计就是HDFS和MapReduce。
·2021-06-18 21:06

自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察

简介：客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。
·2021-06-18 21:45

SSH互信

在Hadoop学习之路——基本环境配置-提到，启动Hadoop集群使用sbin/start-all.sh的过程中需要输入4次当前用户密码，这是通过SSH连接进行的。
一朵琪葩·2021-06-15 14:45

Hadoop本地开发环境搭建（eclispe、IDEA）

一般情况下，开发MapReduce程序后，我们需要将MapReduce程序打包成JAR包，然后再上传到Hadoop集群通过命令行运行，这样非常的不方便。
千释炎·2021-06-15 05:38

大数据集群搭建2

大数据集群搭建本文档将搭建以下集群hadoop集群zookeeper集群hbase集群spark集群kafka集群一、准备1.1软件版本ubuntu18.04jdk1.8.0_151hadoop-3.1.3apache-zookeeper
dhz120·2021-06-14 21:52

Hadoop集群环境搭建

前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
数据萌新·2021-06-14 02:22

HBase分布式部署实践

一、Hbase的分布式部署依赖环境Hadoop集群，需要开启hdfs。
三水nami·2021-06-12 13:07

HDFS balancer详解

前言：Hadoop集群用久了以后，我们会发现一个问题，HDFS节点间的数据不平衡，尤其在新增和下架节点、或者人为干预副本数量的时候，多的达到80-90%，少的不到50%。
TOTinker·2021-06-12 07:29

大数据平台HDP搭建

一、概述ApacheAmbari是一个基于Web的支持ApacheHadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig
kaliarch·2021-06-11 16:39

[Docker]Docker常用命令备忘

原文链接：http://blog.coinidea.com/%E5%A4%A7%E6%95%B0%E6%8D%AE-1422.html最近做的一个项目，涉及到MongoDB集群、Spark集群，Hadoop
Cesium中文网·2021-06-11 14:14

hadoop集群搭建

1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=itcast###1.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面->右键点击右上方的两个小电脑->点击Editconnections->选中当前网络Systemeth0->点击edi
NickYS·2021-06-11 06:01

史上最全的单机hadoop集群搭建

零零散散两周时间，终于在单机环境下搭建起来了一个4节点的hadoop集群。
aix91·2021-06-09 23:36

Hadoop集群搭建

1、准备工作准备6台虚拟机，内存1G虚拟机节点分配情况序号机器分配1Park01Zookeeper、NameNode(active)、ResourceManager(active)2Park02Zookeeper、NameNode(standby)3Park03Zookeeper、ResourceManager(standby)4Park04DataNode、NodeManager、Journal
御林君·2021-06-09 10:28

第二次课作业

Hadoop集群搭建及测试1.格式化namenode2.格式化zookeeper3.启动dfs4.启动yarn5.启动resourcemanager6.启动historyserver7.执行hadoopmapreducejob
zangalewa·2021-06-09 09:50

hadoop视频教程培训 hadoop最新实战教程 Hadoop新手速成培训全套完整视频教程

视频下载地址：http://demo.liuy88.cn/jp0706.html-------------------课程目录-------------------第一天hadoop的基本概念伪分布式hadoop
单独行走的猪·2021-06-08 19:07

Apache Ambari部署

Ambari简介ApacheAmbari项目旨在通过开发用于配置，管理和监控ApacheHadoop集群的软件来简化Hadoop管理。
区块鱼·2021-06-08 12:27

码农周刊分类整理 -- H

HADOOP[PPT]Hive优化以及执行原理（杨新彦）腾讯大规模Hadoop集群实践（翟艳堂）系列文章：跟着实例学习ZooKeeper的用法(@colobu)[PDF]Hadoop源代码分析(@童燕群
harrytsz·2021-06-07 21:29

从0开始在 docker 中配置 hadoop 集群

我是用ubuntu18.x.x作为基础镜像，日后我会整理出一个Dockerfile制作hadoop集群的基础镜像#拉取ubuntu镜像dockerpullubuntu#生成一个容器#--name给容器命名
阿波罗程序猿·2021-06-06 22:04

Win10的pycharm上通过pyspark访问服务器上的SPARK和HBASE

前提：hadoop集群已部署完成Hadoop集群：Hadoop2.6.5spark-2.3.0*.*.*.1hadoop1*.*.*.2hadoop2*.*.*.3hadoop3*.*.*.4hadoop4hbase-env.xmlhbase.zookeeper.quorumhadoop1
木目范·2021-06-06 22:50

hadoop集群安装

环境：Centos7.0，JDK1.8设置主机名hostnamehadoop1hadoop2hadoop3hosts/etc/hosts192.168.31.17hadoop1192.168.31.210hadoop2192.168.31.65hadoop3免密钥登陆ssh-keygen-trsassh-copy-id-ihadoop1ssh-copy-id-ihadoop2ssh-copy-id
madfrog_hc·2021-06-05 06:11

Hive环境搭建

基于三节点的Hadoop集群搭建Hive安装中前的准备先要搭建好hadoop集群安装中用到的软件：hive-1.1.0-cdh5.14.2.tar.gz，下载地址MySQL5.7安装MySQLhive的元数据
HideOnStream·2021-06-04 18:46

2019-11-05 Hadoop集群搭建

最近在学习大数据，在自己本地装了三个虚拟机，学习搭建hadoop集群。记录下过程，方便日后查看。
90后老青年·2021-06-04 11:28

hadoop部署尝试(3.1)

参考自官方英文文档：https://hadoop.apache.org/docs/r3.1.1/index.html1.部署hadoop集群1.1.前置条件本次安装环境为Ubuntu(16/18)安装Java7
区块鱼·2021-06-04 06:46

虚拟机部署hadoop集群

参考文章一、配置虚拟机以及本地IPvmware中编辑-虚拟网络编辑器本地网络共享中心-适配器-vmnet8二、配置开发机器环境为了用xshell时，不用一直写ip地址，我们可以在自己的开发机器上进行配置C:\Windows\System32\drivers\etc\hosts192.168.10.100hadoop100192.168.10.101hadoop101192.168.10.102ha
言成言成啊·2021-06-01 23:59

第一章 MapReduce概述

MapReduce核心功能适将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2MapReduce优缺点1.2.1优点易于编程。
琉璃百般枯·2021-06-01 22:24

hadoop离线day07--Hadoop YARN、HA机制

目录今日内容大纲HDFS安全模式自动进入离开手动进入离开安全模式的注意事项Hadoop集群动态扩容、缩容集群扩容集群缩容ApacheYARNYARN的概述YARN组件--3大组件client提交程序到yarn
Vics异地我就·2021-06-01 21:44

小白视角的大数据基础实践(一)搭建Hadoop集群

大数据实践第一篇，面向小白编程Ubuntu的操作1.下载文件1.1下载ubuntu镜像文件注：推荐使用16.04或是18.04版本下载地址链接pub.mirrors.aliyun.com进入下载页面，如下图，选择版本进入选择ubuntu-X.X.X-desktop-amd64.iso下载即可1.2下载及安装VMware百度搜索随便安装即可，建议安装到磁盘比较大的地方，其他选择默认就可以了，网上找找
小生凡一·2021-05-29 10:19

Hadoop集群搭建(一主二从)

Hadoop集群搭建(一主二从)Hadoop集群搭建Hadoop集群搭建(一主二从)前言一、VMware安装，以及jdk，Hadoop安装包二、在VMware中安装CentOS7三、XSHELL和XFTP
人生短短几个秋·2021-05-28 20:59

实验一：熟悉常用的Hadoop操作

实验平台1、操作系统：win102、Hadoop版本：3.1.3win10与hadoop集群位于同一局域网中。
shi_zi_183·2021-05-25 21:34

大数据组件 - Ambari 01 简介

Ambari是apache下的一个开源项目，致力于让hadoop集群管理更加简单。它开发了丰富的RESTfulAPIs，以及一套直观易用的WebUI管理界面。
雷学委·2021-05-24 23:36

大数据基本操作课程笔记（5）

课程目标1、安装JDK2、安装Hadoop3、安装Eclipse4、安装winutils5、安装Hadoop插件课前环境在同一网络下有maser，slave1，slave2三个linux服务器，并完成了hadoop
shi_zi_183·2021-05-24 21:10

2021年大数据Hadoop（六）：全网最详细的Hadoop集群搭建

目录Hadoop集群搭建集群简介集群部署方式1、Standalonemode（独立模式）2、Pseudo-Distributedmode（伪分布式模式）3、Clustermode（群集模式）-单节点模式
Lansonli·2021-05-24 00:31

hadoop离线day02--Apache Hadoop

hadoop离线day02--ApacheHadoop内容大纲#ApacheHadoop入门介绍概念狭义广义hadoop起源hadoop特性优点#ApacheHadoop搭建hadoop集群主从架构hdfs
Vics异地我就·2021-05-23 22:40

Hadoop之Hue

通过使用Hue我们可以在浏览器端的Web控制台上与hadoop集群进行交互来分析处理数据，例如操作HDFS上的
_TIM_·2021-05-23 05:05

记一次hadoop大数据课设准备工作--hadoop集群搭建（三个结点）+Spark安装

【未完待续…】本次课设所使用的操作系统是华为的openEluer。主节点部署创建hadoop用户创建用户：sudouseradd-mhadoop-s/bin/bash设置密码，可简单设置为hadoop，按提示输入两次密码：sudopasswdhadoop密码统一设置为Aaaa1111@hadoop用户增加管理员权限，方便部署：sudoadduserhadoopsudo用hadoop用户登录su-h
wxl@·2021-05-19 19:28
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他