Hadoop集群

ERROR cluster.StandaloneSchedulerBackend: Application has been killed. Reason: Master removed app...

hadoop集群搭建完毕，spark-standalone集群搭建结束后，能正常启动bin/spark-submit\--classorg.apache.spark.examples.SparkPi\-
心之若涯·2021-05-19 16:17

Hbase集群安装与常见问题解决

首先说明，要使用hbase是需要先安装hadoop和zookeeper的（也可以使用自带的但是不建议），参考[zookeeper集群安装][hadoop集群安装]我用的是三台机器，mini1,mini2
数据萌新·2021-05-18 20:52

ansible初始化系统之，磁盘分区，格式化

数据磁盘少还OK，如果像是hadoop集群中的存储节点。一次都是20块。一个一个手动搞真的要命。之前在网上看到有人用ansible调用shell脚本，实现分区。感觉太土。而且很要命。
迷茫_小青年·2021-05-17 19:30

impala 概念及其特性

Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。它是一个用C++和Java编写的开源软件。
起个什么呢称呢·2021-05-17 18:49

Hadoop集群节点之间ssh免密登录

回到根目录，查看目录下有没有.ssh文件，如果没有，可以先用命令：sshHadoop2，登录之后就会出现.ssh：cd.ssh/生成密钥ssh-keygen-trsa需要输入口令，直接回车即可，三次回车就行了此时会产生两个文件将密钥拷贝到其他节点（也给本节点拷贝一份）：ssh-copy-idHadoop2ssh-copy-idHadoop3ssh-copy-idHadoop4ssh-copy-id
"Hello World".·2021-05-17 09:29

在CentOS下搭建Hadoop集群及Hive

由于机器有限，目前只搭建了2台机器作为hadoop集群的节点。
carymao·2021-05-17 07:32

搭建 hadoop 提交任务机器

image.png正常来说我们搭建好了hadoop集群后，只要能正常运行，最简陋的方式我们就可以干活了，比如直接在hadoopmaster节点NameNode节点创建一个公共的目录，要执行job的jar
Helen_Cat·2021-05-16 00:28

impala架构

Impala是在Hadoop集群中的许多系统上运行的MPP（大规模并行处理）查询执行引擎。与传统存储系统不同，impala与其存储引擎解耦。
起个什么呢称呢·2021-05-15 17:05

【大数据】Hadoop环境搭建图文教程（VM安装教程+Linux环境下配置+搭建三节点的Hadoop集群）

文章目录大数据Hadoop环境搭建一、基本配置二、即将完成的任务三、实验背景四、知识要点文档说明：VMware版本：linux版本1.三台linux服务器的安装1.安装VMware2.通过Vmware安装第一台linux机器3.为我们创建的linux虚拟机挂载操作系统4.为我们的linux虚拟机设置网络配置5.克隆第一台机器6.更改克隆机器的IP地址2.安装大数据集群前的环境准备1.三台虚拟机关闭
是我，Zack·2021-05-15 10:05

解决hadoop集群中一个slave节点无法连接外网引发的一系列问题

1.连接外网失败ping其他机器ok，pingwww.baidu.com失败1）检查网关等等使用本地网关正确备注：网传答案（nameserver8.8.8.8）无效2）cat/var/log/messages|grepnetwork查看网络启动日志一直提示UUID冲突问题，该问题应该忽略，就算解决了也并ping不了最后的最后。。。仔细读里面的内容image.png我使用桥接模式，使用的网卡是ifc
玄月府的小妖在debug·2021-05-14 02:04

Hadoop集群的搭建

记录下hadoop2.6.5集群的整个搭建流程，以免自己忘了，集由于Hadoop是依赖java的，所以我们也需要准好jdk。前期准备：需要准备好服务器，jdk，hadoop安装包，可以去官网下载，在学习搭建的时候用的是centos6.8，jdk1.8，hadoop2.6.5，如果不知道怎么下载可以去下边的地址下载。centos6.8的包：https://pan.baidu.com/s/1VTuIR
一字节·2021-05-14 00:48

yarn原理详解

一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。
scottzcw·2021-05-13 23:28

Spark集群安装-基于hadoop集群

文章目录hadoop集群下载环境配置集群配置测试hadoop集群参考使用docker部署hadoop集群-手把手复现下载首先查看hadoop版本hadoopversion下载sparkcd/usr/local
唔仄lo咚锵·2021-05-13 16:55

Centos环境下从零部署Hadoop分布式集群

文章目录一、Hadoop安装前期准备二、安装包上传三、配置Java环境变量四、部署Hadoop4.1修改Hadoop配置文件（分布式Hadoop集群部署）4.2Hadoop启动一、Hadoop安装前期准备为了更清晰的管理安装软件
"Hello World".·2021-05-13 14:46

start-all.sh启动hadoop，出现error:JAVA_HOME is not set and could not be found

A:hadoop集群，一般出现这种情况，需要在hadoop-env.sh再声明一下JAVA_HOME:hadoop-env.sh在/usr/local/hadoop/etc/hadoop目录下eg:java
YcPh·2021-05-10 07:09

Hadoop 集群搭建

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者在逻辑上分离，但物理上常在一起（啥意思？
Singer_Au·2021-05-09 16:37

51cto赵强HADOOP学习（十八）pig学习

、求和、分组、关联等常用操作，还可以自定义函数，这是一种面向数据分析处理的轻量级脚本语言Pig可以看做是piglatin到map-reduce的映射器Pig可以看做hadoop的客户端软件，可以连接到hadoop
lehuai·2021-05-09 02:07

Hadoop 学习系列（三）之 YARN 详细解析

作为ApacheHadoop的核心组件之一，YARN负责将系统资源分配给在Hadoop集群中运行的各种应用程序，并调度要在不同集群节点上执行的任务。YARN的基本思想是将资源管理和作业
PeTu·2021-05-08 12:49

关于hadoop集群几个问题的释疑

3月12日下午，我与华为工程师杨工的对话，提出我的几个困惑。以下是我个人整理的，是我个人的当前认识，可能还有不足，供大家参考，欢迎大家指正。1，云平台和集群的区别答：云平台面向的是个人客户、中小企业客户，集群面向的是大型企业客户。云平台的作用是资源池化，以池化而实现集中化，统一化，池化以后，需要多少，分配多少，这样，节约了资源，提高了资源利用率，提高了管理效率，而且由于集中存储，提高了安全性。问题
刘培富·2021-05-07 20:20

MapReduce实战-词频统计、文件合并排序

可参考使用docker部署hadoop集群-手把手复现词频统计统计所有输入文件中每个单词出现的次数。
唔仄lo咚锵·2021-05-05 17:10

Namenode HA恢复

背景Hadoop集群使用Ambari来进行部署和管理，Hdfs的Namenode本来是HA的，但是某天有一台机器重装之后，不小心把这台机器上的所有数据都清除掉了。
zczhuohuo·2021-05-05 10:11

第一课 Hbase集群安装与常见问题解决

首先说明，要使用hbase是需要先安装hadoop和zookeeper的（也可以使用自带的但是不建议），参考[zookeeper集群安装][hadoop集群安装]我用的是三台机器，mini1,mini2
Arroganter·2021-05-05 02:14

关于大数据hadoop的45个科普小知识

这里为大家分享Hadoop集群设置中经常出现的一些问题，以下为译文：1.Hadoop集群可以运行的
尚学先生·2021-05-02 08:36

大数据工程师（开发）面试系列（7）

WordCount的MapReduce我：最近刚学了scala，并且就有scala版本的WordCount，刚好学以致用了一下：wordcount补：至于java版本，虾皮博主的一篇文章讲解的非常细致：Hadoop
司小幽·2021-04-29 07:40

Hadoop集群搭建即HDFS基本操作

HDFS就是一个分余展的大硬盘（分布式、自动冗余、动态扩展）Hadoop目前不支持Java9最好装Java7或者Java8命令说明rpm-ivh./jdk….安装jdk，jdk默认安装路径为/usr/javarpm-qa|grepjdk验证jdk是否安装tar–xvf./hadoop-2.7.2.tar.gz直接解压hadooptar-zxvffilename.tar-C/specificdir解
XinXingAstro·2021-04-28 16:49

Kerberos KDC主从搭建

基于Hadoop集群安全考虑，需要上线kerberos认证，此章将介绍如果搭建一个主从配置(防止单点故障)的KDC环境。
shaopi0211·2021-04-28 03:55

三、Hive搭建（不需要搭建集群）

本系列目录：一、CentOS集群搭建(1)--CentOS安装篇一、CentOS集群搭建(2)--CentOS设置篇一、CentOS集群搭建(3)二、Hadoop集群搭建三、Hive搭建（不需要搭建集群
国家一级蹦迪运动员·2021-04-27 23:06

hadoop如何分发本地的jar文件

Spark应用(appjar)发布到Hadoop集群的过程_服务器应用_Linux公社-Linux系统门户网站http://www.linuxidc.com/Linux/2016-08/134132.htmhadoop
葡萄喃喃呓语·2021-04-27 17:47

黑猴子的家：HBase 与 Sqoop 集成

SqoopsupportsadditionalimporttargetsbeyondHDFSandHive.SqoopcanalsoimportrecordsintoatableinHBase.之前我们已经学习过如何使用Sqoop在Hadoop
黑猴子的家·2021-04-26 20:18

【phoenix-部署】Docker+Nginx+Keepalived实现高可用Phoenix负载均衡

一、系统环境参考hadoop集群搭建中的“一、安装环境准备”。
粮忆雨·2021-04-25 07:12

hadoop分布式部署(Hadoop-3.3)

2、分布式规划一个完全的Hadoop集群需要三台机器完成一台主机系统作Master另外两台为：slave1、slave2三台主机机器处于同
＿贪多必失·2021-04-24 17:04

Hadoop：MapReduce进阶编程（WritableComparable和cleanup的使用）

WritableComparable和cleanup的使用）一、案例要求实验内容1，自定义类型实验内容2，TopN求解实验简析二、实现过程1.IntelliJIDEA创建Maven工程2.完整代码子实验1子实验23.Maven打包4.Hadoop
Regan_zhx·2021-04-23 23:09

Hadoop集群部署及简单测试

Hadoop集群部署及简单测试部署模式本地模式伪分布模式完全分布式节点规划HDFS规划YARN规划实现部署解压安装修改配置修改环境变量配置文件~env.sh修改属性配置文件~-site.xml修改core-site.xml
杀智勇双全杀·2021-04-23 22:25

Spark 开发环境搭建（四）-Hadoop 集群创建

四、Hadoop集群创建根据前几节的设置，我们已经对一台机器完成了从网络到hadoop等一些列的配置，为便于测试hadoop集群，本节将介绍如何利用virtualboxclone工具创建相同的机器。
kakasyw·2021-04-23 01:34

基于华为云搭建Hadoop集群

环境说明：3台华为云服务器DistributorID:UbuntuDescription:Ubuntu16.04.3LTS注意：以下提供的配置，其中有个别备注，要根据情况修改！1.修改服务器的hosts文件vi/etc/hosts在文件中添加：各个服务器IP地址+主机名注意：云服务器中只有一块内网网卡，外网地址不是直接配置在云服务器中，程序无法绑定公网IP地址。因此服务器本身要改为——内网IP+主
番茄ozz·2021-04-22 15:57

Ansible Role 大数据 之【cdh5-server】

AnsibleRole:cdh5server只安装cdh5server服务，不安装hadoop集群。要求此角色仅在RHEL及其衍生产品上运行。
lework·2021-04-22 11:48

Spark on Yarn

bin-hadoop2.6http://spark.apache.org/docs/latest/running-on-yarn.html在YARN上启动Spark确保HADOOP_CONF_DIR或YARN_CONF_DIR指向Hadoop
金刚_30bf·2021-04-22 10:31

Hive1.2.1 && MySQL5.1.73-1 安装 小白超详细安装教程

大数据自学-之Linux虚拟机Centos下的Hive1.2.1安装&MySQL5.1.73-1安装小白学习超详细安装教程【往期回顾1】hadoop集群完全分布式搭建小白教程【往期回顾2】hive练习题
北慕辰·2021-04-21 22:17

Hadoop集群搭建：9.Hive安装及site.xml不生效的踩坑

一、Hive安装及配置1，把apache-hive-2.3.6-bin.tar.gz上传到linux的/software目录下清华大学资源包：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/2，解压apache-hive-2.3.6-bin.tar.gz到/module/目录下面：tar-zxvfapache-hive-2.3.6-bin.tar.
丶珍视当下·2021-04-21 18:43

Hadoop HA的安装

Hadoop集群的安装在master1节点解压hadoop安装包tarzxvf.
Davidham3·2021-04-21 13:33

##大数据系列（1）——Hadoop集群坏境搭建配置

大数据系列（1）——Hadoop集群坏境搭建配置-指尖流淌-博客园http://www.cnblogs.com/zhijianliutang/p/5731002.html数据量的大小决定了集群整体的存储大小
葡萄喃喃呓语·2021-04-20 13:59

VMware + Ubuntu18.04 搭建Hadoop集群环境的图文教程

前言本次教程是基于学校的大数据实验而做的，博主在搭建的同时，记录了自己的命令运行结果截图，在图书馆搭建环境+写博客，也花了将近3个小时。长时间眼睛对着电脑会很伤眼睛，所以童鞋们需要注意保护好眼睛，做做眼保健操。希望学到的童鞋可以点个赞！VMware克隆虚拟机（准备工作，克隆3台虚拟机，一台master,两台node）先在虚拟机中关闭系统右键虚拟机，点击管理，选择克隆3.点击下一步，选择完整克隆，选
·2021-04-17 14:10

Hadoop：MapReduce之倒排索引（Combiner和Partitioner的使用）

Hadoop：MapReduce之倒排索引前言一、案例要求二、实现过程1.IntelliJIDEA创建Maven工程2.完整代码3.Maven打包4.Hadoop集群运行推荐Hadoop学习视频前言本案例有一定门槛
Regan_zhx·2021-04-14 23:44

Hadoop集群搭建及配置⑨——Hive 可靠的安装配置，远程连接MySQL

Hive安装一、安装配置Hive1.1解压hive1.2配置环境变量（master和slave1）1.3配置hive-env.sh1.4将hive复制到slave1中：1.5配置hive-site.xml（slave1）1.6Hive与Mysql通信(slave1)1.6.1maven配置下载mysql驱动器1.7解决版本冲突和jar包依赖问题(master)1.8配置hive-site.xml（
唐樽·2021-04-13 14:40

干货丨Hadoop MapReduce 作业长时间卡死怎么办？

源数据文件发到Hadoop集群后，我们的预处理程序会对源数据进行编码转换、数据去重、加时间拉链、数据清洗、错误数据处理等操作，生成贴源的ODS层数据，供上层建模使用。
·2021-04-12 21:30

Hadoop环境安全加固

htmlhttps://zgao.top/hadoop-yarn-rest-api%E6%9C%AA%E6%8E%88%E6%9D%83%E6%BC%8F%E6%B4%9E%E5%A4%8D%E7%8E%B0/安装完Hadoop
sparkle123·2021-03-29 22:53

大数据处理技术：MapReduce案例WordCount遇到的问题

在第一次接触大数据处理技术时，跟着老师的步骤写了一个MapReduce程序的统计单词案例，由于能力有限，一开始在hadoop集群上运行时就遇到了各种问题，所幸后面再老师和同学帮助下都一一解决了MapReduce
A_Zhong20·2021-03-29 17:50

Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机（图文步骤详解2021）

Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机（图文步骤详解2021）系列文章传送门Hadoop入门(一)——CentOS7下载+VM上安装（手动分区）图文步骤详解(2021)Hadoop
Leokadia Rothschild·2021-03-19 23:07

数据库‖上千节点Hadoop集群升级过程分享

在上一次我进行了超万亿规模的HadoopNameNode问题的排查，通过为时四天的努力，终于解决了Hadoop2.6.0版本的瓶颈问题，但是生活往往就是墨菲定律，你所极力避免的那些最坏的可能也许终将会发生。为了防止遇到NameNode的第二次瓶颈，我决定将当前集群由Hadoop2.6.0版本升级到Hadoop3.2.1版本，且启用联邦模式。但是在升级之后，我们还是遇到了很多意向不到的问题，虽然最终
·2021-03-12 01:59

ubantu16.x上搭建hadoop分布式环境

一、vm虚拟机的安装二、vm虚拟机上安装ubuntuserver三、ubuntuserver上搭建hadoop集群四、hadoop生态系统1.hdfs分布式文件系统2.MapReduce分布式计算3.Hbase
A_Zhong20·2021-03-10 22:22
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他