Hadoop集群

使用IDEA 2019在windows 10 上连接远程hadoop集群（虚拟机）开发MapReduce

0前序暑假期间参加了一个关于大数据的培训，当时用培训老师给出的相关软件实验了一遍，感觉收获很大，回到学校后在更新的版本中又实现了一遍，这里主要就在新版本中的一些环境配置做些笔记，供自己后续实践参考，有些步骤可能会多余，但由于是初学，也就只能在自己掌握的情况下做些调整。在前期的CentOS中集群环境下的hadoop3.2配置中没有碰到过多的问题，主要的一个就是jdk的选择问题，之前选的最新版本jdk
sdc_sh·2020-09-11 10:39

Hadoop集群安全模式的问题

hadoop为了防止数据丢失，启动了“安全模式”的设置，每次启动hadoop后一段时间内集群处于安全模式，该模式下集群会检查各节点文件块的记录，如果数据块中满足replication设置值的数据块的数量在总数据块数量中所占比例没有超过一定值（称为安全模式阀值，默认为0.999f），那么集群将持续处于安全模式，在该模式下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系
OnTheRoad_Kang·2020-09-11 09:00

Hadoop0.20.2 完全分布式安装和配置

Hadoop集群规划IP地址主机名hostname负责工作192.168.0.31hadoop-1nameno
青石板街·2020-09-11 08:38

hadoop balancer -threshold

由于hadoop集群的机器磁盘容量大小不等，造成磁盘使用率不同，有的使用了10%，而有的已经100%，这个对整个系统的运行是有问题的。
xingwang_ye·2020-09-11 06:43

Hadoop集群上搭建多用户模式hive

Hadoop集群上搭建多用户模式hive一.环境介绍我们将在上文搭建的hadoop集群中安装和配置hive的多用户模式。
雪豹旺·2020-09-11 06:39

Kettle构建Hadoop ETL实践（三）：Kettle对Hadoop的支持

目录一、Hadoop相关的步骤与作业项二、连接Hadoop1.连接Hadoop集群（1）开始前准备（2）配置步骤2.连接Hive3.连接Impala4.建立MySQL数据库连接三、导入导出Hadoop集群数据
wzy0623·2020-09-11 06:37

Zookeeper（二、分布式集群安装与命令行操作）

原文链接：Zookeeper（二、分布式集群安装与命令行操作）.1.前置条件安装Hadoop集群链接：Hadoop（二、安装Hadoop-3.2.1集群）.在hadoop100、hadoop101和hadoop102
wise_nut·2020-09-11 05:30

docker环境下搭建hadoop集群(ubuntu16.04 LTS系统）

我的思路是这样：安装ubuntu系统---->下载docker---->在docker里拉取hadoop镜像---->在此镜像里创建三个容器(Master、Slave1、Slave2)---->完成完全分布式1.安装ubuntu系统(无论你是安装的单系统，还是用虚拟机安装了ubuntu)如果想安装单系统，步骤如下：（1)把ubuntu镜像下载到电脑桌面(版本自选)。（2)再把ultraiso下载到
微凉下午茶·2020-09-11 05:11

hive并发调用的运行方式-个人经验篇

前言使用hive，我们很多情况下会并发调用hive程序，将sql任务转换成mapreuce提交到hadoop集群中，而在本人使用hive的过程中，发现并发调用hive有几个问题,在这个和大家分享下.正文默认安装
weixin_33962923·2020-09-11 05:07

Phoenix的安装部署

Phoenix的安装部署3.1、准备工作提前安装好ZK集群、hadoop集群、Hbase集群3.2、安装包从对应的地址下载：http://mirrors.cnnic.cn/apache/phoenix/
王树民·2020-09-11 04:05

Hbase运行不稳定，通过修改系统配置(THP)解决Hbase运行过程中时常出现宕机的问题

问题前段时间由于项目需要将spark计算后的大量数据插入到HBbase数据库中，但在项目进行过程中发现整个Hadoop集群很不稳定，集群状态中CPU使用率很高，运行一段时间后HBase运行不稳定或者Hbase
ITboy-Bear·2020-09-11 04:21

CDH中的YARN 与HDFS 一点隐藏关系

CDH中的YARN与HDFS一点隐藏关系今天清明节假期第二天，上午日常远程连一下公司服务器，看看跑批作业是否OK然后发现CDHHadoop集群中提交到Yarn上的MapReduce作业跑的非常慢，而且经常是
简单的心1·2020-09-11 04:56

hadoop集群运行MR jar 包 报错 running in uber mode : false

一、问题描述：mr编写正常打好jar包后运行jar。眼看map0%reduce0%然后就结束了也没有啥错误和异常唯一个报错：runninginubermode:false二、解决办法：加上这一句话：在构造job类中加上：System.setProperty("HADOOP_USER_NAME","root");原因:操作HDFS文件系统权限问题,具体的还需要百度。三、解决流程：1、idea本地运行
适合不合适·2020-09-11 03:18

Hbase集群搭建

Hbase依赖于Hadoop，所以版本必须对应，我本地的hadoop版本是2.7.7，详情参见：https://www.cnblogs.com/CoolJayson/p/9368982.html检查我们的hadoop
大明律·2020-09-11 02:36

Spark学习笔记

SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、GraphX等)->Parquet->其它各种DataMining等1.1Spark集群的安装Spark的运行是构建在hadoop
专业大数据·2020-09-11 00:36

hive并发调用的运行方式-个人经验篇 - ggjucheng - 博客园

个人经验篇-ggjucheng-博客园hive并发调用的运行方式-个人经验篇-ggjucheng-博客园前言使用hive，我们很多情况下会并发调用hive程序，将sql任务转换成mapreuce提交到hadoop
a13393665983·2020-09-11 00:38

Kubernetes集群搭建Hadoop集群

文章目录0.环境搭建1.搭建Hadoop集群1.3访问HDFS页面1.4访问Yarn页面0.环境搭建Kubernetes集群搭建参考：离线搭建Kubernetes-v1.17.4集群及kube-prometheus
@TangXin·2020-09-10 23:19

hive并发调用的运行方式-个人经验篇

前言使用hive，我们很多情况下会并发调用hive程序，将sql任务转换成mapreuce提交到hadoop集群中，而在本人使用hive的过程中，发现并发调用hive有几个问题,在这个和大家分享下.正文默认安装
iteye_1344·2020-09-10 22:10

[Hive基础]-- hive单用户及多用户的实现（已经实现多用户）

1.启动hadoop集群，hdfs和yarn--->start-dfs.shstart-yarn.sh2.关掉安全模式，hadoopdfsadmin-safemodeleave(注意：每次进入时，都要先关闭
highfei2011·2020-09-10 22:05

分布式资源调度管理框架：YARN的架构及工作原理

目录简介基础架构高可用架构联邦机制调度器简介Hadoop2.x引入了一个新的组件：YARN，它作为hadoop集群中的资源管理模块，为各类计算框架提供资源的管理和调度。
王义凯_Rick·2020-09-10 21:25

Mac下配置JAVA_HOME

打开之前配置Hadoop集群时配置Java环境的笔记，找到添加环境变量这一步：exportJAVA_HOME=/usr/java/latestexportCLASSPATH=.
舒沉·2020-09-10 17:57

大数据离线-Hadoop入门（下）

1.Hadoop集群搭建发行版本Hadoop发行版本分为开源社区版和商业版。社区版是指由Apache软件基金会维护的版本，是官方维护的版本体系。
xipenfei·2020-09-10 10:38

使用docker部署hadoop集群的详细教程

最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。0.写在前面网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。
·2020-09-08 08:19

hadoop笔记-pjj

hadoop笔记-pjjhadoop入门集群搭建过程软件安装hadoop集群的启动单节点启动hdfs单节点启动yarn集群群起hadoop的历史日志和日志聚集历史日志日志聚集HDFS分布式文件系统hdfs
傻里傻气阿呆啊·2020-09-01 23:22

Docker搭建Hadoop集群

文章转自:https://blog.csdn.net/lizongti/article/details/102756472目录环境准备依赖安装Docker单例模式（WithoutDocker）安装安装JDK安装Hadoop配置环境变量设置免密登录修改hadoop-env.shHDFS创建目录修改core-site.xml修改hdfs-site.xml格式化HDFS启动HDFSHDFSWebHDFS
boonya·2020-09-01 10:59

MapReduce与Spark和Flink三者的比较

开发人员基于MapReduce编程模型进行编程开发，然后将程序通过MapReduce计算框架分发到Hadoop集群中运行。MapReduce编程模型只包含M
zr19305489·2020-08-30 10:45

Hive通过JDBC连接HiveServer

hadoop.proxyuser..hosts*hadoop.proxyuser..groups*修改配置后需要重启hadoop集群$sbin/stop-dfs.sh$sbin/start-dfs.sh
kongxx·2020-08-26 16:49

大数据学习之Hadoop集群搭建（二）

目录一、Hadoop集群规划二、配置样板节点1、虚拟机硬件信息2、本地登录配置（1）root用户登录（2）关闭防火墙（3）修改主机名和IP地址（4）配置hosts（5）创建用户设置密码（6）添加sudo
青衫红叶·2020-08-26 11:23

Hadoop环境搭建步骤

文章目录前言一、虚拟机安装二、安装JDK和Hadoop1.基本信息配置2.安装JDK和Hadoop三、安装Zookeeper集群四、Hadoop集群的高可用配置五、Hadoop集群的正常启动顺序总结前言
Emily_0916·2020-08-26 11:11

阿里云服务器下hadoop 部分端口无法访问的问题

环境服务器是阿里云的ECS服务器安装了ubuntu14.04linux系统搭建了hadoop2.7.3的集群hadoop集群中主机名分别为Master、Slave1、Slave2配置了/etc/hosts
我是Mr小赵先生·2020-08-26 09:58

centos7搭建hadoop集群之xcall脚本

在一些特定场景下，需要所有节点同时执行相同的命令，比如主机hadoop1执行ls命令，其他节点主机也同时执行ls命令，实现这种效果快捷方式一般有两种：1.使用工具，同一发送执行命令，如SecureCRT,同时连接所有节点，在窗口下面可以直接输入需要同时执行的命令。优点:如果命令后面带有路径，如ls/opt/demo，可以直接写成lsdemo/(前提是其他节点也有此目录)，写成相对路径，Secure
yhblog·2020-08-26 08:00

Hadoop YARN：调度性能优化实践

背景YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。
美团技术团队·2020-08-26 08:20

我的小锦囊之Hadoop集群的启动命令以及经常遇到的小问题

每天启动Hadoop集群时都会打开这份txt文档，现在看来觉得这份文档才是精髓，看一眼，就能理一遍思路。
关山难越_谁悲失路之人·2020-08-26 08:27

flume流（二）如何在hadoop集群中安装flume流？（待补充图片）

二、如何在hadoop集群中安装flume流？
关山难越_谁悲失路之人·2020-08-26 08:26

spark的原理和部署（二）on yarn

关于spark的集群有三种部署模式，mesosyarnstandalone，对应着三种不同的资源管理方式，因为前段时间搭建了hadoop集群，所以先来了解下onyarn的集群部署方式。
冷昕·2020-08-25 17:23

hadoop跑第一个python wordcount程序

/www.cnblogs.com/kaituorensheng/p/3826114.htmlhttps://blog.csdn.net/wangato/article/details/70173682hadoop
冷昕·2020-08-25 17:23

02. Spark Streaming实时流处理学习——分布式日志收集框架Flume

如何将日志上传到Hadoop集群上？对比方案存在什么问题，以及有什么优势？方案1:容错，负载均衡，高延时等问题如何消除？方案2:Flume框架2.2Flume概述flume官网htt
牦牛sheriff·2020-08-25 17:03

(Hadoop搭建) 2.Hadoop节点安装前的准备—网络配置

（注：搭建的是三节点Hadoop集群。）创建DataNode上一篇已经创建了NameNode。
Sibyl_Lqq·2020-08-25 11:13

(Hadoop集群搭建) 3.Hadoop节点安装前的准备—SSH免密登录设置

上篇我们已经完成了节点的网络配置和域名解析。本篇我们将完成SSH免密登录设置。在此以前要保证每个节点都有相同的用户名，如果用户名不相同建议用超级用户创建新用户，并将该新用户加入wheel用户组以获得sudo权限（相关命令会在本文末尾给出）。~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~下面进行SSH免密登录设置：关闭防火墙（如果不关闭防火墙，无法进行SSH免密登录）a.检查
Sibyl_Lqq·2020-08-25 11:13

分布式hadoop搭建，自己测试成功过，很详细

分布式hadoop集群分布服务器功能规划node-1：namenode,datanode,nodemanager,historyservernode-2:resourcemanage,datanode,
无敌策哥·2020-08-25 07:44

大数据——Hive(数据仓库工具)

Hive提供类似SQL的HiveQL的数据处理功能，Hive将HiveQL语句转换成MapReduce程序交给Hadoop集群处理。为什么要用Hive？M
小生浩浩·2020-08-25 06:51

配置Oracle VM VirtualBox，实现内外网访问笔记，以进行spark、hadoop集群开发测试

许久不用，忘记，免得再忘，特记之。全局设置主节点设置：访问一下网络从节点设置：启动hadoopspark：从节点1启动情况：从节点2启动情况：
张大鹏的博客·2020-08-25 03:22

impala

impala架构Impala是在Hadoop集群中的许多系统上运行的MPP（大规模并行处理）查询执行引擎。
vernwang·2020-08-25 03:22

Ambari简述及集群搭建（上）

一、Ambari简述1.1、什么是AmbariApacheAmbari项目旨在通过开发用于配置，管理和监控ApacheHadoop集群的软件来简化Hadoop管理。
Jeremy_Lee123·2020-08-25 03:45

Ambari搭建Hadoop集群

1.1环境需求1）3个节点的搭建2）分别为masterslave1slave2设置静态ip[root@master~]#cd/etc/sysconfig/network-scripts/[root@masternetwork-scripts]#viifcfg-enp0s3把动态#BOOTPROTO="dhcp"注释掉，在新增：TYPE="Ethernet"PROXY_METHOD="none"BR
流丶氓·2020-08-25 03:40

Ambari搭建

Ambari搭建Ambari简介ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
exklin·2020-08-25 03:51

Sqoop 导入导出详解(mysql-hbase)

之前我们已经学习过如何使用Sqoop在Hadoop集群和关系型数据库中进行数据的导入导出工作，接下来我们学习一下利用Sqoop在HBase和RDBMS中进行数据的转储。
似梦似意境·2020-08-25 02:37

一文搞定hadoop及其生态圈组件的安装，赶紧收藏起来吧！

大数据项目综合能力练习前言虚拟机的安装Hadoop集群环境搭建centos7安装centos7基础环境配置克隆两台虚拟机作为从节点修改主机名配置hosts文件关闭防火墙时间同步配置ssh免密登录安装jdk
shy-2·2020-08-25 02:18

ambari平台的搭建过程

部门老大要求搭建一个四台服务器组成的hadoop集群，做一些小中型数据集的数据处理工作。赶鸭子上架，尝试了一下ambari平台的一键式安装，感觉很方便，来分享一下过程。
蛋疼的罩罩·2020-08-25 01:28

Hadoop的三种运行模式

2.伪分布式模式：Hadoop守护进程运行在本地机器上，模拟一个小规模的集群，换句话说，可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。
q435201823·2020-08-25 01:35
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他