Hadoop集群

Flink on Yarn 部署Session-Cluster和Per-Job-Cluster

这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行MapReduce、Spark和Flink任务，操作非常方便，运维方面也很轻松。FlinkonYa
like that elf·2022-08-09 10:00

Dr.Elephant简介 - 【Dr.Elephant系列文章-1】

Dr.Elephant的设计目的是通过它对任务的分析结果指导Hadoop/Spark开发者对其任务进行便捷的优化，从而提高开发者的效率以及Hadoop集群的使用效率。在Dr.Elephant中
屈世超·2022-08-07 07:27

解决flume采集日志使用KafkaChannel写不到hdfs的问题

问题：在hadoop102中执行lg.sh命令（一个脚本，可以生成日志）后，发现日志没有传输到hdfs中解决：第一步：首先，先观察一下我们的zookeeper,kafka,flume,hadoop集群是否启动
JiaXingNashishua·2022-08-05 14:29

Hadoop集群搭建

ApacheHadoop分布式集群搭建基础环境准备三台linux节点，操作系统（Centos7）关闭防火墙systemctlstopfirewalld开机时禁用防火墙systemctldisablefirewalld修改主机名vi/etc/hosts192.168
女友在高考·2022-08-02 20:00

Hadoop集群让数据分析平台化

作者：中国大数据，原文：http://www.thebigdata.cn/Hadoop/12126.html咨询师WayneEckerson说,Hadoop提供了一个平台，为单独数据分析和商业用户建立起的spreadmart（报表集市）提供更为方便的控制，同时还让他们有地方进行自助服务分析。Spreadmart是spreadsheetdatamart的简称，在商务智能领域，指多个个人和团队创建的各
miller_lover·2022-08-02 08:53

Hadoop集群让大数据分析平台化

咨询师WayneEckerson说，Hadoop提供了一个平台，机房动力环境监控为单独数据分析和商业用户建立起的spreadmart(报表集市)提供更为方便的控制，同时还让他们有地方进行自助服务分析。Spreadmart是spreadsheetdatamart的简称，在商务智能领域，指多个个人和团队创建的各不相同的电子数据表格。因为数据不一致，所以给业务带来很大的麻烦。几十年来，所有数据分析人员都
IT资讯科技·2022-08-02 08:51

开源技术交流丨ChengYing部署Hadoop集群实战

一、直播介绍上期雅泽同学对ChengYing是什么、有什么样的功能特性，如何快速入门做了介绍，本期海洋同学将会为大家分享ChengYing部署Hadoop集群实战的相关内容，欢迎大家积极参与。
·2022-08-01 10:58

Linux重启Hadoop集群命令

命令:sh$HADOOP_HOME/sbin/start-all.sh注意重启hadoop，此时hadoop的相关进程正常启动,启动NameNode,DataNodeNodeManager都会启动启动完了建议自己自行查看一下,是否有的进程需要,如果不需要看看自己手动杀死
m0_67391518·2022-07-31 07:49

cdh集群数据同步到cdp集群-distcp

//hadoop.apache.org/docs/r3.2.2/hadoop-distcp/DistCp.htmlz再上百度地址hadoop之distcp（分布式拷贝）-张冲andy-博客园遇到的问题hadoop
cclovezbf·2022-07-29 09:16

资料网址收藏

2014-6-17bluenight专栏-博客频道-CSDN.NETmysql查询语句(mysql学习笔记七)-H&K-博客园用于挖掘Web日志的数据仓库系统实现-微软ERP技术-搜狐博客Hadoop集群
cloud-2014·2022-07-27 21:22

hadoop——day5、6、7、8、9、10、11、12、13（MapReduce）

MapReduce1.概述1）定义：MapReduce是一个分布式运算程序的编程框架核心功能：将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
大概是犬青·2022-07-25 12:24

hadoop_hadoop-2.6.0-cdh5.7.0源码编译支持压缩以及伪分布式部署

1.需求与设计1.1需求直接使用的hadoop-2.6.0-cdh5.7.0.tar.gz包部署的hadoop集群不支持文件压缩，生产上是不可接受的，故需要将hadoop源码下载重新编译支持压缩1.1概要设计下载
whiteblacksheep·2022-07-21 07:30

nfs网络文件系统

nfs网络文件系统使用案例问题：在hadoop02内容里使用hadoop集群时，server1作为master，server2、3为副本，要求2、3上的hadoop配置和1完全一样，1上hadoop以用户
lpf_linux·2022-07-18 07:27

【6.9.1】服务器安装 Docker Swarm中搭建 Hadoop集群

https://github.com/newnius/Dockerfiles/tree/master/hadoop/2.9.1https://blog.newnius.com/setup-hadoop-cluster-based-on-docker-swarm.htmlhttps://www.cnblogs.com/xiao987334176/p/13208915.html.https://www
王滕辉·2022-07-17 20:09

Hadoop集群的webUI监控界面设置Simple安全机制

业务需求：Hadoop集群配置完成，web监控界面的50070和50030端口不需用户验证即可访问，对生产环境是不容许的，需要加上安全机制。
卢子墨·2022-07-14 14:34

【Azure 存储服务】Hadoop集群中使用ADLS(Azure Data Lake Storage)过程中遇见执行PUT操作报错

问题描述在Hadoop集中中，使用ADLS作为数据源，在执行PUT操作（上传文件到ADLS中），遇见400错误【put:Operationfailed:"AnHTTPheaderthat'smandatoryforthisrequestisnotspecified."
路边两盏灯·2022-07-13 19:00

2.2 Apache Hadoop、HDFS - Apache Hadoop集群搭建

文章目录ApacheHadoop集群搭建一、Hadoop集群简介Hadoop集群整体概述思考Hadoop集群简介二、Hadoop集群模式安装（Clustermode）思路Hadoop源码编译Step1:
周纠纠·2022-07-13 13:57

hadoop-3.3.3完全分布式集群搭建

hadoop-3.3.3完全分布式集群搭建前言环境准备软件版本集群规划一、配置jdk环境变量1.解压jdk2.修改/etc/profile文件二、hadoop集群搭建1.关闭防火墙2.修改主机名3.添加
bloom__❀；·2022-07-13 13:27

Hadoop (四) --------- Hadoop 运行模式

Hadoop运行模式分类及简介二、本地运行模式三、完全分布式运行模式1.编写集群分发脚本2.SSH无密登录配置3.集群配置4.群起集群5.配置历史服务器6.配置日志的聚集7.集群启动/停止方式总结8.编写Hadoop
在森林中麋了鹿·2022-07-13 13:26

什么是数据湖？

目前，Hadoop是最常用的部署数据湖的技术，所以很多人会觉得数据湖就是Hadoop集群。数据湖是一个概念，而Hadoop是用于实现这个概念的技术。
mischen520·2022-07-13 08:43

Hive存储和压缩结合详解

修改Hadoop集群具有Snappy压缩方式查看hadoopchecknative命令使用[[email protected]]$hadoopchecknative[-a|-h]checknativehadoopandcompressionlibrariesavailability
小刘同学-很乖·2022-07-12 09:49

hadoop集群部署之hive安装（四）

前言首先讲讲hive是什么？hive本身是一个数据仓库工具，那既然是仓库，那就要存东西，**存什么东西呢？**存的是元数据（俗称metadata），那再问，**什么是元数据呢？**元数据并不是真实的数据，可以理解为是一种数据映射表，将非结构化的数据映射为结构化数据。从上图可以看出，hive中的元数据，其实只是一张张的数据映射表，你可以理解为mysql中的表也是这个样子，本身也就是一些映射表，真实的
远方的旅行者·2022-07-11 09:55

Hadoop生态之Yarn

在生活中我们大家有时候肯定会因为搬家而烦恼，但是那些搬家公司可以为我们解决这些问题，今天我们讲的Yarn在Hadoop集群中就起到了这样的作用，来负责资源调度Yarn1.什么是Yarn？
红糖番薯·2022-07-11 09:20

Hadoop集群安装，mysql安装，hive安装

1、Hadoop集群安装下载安装包安装包第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压第一台机器执行以下命令cd/kkb/soft/tar-zxvfhadoop
捡黄金的少年·2022-07-07 10:05

模拟IDC spark读写MaxCompute实践

简介：现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据，有些线下IDC场景，客户不愿意对公网暴露集群内部信息，需要从Hadoop集群发起访问云上的数据。
·2022-06-28 18:21

hadoop集群搭建——单节点（伪分布式）

1.准备工作：前提：需要电脑安装VM，且VM上安装一个Linux系统注意：本人是在学习完尚学堂视频后，结合自己的理解，在这里做的总结。学习的视频是：大数据。为了区分是在哪一台机器做的操作，eg：---Linux表示在Linux上做的操作。2.以下是教程,首先是准备工作：2.1
落月_YU·2022-06-24 20:00

躬行系列-hadoop集群部署

Java安装[[email protected]]#cd/etc/profile.d/[[email protected]]#vimmy_env.sh[[email protected]]#source/etc/profile机器初始配置因为我这是虚拟机,所以要配置固定ip。如果你也和我一样是自己测试，一定注意netmask和gateway要更换成自己的。v
·2022-06-20 08:59

Solr5搜索引擎高级教程|Solr5视频

uhcs本教程从最基础的solr语法开始讲解，选择了最新最流行的开源搜索引擎服务框架solr5.3.1，利用Tomcat8搭建了solr的集群服务；本教程可以帮助学员快速上手solr的开发和二次开发，包括在hadoop
weixin_33955681·2022-06-17 07:27

Ambari成为Apache顶级项目

Hortonworks上周五宣布，基于Web的开源Hadoop集群管理工具Ambari正式从Apache孵化器毕业，成为顶级项目。
刘江总编·2022-06-13 10:51

Hadoop学习笔记（四）—— Zookeeper分布式集群部署

的安装包第二步解压安装包第三步修改Zookeeper的配置文件第四步创建myid文件第五步配置环境变量第六步分发zookeeper的相关文件至其他服务器第七步使环境变量生效效果验证相关软件前言之前，我们在CentOS上部署了hadoop
JCLightZZ·2022-05-28 03:36

大数据技术之Zookeeper——（一）Zookeeper的入门与安装+选举机制+客户端常用操作

提示：笔者的zookeeper是在hadoop集群搭建完成后的基础上搭建的（包括虚拟机jdk等）文章目录一、Zookeeper介绍1.1概述1.2特点1.3zookeeper的数据结构1.4应用场景二、
「已注销」·2022-05-28 02:39

从VMware安装建centos7虚拟机到hadoop集群搭建详细图文过程；以及安装中的一些问题

目录一、安装VMware虚拟机centos7二、搭建集群准备工作（一）准备模板机（二）克隆三台虚拟机三、搭建三台机器Hadoop集群1.集群部署2.在hadoop102上安装jdk3.在hadoop102
bigdata强·2022-05-27 08:46

CentOS7搭建Hadoop集群的详细操作流程

CentOS7搭建Hadoop集群的详细操作流程一、准备工作若还没安装虚拟机可参考：VMVMware14虚拟机安装程没安装CentOS的可参考：LinuxCentOS安装教程Haddop的下载可以到https
小嗯子·2022-05-27 08:16

CentOS 7 下 Hadoop全分布式集群搭建

CentOS7下Hadoop全分布式集群搭建Hadoop集群搭建CentOS7下Hadoop全分布式集群搭建一、概念1.单机模式（独立模式）（Local或StandaloneMode）2.伪分布式模式（
shu天·2022-05-27 08:16

centos7搭建hadoop集群（超详细）

centos7搭建hadoop集群（超详细）前提：第一部分：1.centos7安装虚拟机的文章链接:https://www.runoob.com/w3cnote/vmware-install-centos7
一个爱学习的菜鸡·2022-05-27 08:16

CentOS7下安装Hadoop集群详细过程

CentOS7下安装Hadoop虚拟机网络配置本文主要展示安装三台虚拟机搭建Hadoop集群中的虚拟机固定IP配置，使得各机之间可以互通,不受外网的影响，由于想省事，是先按照完master，然后克隆过去配置
新手马龙·2022-05-27 08:44

centos7安装hadoop集群（亲测可用）

环境准备1、hadoop集群hosthostname192.168.46.22master192.168.46.23slave1192.168.46.24slave22、软件版本centos7：CentOS
AKA石头·2022-05-27 08:43

centos7 hadoop集群搭建详细教程

参考文献：https://xiaolei.blog.csdn.net/article/details/52946840准备工作软件版本centos7jdk:1.8.0_211hadoop:3.1.2资源可在我的博客下载本次演示的各个主机mu01(管理节点)cu01cu02cu03(三个工作节点)修改主机名并记录所有节点ip所有主机修改各自的主机名修改/etc/hostname文件将文件中的名字修改
晚起的菜鸡·2022-05-27 08:43

Centos7安装hadoop集群步骤

hadoop集群安装步骤!
大火yzs·2022-05-27 08:42

Centos上Hadoop集群安装及配置详细教程

ps：写此博客记录Hadoop集群的安装配置的步骤，方便日后学习回顾，也希望给各位带来帮助。
疯狂奔跑的少年·2022-05-27 08:42

CentOS7搭建hadoop集群详细步骤

一、准备阶段：准备一台服务器作为原始机：配置例如内存4G、硬盘50G；安装一些必要软件（服务器需联网）：yuminstall-yepel-releaseyuminstall-ypsmiscncnet-toolsrsyncvimlrzszntplibzstdopenssl-statictreeiotopgit关闭防火墙并且设置开机自启systemctlstopfirewalldsystemctldi
Free Timing·2022-05-27 08:11

CentOS7搭建hadoop集群

集群环境搭建(以3台为例)2.配置虚拟机间免密登陆：参考：CentOS7集群配置免密登录3.虚拟机分别安装jdk：参考：CentOS7集群安装JDK1.84.hadoop安装包下载，下载地址准备开始搭建hadoop
浩瀚蓝天dep·2022-05-27 08:10

CentOS7安装Hadoop集群完整步骤（超级详细，亲测完美）

1.安装3台centos7服务器1.1.配置名字hadoop01\hadoop02\hadoop03hostnamectlset-hostnamehadoop01hostnamectlset-hostnamehadoop02hostnamectlset-hostnamehadoop031.2.修改hosts文件vi/etc/hosts文件末尾添加以下内容：hadoop01的ip地址hadoop01
仔细是个好习惯·2022-05-27 08:08

详解HBase表的数据模型

目录表（Table）1.rowkey行键2.ColumnFamily列族3.Column列4.cell单元格5.Timestamp时间戳理解数据模型各概念的图HBase是运行在Hadoop集群上的一个数据库
·2022-05-17 19:43

Hive安装详细步骤

安装详细步骤基础环境准备Hive安装前，首先以安装完成Hadoop，且本文中使用MySQL作为Hive的元数据存储库，MySQL数据库也要提前准备好，关于Hadoop和MySQL的安装可参考另外两篇文章：完全分布式Hadoop
黑伴白·2022-05-16 20:52

hive安装

本次操作是在安装完hadoop的基础上进行的，安装hadoop请参看上篇博客hadoop集群搭建。hive会使用到mysql，所以需要提前安装好mysql服务。
wang03·2022-05-12 23:00

Hive异常:报错:org.apache.hadoop.conf.Configuration.getPassword(Ljava/lang/String；)[C-解决问题同时搭建Hive环境

解决问题1、将JDBC驱动拷入到Hive家目录下的lib目录2、在Hive家目录/conf创建一个hive-site.xml文件3、登录到MySQL创建数据库metastore4、初始化元数据库5、启动Hadoop
Philosophy7·2022-05-12 11:34

在Linux上部署Web项目

在Linux上部署Web项目这个是普通的web项目，若是其他项目如大数据，则要安装下hadoop集群和kms、hdfs、hive等插件后才可用在该环境基础上运行。
谢月·2022-05-09 13:23

hadoop集群搭建

几年前搞过一段时间hadoop，现在又要开始搞了，发现环境都不会搭建了。写个博客记录下搭建过程。1、创建虚拟机及规划下面是我本地的环境信息机器名IP操作系统hadoop1192.168.68.120CentOS7hadoop2192.168.68.121CentOS7hado
wang03·2022-05-08 20:00

Linux系统部署Hadoop集群详细教程

Hadoop是大数据中一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，下面将和大家介绍一下hadoop以及Linux系统安装Hadoop得详细步骤。Hadoop简介：Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台Hadoop允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式
msbjy·2022-05-08 20:29
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他