大数据集群

一篇文章掌握 CDH/CDP 大数据集群的运维和管理 - 附官方94页PPT《Cloudera集群管理》下载链接...

在大数据集群的运维和管理上，HDP使用了apache开源的AMBARI,而CDH和CDP都使用了ClouderaManager。更多CDH/HDP/CDP相关介绍，可以参考笔者前期的相关博文。20
明哥的IT随笔·2022-07-29 09:15

大数据资源管理方案研究

1.研究背景在实际的大数据工程部署中，多个业务部门经常需要运行多个数据应用，在搭建Hadoop集群时，经常面临如何划分大数据集群及进行资源隔离的问题。
·2022-03-25 18:58

一种大数据物理机集群的自动化运维管理办法

大数据集群的物理机部署形态，相对于公有云/混合云的云主机部署形态，在自动化发放集群、弹性伸缩等云化场景方面处于劣势，但物理机部署形态的大数据集群能够更加充分高效的利用服务器资源，不存在云化/虚拟化的开销
·2022-03-25 11:47

大数据集群安装02之Hadoop配置

Hadoop配置必看配置千万条，网络第一条。配置不规范，bug改到吐。内外ip要分清，本机配置内ip，连接请用外ip1.下载上传插件rz【安装命令】：yuminstall-ylrzsz2.上传hadoop压缩包【上传命令】：##上传压缩包rz##压缩tar-zxvf[包名]3.配置hadoop(1)编辑.bashrc文件在所有节点的.bashrc文件中添加如下内容：(也可以在profile文件中添
钟兴宇·2022-03-25 07:57

Hadoop原生对象存储Ozone

背景HDFS是业界默认的大数据存储系统，在业界的大数据集群中有非常广泛的使用。HDFS集群有着很高的稳定性，得益于它较简单的构架，集群也很容易扩展。业界包含几千
为了生活，加油·2022-03-11 15:00

实战 | 史上最详细Hadoop大数据集群搭建，不看后悔系列

文章目录1.搭建环境1.1实验环境1.2架构模型1.3前期准备2.软件环境依赖部署2.1jdk安装及配置2.2ssh免密钥配置3.Hadoop及Zookeeper部署3.1Hadoop安装及配置3.1.1解压hadoop-2.6.5.tar.gz：3.1.2修改配置文件/etc/profile:3.1.3修改hadoop-env.sh和mapred-env.sh配置文件3.1.4配置hdfs-si
小林玩大数据·2022-03-07 14:49

离线数仓搭建——集群准备

大数据集群搭建文章目录大数据集群搭建一、虚拟机环境准备（1）系统以Centos-7.5-x86-1804为例最小化安装后,使用yum安装基本的工具，安装epel-release（2）安装net-tools
Lucky&Hawk·2022-02-28 09:07

JVM性能调优与实战进阶篇-上

大数据集群如HBase的性能。特性ZGC（TheZGarbageCollector）为JDK11推出一款低延迟的垃圾回收器。STW即停顿时间低于1ms，且不会随着堆的大小
itxiaoshen·2022-02-28 00:00

Linux基础

，需要迅速恢复Linux嵌入式工程师：熟悉掌握Linux下各自驱动程序开发，在嵌入式系统中进行程序开发Linux下开发项目：JavaEE、大数据、Python、PHP、c/c++(Linux部署，管理大数据集群
Weexiao·2022-02-21 22:45

【ambari-部署】Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注：本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1：192.168.163.51hdc-data2：192.168.163.52hdc-data3：192.168.163.53【安装环境准备每台集群机器一
粮忆雨·2022-02-19 06:18

2019-04-23 ansible 介绍及下的参数

大数据集群也需要。2.批量管理工具历史SSH+脚本CFEngine、Puppet、saltstack、ansible08年以前07-08年10-13年14-17（python开
寻找着光辉·2022-02-07 17:02

大数据集群环境搭建详细步骤，涉及zookeeper，hadoop，hive，hbase，kafka

背景公司需要搭建一套大数据集群环境用于测试，本文记录其详细过程，方便后面参考环境信息一主两从，均为ubuntu18.04主：192.168.10.203(mufengcn)从：192.168.10.202
yangqin@1225·2022-02-05 12:21

听说你想把对象存储当 HDFS 用，我们这里有个方案...

传统的大数据集群往往采用本地中心化的计算和存储集群。
·2021-11-24 20:05

听说你想把对象存储当 HDFS 用，我们这里有个方案...

传统的大数据集群往往采用本地中心化的计算和存储集群。
云存储小天使·2021-11-24 19:00

大数据集群服务启停脚本/常用端口/时间同步

集群启动/停止方式总结#各模块分开启动/停止#1、整体启动/停止HDFSstart-dfs.sh/stop-dfs.sh2、整体启动/停止YARNstart-yarn.sh/stop-yarn.sh各服务组件逐一启动/停止#1、分别启动/停止HDFS组件hdfs--daemonstart/stopnamenode/datanode/secondarynamonode2、分别启动/停止YARN组件y
Java面霸指南·2021-11-16 21:33

CDH6.3.3 paywall版之前自定义http服务器放置parcels安装数据

当前大数据集群的工具选型上,巨头们都是自研大数据工具,中小微企业都是开源大数据组件搭积木,中间层级的厂商或买商业软件(MaxCompute/腾讯云/华为云)或在CDH基础上再集成商业套件(Dataphin
江畔独步·2021-11-09 18:14

大数据集群跨多版本升级、业务0中断，只因背后有TA

摘要：2021年4月21日，中国太平洋保险集团联合华为云完成了全球首例大数据集群跨多版本的大数据集群滚动升级。
·2021-08-11 18:59

VMware Workstation Pro 16搭建CentOS8虚拟机集群的图文教程

IP关闭防火墙更换为阿里云yum源安装jdk搭建集群环境克隆虚拟机调整测试在日常学习、工作当中，我们经常需要用到分布式集群环境，如nacos集群，mysql集群，zookeeper集群，redis集群，大数据集群等
·2021-08-06 10:40

超详细！搭建本地大数据研发环境（16G内存+CDH）

本文将从头开始详细的记录整个大数据环境的搭建过程，本文所使用的笔记本电脑内存为16G，将使用CDH6.3.2管理整个大数据集群。由于cl
·2021-07-27 20:24

TDengine助力顺丰科技大数据监控改造

作者：尹飞小T导读：顺丰科技大数据集群每天需要采集海量监控数据，以确保集群稳定运行。
·2021-07-27 19:09

Apache Zeppelin 迁移 - Jar 包冲突解决与思考

最近整个公司大数据集群迁移（cdh->ambrihdp），随之Zeppelin也需要迁移，由于各个组件版本有变化，且Zeppelin源码是有过改动的，迁移起来很麻烦。
咬尘归·2021-06-26 05:43

CentOS7-Cloudera Manager5.14.1-大数据集群安装

CentOS7-ClouderaManager5.14.1-大数据集群安装前言本文主要记录ClouderaManager5.14.1的安装步骤需要具有一定基础，一些简单的步骤简略带过1服务配置编号服务器主机名
弓昭·2021-06-25 07:38

大数据集群机房搬迁数据迁移

https://www.jianshu.com/p/6be827b25cb1【一、背景】按照中心总体计划，目前部署在生产区的运营大数据集群需要搬迁至万国机房。
Moon_魔宽·2021-06-23 20:11

TDengine助力顺丰科技大数据监控改造

作者：尹飞小T导读：顺丰科技大数据集群每天需要采集海量监控数据，以确保集群稳定运行。
·2021-06-18 21:44

同程旅行大数据集群在 Kubernetes 上的服务化实践

本文将向大家介绍同程旅行大数据集群在Kubernetes上服务化建设的一些实践和经验。
Docker_·2021-06-18 07:00

大数据集群搭建2

大数据集群搭建本文档将搭建以下集群hadoop集群zookeeper集群hbase集群spark集群kafka集群一、准备1.1软件版本ubuntu18.04jdk1.8.0_151hadoop-3.1.3apache-zookeeper
dhz120·2021-06-14 21:52

超详细版企业离线部署CDH6.10集群与配置使用

进入大数据行业数载，也从一个开发小白走到了今天，期间也历经过一摸番着石头过河的探索，到如今的胸有点墨；玩过demo,使用过负责过上千节点的大数据集群开发与使用；被人面虐过，也面跪过一些人。
涤生手记·2021-06-11 10:55

大数据集群平台介绍

掌握搭建大数据集群的方法是学习大数据技术的人需要具备的基础技能，因此我会通过接下来的系列文章介绍大数据平台的搭建方法。
扫盲狗·2021-06-08 14:01

Cloudera Manager(简称CM)+CDH构建大数据平台

一、ClouderaManager介绍    ClouderaManager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能
mantch·2021-06-07 16:24

建议收藏丨大数据集群常用监控命令（内存、磁盘、CPU、网络）

大家好，我是明月十四桥！！擅长领域：python黑科技、大数据后端研发、数据仓库今日重点：①学会查看linux各种状态，包括：网络IO、磁盘、CPU、内存等；②学会理解命令所代表的含义，能够迅速发现集群存在的问题。白天工作晚上写文，呕心沥血整理，有问题欢迎评论，点赞、收藏、评论是对我最大的支持！！！1、核心命令linux监控网络IO、磁盘、CPU、内存：CPU：vmstat、sar–u、top磁盘
明月十四桥·2021-05-31 14:35

基于CM 6.3.1搭建CDH 6.3.2平台大数据集群（rpm方式）

一、环境准备各版本：CentOS7.9*64；CM6.3.1;CDH6.3.21.配置主机网络（所有服务器均设置）vi/etc/sysconfig/network-scripts/ifcfg-ens33修改部分BOOTPROTO=staticNAME=dx07##名字自己设置ONBOOT=yes新增部分IP根据自己网络设置：本地-控制面板\网络和Internet\网络连接-VMnet8-属性-IP
等闲之辈莫等闲·2021-05-26 17:59

【大数据】Hadoop环境搭建图文教程（VM安装教程+Linux环境下配置+搭建三节点的Hadoop集群）

1.安装VMware2.通过Vmware安装第一台linux机器3.为我们创建的linux虚拟机挂载操作系统4.为我们的linux虚拟机设置网络配置5.克隆第一台机器6.更改克隆机器的IP地址2.安装大数据集群前的环境准备
是我，Zack·2021-05-15 10:05

大数据集群的部署详细教程

**目的：实现三台虚拟机的SSH无密通信一、新建虚拟机1、建立虚拟机master(第一个虚拟机自己命的名字大家可以自己命名)，创建过程如下（按照实心点来选择）：最后点击关闭，回到自定义硬件前一个界面，点击完成，最后静心等待虚拟机完成创建。2、克隆两台虚拟机slave1与slave2；右击master虚拟机，进行如下操作：slave2与之相同克隆过程；二、集群的部署，实现无密登录1、进行首页输入密码
ITseahorseL·2021-05-10 17:09

TDengine助力顺丰科技大数据监控改造

作者：尹飞小T导读：顺丰科技大数据集群每天需要采集海量监控数据，以确保集群稳定运行。
涛思数据·2021-04-30 13:51

华为云FusionInsight MRS：千余节点滚动升级业务无中断

其中，华为云FusionInsight解决方案架构师许田立，分享了“千级节点的大数据集群如何无业务中断升级”主
华为云·2021-04-28 10:14

ambari安装，适配任何ambari版本

目前大数据集群开源的主要是ambari和CDH，下面我来介绍下如何安装ambari：一、基础环境插件安装yumcleanallyummakecache升级opensslyuminstall-yopensslyum-yinstallruby
会飞的蜗牛66666·2021-04-27 08:33

使用Ray和Analytics Zoo将自动机器学习（AutoML）应用于时间序列预测

摘要AnalyticsZoo近期提供了对RayOnSpark的支持，允许用户基于Ray构建新的AI应用，并可以在现有大数据集群中直接运行，进而将其无缝集成到大数据处理和分析流水线中。
小白学步·2021-04-18 03:42

Docker部署SQL Server 2019 Always On集群的实现

随着2017和2019版本的发布，它开始支持Linux和容器平台上的HA/DR、Kubernetes和大数据集群解决方案。
·2021-04-17 14:10

2021-03-14~15~16 大数据课程笔记 day53day54day55

@R星校长1.大数据集群搭建及管理问题提出问题：需要搭建1000台服务器的集群，其中集群包含Hive、Hbase、Flume、Kafka、Spark等集群，需要多长时间搭建好？
Rich Dad·2021-03-16 22:11

5步教你将MRS数据导入DWS

MapReduce服务（MapReduceService，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。
·2021-02-04 14:04

5步教你将MRS数据导入DWS

MapReduce服务（MapReduceService，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。
华为云·2021-02-04 11:48

迁移到其他机器_有赞大数据离线集群迁移实战

随着近年来社交电商的火爆，有赞大数据集群一直处于快速增长的状态。
weixin_39654322·2020-12-17 16:15

vb查看进程网络流量_一篇运维老司机的大数据平台监控宝典（1）联通大数据集群平台监控体系进程详解...

“如果你是一个经验丰富的运维开发人员，那么你一定知道ganglia、nagios、zabbix、elasticsearch、grafana等组件。这些开源组件都有着深厚的发展背景及功能价值，但需要合理搭配选择，如何配比资源从而达到性能的最优，这里就体现了运维人的深厚功力。”下文中，联通大数据平台维护团队将对几种常见监控组合进行介绍，并基于丰富的实战经验，对集群主机及其接口机监控进行系统性总结。科普
weixin_39602891·2020-12-13 04:02

Hadoop3.x中一把锁毁灭的大数据集群

集群版本：HDP3.1.5Hadoop版本：Hadoop3.1.1源码地址：https://github.com/hortonworks/hadoop-release/tree/HDP-3.1.5.152-1-tag一、前置知识大家都知道hadoop的核心组件是HDFS和YARN，HDFS负责存储，YARN负责计算资源管理，今天要重点扯一扯YARN。YARN的架构跟众多分布式架构一样是主从式，为了
喜剧之皇·2020-12-12 23:26

vb查看进程网络流量_一篇运维老司机的大数据平台监控宝典（1）-联通大数据集群平台监控体系进程详解...

“如果你是一个经验丰富的运维开发人员，那么你一定知道ganglia、nagios、zabbix、elasticsearch、grafana等组件。这些开源组件都有着深厚的发展背景及功能价值，但需要合理搭配选择，如何配比资源从而达到性能的最优，这里就体现了运维人的深厚功力。”下文中，联通大数据平台维护团队将对几种常见监控组合进行介绍，并基于丰富的实战经验，对集群主机及其接口机监控进行系统性总结。科普
weixin_39646725·2020-12-11 10:15

大数据集群安装——hadoop

安装hadoop准备Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/安装解压安装文件到/opt/server下面tar-zxvfhadoop-2.7.2.tar.gz-C/opt/server/查看是否解压成功将Hadoop添加到环境变量打开/etc/profile文件vi/etc/profile在prof
MosesDon·2020-12-09 21:32

大数据集群安装——hadoop

安装hadoop准备Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/安装解压安装文件到/opt/server下面tar-zxvfhadoop-2.7.2.tar.gz-C/opt/server/查看是否解压成功将Hadoop添加到环境变量打开/etc/profile文件vi/etc/profile在prof
MosesDon·2020-12-06 23:10

数据湖之iceberg系列(三)iceberg快速入门

1环境准备准备大数据集群.安装HDFS,HIVE,SAPRK,FLINK下载运行集群环境运行是需要的jar包下载地址:http://iceberg.apache.org/releases/2spark将读写
白眼黑刺猬·2020-12-01 21:05

Kafka监控工具汇总

对于大数据集群来说，监控功能是非常必要的，通过日志判断故障低效，我们需要完整的指标来帮我们管理Kafka集群。本文讨论Kafka的监控以及一些常用的第三方监控工具。
GOD_WAR·2020-11-15 20:24

大数据集群搭建心得

大数据集群搭建心得基础环境准备主节点安装安装JDK安装HadoopHadoop配置文件从节点配置Hadoop启动基础环境准备1将每台服务器的防火墙关闭systemctlstatusfirewalld.service
贝之者·2020-11-13 14:43
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他