大数据集群

Linux基础入门

课程链接：黑马程序员新版Linux零基础快速入门到精通，全涵盖linux系统知识、常用软件环境部署、Shell脚本、云平台实践、大数据集群项目实战等_哔哩哔哩_bilibili声明：该文章为本人的学习笔记
LIPAH·2024-08-31 00:27

开源大数据集群部署（十）Ranger usersync部署

作者：櫰木rangerusersync部署解压包[[email protected]]#pwd/opt/ranger[[email protected]]#tar-zxvfranger-2.3.0-usersync.tar.gz-C/opt/[[email protected]]#cdranger-2.3.0-usersync修改配置insta
·2024-02-20 12:27

大数据集群环境启动总结

hadoop启动与停止单个节点逐一启动在主节点上使用以下命令启动HDFSNameNode：hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动HDFSDataNode：hadoop-daemon.shstartdatanode在主节点上使用以下命令启动YARNResourceManager：yarn-daemon.shstartresourcemanager在每
我还不够强·2024-02-14 23:04

开源大数据集群部署（九）Ranger审计日志集成（solr）

作者：櫰木1、下载solr安装包并解压包tar-xzvfsolr-8.11.2.gzcdsolr-8.11.2执行安装脚本./bin/install_solr_service.sh/opt/solr-8.11.2.tgz安装后，会在/etc/default/下生成solr.in.sh文件。2、在rangeradmin下生成solr相关配置cd/opt/ranger-2.3.0-admin/cont
·2024-02-12 10:07

Hadoop深度运维：Apache集群原地升级Ambari-HDP

作者介绍冯武，目前在瓜子从事大数据集群运维管理，主要负责Hadoop、Ansible、Ambari、ClouderaManager等技术栈的维护调优工作。
Summer_1981·2024-02-08 18:42

微服务笔记27：容器调度与服务编排

硬件过滤：Web集群与大数据集群。集群类别不同需要的资源不同，We
胖琪的升级之路·2024-02-07 23:36

开源大数据集群部署（十）Ranger usersync部署

作者：櫰木rangerusersync部署解压包[[email protected]]#pwd/opt/ranger[[email protected]]#tar-zxvfranger-2.3.0-usersync.tar.gz-C/opt/[[email protected]]#cdranger-2.3.0-usersync修改配置insta
云掣YUNCHE·2024-02-06 07:05

hadoop、spark、flink集群修改默认ssh端口号

大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。
0X码上链·2024-02-03 21:12

开源大数据集群部署（九）Ranger审计日志集成（solr）

作者：櫰木1、下载solr安装包并解压包tar-xzvfsolr-8.11.2.gzcdsolr-8.11.2执行安装脚本./bin/install_solr_service.sh/opt/solr-8.11.2.tgz安装后，会在/etc/default/下生成solr.in.sh文件。2、在rangeradmin下生成solr相关配置cd/opt/ranger-2.3.0-admin/cont
云掣YUNCHE·2024-02-03 07:54

Linux一些实用操作

黑马程序员新版Linux零基础快速入门到精通，全涵盖linux系统知识、常用软件环境部署、Shell脚本、云平台实践、大数据集群项目实战等_哔哩哔哩_bilibili目录1各类小技巧（快捷键）2软件安装
ML.star·2024-02-02 12:55

开源大数据集群部署（八）Ranger编译部署

作者：櫰木在hd1.dtstack.com主机root权限下操作。1、编译rangerranger二进制包编译过程在本次过程中不做详细说明。简单说明如下：在pom.xml中更改对应hadoop集群组件版本。ranger2编译前提条件是python3和mvn已安装完成。编译命令：mvncleancompilepackageinstall-Pranger-jdk11-DskipTests输出SUCCE
云掣YUNCHE·2024-02-01 16:57

ClickHouse分析效率翻倍提升，揭秘奇点云对归因分析场景的优化实践

奇点云DataKun是大数据集群管理系统，负责企业大数据底层存算及运维，对接并管理离线、实时、图、时序等不同引擎，确保数据能得到高效处理和分析。
奇点云·2024-01-31 00:47

Hbase-2.4.11_hadoop-3.1.3集群_大数据集群_SSH修改默认端口22为其他端口---记录025_大数据工作笔记0185

其实修改起来非常简单,但是在大数据集群中,使用到了很多的脚步,也需要修改,这里把,大数据集群,整体如何修改SSH端口,为22022,进行总结一下:0.hbase-2.4.11的话,hbase集群修改默认
脑瓜凉·2024-01-30 09:11

Hbase 基础理论

Hbase本身是属于NoSQL在hadoop的大数据集群框架中可以用来做数据的存储。Hbase本身是Google的Bigtable理论的开源实现。本篇文章
Allocator·2024-01-24 08:48

开源大数据集群部署（六）Keytab文件生成

作者：櫰木Keytab文件用于在不输入密码的情况下对主体（用户或服务）进行身份验证。以下是创建Kerberos身份验证的步骤。1、创建keytab文件除了使用明文密码登录之外，Kerberos还可以使用keytab密码文件登陆，现在为testcuser创建它的keytab文件[email protected]
云掣YUNCHE·2024-01-23 21:35

大数据平台软硬件规划

一.大数据集群节点规划1.HDFS集群节点规划假如业务系统数据量每天增量50T，保留周期30天，那么HDFS存储容量为50T*30天*3副本*2倍（数据源+清洗加工）=9000T=8.79P假如每个机器的磁盘是
小枫@码·2024-01-22 17:17

开源大数据集群部署（五）Freeipa客户端部署及配置（kerberos+ldap）

作者：櫰木在FreeIPA（FreeIdentity,Policy,andAudit）环境中，部署和配置客户端节点是连接整个系统的关键步骤。本文将介绍如何在客户端节点上安装和配置FreeIPA客户端，包括安装IPA-Client、执行ipa-client-install等关键步骤。同时，由于部署过程中可能出现一些常见的问题，我们还将探讨如何手动添加DNS记录和解决可能的DNS配置问题。下面将提供基
云掣YUNCHE·2024-01-21 00:41

clickhouse安装及简单使用

前言clickhouse设计比较精简，具有强大的数据写入性能、极其高效的查询性能、高效压缩存储，单机部署性能丝毫不逊色于传统的大数据集群。由于使用体验简单直接，使得运维工作同样变的简单。
花菜回锅肉·2024-01-19 21:07

【大数据】HBase集群安装部署

一、前提条件服务器配置好，搭建大数据集群服务器看这篇：搭建学习使用的大数据集群环境：windows使用vmware安装三台虚拟机，配置好网络环境安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper
橙子园·2024-01-19 00:51

开源大数据集群部署（四）Freeipa部署（kerberos+ldap）

作者：櫰木1、FreeIPA介绍Kerberos协议只是一种协议标准的框架，而MITKerberos则是实现了该协议的认证服务，是Kerberos的物理载体。将它与Hadoop服务进行集成便能够很好地解决安全性不足的问题。除了需要安装MITKerberos之外，我们还需要安装LDAP。在生产环境中Knox使用附带的LDAP服务显然是不合适的，因此需要一种更为正式的安装方式。Kerberos和LDA
云掣YUNCHE·2024-01-13 14:15

开源大数据集群部署（三）集群mysql数据库部署

开源大数据集群部署（一）集群实施规划开源大数据集群部署（二）集群基础环境实施准备作者：櫰木本文将介绍mysql部署，其中在hd1.dtstack.com主机root权限下安装配置1解压文件解压名为mysql
云掣YUNCHE·2024-01-09 21:12

基于Docker搭建大数据集群（二）基础组件配置

主要内容jdk环境搭建scala环境搭建zookeeper部署mysql部署前提docker容器之间能免密钥登录yum源更换为阿里源安装包微云分享|tar包目录下JDK1.8.221Scala2.12.9Zookeeper3.5.5Mysql手动安装较复杂，使用yum安装一、安装包处理发送文件到容器dockercp文件地址容器ID:容器地址创建解压目录mkdir/opt/jdkmkdir/opt/
njpkhuan·2024-01-09 05:38

开源大数据集群部署（二）集群基础环境实施准备

作者：櫰木环境准备本次使用到的二进制软件包目录为：系统初始化前提是操作系统已完成安装、各个主机之间网络互通，系统常用命令已安装，本默认这些前提条件已具备，不在阐述。1主机环境初始化安装centos系统完成后需要对主机进行初始化配置和验证工作，在所有主机上（hd1.dtstack.com-hd3）均要进行操作，并按照对应hosts修改主机名：（主机名必须为xxx.xxx.com匹配freeipa安装
云掣YUNCHE·2024-01-08 15:09

【Hadoop-HDFS-S3】HDFS 和存储对象 S3 的对比

之前的工作经历中的大数据集群存储都是用HDFS，当前工作接触到对象存储S3，在实践中比较两者的不同之处。1）可扩展性HDFS依赖本地的存储只能横向扩展，增
bmyyyyyy·2024-01-04 07:25

Spark---RDD介绍

文章目录1.Spark核心编程2.RDD介绍2.1.RDD基本原理2.2RDD特点1.弹性2.分布式：数据存储在大数据集群的不同节点上3.数据集：RDD封装了计算逻辑，并不保存数据4.数据抽象：RDD是一个抽象类
肥大毛·2024-01-03 23:34

开源大数据集群部署（一）集群实施规划

作者：櫰木本次集群规划信息本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。主机操作系统要求软件信息参数配置8C16G操作系统版本CentOSLinuxrelease7.8.2003(Core)java版本javaversion“1.8.0_281”hadoop版本hadoop3.2.4集群版本规划集群组建版本HDFS3.2.4YARN3.2.4M
云掣YUNCHE·2024-01-03 15:42

Impala导出csv文件

场景：当数仓环境为大数据集群（impala），临时从数仓取数导出为csv文件使用impala-shell命令把文件导出为本地csv文件--正常导出impala-shell-q"SELECT*FROMyour_table
n_avo7_i·2023-12-31 18:34

Mac M1 Datasophon 安装

MacM1Datasophon安装什么是DatasophonDataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。
青涩的芒果汁·2023-12-30 06:00

构建高效数据中台：集群规划与搭建的最佳实践指南

架构设计Rack(机架)配置建议大数据集群规划安装细节见配套文档YARN资源管理平台队列调度策略CapacityScheduler默认配置下，CapacityScheduler将尝试保证每个队列在其分配的容量内公平地使用资源
数据与后端架构提升之路·2023-12-28 04:20

hadoop 3.3大数据集群搭建系列2-安装zookeeper

一.下载并解压cd/home/softwarewgethttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz--no-check-certificatetar-xvfapache-zookeeper-3.6.3-bin.tar.gz-C/home二
只是甲·2023-12-25 11:04

大数据集群增加数据盘，平衡数据盘HDFS Disk Balancer

大数据集群增加数据盘，平衡数据盘HDFSDiskBalancer官网：https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-hdfs
墨卿风竹·2023-12-20 09:48

大数据集群缓存清理

1.在集群中编写shell脚本：vimdrop_cache2.添加执行权限：chmod+xdrop_cache3.执行文件：bashdrop_cacheecho"开始清理集群缓存~"&&sync&&foriin{13,12,11}dossh10.192.168.$i"sudosh-c'/usr/bin/echo3>/proc/sys/vm/drop_caches'";done&&echo"缓存清理
数据科学知识库·2023-12-18 11:04

pyspark on yarn

配置获取大数据集群配置文件。如果是搭建的CDH或者CDP可以直接从管理界面下载配置文件。直接下载hive组件的客户端配置就可以，它里面包含了hdfs和yarn的配置。
骑着蜗牛向前跑·2023-12-16 03:34

大数据集群配置-HA（hadoop高可用）

hadoopHA配置软件名称软件包名Zookeeperzookeeper-3.4.8.tar.gzhiveapache-hive-2.0.0-src.tar.gzjdkjdk-8u65-linux-x64.tar.gzhadoophadoop-2.7.1.tar.gzmysql-connectormysql-connector-java-5.1.26-bin.jarCentOSCentOS7.4(
厨 神·2023-12-05 16:20

Hadoop大数据集群搭建（超详细）

使用了几个学期的实验手册，应该没有啥大问题了，现在分享给大家，希望对你学习hadoop有用实验环境：Vmwareworkstation+CentOS7+Hadoop3.1.3目录第一步：安装虚拟机第二步：虚拟机克隆第三步：网络配置第四步：ssh服务配置第五步：安装JDK第六步：安装Hadoop第七步：Hadoop集群配置第八步：格式化文件系统第九步：启动和关闭hadoop集群第十步：通过UI界面查
小飞飞V5·2023-12-05 08:49

大数据集群高可用组建搭建部署

大数据集群高可用安装部署包有：redis-3.2.10.tar.gzspark-2.2.0-bin-hadoop2.7.tgzhbase-1.2.1-bin.tar.gzhadoop-2.8.1.tar.gzapache-hive
Big-Hadoop·2023-11-26 19:18

大数据集群报错集锦及解决方案

文章目录前言1Hadoop1.1Yarn上执行MR计算报错空指针1.2NameNode启动失败2Hive2.1Hive数据量过大3Kafka3.1Kafka集群部分机器起不来4Azkaban4.1Azkaban页面登陆乱码5Oozie5.1Oozie初始化失败5.2脚本修改之后Oozie任务执行失败6Kerberos6.1启用Kerberos之后，hdfs浏览器打开鉴权失败7Spark7.1Spa
陈舟的舟·2023-11-24 16:22

花式玩转Linux集群免密登录

.`.ssh`文件下的`known_hosts`文件1.前言  大数据集群往往需要多台机器构成一个集群，而集群内的这些机器往往需要能够互相免密登录，这里就总结下设置免密登录的常见做法；  重点：  1）
╭⌒若隐_RowYet——大数据·2023-11-22 09:51

docker-compose 使用maxwell实时获取数据

背景空闲使用docker搭建大数据集群，并实现离线、实时数仓。走到了maxwell这边发现点问题，记录下。
初上路的小码农·2023-11-20 13:59

Apache DolphinScheduler在通信行业的多集群统一建设与管理实践

主要原因是：我们公司的大数据中心目前拥有七个大数据集群，这些集群分布在不同的机房，例如内蒙、南京、苏州和广州。而且，这些机房之间的网络并不互通。
DolphinScheduler社区·2023-11-19 14:07

基于Docker搭建大数据集群（七）Hbase部署

基于Docker搭建大数据集群（七）Hbase搭建一、安装包准备Hbase官网下载微云下载|在tar目录下二、版本兼容三、角色分配节点MasterRegionservercluster-masteryesnocluster-slave1backupyescluster-slave2noyescluster-slave3noyes
njpkhuan·2023-11-19 08:55

【kerberos】使用 curl 访问受 Kerberos HTTP SPNEGO 保护的 URL

前言：大数据集群集成Kerberos后，很多WEBUI打开都会提示输入用户名和密码。
kiraraLou·2023-11-17 16:33

DataSophon——国产开源一站式运维平台

致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助您快速构建起稳定，高效的大数据集群服务。3、DataSophon是什么？
罗少说·2023-11-15 10:52

hadoop 大数据集群环境配置 配置hadoop配置文件 hadoop(七)

1.虚拟机的三台机器分别以hdfs存储,mapreduce计算，yarn调度三个方面进行集群配置hadoop版本3.3.4官网：Hadoop–ApacheHadoop3.3.6jdk1.8三台机器尾号为：22，23，24。（没有用hadoop102,103,104,我改为了hadoop22，hadoop23，hadoop24）2.配置22机器core-site.xmlcd$HADOOP_HOME/
不努力就种地~·2023-11-14 21:42

Linux SSH免密登录

但是大数据集群（主要指的是Hadoop集群，可用Hadoop代指）使用SSH主要不是用
necessary653·2023-11-13 22:52

linux 多个ip问题解决 系统设置了静态IP之后还会获取动态IP的问题解决

linux多个ip问题解决系统设置了静态IP之后还会获取动态IP的问题解决问题描述自己已经明明设置过静态ip但是重启之后还是会动态的获取一个ip，导致大数据集群中的namenode不知道连接不上datanode
潘小磊·2023-11-13 14:31

hadoop完全分布式集群搭建（超详细）-大数据集群搭建

hadoop完全分布式集群搭建本次搭建完全分布式集群用到的环境有：jdk1.8.0hadoop-2.7.7本次搭建集群所需环境也给大家准备了，下载链接地址：https://share.weiyun.com/dk7WgaVk密码：553ubk本次完全分布式集群搭建需要提前建立好三台虚拟机，我分别把它们的主机名命名为:master,slave1,slave2一.配置免密登陆首先我们要实现三台虚拟机之间
beixi@·2023-11-12 21:56

监控易在大数据运维中的应用与实践

监控易通过其全面的监控能力和灵活的扩展性，成功应用于多种大数据环境中，实现了对大数据集群的全方位监控和管理。接下来，我们将深入探讨监控易在大数据环境中的应用实践和价值体现。
MXsoft618·2023-11-10 00:49

云呐|网络运维监控平台，运维监控平台解决方案

大数据运维平台提供大数据生态智能大数据集群运维服务能力，简化大数据部件安装、维护、监控预警、日志管理等服务，可提高运维人员50%以上的大数据集群管理和维护效率，有效降低运维成本。
云呐·2023-11-08 22:30

该主机与 Cloudera Manager Server 失去联系的时间过长。 该主机未与 Host Monitor 建立联系

项目场景：通过CDH集群对大数据集群实行监控管理问题描述：某台服务器主机与ClouderaManagerServer失去联系的时间过长，到时候该主机相关实例角色（组件实例）停止，严重影响集群稳定性以及任务执行
海边捡贝壳的老头·2023-11-04 15:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他