hdfs集群搭建

【k8s集群搭建(二)：基于虚拟机的linux的k8s集群搭建_超详细_可视化界面Dashboard安装_记录全过程踩坑记录及解决方法】

在master执行#根据在线配置文件创建资源kubectlapply-fhttps://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml设置访问端口#修改配置文件找到type，将ClusterIP改成NodePortkubectleditsvckubernetes-dashboard-
2020. 12.13·2023-11-16 17:55

rabbitmq 集群搭建

RabbitMQ集群介绍RabbitMQ集群是一组RabbitMQ节点（broker）的集合，它们一起工作以提供高可用性和可伸缩性服务。RabbitMQ集群中的节点可以在同一物理服务器或不同的物理服务器上运行。RabbitMQ集群的工作原理是，每个节点在一个虚拟主机中提供服务，并通过网络进行通信和数据同步。当一个节点在集群中宕机时，其他节点可以接管其未处理的消息和队列，并尝试恢复数据同步，从而确保
liuyunshengsir·2023-11-16 15:53

K8S 集群搭建

1、搭建清单2台linux服务器（一个master节点，一个node节点），建议搭3台（一个master，两个node）我使用的是腾讯云，节点与节点使用公网IP通信确保2台服务器都安装了docker2、服务器前置工作如果是本机启动多个linux虚拟机，可忽略建议学习阶段关闭防火墙及安全策略如果需要添加安全组端口放行，我这里附上我的端口放行列表放行端口如下：8080：选择性放行，这个在证书会使用到，
睡竹·2023-11-16 12:30

达梦集群搭建

一、数据库安装###（一）安装前准备版本准备[root@localhost~]#uname-aLinuxlocalhost.localdomain3.10.0-1160.el7.x86_64#1SMPMonOct1916:18:59UTC2020x86_64x86_64x86_64GNU/Linux将镜像文件传到/opt目录下[root@localhost100~]#cd/opt/[root@lo
EOPG·2023-11-16 10:54

hadoop概述

是什么:Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.Hadoop框架中最核心设计就是：HDFS
m0_67390379·2023-11-16 08:52

Flink 整合 hudi

优点：不在只依赖于分布式的文件存储系统，对分布式具有解耦合，数据的存储位置可以不用固定，数据并不是只能存储在hdfs中了。主要的作用：计算引擎可以是
新手小农·2023-11-16 08:21

redis-5.0.8主从集群搭建、不重启修改配置文件

一、环境准备192.168.5.100redis-01192.168.5.101redis-02192.168.5.102redis-03关闭防火墙、能够通网二、安装redis[root@localhost~]#wgethttp://download.redis.io/releases/redis-5.0.8.tar.gz[root@localhost~]#tarxfredis-5.0.8.tar
我还能再学点·2023-11-16 07:13

大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）

目录一、JDK的安装1、安装jdk2、配置Java环境变量3、加载环境变量4、进行校验二、hadoop的集群搭建1、hadoop的下载安装2、配置文件设置2.1.配置hadoop-env.sh2.2.配置
爱吃面的猫·2023-11-16 06:51

Hadoop-HDFS架构与设计

HDFS架构与设计一、背景和起源二、HDFS概述1.设计原则1.1硬件错误1.2流水访问1.3海量数据1.4简单一致性模型1.5移动计算而不是移动数据1.6平台兼容性2.HDFS适用场景3.HDFS不适用场景三
临江蓑笠翁·2023-11-16 06:15

从零开始，掌握Nacos搭建的艺术(单点、集群、docker-compose)

：你只管努力，剩下的交给时间：小破站从零开始，掌握Nacos前言：前提：建表语句第一：单节点搭建：第二：集群搭建：第三：使用docker-compose搭建目录结构Docker-compose.ymlconf.d
一只牛博·2023-11-16 04:43

flume异常关闭文件修复方法

flume在从kafka采集数据后，会将数据写入到hdfs文件中。
jiedaodezhuti·2023-11-16 01:19

Flume（一）【Flume 概述】

Flume概述生产环境中的数据一般都是用户在客户端的一些行为操作形成的日志，一般操作日志都会先存到服务器，而不是直接就存到HDFS当中去。那么如何把服务器中的日志数据传输到HDFS中呢？
让线程再跑一会·2023-11-16 01:46

数据湖实操讲解【 AI 训练加速】第十七讲：Fluid + JindoFS 对 HDFS 上的数据进行训练加速...

数据湖技术圈本期导读：【AI训练加速】第十七讲主题：Fluid+JindoFS对HDFS上的数据进行训练加速讲师：辰山，阿里巴巴计算平台事业部EMR技术专家内容框架：什么是Fluid+JindoFS（JindoRuntime
Apache Spark中国社区·2023-11-15 22:41

hadoop学习10

Hadoop学习（十）1.HDFS核心参数1.NameNode内存生产配置(1)NameNode内存计算每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？
StopM·2023-11-15 20:12

ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output d

ERRORtool.ImportTool:Importfailed:org.apache.hadoop.mapred.FileAlreadyExistsException:Outputdirectoryhdfs
人生在勤，不索何获-白大侠·2023-11-15 20:13

Hadoop hdfs常用命令

1、查看文件大小用命令：hdfsdfs-du-s-hhdfsdfs-du-s-h/user/hive/warehouse/wxwy.db/nr_mro_lzo/partitionday=202109092
人生在勤，不索何获-白大侠·2023-11-15 20:43

HBase Minor Compaction和Major Compaction

背景HBase在将数据落盘到HDFS上之后，为了解决小文件并提高数据访问效率，定义了两种方式来合并HFile文件。
筑梦之人·2023-11-15 17:45

HBase原理 | HBase Compaction介绍与参数调优

我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS
create17·2023-11-15 17:13

从0开始学大数据16-ZooKeeper是如何保证数据一致性的？

你可能还记得，我们在讲HDFS和HBase架构分析时都提到了ZooKeeper。
源码头·2023-11-15 15:18

从0开始学大数据15-流式计算的代表：Storm、Flink、SparkStreaming

这些数据通常通过HDFS存储在磁盘上，使用MapReduce或者Spark这样的批处理大数据计算框架进行计算，一般完成一次计算需要花费几分钟到几小时的时间
源码头·2023-11-15 15:18

从0开始学大数据14-BigTable的开源实现：HBase

我们前面已经讲过了GFS对应的Hadoop分布式文件系统HDFS，以及MapReduce对应的Hadoop分布式计算框架MapReduce，今天我们就来领略一下BigTable对应的NoSQL系统
源码头·2023-11-15 15:48

【CEPH-初识篇】Ceph 详细介绍，一篇解决 Ceph 集群搭建， 三大存储使用

文章目录前言简介（理论篇）逻辑结构数据存储原理三大存储RADOSGW（对象网关）BRD（块存储）CEPHFS（文件存储）所有组件结合起来POOL、PG简介组件结合搭建ceph（操作篇）1、基础配置2、创建ceph集群3、部署mgr管理服务4、部署osd使用ceph一、cephfs文件系统二、块存储三、对象存储使用S3访问RGW使用命令行方式操作rgw参考资料前言你好，我是无名小歌。今天给大家分享一
秋意零·2023-11-15 15:46

k8s安装ingress-nginx

目录前言准备helm安装包修改values.yaml安装ingress测试功能前言k8s集群搭建参考：https://blog.csdn.net/centrl/article/details/134291473
墨家先生·2023-11-15 14:20

Hive分区表新增字段值为NULL

HDFS上的数据更新了，但是我们查询的时候仍然查询的是旧的元数据信息（即Mysql中的信息）官方解释如下：ChangeColumnName/Type/Position/CommentALTERTABLEtable_n
Sin_Geek·2023-11-15 10:23

RabbitMQ+keepalived+haproxy搭建高可用集群

RabbitMQ+keepalived+haproxy搭建高可用集群一、集群简介1.1RabbitMQ集群1.2集群架构二、RabbitMQ集群搭建RabbitMQ普通集群模式2.1环境准备2.2host
哒不死的小小强·2023-11-15 07:45

keepalived+haproxy+redis-cluster 高可用负载均衡redis集群搭建

搭建高可用redis-cluster集群KeepAlived+Redis+Haproxy实现主从热备、负载均衡、秒级切换实战Redis+Keepalived+Haproxy的集群架构，分别用六个端口，实现多路复用，最终实现主从热备、负载均衡、秒级切换。一、部署Redis集群1、环境一台虚拟机模拟6个节点，创建出3master、3salve环境redis1:192.168.182.120:（6001
Bejpse·2023-11-15 07:42

Ubuntu22.04 Hadoop3.3.4 jdk18.02 安装配置

3.3.4_x_y_z423的博客-CSDN博客(112条消息)hadoop3.3.4集群安装部署_hwbays的博客-CSDN博客加倍推荐，Hadoop集群配置内容讲的及其详细基于docker的hadoop集群搭建一
落非·2023-11-15 05:15

大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署

目录环境条件：1、安装虚拟机（已安装好虚拟机的可跳转至二、安装JDK与Hadoop）（1）直接新建一台虚拟机（2）首次启用虚拟机，进行安装一、集群前置环境搭建（三台机器分别设置hostname、网卡（ip）配置、ssh免密登录）1、查看一下本机与虚拟机的网卡和ip信息（1）首先，查看本机的网卡配置，使用cmd查看ipconfg，找到VMware的虚拟网卡，查看ip（2）查看虚拟机的网卡配置和网络信
Hao.715·2023-11-15 05:43

Hadoop伪分布式搭建

伪分布式搭建目的准备支持的平台需要的软件下载伪分布式配置设置SSH免密登录启动hadoop验证文件分块查看上传后的文件目的本文档介绍如何设置和配置单节点Hadoop安装，以便您可以使用HadoopMapReduce和Hadoop分布式文件系统(HDFS
best program·2023-11-15 05:13

Centos7搭建hadoop3.3.4分布式集群

2、集群规划hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。
JAVA序码·2023-11-15 04:10

《spark实战》笔记02--Spark基础概念

•基于DAG图的执行引擎，减少多次计算之间中间结果写到Hdfs的开销。•建立在统一抽象的RDD（分布式内存抽象）之上,使得它可以以基本一致的方式应对不同的大数据处理场景。
chijinyan·2023-11-15 03:41

【k8s集群搭建(一)：基于虚拟机的linux的k8s集群搭建_超详细_解决并记录全过程步骤以及自己的踩坑记录】

虚拟机准备3台Linux系统k8s集群安装每一台机器需要安装以下内容：docker:容器运行环境kubelet:控制机器中所有资源bubelctl:命令行kubeladm:初始化集群的工具Docker安装安装一些必要的包，yum-util提供yum-config-manager功能，另两个是devicemapper驱动依赖#yuminstall-yyum-utilsyuminstall-yyum-
2020. 12.13·2023-11-15 02:50

HADOOP学习_grep和wordcount的例子

两个小例子目录操作文件操作追加文件目录操作首先检查一下自己的hdfs是不是有/user路径http://localhost:50070/explorer.html#/没有就新建一个mac@kkkMachadoop
kkkAloha·2023-11-14 23:16

Hadoop11：MapReduce介绍

一、Hadoop之MapReduce详解前面我们学习了Hadoop中的HDFS，HDFS主要是负责存储海量数据的，如果只是把数据存储起来，除了浪费磁盘空间，是没有任何意义的，我们把数据存储起来之后是希望能从这些海量数据中分析出来一些有价值的内容
做一个有趣的人Zz·2023-11-14 21:40

Hadoop MapReduce详解（一）

一、MapReduce简介之前我们我们讲解了Hadoop的分布式文件储存系统HDFS，曾把它比作一个工厂的仓库。
杨老七·2023-11-14 21:40

hadoop 大数据集群环境配置 配置hadoop配置文件 hadoop(七)

1.虚拟机的三台机器分别以hdfs存储,mapreduce计算，yarn调度三个方面进行集群配置hadoop版本3.3.4官网：Hadoop–ApacheHadoop3.3.6jdk1.8三台机器尾号为
不努力就种地~·2023-11-14 21:42

hadoop 如何关闭集群 hadoop使用脚本关闭集群 hadoop(八)

1.hadoop22,hadoop23,hadoop24三台机器2.namenode所在hadoop22关闭hdfs:#找到/etc/hadoop位置cd/opt/module/hadoop-3.3.4
不努力就种地~·2023-11-14 21:39

Flink SQL -- CheckPoint

1、开启CheckPointcheckpoint可以定时将flink任务的状态持久化到hdfs中，任务执行失败重启可以保证中间结果不丢失#修改flink配置文件vimflink-conf.yaml#checkppint
新手小农·2023-11-14 10:11

ZooKeeper+Kafka+ELK+Filebeat集群搭建实现大批量日志收集和展示

大致流程：将nginx服务器（web-filebeat）的日志通过filebeat收集之后，存储到缓存服务器kafka，之后logstash到kafka服务器上取出相应日志，经过处理后写入到elasticsearch服务器并在kibana上展示。一、集群环境准备4c/8G/100G10.10.200.33Kafka+ZooKeeper+ES+Filebeat+ES-head4c/8G/100G10
蜜蜜不吃糖·2023-11-14 09:35

Hdoop安装配置学习笔记（HDP）

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。
glisten0317·2023-11-14 08:50

hive on spark调优学习笔记

1集群环境概述1.1集群配置概述：所用集群由5台节点构成，其中2台为master节点，用于部署HDFS的NameNode，Yarn的ResourceManager等角色，另外3台为worker节点，用于部署
一只友·2023-11-14 06:39

Elasticsearch集群搭建

本次集群搭建基于Elasticsearch7.8.1下载地址（Elastic中文社区）：https://elasticsearch.cn/download/#seg-12一、节点规划ES服务器节点分配192.168.0.01master192.168.0.02slave192.168.0.03slave192.168.0.04slave192.168.0.05slave
Dream答案·2023-11-14 00:50

一、Hadoop3.1.3集群搭建

一、集群规划hadoop01(209.2)hadoop02(209.3)hadoop03(209.4)HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeManagerNameNode
Dream答案·2023-11-14 00:18

linux ssh免密登录配置

在hadoop集群搭建的过程中，通常会对集群服务进行群启/群停的操作，而集群中的主机执行启动命令通常需要通过ssh登录到其它主机，为了解决ssh时不输入用密码的问题，在这里研究了下ssh免密登录，操作步骤记录如下
ths512·2023-11-13 22:56

大数据

1.搭建hadoop集群步骤（1）准备工作：上传并解压hadoop安装包，配置环境变量，ssh免密登录（2）修改配置文件：hadoop-env.sh，core-site.xml，hdfs-site.xml
叫我小王·2023-11-13 21:06

Hive建表语法和参数记录

Hive是一个基于Hadoop的数据仓库工具，可以将结构化数据映射到HDFS存储（建表对应在HDFS建了一个文件夹），并提供类SQL查询语言-HiveQL，Hive可以将HQL语句转换为MR任务执行。
Forge_ahead·2023-11-13 20:11

Kubernetes 单master 集群搭建

kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。这个工具能通过两条指令完成一个kubernetes集群的部署：#创建一个Master节点$kubeadminit#将一个Node节点加入到当前集群中$kubeadmjoin1.安装要求在开始之前，部署Kubernetes集群机器需要满足以下几个条件：一台或多台机器，操作系统CentOS7.x-86_x64硬件配置：2GB
萧曵 丶·2023-11-13 19:06

史上最全 SpringCloudAlibaba入门教程，从零开始带你深入♂学习（六）——nacos的集群搭建和负载均衡

SpringCloudAlibaba（六）——nacos的集群搭建和负载均衡nacos集群概念统一种软件服务的多个节点对一个系统提供服务称之为这个软件服务集群领取资料预备环境准备64bitOSLinux
爱分享的板栗老哥·2023-11-13 16:02

windows下安装hadoop3.1.3(详细)

windows下安装hadoop3.1.3(详细)最近公司有个采集日志到oss的任务，需要用到hdfs的环境做个透传，因为我们的要采集的日志分布在好几十个单独的服务器其中有linux，又有windows
潘小磊·2023-11-13 14:01

【ceph】集群搭建（centos7-1908）

一环境准备1安装虚拟机pc机1T硬盘16G内存。vmwareworkstation15创建4台虚拟机,网络为桥接。编号hostnameip对应下图节点ceph-1dev-ceph1192.168.199.175/24admin-nodeceph-2dev-ceph2192.168.199.164/24node1ceph-3dev-ceph3192.168.199.105/24node2ceph-4
稔稔·2023-11-13 13:35
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他