bigdata集群搭建

大数据治理体系构建与关键技术实践

因此，大数据治理（BigDataGovernance）成为企业和政府机构提升数据管理能力、优化决策支持的重要手段。本篇文章将深入探讨大数据治理的体系构建、核心技术及其在实际应
一ge科研小菜鸡·2025-02-05 07:45

ElasticSearch集群搭建步骤

文章目录一、前言二、使用RPM安装Elasticsearch导入ElasticsearchGPG密钥从RPM存储库安装三、设置基本安全性生成证书使用TLS加密节点间通信四、为Elasticsearch加密HTTP客户端通信五、配置集群编辑elasticsearch.yml启动集群一、前言Elasticsearch是一个开源的分布式搜索和分析引擎，用于全文搜索、结构化搜索、分析和可视化大规模数据。它
Asui2233·2025-02-03 08:35

Hive 整合 Spark 全教程 （Hive on Spark）

hadoop.proxyuser.luanhao.groups*hadoop.proxyuser.luanhao.groups*2）HDFS配置文件配置hdfs-site.xmldfs.namenode.http-addressBigdata00
字节全栈_rJF·2025-02-02 02:56

centos7搭建flink1.18并以 standalone模式启动

版本组件版本scala2.12.20java1.8.0_181flink1.18.1关于scala和Java的安装参考：scala和java安装flink下载地址：flink下载链接集群规划bigdata01bigdata02bigdata03masterworkerworkerworker
咸鱼c君·2025-02-01 20:50

PostgreSQL的一主一从集群搭建部署 (同步)

一、实验环境虚拟机名IP身份简称keep-postgres12-node1192.168.122.87主节点node1keep-postgres12-node2192.168.122.89备节点node2二、安装数据库源码包方式（主）1、创建用户[root@keep-postgres12-node1~]#groupaddpostgres[root@keep-postgres12-node1~]#u
keep__go·2025-01-30 23:00

一文了解大数据概论

一.大数据概论1.1大数据概念大数据（bigdata）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
·2025-01-29 23:54

ranger-kms安装

Ranger组件服务默认都在/opt/bigdata.test/core/ranger目录下安装。
蘑菇丁·2025-01-27 16:55

web集群搭建

扩展多个web应用原因：单台web服务器能抗住的访问是有限的，配置多台web服务器能提升更高的访问速度，能够接受更多的用户请求。优点：提高冗余提高性能实现方法：1.准备web02服务器2.安装nginx和php环境[root@web01~]#scp/etc/yum.repos.d/[email protected]:/etc/yum.repos.d/nginx.repo[root@
℡永恒·2025-01-27 04:07

把hive中的数据导出到mysql

中的字段和类型也必须为stnamestring2.sqoopexport--connectjdbc:mysql://localhost:3306/xiandian--usernameroot--passwordbigdata
樱浅沐冰·2025-01-26 05:39

Django常用ORM

Coalesce(Sum('number'),0,output_field=CharField())跨表分组去重#B表中有一个外键表是A,即a=models.ForeignKey(A)a_queryset=BigData.objects.filter
程序猿_小天·2025-01-25 17:05

基于MySQL8.0安装部署MHA集群（一主两从）

写在前面之前搭建过MySQL5.7版本的MHA集群，因为一些需要，现进行MySQL8.0版本的MHA集群搭建，搭建步骤基本与5.7版本相似，所以某些测试部分、问题解决、安装包、mha的IP漂移配置文件可以参照我之前写的博文
收买神的欢心·2025-01-25 16:53

【大数据入门核心技术-Hive】（十六）hive表加载csv格式数据或者json格式数据

一、环境准备hive安装部署参考：【大数据入门核心技术-Hive】（三）Hive3.1.2非高可用集群搭建【大数据入门核心技术-Hive】（四）Hive3.1.2高可用集群搭建二、hive加载Json格式数据
forest_long·2025-01-24 12:27

大数据治理：概念、框架与实践

个人主页：一ge科研小菜鸡-CSDN博客期待您的关注引言随着数据量的爆炸性增长，大数据治理（BigDataGovernance）成为数据管理领域的重要议题。
一ge科研小菜鸡·2025-01-24 06:06

【Springer斯普林格出版，Ei稳定，往届快速见刊检索】第四届电子信息工程、大数据与计算机技术国际学术会议（ EIBDCT 2025）

第四届电子信息工程、大数据与计算机技术国际学术会议（EIBDCT2025）20254thInternationalConferenceonElectronicInformationEngineering,BigDataandComputerTechnology
艾思科蓝 AiScholar·2025-01-24 05:59

Flink系列-2、Flink架构体系

https://flink.apache.org/学习资料：https://flink-learning.org.cn/目录Flink中的重要角⾊Flink数据流编程模型Libraries支持Flink集群搭建
技术武器库·2025-01-23 04:55

Redis 单机、哨兵、集群搭建

1.Redis单机搭建（以6.0.6版本为例）安装gcc套装。yuminstallcppyuminstallbinutilsyuminstallglibcyuminstallglibc-kernheadersyuminstallglibc-commonyuminstallglibc-develyuminstallgccyuminstallmake升级gcc。yum-yinstallcentos-r
·2025-01-22 11:42

kubernetes 集群搭建(二进制方式)

Kubernetes作为当今最流行的容器编排平台，提供了强大的功能来管理和扩展容器化应用。除了使用kubeadm等工具简化集群的创建过程外，直接通过二进制文件安装Kubernetes组件也是一种常见的方法。这种方式给予用户更多的控制权，并且适用于那些希望深入理解Kubernetes内部工作原理的人。本文将详细介绍如何通过二进制方式搭建一个功能齐全的Kubernetes集群，并分享一些实用技巧和注意
難釋懷·2025-01-21 02:50

分布式系统理论基础二-CAP

GitHub：https://github.com/wangzhiwubigdata/God-Of-BigData关注公众号,内推,面试,资源下载,关注更多大数据技术~大数据成神之路~预计更新500+篇文章
王知无(import_bigdata)·2025-01-20 10:41

【MongoDB 分片集群架构详解】

ScaleUp）VS水平扩容（ScaleOut）2.分片集群架构2.1核心概念2.1.1数据分片2.1.2配置服务器（configServer）2.1.3查询路由（mongos）3.环境搭建3.1分片集群搭建
从你 全世界 路过·2025-01-19 08:48

使用java代码消费kafka数据

jar包org.apache.kafkakafka-clients3.0.0org.slf4jslf4j-log4j121.7.25示例一：使用java代码消费kafka所有数据packagecom.bigdata.day03
二进制_博客·2025-01-18 19:34

Hive 查看partition 以及msck 修复分区

可以适用下命令重新关联表和数据[MSCKREPAIRTABLE]全量修复分区hive>msckrepairtabletable_name;转载于:https://www.cnblogs.com/TendToBigData
dgsdaga3026010·2025-01-18 17:48

2024年总结：大转向

职业转向今年我在职业上尝试做了一个转向，具体的结果可能需要比较长的时间来检验我选择是否正确，所以转向的细节我就不全部展开了，可以确定是我依然会专注在Infra和BigData，比如今年我发布了SparkSQL
·2025-01-17 20:11

官宣开源 阿里云与清华大学共建AI大模型推理项目Mooncake

2024年6月，国内优质大模型应用月之暗面Kimi与清华大学MADSys实验室（MachineLearning,AI,BigDataSystemsLab）联合发布了以KVCache为中心的大模型推理架构
·2025-01-17 19:03

Hadoop架构

一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性
henan程序媛·2024-09-16 00:14

【Linux 从基础到进阶】Kubernetes 集群搭建与管理

Kubernetes集群搭建与管理Kubernetes（简称K8s）是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。
爱技术的小伙子·2024-09-15 03:00

elasticsearch数据迁移之elasticdump

系列文章目录第一章es集群搭建第二章es集群基本操作命令第三章es基于search-guard插件实现加密认证第四章es常用插件文章目录系列文章目录前言一、elasticdump是什么？
迷茫运维路·2024-09-14 12:47

echarts象形渐变柱状图

/bigdata/components/item.vue'exportdefault{components:{item}}.page-con{width:100%;height:100%;.main-con
星星跌入梦境*·2024-09-14 10:02

DMDPC安装部署

本文是在1台Linux虚拟机上通过创建四个实例的方式进行集群搭建.2.DMDPC集群规划DMD
丷月亮是指路牌·2024-09-14 06:39

Redis安装详解（单机安装，sentinel哨兵模式，Cluster模式）

1.2linux中安装2Redis主从复制安装3Redis哨兵模式安装4Springboot项目操作RedisSentinel集群5官方cluster分区搭建5.1部署架构5.2RedisCluster的优势5.3集群搭建
dream21st·2024-09-13 22:18

【Redis】Redis 集群搭建与管理: 原理、实现与操作

目录集群(Cluster)基本概念数据分片算法哈希求余⼀致性哈希算法哈希槽分区算法(Redis使⽤)集群搭建(基于docker)第⼀步:创建⽬录和配置第⼆步:编写docker-compose.yml第三步
Hsu琛君珩·2024-09-11 00:02

MySQL8.0 集群搭建

文章目录环境准备安装MySQL8.0配置主服务配置从服务器主从复制：即主服务器上的所有操作（创建库，修改表等）会被同步到从服务器上，但是在从服务器上的操作不会进入到主服务器中环境准备两台服务器，一主一从安装docker#国内源curl-fsSLhttps://get.docker.com|bash-sdocker--mirrorAliyun启动dockersystemctlstartdocker配
我有一只肥螳螂·2024-09-09 08:46

大数据（Big Data）：探索信息时代的海量数据世界

大数据（BigData）：探索信息时代的海量数据世界一、大数据的定义与特点大数据（BigData），或称巨量资料，是指那些在传统数据处理应用软件无法有效捕捉、管理和处理的数据集合。
hong161688·2024-09-06 05:19

Ingest Pipeline & Painless Script

DELETEtech_blogs#Blog数据，包含3个字段，tags用逗号间隔PUTtech_blogs/_doc/1{"title":"Introducingbigdata......","tags
折纸虚桐·2024-09-05 22:03

mysql的主从复制延迟问题

mysql的主从复制延迟问题https://blog.csdn.net/qq_41683000/article/details/125436839一主一从，双主双从的mysql集群搭建，在单机应用的时候看起来没有问题
wowocpp·2024-09-05 00:06

kafka集群搭建

Kafka集群搭建一、概念说明它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。
java皮皮虫·2024-09-04 16:48

基于分布式计算的电商系统设计与实现【系统设计、模型预测、大屏设计、海量数据、Hadoop集群】

Abstract1引言1.1研究背景1.2国内外研究现状1.3研究目的1.4研究意义2关键技术理论介绍2.1Hadoop相关组件介绍2.2分布式集群介绍2.3Pyecharts介绍2.4Flask框架3分布式集群搭建及数据准备
王小王-123·2024-09-03 04:54

【Mysql】通过Keepalived搭建mysql双主高可用集群

VIP（虚拟ip）hadoop01192.168.10.200centos7_x865.7192.168.10.253hadoop03192.168.10.202centos7_x865.7二、mysql集群搭建两台节点
维运·2024-08-31 15:13

HIVE 数据模型

体系结构：元数据/HQL的执行安装：嵌入/远程/本地管理：CLI/web界面/远程服务数据类型：基本/复杂/时间数据模型：数据存储/内部表/分区表/外部表/桶表/视图WEB管理工具：http://tdxy-bigdata
HFDYCYY·2024-08-29 19:47

Openstack 与 Ceph集群搭建(下)： Openstack部署

文章目录文章参考部署节点准备1.修改Host文件与hostname名称2.安装NTP软件3.网卡配置信息4.开启Docker共享挂载5.安装python虚拟环境6.安装kolla-ansible7.加载AnsiblegalaxyrequirementsOpenstack安装前预配置1.配置密码2.配置multinode文件3.修改全局配置文件Openstack正式安装1.启动bootstrap-s
范枝洲·2024-08-29 01:43

clickhouse集群搭建

文章目录安装clickhouse修改集群配置文件启动clickhouse集群测试集群的可用性安装clickhouse本次用了4台服务器搭建clickhouse集群，使用rpm安装方式在4台服务器上安装clickhouse，步骤如下：sudoyuminstall-ycurlcurl-shttps://packagecloud.io/install/repositories/altinity/clic
颍天·2024-08-28 14:56

读写分离集群搭建

目录一、配置读写分离集群1、环境说明2、数据准备3、配置主库GRP1_RWW_01配置dm.ini配置dmmal.ini配置dmarch.ini配置dmwatcher.ini启动主库设置OGUID修改数据库模式4、配置备库GRP1_RWW_02配置dm.ini配置dmmal.ini配置dmarch.ini配置dmwatcher.ini启动备库设置OGUID修改数据库模式5、配置备库GRP1_RWW
奥德彪的蕉·2024-08-28 11:41

打造扛得住的MySQL数据库架构视频教程-数据库结构优化 高可用架构设计

打造扛得住的MySQL数据库架构视频教程-数据库结构优化高可用架构设计30套数据库系列Mysql/SQLServer/Redis/Mongodb/Nosql精讲训练营项目实战，数据库设计，架构设计，性能管理，集群搭建
cd137a460a79·2024-08-28 04:10

数据库基础：mysql主从集群搭建

position：表示从file的哪个位置开始；binlog_do_db：表示同步哪一个库在后面的slave配置中，这三个结果都需要使用到。4.Slave(6.85)节点配置配置从库(1)修改my.cnf文件，在[mysqld]加入下面的内容：#服务的唯一编号server-id=2#开启mysqlbinlog功能log-bin=mysql-bin#binlog记录内容的方式，记录被操作的每一行bi
2401_84049040·2024-08-27 00:58

基于Zookeeper搭建Kafka高可用集群

基于Zookeeper搭建Kafka高可用集群一、Zookeeper集群搭建为保证集群高可用，Zookeeper集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。
数字游牧人0v0·2024-08-26 16:58

zookeeper+KAFKA 集群搭建

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、集群管理等。因为Kafka集群是把状态信息保存在Zookeeper中的，并且Kafka的动态扩容是通过Zookeeper来实现的，所以需要优先搭建Zookeer
懵逼的运维弟弟·2024-08-26 16:28

山东大学大数据管理与分析知识点总结

大数据概述大数据(bigdata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理大数据四个本质特征大量化
weixin_51565263·2024-08-26 14:46

大数据-Big Data

大数据（BigData）是指规模庞大、多样化、高速度的数据集合。与传统数据相比，大数据具有一些显著的特点，并广泛应用于各个领域。
Dingdangr·2024-08-26 13:34

Redis 集群搭建

1.环境：centos6.7、redis-6.2.62.模式：5主+20丛+5备丛（即：1主-4从-1备丛）3.服务器环境检查及安装查看服务器是否安装了gccrpm-qgcc若没有安装，则进行gcc安装yuminstall-ygcc4.redis下载前往redis官网下载https://redis.io/downloadredis-6.2.6.tar.gz5.将redis-6.2.6.tar.gz
丿似锦·2024-08-24 21:00

达梦数据库DMDSC搭建

DMDSC目录前言DMDSC名词解析DMCSS控制节点(ControlNode)普通节点（NormalNode）DMCSS工作原理DMASMdmasvrmal搭建步骤准备共享盘初始化安装DM数据库软件集群搭建配置
大大大大大魔王丶·2024-08-23 20:21

Ubuntu下部署Hadoop集群+Hive（二）

Hadoop集群搭建准备环境hadoop-3.3.6.tar.gz，jdk-8u421-linux-x64.tar.gz根据自己的使用下载对的hadoop和jdk版本hadoop下载地址：ApacheHadoopJDK
岩屿·2024-08-23 14:46
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他