E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
redis-4.0.8集群
【Es】python es操作
表因为es是
集群
所以es_hosts是列表fromelasticsearchimportElasticsearchES_HOSTS=["127.0.0.1:9200"]ES_HTTP_AUTH="***
小毛驴吃梨子
·
2025-01-22 03:03
elasticsearch
python
大数据
分布式资源管理和调度架构
资源管理和调度是将计算任务分配到资源的过程,为了处理并发的计算任务,系统会通过
集群
的方式组织资源。
集群
中的资源可以按照服务器或者虚拟机的方式划分。注:本文是《分布式架构原理与实践》的
johnny233
·
2025-01-22 00:14
架构
架构
Kafka消息轨迹方案设计与实现
在处理过的几个千万级TPS的Kafka
集群
中,消息追踪始终是一个既重要又棘手的问题。
小马不敲代码
·
2025-01-22 00:06
大数据
kafka
hive电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档]【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop
集群
环境
QQ-1305637939
·
2025-01-21 22:28
毕业设计
大数据毕设
计算机毕业设计
hive
spring
boot
爬虫
hadoop电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
Springboot协同过滤-余弦函数推荐系统爬虫2万+数据大屏数据展示【Hadoop项目】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop
集群
环境
QQ-1305637939
·
2025-01-21 22:28
计算机毕业设计
毕业设计
大数据毕设
hadoop
spring
boot
爬虫
spark电影数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫2万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
余弦函数推荐系统爬虫2万+数据大屏数据展示+[手把手视频教程和开发文档【功能介绍】1.java爬取【豆瓣电影】网站中电影数据,保存为data.csv文件,数据量2万+2.data.csv上传到hadoop
集群
环境
QQ-1305637939
·
2025-01-21 22:58
毕业设计
大数据毕设
计算机毕业设计
spark
spring
boot
爬虫
大数据
电影推荐
电影分析
ctr、crictl和nerdctl命令介绍与常用命令列表
crictl工具crictl是一个遵循CRI(ContainerRuntimeInterface)规范的命令行工具,用于检查和调试Kubernetes
集群
中的
篙芷
·
2025-01-21 22:51
容器
RocketMQ的
集群
架构是怎样的?
今天分享关于【RocketMQ的
集群
架构是怎样的?】面试题。希望对大家有帮助;RocketMQ的
集群
架构是怎样的?
java1234_小锋
·
2025-01-21 21:17
java
java-rocketmq
rocketmq
架构
kafka学习笔记2 —— 筑梦之路
在KRaft模式下,所有的元数据,包括主题、分区信息、副本位置等,都被存储在Kafka
集群
内部的特殊日志中。这个日志
筑梦之路
·
2025-01-21 20:09
Java技术
linux系统运维
kafka
学习
笔记
深度挖掘:Oracle RAC数据库架构分析与实战攻略
深度挖掘:OracleRAC数据库架构分析与实战攻略本书内容从
集群
概念入手,深入RAC原理和结构进行分析,结合存储和网络传输知识,全面讲解小机
集群
数据库RAC的安装示例,探讨RAC的管理和维护,详述备份恢复
拟声的主扬
·
2025-01-21 20:37
专题
数据库
oracle
rac
性能优化
网络
备份
自建 MongoDB 实战 | MongoDB 文档查询
主要涉及到:·MongoDB的安装及基本使用(点击进入)·MongoDB文档查询(本期内容)·MongoDB复制集的介绍及搭建(后续更新)·MongoDB分片
集群
的介绍及搭建(后续更新)·MongoDB
新钛云服
·
2025-01-21 15:46
mongodb
数据库
nosql
分布式二级缓存组件实战(Redis+Caffeine实现)
但是一般redis是单独部署成
集群
,所以会有网络IO上的消
鸨哥学JAVA
·
2025-01-21 14:46
程序员
Java
编程
redis
缓存
分布式
oceanbase架构、功能模块、数据存储、特性、sql流转层等概念详解
一、架构图OceanBase数据库采用无共享(Shared-Nothing)分布式
集群
架构,各个节点之间完全对等,每个节点都有自己的SQL引擎、存储引擎、事务引擎,运行在普通PC服务器组成的
集群
之上,具备高可扩展性
小成很成
·
2025-01-21 11:16
数据库
nginx反向代理kafka
集群
实现内外网隔离访问 —— 筑梦之路
背景说明我们在使用Kafka客户端连接到Kafka
集群
时,即使连接的节点只配置了一个
集群
的Broker地址,该Broker将返回给客户端
集群
所有节点的信息列表。
筑梦之路
·
2025-01-21 11:42
linux系统运维
大数据
nginx
kafka
运维
k8s部署Kafka
集群
1.1、Kafka(消息队列)是一个分布式消息中间件,支持分区的、多副本的、多订阅者的、基于zookeeper协调的分布式消息系统。通俗来说:kafka就是一个存储系统,存储的数据形式为“消息";1.2、常用的消息系统有哪些以及各自的特点有activemq,rabbitmq,rocketmq,kafka1.3、为什么使用消息队列1)、提高扩展性:因为消息队列解耦了处理过程,有新增需求时只要另外增加
潞哥的博客
·
2025-01-21 10:38
kubernetes
kafka
容器
云原生周刊:K8s 生产环境架构设计及成本分析
开源项目推荐KubeZoneNetKubeZoneNet旨在帮助监控和优化Kubernetes
集群
中的跨可用区(Cross-Zone)网络流量。
KubeSphere 云原生
·
2025-01-21 09:59
k8s
容器平台
kubesphere
云计算
大数据学习(37)- Flink运行时架构
大数据学习&&系列专栏:哲学语录:承认自己的无知,乃是开启智慧的大门如果觉得博主的文章还不错的话,请点赞+收藏⭐️+留言支持一下博主哦1)作业管理器(JobManager)JobManager是一个Flink
集群
中任务管理和调度的核心
viperrrrrrr
·
2025-01-21 09:57
学习
flink
大数据
Apache SeaTunnel 2.3.9 正式发布:多项新特性与优化全面提升数据集成能力
本次更新新增了`Helm
集群
部署、Transform支持多表、Zeta新API、表结构转换、任务提交队列、分库分表合并、列转多行`等多个功能更新!
·
2025-01-21 07:40
数据库
【开源免费】kettle作业调度—自动化运维—数据挖掘—informatica-批量作业工具taskctl
关注公众号"taskctl",关键字回复"领取"即可获权产品简介taskctl是一款由成都塔斯克信息技术公司历经10年研发的etl作业
集群
调度工具,该产品概念新颖,体系完整、功能全面、使用简单、操作流畅
加菲盐008
·
2025-01-21 06:31
Kettle
ETL作业调度工具
taskctl
运维
数据库
linux
大数据
数据挖掘
k8s部署rabbitmq
集群
(使用rabbitmq-cluster-operator部署)
1.下载并安装cluster-operatorkubectlapply-frabbitmq-cluster-operator.yml百度网盘请输入提取码:qy992.部署rabbitmq实例kubectlapply-frabbitmq.yaml存储类改为自己的(如:managed-nfs-storage)#rabbitmq.yaml---apiVersion:rabbitmq.com/v1beta
仇誉
·
2025-01-21 06:55
rabbitmq
rabbitmq
kubernetes
hadoop常用命令
yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}(id可以通过-list看到)hdfs查看hdfs目录hdfsdfs-ls/(查看本
集群
的目录
我要用代码向我喜欢的女孩表白
·
2025-01-21 05:54
hadoop
npm
大数据
Kubernetes架构原则和对象设计(二)
Kubernetes常见问题解答本文从云计算架构发展入手,详细分析了kubernetes的生态系统、设计理念、分层架构、API设计原则、架构设计原则等,并介绍了使用kubelet+staticPod拉起
集群
的过程
grahamzhu
·
2025-01-21 05:53
云原生学习专栏
kubernetes
架构
容器
集群搭建
API设计
云计算
kubelet
kubernetes
集群
搭建(二进制方式)
除了使用kubeadm等工具简化
集群
的创建过程外,直接通过二进制文件安装Kubernetes组件也是一种常见的方法。
難釋懷
·
2025-01-21 02:50
kubernetes
容器
云原生
gds文件 导出_GaussDB 200使用GDS服务导入导出数据
GaussDB200支持将存在远端服务器上的TEXT、CSV和FIXED格式的数据导入到
集群
中。本文介绍使用GDS(GaussDataService)工具将远端服务器上的数据导入GaussDB200。
weixin_39576066
·
2025-01-21 01:37
gds文件
导出
MPP-大规模并行处理
MPP(MassivelyParallelProcessing),即大规模并行处理,在数据库非共享
集群
中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接
quanzaiwoxin1
·
2025-01-21 01:35
Windchill配置-数据库相关的基础操作
Linux1.2.2监听相关命令1.2.3进入sqlplus的方式1.2.4基础SQL命令二、常用的SQL语句2.1数据库表空间使用情况查询2.1.1统计2.1.2明细2.2数据库表空间扩容2.2.1单机环境2.2.2
集群
环境
这城有海
·
2025-01-20 23:19
系统配置
Windchill二开
数据库
70_Redis数据结构-RedisObject
从Redis使用者的视角来看,一个Redis节点可以包含多个数据库(在非
集群
模式下默认为16个,而在
集群
模式下则限制为1个),每个数据库
袁庭新
·
2025-01-20 21:09
Redis
7企业级开发实战教程
redis
数据结构
数据库
RedisObject介绍
RedisObject源码
袁庭新
Redis7
同城双活和两地三中心架构设计
同城两个机房各承担一部分流量,一般入口流量完全随机,内部RPC调用尽量通过就近路由闭环在同机房,相当于两个机房镜像部署了两个独立
集群
,数据仍然是单点写到主机房数据库,然后实时同步到另外一个机房。
架构未来
·
2025-01-20 19:16
数据库
网络
架构
kafka 学习笔记3-传统部署Kraft模式
集群
——筑梦之路
部署kafka
集群
规划一般模式下,元数据在zookeeper中,运行时动态选举controller,由controller进行Kafka
集群
管理。
筑梦之路
·
2025-01-20 19:10
kafka
学习
笔记
共筑BMC技术生态,OurBMC受邀参加第二届融通生态大会
12月11-12日,第二届国家新一代自主安全计算系统产业
集群
融通生态大会(以下简称“融通生态大会”)在长沙成功召开。
·
2025-01-20 17:19
程序员
VictoriaMetrics 中文教程(10)
集群
版简介
VictoriaMetrics中文教程系列文章:VictoriaMetrics中文教程(01)简介VictoriaMetrics中文教程(02)安装VictoriaMetrics中文教程(03)如何配置Prometheus使其把数据远程写入VictoriaMetricsVictoriaMetrics中文教程(04)对接Grafana同时介绍vmuiVictoriaMetrics中文教程(05)对接
·
2025-01-20 17:17
prometheus
云原生周刊:K8s 生产环境架构设计及成本分析
开源项目推荐KubeZoneNetKubeZoneNet旨在帮助监控和优化Kubernetes
集群
中的跨可用区(Cross-Zone)网络流量。
·
2025-01-20 17:45
云计算
【Elasticsearch
集群
】轻松部署 Elasticsearch:8.0
集群
概要一文教你轻松掌握Elasticsearch:8.0+
集群
部署,JDK17+环境准备准备3台centos服务器:192.168.0.10、192.168.0.11、192.168.0.121、更新系统
库洛王子
·
2025-01-20 12:59
Elasticsearch
elasticsearch
jenkins
大数据
Elasticsearch 中的节点(比如共 20 个),其中的10 个选了一个 master,另外 10 个选了另一个 master,怎么办?思维导图 代码示例(java 架构)
在Elasticsearch中,如果出现
集群
分裂(Split-brain)的情况,即一部分节点选举了一个Master节点,而另一部分节点选举了另一个Master节点,这会导致数据不一致和
集群
不可用。
用心去追梦
·
2025-01-20 09:27
elasticsearch
java
架构
Fluss安装体验
https://mirrors.aliyun.com/apache/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz1.1.1zk
集群
规划
WYRM_GOLD
·
2025-01-20 05:27
fluss
flink
big
data
zookeeper
kafka
Sealos 将计算节点加入 kubeadm 安装的 Kubernetes
集群
引言Kubernetes是云原生应用的核心平台,而kubeadm是官方推荐的Kubernetes
集群
部署工具。然而,随着
集群
规模的扩大,手动管理节点变得越来越复杂。
ivwdcwso
·
2025-01-20 02:22
运维
kubernetes
容器
云原生
k8s
sealos
Spark Livy 指南及livy部署访问实践
ApacheSpark是一个比较流行的大数据框架、广泛运用于数据处理、数据分析、机器学习中,它提供了两种方式进行数据处理,一是交互式处理:比如用户使用spark-shell,编写交互式代码编译成spark作业提交到
集群
上去执行
house.zhang
·
2025-01-19 22:40
大数据-Spark
大数据
大数据学习(四):Livy的安装配置及pyspark的会话执行
一个基于Spark的开源REST服务,它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark
集群
中去执行。
猪笨是念来过倒
·
2025-01-19 21:08
大数据
pyspark
【赵渝强老师】PostgreSQL的数据库
PostgreSQL的逻辑存储结构主要是指数据库中的各种数据库对象,包括:数据库
集群
、数据库、表、索引、视图等等。
·
2025-01-19 19:56
数据库postgresql
【赵渝强老师】PostgreSQL的数据库
集群
PostgreSQL的逻辑存储结构主要是指数据库中的各种数据库对象,包括:数据库
集群
、数据库、表、索引、视图等等。
·
2025-01-19 19:25
数据库postgresql
Apache Doris安装部署
目录Doris简介Doris安装包下载JDK安装Doris安装单机部署安装部署规划创建用户解压安装包配置FE配置BE启动FE和BE连接Doris
集群
添加BE节点修改root和admin用户的密码创建数据库和数据表停止
ErbaoLiu
·
2025-01-19 19:47
Flink
Doris
Apache
Doris
部署安装
单机部署安装
FE
BE
【赵渝强老师】Kubernetes中Pod的探针
在K8s
集群
中,当Pod处于运行状态时,kubelet通过使用探针(Probe)对容器的健康状态执行检查和诊断。Kubernetes支持的三种类型的探针。
·
2025-01-19 18:48
doris 安装部署
FE:存储和维护
集群
的元数据,负责接收和解析用户的查询请求,规划查询计化,调度查询结果,FE主要分为三个角色:Leader、Follower、ObserverLeader和Follower主要是用来实现
猫猫姐
·
2025-01-19 18:13
Doris
doris
如何搭建K8S
集群
目录一、环境规划二、环境准备2.1搭建流程概述:2.2安装环境准备2.2.1升级系统内核2.2.2设置主机名和hosts本地解析2.2.3关闭防火墙和SELinux2.2.4时间同步2.2.5关闭swap分区2.2.6将桥接的IPv4流量传递到iptables链2.2.7开启ipvs2.2.8重启机器2.3容器化环境和组件安装2.3.1Docker安装2.3.2设置Docker镜像加速器:2.3.
江湖风云令
·
2025-01-19 18:09
kubernetes
容器
云原生
【赵渝强老师】PostgreSQL的物理存储结构
PostgreSQL在执行initdb的数据库
集群
初始化时会指定一个目录。该目录通过环境变量$PGDATA来表示。当数据库
集群
初始化完成后,会在这个目录生成相关的子目录以及一些文件。
·
2025-01-19 15:11
数据库postgresql
python 清空表格_python 清空表数据库表
《Greenplum5.0最佳实践》迁移数据使用Gptransfer使用Gptransfer命令迁移一个Greenplum数据库
集群
中的数据到另一台
集群
(metradata,data)gptransfer
weixin_39989190
·
2025-01-19 13:57
python
清空表格
构建高效GPU算力平台:挑战、策略与未来展望
当前挑战算力分配与资源优化在多用户共享GPU
集群
的环境下,合理分配计算资源并确保每个任务能够高效运行是一项挑战。这不仅涉及到硬件资
Mr' 郑
·
2025-01-19 11:43
gpu算力
Shardingsphere-Proxy 5.5.0数据迁移
Shardingsphere-Proxy5.5.0数据迁移Shardingsphere系列目录:背景配置
集群
部署搭建Zookeeper修改shardingsphere-proxy配置重启shardingsphere-proxy
她又在丛中笑
·
2025-01-19 10:35
shardingsphere
zookeeper
java
spring
boot
hive小文件合并机制_hive小文件的问题弊端以及合并
中每个文件的元数据信息,包括位置大小分块信息等,都保存在NN内存中,在小文件数较多的情况下,会造成占用大量内存空间,导致NN性能下降;2、在读取小文件多的目录时,MR会产生更多map数,造成GC频繁,浪费
集群
资源
做生活的创作者
·
2025-01-19 08:49
hive小文件合并机制
【MongoDB 分片
集群
架构详解】
MongoDB分片
集群
架构详解MongoDB分片
集群
架构详解1.分片简介1.1为什么要使用分片1.2垂直扩容(ScaleUp)VS水平扩容(ScaleOut)2.分片
集群
架构2.1核心概念2.1.1数据分片
从你 全世界 路过
·
2025-01-19 08:48
必备
mongodb
架构
数据库
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他