E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
ElasticSearch集群
Hive之数据迁移方案(实测)
文章目录Hive的迁移涉及两个技术点:1.仅迁移元数据2.元数据及Hive数据全量迁移2.1全表迁移2.1.1旧
集群
2.1.2新
集群
2.2仅部分分区迁移(主要步骤)2.1.1旧
集群
2.1.2新
集群
2.3beeline
南风知我意丿
·
2025-01-25 06:11
Hive
hive
hadoop
hdfs
16 分布式session和无状态的会话
如果以
集群
的方式部署,用户登录的session存储在该次登录的服务器节点上,如果下次访问服务端的请求落到其他节点上就需要重新生成session,这样用户需要频繁的登录。
40岁的系统架构师
·
2025-01-25 06:09
分布式
系统架构
Elastic Stack(filebeat/logstash/elasticserarch/kibana)性能分析应用
目录概要:1.待分析日志的格式(1条日志):2.filebeat设置获取日志的路径:3.logstash匹配日志4.调试5.
Elasticsearch
插件(方便对es的查询与删除)6.对已有日志进行分析
一缕晨光~
·
2025-01-25 05:03
Elastic
Stack
elasticsearch
kibana
elk
大数据
openresty+lua+kafka 日志采集
根据业务把不同的日志发送到不同主题中数据实时性高性能保证方案一自己写个接收程序转发到kafka方案二采用nginx+lua方案采用方案二,原因是nginx高性能,编写代码少,维护少,满足业务场景实施步骤线上请求到nginx后,使用lua组装json格式日志,异步发送到kafka
集群
根据不同业务日志
CHENYANG123
·
2025-01-25 03:50
大数据
lua
kafka
nginx
redis+spring面试题
redis使用场景缓存热点数据分布式锁存储token存储短信验证码计数器全局唯一数排行榜限流购物车关注粉丝缓存失效缓存穿透缓存空结果布龙过滤器缓存击穿全局锁设置永不过期缓存雪崩设置高可用
集群
设置不同的过期时间本地二级缓存
·
2025-01-25 01:51
javaspringredis
2024 年最新基于 Spring Cloud 的微服务架构分析
如果Eureka以
集群
模式部署,当
集群
中有分片出现故障时,那
2401_83916326
·
2025-01-24 17:02
程序员
架构
spring
cloud
微服务
如何部署 Flask 应用程序到生产环境?
部署方式适用场景说明Gunicorn+Nginx适合中小型项目轻量级,性能稳定uWSGI+Nginx高性能并发、生产环境推荐生产级别,支持异步工作Docker+Kubernetes容器化部署,微服务架构适合大规模微服务
集群
Channing Lewis
·
2025-01-24 15:15
Python
flask
python
后端
CDH日志清理
备注:CDH版本:6.3.1背景CDH
集群
运行了2个多月了,根目录磁盘使用率接近80%了,需要清理CDH日志。一.查看问题CDH的日志文件一般在如下几个目录,可以通过如下代码进行查看。
只是甲
·
2025-01-24 14:13
#
CDH大数据平台
大数据和数据仓库
Cloudera
日志清理
hadoop
电商项目-数据同步解决方案(三)商品上架同步更新ES索引库
一、需求分析和业务逻辑主要应用技术有:Feign远程调用,消息队列-RabbitMQ,分布式搜索引擎-
ElasticSearch
,Eureka,Canal商品上架将商品的sku列表导入或者更新索引库。
kong7906928
·
2025-01-24 14:41
项目功能
Java框架
elasticsearch
搜索引擎
数据同步
windows安装ES
1.下载ES访问ES官网下载Download
Elasticsearch
|Elastic2.配置环境变量ES_JAVA_HOME:D:\jdk-17.0.9ES_HOME:D:\
elasticsearch
我的棉裤丢了
·
2025-01-24 14:09
elasticsearch
大数据
搜索引擎
Spark运行模式及Spark on Yarn两种运行模式的区别
Spark运行模式1.Standalone模式描述:Standalone模式是Spark的独立
集群
模式,Spark自己管理资源和调度任务。适合小型
集群
或个人开发环境。特点:简单易用,适合开发和测试。
DataCrafter
·
2025-01-24 13:03
Spark
大数据
计算框架
spark
大数据
Kubernetes入门
Kubernetes的工作原理Kubernetes通过将应用打包到容器中,并在
集群
中运行这些容器来实现应用的部署和管理。容器是轻量级的、可移植的、自包含的软
I~Lucky
·
2025-01-24 13:01
kubernetes
容器
云原生
【大数据入门核心技术-Hive】(十六)hive表加载csv格式数据或者json格式数据
一、环境准备hive安装部署参考:【大数据入门核心技术-Hive】(三)Hive3.1.2非高可用
集群
搭建【大数据入门核心技术-Hive】(四)Hive3.1.2高可用
集群
搭建二、hive加载Json格式数据
forest_long
·
2025-01-24 12:27
大数据技术入门到21天通关
大数据
hive
hadoop
开发语言
后端
数据仓库
Kubernetes网络
Kubernetes网络Kubernetes网络模型相关概念链接Kubernetes网络模型Kubernetes网络模型由多个关键部分构建而成:在Kubernetes
集群
中,每个Pod都会被分配一个独一无二的
qichengzong_right
·
2025-01-24 10:43
linux
kubernetes
云原生
linux
云原生
kubernetes
ELK介绍
ELK是由三个开源项目组成的日志管理解决方案,分别是
Elasticsearch
、Logstash和Kibana。这三个工具协同工作,提供强大的日志收集、处理、存储和可视化能力。
小馋喵知识杂货铺
·
2025-01-24 09:30
性能
elk
【
Elasticsearch
】_reindex api请求
在
Elasticsearch
中,你可以使用`_tasks`API来检查`_reindex`任务的状态。
risc123456
·
2025-01-24 08:25
Elasticsearch
elasticsearch
y98.第六章 微服务、服务网格及Envoy实战 --
集群
管理(九)
8.
集群
管理8.0本节话题
集群
管理器与服务发现机制主动健康状态检测与异常点探测负载均衡策略分布式负载均衡负载均衡算法:加权轮询、加权最少连接、环哈希、磁悬浮和随机等;区域感知路由全局负载均衡位置优先级位置权重均衡器子集熔断和连接池
Raymond运维
·
2025-01-24 08:53
云原生-微服务治理企业实战
(已完结)
microservices
envoy
运维
云计算
云原生
TiDB架构特性
TiDBServerPDServerTiKVServerTiSparkTiDBOperatorTiDB核心特性水平扩展高可用TiDB存储和计算能力存储能力-TiKV-LSM计算能力-TiDBServer总结TiDB整体架构 TiDB
集群
主要包括三个核心组件
·
2025-01-24 05:24
#
TiDB
TiDB
TiDB分布式数据库架构与核心原理
本文从整体架构、
集群
设计、
AI天才研究院
·
2025-01-24 04:21
Python实战
深度学习实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
大数据学习(七)Python3操作livy(使用pylivy模块)
pylivy是Livy的Python客户端,可以在Spark
集群
上轻松实现远程代码执行。安装$pipinstall-Ulivy请注意,pylivy需要Python3.6或更高版本。
猪笨是念来过倒
·
2025-01-24 04:46
大数据
大数据
python
Kubectl常用命令操作
kubectl命令格式:kubectlcommandtypenamecommand:表示子命令,用于操作kubernetes的
集群
资源对象,如:createdeletedescribegetapplytype
_Eden_
·
2025-01-24 03:11
linux
运维
服务器
在K8S中,如何使用EFK实现日志的统一管理?
下面是如何在Kubernetes中使用EFK实现日志统一管理的详细步骤:部署
Elasticsearch
elasticsearch
是一个分布式、RESTful风格的搜索和分析引擎,能够解决越来越多用例的查询语言
Dusk_橙子
·
2025-01-24 02:06
K8S
kubernetes
容器
云原生
Zookeeper(23)Zookeeper的选举机制是什么?
Zookeeper的选举机制是确保在
集群
中始终有一个唯一的Leader。Leader负责处理所有的写请求和协调事务的提交,而Follower负责处理读请求和转发写请求给Leader。
辞暮尔尔-烟火年年
·
2025-01-24 02:06
微服务
zookeeper
分布式
云原生
在K8S中,如果后端NFS存储的IP发送变化如何解决?
地址发生了变化,您需要更新与之相关的PeristentVolume(PV)或PersistentVolumeClaim(PVC)以及StorageClass中关于NFS服务器IP的配置信息,确保K8S
集群
内的
Dusk_橙子
·
2025-01-24 01:58
K8S
kubernetes
tcp/ip
容器
cascading 入门 (一)
它抽象了
集群
拓扑结构和配置来快速开发复杂分布式的应用,而不用考虑背后的MapReduce。
zhumin726
·
2025-01-24 01:28
滚雪球学Redis[4.1讲]:Redis的高可用性与
集群
架构
RedisSentinelSentinel的工作原理Sentinel的配置与使用高可用架构下的故障转移3.RedisClusterCluster模式的架构与原理Cluster的配置与使用分片与槽位的管理
集群
管理中的常见问题与优化小结下期预告前言在上一期内容
bug菌¹
·
2025-01-23 22:34
#
滚雪球学Redis
redis
架构
数据库
GPU
集群
和分布式计算
《GPU
集群
和分布式计算》关键词:GPU
集群
、分布式计算、CUDA、OpenACC、OpenMP、性能优化、故障处理、案例分析摘要:本文详细探讨了GPU
集群
和分布式计算的基本概念、架构、编程模型以及应用场景
AI天才研究院
·
2025-01-23 21:28
计算
AI大模型企业级应用开发实战
大数据AI人工智能
java
python
javascript
kotlin
golang
架构
人工智能
大厂程序员
硅基计算
碳基计算
认知计算
生物计算
深度学习
神经网络
大数据
AIGC
AGI
LLM
系统架构设计
软件哲学
Agent
程序员实现财富自由
360智算中心万卡GPU
集群
架构分析
360智算中心:万卡GPU
集群
落地实践 360智算中心是一个融合了人工智能、异构计算、大数据、高性能网络、AI平台等多种技术的综合计算设施,旨在为各类复杂的AI计算任务提供高效
科技互联人生
·
2025-01-23 21:27
科技
数码
人工智能
硬件架构
系统架构
人工智能
K8S中ingress详解
Ingress介绍Kubernetes
集群
中,服务(Service)是一种抽象,它定义了一种访问Pod的方式,无论这些Pod如何变化,服务都保持不变。
元气满满的热码式
·
2025-01-23 21:27
kubernetes
容器
云原生
Linux 时间同步服务
时间同步:多主机协作工作时,各个主机的时间同步很重要,时间不一致会造成很多重要应用的故障,如:加密协议,日志,
集群
等,利用NTP(NetworkTimeProtocol)协议使网络中的各个计算机时间达到同步
不想起昵称929
·
2025-01-23 20:50
linux
HAProxy
集群
与常见的Web
集群
软件调度器对比
一、Web
集群
调度器1.常见的Web
集群
调度器常用的Web
集群
调度器分为软件和硬件,负载均衡性能(硬件负载均衡器F5>LVS>Haproxy>Nginx)软件调度器(开源)1.LVS:性能最好,搭建复杂
EsDeath_99
·
2025-01-23 18:09
java
服务器
linux
【YashanDB知识库】YCM数据库托管遇到的问题
templateId=171...YCM托管了
集群
,现在显示数据库处于故障状态,按照告警项建议检查实例的状态是正常运行的问题现象:查看dba\_users视图发现yasom用户不存在。
·
2025-01-23 18:55
数据库
虚拟机VMware Workstation Pro安装
集群
+hadoop+spark+scala
参考资料:参考视频教程链接:大数据实验虚拟机安装Hadoop和Spark_哔哩哔哩_bilibiliup主:孤独时代的硕硕namenode安装选择镜像、路径、磁盘(最好不要c盘)、内存和处理器编辑名称与位置可点击此处自定义硬盘进行设置。选择语言、时区、软件、位置和网络
落枫兮
·
2025-01-23 15:16
hadoop
spark
scala
Elasticsearch
8.17.1 JAVA工具类
一、
ElasticSearch
Utilspackagecom.wssnail.
elasticsearch
.util;importco.elastic.clients.
elasticsearch
.
Elasticsearch
Client
熟透的蜗牛
·
2025-01-23 13:05
牛X的开源框架
elasticsearch
CentOS8下安装wget、wget2
内容涵盖服务器硬件(如IBMSystem3650M5)、云服务平台(如腾讯云、华为云)、服务器软件(如Nginx、Apache、GitLab、Redis、
Elasticsearch
、Kubernetes
奔跑吧邓邓子
·
2025-01-23 11:53
高效运维
linux
centos
wget
wget2
K8s架构与组件
这些对
集群
做出全局决策(比如调度),以及检测和响应
集群
事件的组件集合也称为控制平面。其实K8s官方并没有Master这一说,只是大多数安装工具(kube
稚辉君.MCA_P8_Java
·
2025-01-23 10:10
kubernetes
容器
云原生
网络
Hadoop分布式文件系统-HDFS架构
二、HDFS的特点高容错性:一个HDFS
集群
会包含非常多的结点,HDFS将文件分块存储,并且会保存多个副本到不同的机器节点上以保证数据的安全,而且
Fancs2024
·
2025-01-23 09:37
hadoop
hadoop
hdfs
分布式系统架构:分布式缓存
分布式缓存也是面试常见的问题,通常面试官会问为什么要用缓存,以及用的Redis是哪种模式,用的过程中遇到哪些问题这些1.AP还是CPRedis
集群
就是典型的AP式,它具有高性能、高可用等特点,但它却并不保证强一致性
工业甲酰苯胺
·
2025-01-23 06:42
架构
分布式
缓存
Grafana
Grafana是一款广泛使用的开源数据可视化与监控平台,通过与Prometheus、InfluxDB、
Elasticsearch
等多种数据源集成,提供强大的监控、数据展示和告警功能。
小馋喵知识杂货铺
·
2025-01-23 05:34
性能
grafana
ElasticSearch
查询 第四篇:匹配查询(Match)
《
ElasticSearch
查询》目录导航:
ElasticSearch
查询第一篇:搜索API
ElasticSearch
查询第二篇:文档更新
ElasticSearch
查询第三篇:词条查询
ElasticSearch
悦光阴
·
2025-01-23 05:30
字符串
java
python
elasticsearch
索引
Flink系列-2、Flink架构体系
https://flink.apache.org/学习资料:https://flink-learning.org.cn/目录Flink中的重要角⾊Flink数据流编程模型Libraries支持Flink
集群
搭建
技术武器库
·
2025-01-23 04:55
大数据专栏
flink
架构
jvm
重建大师倾斜高斯泼溅技术(OPGS)重建出来的模型是什么格式?
重建大师是一款专为超大规模实景三维数据生产设计的
集群
并行处理软件,支持卫星影像、航空影像、倾斜影像和激光点云多源数据输入建模,可完成超大规模数据的空三解算、自动三维建模,输出高精度彩色网格模型。
大势智慧
·
2025-01-23 04:19
实景三维
一问一答
重建大师
三维模型
倾斜影像
OPGS
高斯泼溅
【
Elasticsearch
】RestClient操作文档
RestClient操作文档新增文档实体类API语法查询文档删除文档修改文档批量导入文档小结新增文档将数据库中的信息导入
elasticsearch
中以商品数据为例实体类定义一个索引库结构对应的实体。
乙卯年QAQ
·
2025-01-23 03:44
elasticsearch
jenkins
大数据
java
elasticsearch
pipeline 总结
pipeline可以理解为
elasticsearch
对接收到的数据的入库前再处理过程,这个过程可以非常复杂,包括修改数据归属index。
weixin_40455124
·
2025-01-23 03:43
elasticsearch
代码分析及扩展
pipeline
elasticsearch
ingest
index
ElasticSearch
解析logback日志并处理异常栈轨迹
文章目录背景分析IngestPipeline解析日志-示例查看IngestPipeline创建Pipeline添加Grok处理器添加时间戳、IP地址和用户代理处理器测试Pipeline多行消息管理filestreaminputloginput解决自定义pipeline解析logback日志Grok处理器Date处理器失败处理器为loginput添加多行处理验证调整Kibana数据视图验证失败处理器
甘蓝聊Java
·
2025-01-23 03:12
【更新中...】项目中的那些事
elasticsearch
logback
pipeline
multiline
filebeat多行
es-Ingest pipelines
Ingestpipelinesnode为ingest角色,对indexingrequest做预处理,主要用于数据转换为合规、期望值的场景官方地址:https://www.elastic.co/guide/en/
elasticsearch
童小绿
·
2025-01-23 03:11
笔记
elasticsearch
大数据
big
data
Redis四种模式在Spring Boot框架下的配置
在SpringBoot框架下配置Redis的四种模式(单机模式、主从模式、哨兵模式、
集群
模式)可以通过以下方式实现:1.单机模式在application.properties或application.yml
silver687
·
2025-01-23 03:10
spring
boot
Zookeeper(22)Zookeeper的Leader、Follower和Observer角色分别是什么?
集群
中的每个节点都有一个特定的角色:Leader、Follower和Observer。以下是对这些角色的详细介绍和代码示例。
辞暮尔尔-烟火年年
·
2025-01-23 03:40
微服务
zookeeper
分布式
云原生
Elasticsearch
摄取节点(Ingest Node)使用Pipeline预处理文档
1.IngestnodeIngestnode是
elasticsearch
的节点类型之一,通过在Ingestnode配置pipeline管道,可以在文档存入索引之前对文档进行预处理。
°Fuhb
·
2025-01-23 03:38
ELK
elasticsearch
es
预处理节点
pipeline
ingest
node
ElasticSearch
实战: ES 文档 API
Elasticsearch
提供了一系列文档(Document)API,用于对索引中的个体数据单元进行增删改查操作。
用心去追梦
·
2025-01-23 03:38
elasticsearch
jenkins
大数据
上一页
16
17
18
19
20
21
22
23
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他