Hadoop分布式第19页

XXL-CONF v1.5.0 发布，分布式配置中心

v1.5.0新特性1、配置中心Agent服务增强：针对非Java应用提供Agent服务获取配置，提供同步、异步两种Http请求方式，原生支持long-polling（Http）的方式获取配置数据、并实时感知配置变更。同时，强化请求权限校验；2、配置同步功能：将会检测对应项目下的全部未同步配置项，使用DB中配置数据覆盖ZK中配置数据并推送更新；在配置中心异常恢复、新配置中心集群初始化等场景中十分有效

许雪里·2024-02-20 10:51

边缘计算：重塑数字世界的未来

四、展望未来一、边缘计算的概念边缘计算是一种分布式计算

GT开发算法工程师·2024-02-20 10:52

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据

王哪跑nn·2024-02-20 10:55

C#&.NET 使用RabbitMQ实现一个分布式事件总线(二)

在上文我们介绍了本地事件总线的一个简单实现，这次我们通过借助RabbitMQ,来完成分布式事件总线的设计。

郭麻花·2024-02-20 10:20

spring cloud 微服务链路追踪系统 Sleuth和zipkin 概述

分布式应用架构虽然满足了应用横向扩展的需求，但是运维和诊断的过程变得越来越复杂，例如会遇到接口诊断困难、应用性能诊断复杂、架构分析复杂等难题，传统的监控工具并无法满足，分布式链路系统由此诞生核心：将一次请求分布式调用

小哇666·2024-02-20 09:08

微服务设计：Spring Cloud 链路追踪概述

SpringCloud链路追踪是指在分布式系统中追踪请求路径的技术。它可以帮助开发者了解请求在各个微服务之间是如何流转的，以及每个微服务处理请求所花费的时间。

surfirst·2024-02-20 09:04

面试redis篇-01开篇

使用场景Redis的数据持久化策略有哪些什么是缓存穿透，怎么解决什么是布隆过滤器什么是缓存击穿，怎么解决什么是缓存雪崩，怎么解决redis双写问题Redis分布式锁如何实现Redis实现分布式锁如何合理的控制锁的有效时长

卡搜偶·2024-02-20 09:57

SpringCloud-基于Feign远程调用

SpringCloud是一个用于构建分布式系统的开发工具包，它提供了一系列的微服务组件，其中之一就是Feign。

Damon小智·2024-02-20 09:56

MySQL系列之数据导入导出

从树型、网络型到关系型，从集中式到分布式，均可胜任不同的业务场景和数据存储要求。在这个云时代（CloudAge），作为“轻、快、高”的代表，MySQL作为RDB的优等生，备受各行各业的青睐。

ZHOU西口·2024-02-20 09:00

Redisson 如何实现分布式锁

针对项目中使用的分布式锁进行简单的示例配置以及源码解析，并列举源码中使用到的一些基础知识点，但是没有对redisson中使用到的netty知识进行解析。

不怕天黑_0819·2024-02-20 09:42

java与javascript异同

Java具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。

Ian1025·2024-02-20 08:20

淘宝的十年「架构变迁」

特别说明：本文以淘宝为例仅仅是为了便于说明演进过程可能遇到的问题，并非是淘宝真正的技术演进路径基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍：分布式系统中的多

程序员xysam·2024-02-20 08:18

Linux之Shell

第1章Shell概述1）Linux提供的Shell解析器有[zhao@hadoop101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash

efzy·2024-02-20 08:16

多线程、分布式运行用例

python多线程threading模块多线程实例#-*-coding:utf-8-*-#@Time:2024/2/715:50#@Author:居里夫人吃橘子#@File:class01.py#@Software:PyCharmimportthreadingfromtimeimportsleepdefrun(name):print(name+'该起床了')sleep(2)print(name+'

吃鱿鱼的大叔·2024-02-20 08:45

HarmonyOS开发篇—数据管理（分布式数据服务）

分布式数据服务概述分布式数据服务（DistributedDataService，DDS）为应用程序提供不同设备间数据库数据分布式的能力。通过调用分布式数据接口，应用程序将数据保存到分布式数据库中。

OpenHarmony_小贾·2024-02-20 08:41

Zookeeper

Zookeeper第1章Zookeeper入门Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。

efzy·2024-02-20 08:36

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。

宇智波云·2024-02-20 08:05

通过 Prometheus 编写 TiDB 巡检脚本（脚本已开源，内附链接）

作者丨caiyfc来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供分布式数据库TiDB整体解决方案的专业技术团队。

TiDB_PingCAP·2024-02-20 07:21

一篇文章彻底搞懂 TiDB 集群各种容量计算方式

作者丨hey-hoho来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供分布式数据库TiDB整体解决方案的专业技术团队。

TiDB_PingCAP·2024-02-20 07:20

“分布式透明化”在杭州银行核心系统上线之思考

杭州银行成功上线以TiDB为底层数据库的新一代核心业务系统，该实践采用应用与基础设施解耦、分布式透明化的设计开发理念，推动银行核心系统的整体升级。

TiDB_PingCAP·2024-02-20 07:20

用300万支电动牙刷发起DDoS攻击？假的！

国外媒体发文称“300万支电动牙刷被黑客用恶意软件感染，以执行分布式拒绝服务（DDoS）攻击。”经Fortinet与媒体确认，这是一起虚假的新闻。

FreeBuf_·2024-02-20 07:20

在微服务框架Demo.MicroServer中添加SkyWalking+SkyApm-dotnet分布式链路追踪系统

分为服务端Oap、管理界面UI、以及嵌入到程序中的探针Agent部分，大概工作流程就是在程序中添加探针采集各种数据发送给服务端保存，然后在UI界面可以看到收集过来的各种监测数据，来完成它的核心使命：性能监控和分布式调用链追踪能力

Peyshine·2024-02-20 07:12

分布式事务

本地事务本地事务是指单个数据库上的事务操作，一个本地事务允许一个数据库连接满足ACID（原子、一致、隔离、持久）刚性事务规范分布式事务分布式事务属于柔性事务，满足CAP和BASE理论CAP：指的是在一个分布式系统中

与遨游于天地·2024-02-20 07:15

Mysql - 数据库集群概论

成熟可能会有数据延迟、主节点单点故障MySQLGroupReplication同步复制，自动故障转移高可用性、读写分离高可用、自动故障恢复要求高网络质量、配置复杂MySQLCluster(NDB)实时分布式数据库电信

yueerba126·2024-02-20 07:42

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming

可乐加冰丶丶·2024-02-20 07:18

vivado RAM HDL Coding Guidelines

分布式RAM示例以下部分提供了分布式RAM的VH

cckkppll·2024-02-20 07:33

论文阅读-Hydra: 用于持久内存和RDMA网络的分散文件系统

结合高速RDMA网络，分布式基于PM的存储系统提供了通过紧密耦合PM和RDMA特性来实现存储性能大幅提升的机会。然而，现有的分布式文件系统采用为传统磁盘设计的传统集中式客户端-服务器架构，导致访问延迟

向来痴_·2024-02-20 07:26

300分钟吃透分布式缓存-03讲：设计缓存架构时需要考量哪些因素？

缓存的引入及架构设计缓存组件选择在设计架构缓存时，你首先要选定缓存组件，比如要用Local-Cache，还是Redis、Memcached、Pika等开源缓存组件，如果业务缓存需求比较特殊，你还要考虑是直接定制开发一个新的缓存组件，还是对开源缓存进行二次开发，来满足业务需要。缓存数据结构设计确定好缓存组件后，你还要根据业务访问的特点，进行缓存数据结构的设计。对于直接简单KV读写的业务，你可以将这些

机智阳·2024-02-20 07:55

springcloud面试题

使用SpringBoot开发分布式微服务时，我们面临以下问题（1）与分布式系统相关的复杂性-这种开销包括网络问

陈二狗想吃肉·2024-02-20 07:43

＜分布式锁＞

文章目录概要分布式锁实现1.数据库分布式锁2.redis分布式锁3.redis分布式锁小结概要在很多场景中，我们为了保证数据的最终一致性，需要很多的技术方案来支持，比如分布式事务、分布式锁等。

快乐的木子李·2024-02-20 07:20

Java目录

乐观锁和悲观锁分布式锁hashmap原理Redis及其分布式DDD领域驱动设计IO、多线程Kafka设计模式之？？Elasticsearch

快乐的木子李·2024-02-20 07:20

提前部署游戏业务防护，为何如此重要？

随着游戏行业的壮大，网络游戏的结构框架也已经暴露在网络安全的威胁之下，而这里面拒绝服务DoS攻击和基于DoS的分布式拒绝服务DDoS攻击是最常见的两种攻击方式。

德迅云安全小李·2024-02-20 07:19

微服务day01-认识微服务与Eureka注册中心

微服务≠springcloud，是一种经过良好架构设计的分布式解决方案，微服务架构特征单一职责：微服务拆分力度更小，每一个服务都对应唯一的业务能力，做到单一职责，避免重复业务开发面向服务：微服务对外暴露业务接口自治

黒猫.·2024-02-20 07:49

SpringCloud-Config：分布式配置

10.SpringCloudConfig分布式配置Dalston.RELEASESpringCloudConfig为分布式系统中的外部配置提供服务器和客户端支持。

666-LBJ-666·2024-02-20 07:48

java面试题之redis篇

Redis五种数据类型的应用场景：String类型的应用场景：缓存对象、常规计数、分布式锁、共享session信息等。List类型的应用场景：消息队列（但是有两个问题：1.生产者需要自行实现全

雨会停rain·2024-02-20 07:16

Kafka的介绍

文章目录一、介绍二、消息队列通信的模式三、特性四、使用场景五、核心概念一、介绍kafka是一个分布式的发布订阅消息系统基于Zookeeper协调最初由Linkedin公司开发，于2010年贡献给了Apache

kimi-001·2024-02-20 07:45

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration

问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误，版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat

一杯咖啡半杯糖·2024-02-20 07:38

生产环境下，应用模式部署flink任务，通过hdfs提交

通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践（1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR

但行益事莫问前程·2024-02-20 07:04

Git面试题整理(基本点）

1.简述GitGit是一种分布式版本控制系统，它允许多个开发者在任何时间，从任何地点对代码进行编辑和分享，而不会互相干扰。Git通过跟踪和管理代码的历史版本，帮助团队协作开发复杂的项目。

洒水水儿·2024-02-20 07:33

分布式事务理论基础

cap理论：一致性(C)：指在分布式系统中，所有节点在同一时刻存储的数值是一样的。举例：访问a节点和访问b节点都能得到一致的响应结果。可用性(A)：指在访问服务器时能很快得到响应，但不保证数据正确性。

自律给你自由·2024-02-20 06:56

分布式事务：2PC、3PC、TCC、zab协议回顾

2PC：两阶段提交协议。事务分为提交和执行两个阶段。阶段一：协调者发送事务的请求到事务的执行方，执行方执行事务并记录undo和redo，但不提交事务。然后返回执行情况。阶段二：协调者发送提交事务请求到各执行方，让各方提交事务或者回滚事务。存在问题：1）协调者是个单点问题。2）如果第二阶段超时了会导致脏数据。3PC:两阶段协议的改进。二阶段一来就开始执行执行事务，如果有人不能执行这样会导致占用资源。

自律给你自由·2024-02-20 06:56

git_note

//git-scm.com本文主要是Git教程|廖雪峰的学习总结常用Git命令清单|阮一峰ProGitgit-cheat-sheetauthor:gyc514893758git简介什么是gitgit是分布式版本控制系统对于一个项目

北辰2023·2024-02-20 06:24

远程过程调用解密：探索RPC协议的深度、挑战与未来方向

RPC抽象了网络通信的细节，使得开发分布式系统更为简便。2.RPC的工作原理RPC的工作原理包括几个关键步骤：接口定义、客户端代理生成、服务端桩（stub）生成、通信、服务执行和返回结果。

程序员Chino的日记·2024-02-20 06:15

【Git】基本概念和使用方式

Git是一个分布式版本控制系统，用于管理和跟踪计算机文件的变化。它最初是由LinusTorvalds开发的，用于管理Linux内核的开发。

穿山甲yyds·2024-02-20 06:13

主动对象模式(Active Object pattern)

该模式通常用于需要多线程服务器的分布式系统中。此外，客户应用，比如窗口系统和网络浏览器，采用主动对象来简化并发和异步的网络操

weixin_30416497·2024-02-20 06:06

如何在微服务中使用 MinIO 进行配置

使用MinIO可以轻松地扩展存储容量，支持高并发、分布式的对象存储，并且拥有各种强大的功能（如访问控制、加密等）。

阿宽...·2024-02-20 06:15

分布式锁的场景及解决方案

分布式锁的使用场景：超卖问题库存一定的商品，在并发请求时即存在超卖问题，例如：大促、秒杀单进程解决方案在同一进程下，只需要通过java内置的锁Synchronized和ReentranLock即可。

李大瑞·2024-02-20 06:43

Zookeeper 集群部署的那些事儿

ZooKeeper是Apache的一个顶级项目，为分布式应用提供高效、高可用的分布式协调服务。ZooKeeper本质上是一个分布式的小文件存储系统。

牧小农·2024-02-20 06:25

分布式锁的应用场景及实现

文章目录分布式锁的应用场景及实现1.应用场景2.分布式锁原理3.分布式锁的实现3.1基于数据库分布式锁的应用场景及实现1.应用场景电商网站在进行秒杀、特价等大促活动时，面临访问量激增和高并发的挑战。

TheManba·2024-02-20 06:39

推荐频道

Hadoop分布式