hadoop分布式

jsonrpc

远程过程调用是一个分布式计算的客户端-服务器（Client/Server）的例子，它简单而又广受欢迎。远程过程调用总是由
田园园野·2024-02-19 10:48

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

腾讯云OSS文件上传功能

它具有以下特点和优势：高可靠性：采用分布式存储架构，数据会在多个设备上进行冗余备份，确保数据的高可靠性和持久性。弹性扩展：支持根据业务需求自动扩展存储容量，无需担心存储空间不足的问题。
奋力向前123·2024-02-19 10:37

一篇文章彻底搞懂 TiDB 集群各种容量计算方式

作者丨hey-hoho来自神州数码钛合金战队神州数码钛合金战队是一支致力于为企业提供分布式数据库TiDB整体解决方案的专业技术团队。
·2024-02-19 10:17

当你在浏览器中输入网址后发生了什么?

它作为将域名和IP地址相互映射的一个分布式数据库，能够使人更方便地访问互联网。DNS
·2024-02-19 10:05

Pulsar Standalone服务搭建

PulsarStandalone服务搭建说明简介ApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体。
aileen5150·2024-02-19 10:04

golang工程组件篇:高性能RPC框架gRPC之0Auth2认证与拦截器

Golang是一种快速、高效的编程语言，它在云计算和分布式系统中广泛使用。随着软件工程越来越复杂，RPC（远程过程调用）框架成为了重要的组件之一。
SMILY12138·2024-02-19 10:32

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

sensitive-word-admin v1.3.0 发布 如何支持敏感词控台分布式部署？

拓展阅读sensitive-word-adminv1.3.0发布如何支持分布式部署？
·2024-02-19 10:51

Raft协议如何解决分布式系统一致性问题

先要明确的几个概念Raft协议是基于paxosmulti的，属于全新优化精简版本，更加容易实现和理解。zookeeper用的zab协议跟raft基本一样，就是心跳方向是反的，raft是leader向follower发送心跳，zab是follower向leader发送心跳询问leader健康状况。再有一个就是，raft、paxos、zab这些属于强一致性协议，与之相对的还有弱一致性协议，比如DNS的
肥兔子爱豆畜子·2024-02-15 10:56

[AIGC] Kafka 的 Rebalance 机制：保证分区的可靠性和高可用性

在分布式系统中，Kafka是一种流处理平台，具有高吞吐量、低延迟和可扩展性等特点。在Kafka中，消费者组是一组消费者的集合，它们共同消费一个topic的所有分区。
程序员三木·2024-02-15 10:55

DolphinScheduler安装与配置

DolphinScheduler概述ApacheDolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。
在下区区俗物·2024-02-15 10:22

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt
在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

如何在极低成本硬件上落地人工智能算法 —— 分布式AI

一、背景分布式AI的发展前景非常广阔，随着5G、6G等高速网络通信技术的普及和边缘计算能力的提升，以及AI算法和硬件的不断优化进步，分布式AI将在多个领域展现出强大的应用潜力和市场价值：1.
初心不忘产学研·2024-02-15 10:20

Spring

Spring是一款非常优秀而且功能强大的框架，可以简化开发、框架整合一、初识Spring1.Spring能做什么用以开发web、微服务以及分布式系统等，光这三块就已经占了JavaEE开发的九成多。
小白在努力~~·2024-02-15 10:15

Jmeter分布式部署测试-----远程连接多台电脑做压力性能测试

原文链接https://www.cnblogs.com/whitewasher/p/6946207.html在使用Jmeter进行接口的性能测试时，由于Jmeter是JAVA应用，对于CPU和内存的消耗比较大，所以，当需要模拟数以万计的并发用户时，使用单台机器模拟所有的并发用户就有些力不从心，甚至会引起JAVA内存溢出错误。为了让jmeter工具提供更大的负载能力，这时可以使用Jmeter提供的分
微笑的AK47·2024-02-15 10:06

Spring Cloud Eureka：服务注册与发现

1.介绍SpringCloudEureka1.1什么是SpringCloudEurekaSpringCloudEureka是SpringCloud生态中的一个服务注册与发现组件，用于构建分布式系统中的服务注册中心
星光闪闪k·2024-02-15 09:41

docker （一）-简介

无论是单个程序还是多个程序组成的复杂服务，或者分布式系统，都可以使用dockerrun或dockercompos
小关暗器·2024-02-15 09:56

ES+Logstash+Kibana(ELK)部署---废弃版，请勿参考

它们分别是：Elasticsearch(ES):一个开源的分布式搜索引擎，用于全文搜索、分析和可视化大量数据。
小关暗器·2024-02-15 09:25

[缓存] - 1.缓存共性问题

1.1高并发一般来说，如果10Wqps，或者20Wqps，可使用分布式缓存来抗。比如redis集群，6主6从：主提供读写，从作为备，从不提供读写服务。
don't_know·2024-02-15 09:20

SpringCloud之Eureka注册中心和负载均衡

SpringCloud之Eureka注册中心和负载均衡微服务技术栈认识微服务单体架构分布式架构微服务微服务拆分及远程调用微服务拆分注意事项Eureka注册中心提供者与消费者原理分析服务调用出现的问题Eureka
Gunalaer·2024-02-15 09:13

Kafka(一)

第1章Kafka概述1.1定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
xxxxxxxpp·2024-02-15 09:10

分布式缓存上—浅谈缓存的理解

文章目录1.概述1.1概念1.2作用1.3原理2.缓存的分类2.1CDN缓存应用场景优点2.2反向代理缓存应用场景2.3本地应用缓存应用场景缓存介质实现1.通过编程实现2.Ehcahe缓存数据过期策略3.分布式缓存
ZNineSun·2024-02-15 09:39

（三十八）大数据实战——Atlas元数据管理平台的部署安装

本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo
厉害哥哥吖·2024-02-15 09:09

大数据搜索引擎之ElasticSearch安装篇(资源)

简述如下：Elasticsearch是个开源分布式搜索引擎，特点网上一搜到处是：分布式，零配置，
weixin_34049948·2024-02-15 08:38

浅谈分布式缓存解决方案！

接口高并发的解决思路：加缓存数据静态化集群分布式同步转异步限流、降级适合加缓存的场景：读多写少的数据，不经常需要修改的数据、一致性要求不高（数据只能保持最终一致性，不能保证数据同步一致性）缓存的概念1）
肥肥技术宅·2024-02-15 08:37

（三十七）大数据实战——Solr服务的部署安装

前言Solr是一个基于ApacheLucene的开源搜索平台，它提供了强大的全文搜索、分布式搜索和数据分析功能。Solr可以用于构建高性能的搜索应用程序，支持从海量数据中快速检索和分析信息。
厉害哥哥吖·2024-02-15 08:05

浅谈业务场景中缓存的使用

业务场景中缓存的使用一、背景二、缓存分类1.本地缓存2.分布式缓存三、缓存读写模式1.读请求2.写请求四、缓存穿透1.缓存空对象2.请求校验3.请求来源限制4.布隆过滤器五、缓存击穿1.改变过期时间2.
临江蓑笠翁·2024-02-15 08:05

注解方式优雅实现Redission

1、背景实际开发过程中，一些高并发场景需要保证接口执行的一致性，通常采用加锁的方式，本地锁Reentrantlock和Synchnorized虽然可以实现但是不适用于分布式部署模式，而redis的setnx
Zhaozz！·2024-02-15 08:33

TiDB in 2023， 一次简单的回顾丨PingCAP 唐刘

2023年已经过去，TiDB经过了一年的迭代，又往前进步了一点点，我们非常自豪的看到，TiDB正在不断地帮助我们的客户成功，包括但不限于：○首个云原生、分布式、全栈国产化银行核心业务系统投产上线丨TiDB
TiDB_PingCAP·2024-02-15 08:54

TiDB 在医疗保障信息平台的应用实践

在某地市医疗保障信息平台的实践中，TiDB分布式数据库有效实现了在线交易和实时分析服务，日均QPS达22,000，总数据量接近30TB，降低了系统开发和维护成本，推动医疗保障信息平台的数字化和智能化发展
TiDB_PingCAP·2024-02-15 08:53

Dubbo

Dubbo是一个分布式服务框架，致力于提供透明化的RPC远程服务调用方案，以及SOA服务治理方案。它支持服务注册与发现、负载均衡、容错、分布式调用等功能，并且可以和Spring框架无缝集成。
杀了小惠·2024-02-15 08:22

LeetCode、452. 用最少数量的箭引爆气球【中等，贪心，区间问题】

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、ROS等。博主所有博客文件目录索引：博客目录索引(持续更新)视频
长路 ㅤ   ·2024-02-15 08:09

Redis缓存穿透和缓存雪崩以及解决方案

Redis缓存穿透和缓存雪崩以及解决方案缓存穿透解决方案布隆过滤缓存空对象比较缓存雪崩解决方案保证缓存层服务高可用性依赖隔离组件为后端限流并降级数据预热缓存并发分布式锁缓存穿透缓存穿透是指查询一个一定不存在的数据
安晓生·2024-02-15 08:02

速盾cdn：cdn免费注册

CDN是指内容分发网络（ContentDeliveryNetwork），是一种采用分布式服务器架构，将内容缓存在全球各个节点上，使用户可以从离自己最近的节点获取所需的内容。
速盾cdn·2024-02-15 06:26

测试开发之自动化篇 —— 使用Selenium IDE录制脚本！

3.SeleniumGrid提供主从架构的、分布式测试执行环境，由H
程序员小 濠·2024-02-15 06:45

分布式接口幂等性、分布式限流总结整理

一、接口幂等性接口幂等性就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的，不会因为多次点击而产生了副作用。举个最简单的例子，那就是支付，用户购买商品后支付，支付扣款成功，但是返回结果的时候网络异常，此时钱已经扣了，用户再次点击按钮，此时会进行第二次扣款，返回结果成功，用户查询余额返发现多扣钱了，流水记录也变成了两条,这就没有保证接口的幂等性。  幂等性的核心思想：通过唯一的业务单号保障
life_niu·2024-02-15 06:20

2022-01-21 HDC2021技术分论坛：组件通信、硬件池化，这些创新技术你get了吗？

作者：ligang华为分布式硬件技术专家，sunbinxin华为应用框架技术专家HarmonyOS是一款全新的分布式操作系统，为开发者提供了元能力框架、事件通知、分布式硬件等分布式技术，使能开发出面向全场景的分布式应用
麻酱不会打麻将·2024-02-15 06:39

珍藏收集，献出这份年薪50W的阿里Java高级开发内训手册

一、源码阅读常用设计模式Spring5源码Mybatis源码二、分布式架构总纲珍藏收集，献出这份年薪50W的阿里Java高级开发内训手册珍藏收集，献出这份年薪50W的阿里Java高级开发内训手册消息通信分布式缓存珍藏收集
Java架构·2024-02-15 05:42

分布式文件系统 SpringBoot+FastDFS+Vue.js

分布式文件系统SpringBoot+FastDFS+Vue.js一、分布式文件系统1.1.文件系统1.2.什么是分布式文件系统1.3.分布式文件系统的出现1.3.主流的分布式文件系统1.4.分布式文件服务提供商
良辰美景好时光·2024-02-15 05:20

Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)

前置步骤:1).第一阶段：Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全分布式集群5).在完全分布式集群上测试
郑大能·2024-02-15 04:07

首个云原生、分布式、全栈国产化银行核心业务系统投产上线丨TiDB × 杭州银行

新核心系统是业内首个实际投产的云原生、分布式、全栈国产化的银行核心系统，是金融科技领域突破关键核心技术应用的重大实践。
·2024-02-15 03:57

TiDB 在医疗保障信息平台的应用实践

在某地市医疗保障信息平台的实践中，TiDB分布式数据库有效实现了在线交易和实时分析服务，日均QPS达22,000，总数据量接近30TB，降低了系统开发和维护成本，推动医疗保障信息平台的数字化和智能化发展
·2024-02-15 03:25

TiDB in 2023， 一次简单的回顾丨PingCAP 唐刘

2023年已经过去，TiDB经过了一年的迭代，又往前进步了一点点，我们非常自豪的看到，TiDB正在不断地帮助我们的客户成功，包括但不限于：○首个云原生、分布式、全栈国产化银行核心业务系统投产上线丨TiDB
·2024-02-15 03:25

《ElasticSearch技术解析与实战-朱林》

《第一章：ElasticSearch入门》ElasticSearch简介：ElasticSearch是一个基于lucener构建的开源的，分布式的，resultful接口全文搜索引擎。
云澜哥哥·2024-02-15 03:20

java 分布式任务队列_cerely-分布式异步任务队列

Celery是一个强大的分布式任务队列的异步处理框架，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务(asynctask)和定时任务(crontab)。
weixin_39772388·2024-02-15 03:13

django mysql分布式_Django分布式任务队列celery的实践

不使用数据库作为BrokerBroker的选择大致有消息队列和数据库两种，这里建议尽量避免使用数据库作为Broker，除非你的业务系统足够简单。在并发量很高的复杂系统中，大量Workers访问数据库的行为会使得操作系统磁盘I/O一直处于高峰值状态，非常影响系统性能。如果数据库Broker同时还兼顾着后端业务的话，那么应用程序也很容易被拖垮。反观选择消息队列，例如RabbitMQ，就不存在以上的问题
laq是只仓鼠·2024-02-15 03:12

如何在Django中使用分布式定时任务并结合消息队列

如何在Django中使用分布式定时任务并结合消息队列如何在Django中使用分布式定时任务并结合消息队列项目背景与意义实现步骤1.安装Celery和Django-celery-beat2.配置Celery3
OverlordDuke·2024-02-15 02:41
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他