HDFS分布式

2021年大厂Java面试题（基础+框架+系统架构+分布式+实战）

Java线程的状态进程和线程的区别，进程间如何通讯，线程间如何通讯HashMap的数据结构是什么？如何实现的。和HashTable，ConcurrentHashMap的区别Cookie和Session的区别索引有什么用？如何建索引？ArrayList是如何实现的，ArrayList和LinkedList的区别？ArrayList如何实现扩容。equals方法实现面向对象线程状态，BLOCKED和W
2401_85195615·2024-09-05 05:04

HDFS的读写流程

写入的流程流程：客户端先向NameNode节点发送上传数据的请求NameNode接收到请求之后进行权限校验，校验之后，会计算出来三个节点客户端会将输入的文件切割成块，然后一个个块进行传递客户端先跟第一个服务器创建连接，这个通道的名字是PipeLine每次传递数据的时候都是以Packet为单位进行传递的，每个Packet大约是64KB各个数据节点（DataNode）之前也会创建连接PipeLine，
Yz9876·2024-09-04 22:57

鸿蒙（HarmonyOS）北向开发知识点记录~

开发技术与特点1.分布式技术：鸿蒙操作系统的一大特色是分布式能力，北向开发可以充分利用这一特性，实现跨设备的应用协同。例如，在手机、平板、智慧屏等设备之间实现数据共享、任务流转和多屏互动。2.
CTrup·2024-09-04 22:56

Seata 分布式事务控制

概述Seata是阿里巴巴和蚂蚁集团内部开发了分布式事务中间件，用于解决电商、支付、物流等业务场景中应用数据的一致性问题，2023年10月，为了更好的通过社区驱动技术的演进，阿里和蚂蚁集团正式将Seata
动物园首领·2024-09-04 22:24

利用Spring Boot实现服务降级与熔断机制

在分布式系统中，服务降级和熔断是保证系统稳定性的重要机制。服务降级是指在系统负载过高或部分服务不可用时，主动降低服务的可用性等级，以释放资源给关键服务。
微赚淘客机器人开发者联盟@聚娃科技·2024-09-04 20:11

Sublime text3+python3配置及插件安装

：http://blog.chargingbunk.cn/微信公众号：rayson_666(Rayson开发分享)个人专研技术方向：微服务方向：springboot,springCloud,Dubbo分布式
raysonfang·2024-09-04 19:23

大数据学习｜理解和对比 Apache Hive 和 Apache Iceberg

文章目录数据模型与存储事务支持性能优化使用场景总结数据模型与存储Hive:Hive使用的是传统的关系型数据模型，数据存储在Hadoop分布式文件系统(HDFS)中，通常是以文本格式（如CSV或TSV）或者二进制格式
进击的小白菜·2024-09-04 16:50

kafka集群搭建

Kafka集群搭建一、概念说明它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（ActivityStream）和运营数据处理管道（Pipeline）的基础。
java皮皮虫·2024-09-04 16:48

【微服务】Etcd实现服务器注册和发现|Etcd、Eureka、Consul、Zookeeper 比较

目录Etcd、Eureka、Consul、Zookeeper的比较Etcd服务注册与发现的必要：etcd简介etcd分布式一致性算法etcd应用场景etcd安装服务注册与发现实例(go语言)服务注册的简单实现
bdview·2024-09-04 15:09

B/S架构与C/S架构简介

B/S架构与C/S架构简介1.联系与区别B/S（Browser/Server，浏览器/服务器）架构和C/S（Client/Server，客户端/服务器）架构是两种常见的分布式系统架构模式。
像风一样自由2020·2024-09-04 13:28

DDOS和CC攻击

DDOS攻击又称之为"分布式攻击",它使用非法数据淹没网络链路，这些数据可能淹没Internet链路，导致合法数据流被丢弃，DDOS攻击比旧时代的DOS（拒绝服务）更加可怕，规模极大，通常他们是以几百台计算机或甚至几万台以上的计算机进行以点试图掩没攻击为目标
wys2338·2024-09-04 12:50

Flink详解系列之八--Checkpoint和Savepoint

一、Checkpoint获取分布式数据流和算子状态的一致性快照是Flink容错机制的核心，这些快照在Flink作业恢复时作为一致性检查点存在。
王吉吉real·2024-09-04 11:53

【架构-29】RPC

RPC（RemoteProcedureCall，远程过程调用）框架是一种用于实现分布式系统中不同节点之间通信和调用的技术框架。一、为什么需要RPC？
W Y·2024-09-04 07:44

揭开分布式系统的神秘面纱：Java中的分布式链路追踪详解

引言在当今微服务和分布式系统日益普及的背景下，系统中各个服务之间的调用关系变得异常复杂。如何有效地监控和诊断这些服务调用链路，成为了每个开发者不得不面对的问题。
๑҉ 晴天·2024-09-04 05:32

NLP中的词向量及其应用

词向量是文本在n维空间中的分布式表示。这些是解决大多数NLP问题所必需的。领域适应是一种技术，它允许机器学习和转移学习模型来映射小生境数据集，这些数据集都是用同一种语言编写的，但在语言上仍然不同。例如
喜欢打酱油的老鸟·2024-09-04 05:01

三，Hive的分桶详解

Hive分桶通俗点来说就是将表（或者分区，也就是hdfs上的目录而真正的数据是存储在该目录下的文件）中文件分成几个文件去存储。
__元昊__·2024-09-04 04:02

分布式锁的实现：ZooKeeper 的解决方案

在分布式系统中，不同的服务或进程需要访问共享资源时，常常需要一种机制来确保在同一时刻只有一个服务或进程能够访问资源。这种机制被称为分布式锁。
Lill_bin·2024-09-04 04:56

《昇思25天学习打卡营第1天|快速入门》

其中，易开发表现为API友好、调试难度低；高效执行包括计算效率、数据预处理效率和分布式训练效率；全场景则指框架同时支持云、边缘以及端侧场景。
一只IT攻城狮·2024-09-04 02:46

day01测试理论

01day测试理论一、软件的分类1、软件的定义：是一系列按照特定顺序组织的计算机数据和指令的集合2、根据应用场景分类：工具类软件、游戏型软件、媒体型软件、电商型软件等3、根据软件架构分类：单机版软件、分布式软件单机版软件
601eff46fb64·2024-09-04 02:22

ZAB(Zookeeper Atomic Broadcast)协议-读书笔记2

ZAB协议并不像Paxos算法那样，是一种通用的分布式一致性算法，而是专门为Zookeeper设计的崩溃可恢复的原子广播消息算法。
泰格谢·2024-09-04 01:22

RabbitMQ和Kafka的区别

Kafka:基于分布式流平台设计，强调高吞吐量和可扩展性。数据以“主题”（Topics）为基础，生产者将消息发送到主题，消费者从主题读取消息。消息按时
知知之之·2024-09-04 00:35

一文详解 LVS、Nginx 及 HAProxy 工作原理

当前大多数的互联网系统都使用了服务器集群技术，集群是将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是Web应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群等等
倾听铃的声·2024-09-03 23:00

zookeeper实践篇-Zookeeper经典分布式场景实践

上篇我们学习了zk的api基础实践，并且了解了zk原生api与一些开源实现的zk客户端框架的选择使用，本篇我们开始学习zk作为一个分布式协调工具在分布式场景中一些实现Zookeeper是一个高可用的分布式数据管理与分布式协调服务框架
逐梦々少年·2024-09-03 23:29

分布式事务

当我们讨论分布式事务时，我们通常涉及到如何在一个分布式系统中保证事务的一致性。
懒人w·2024-09-03 21:46

JAVA与Python谁更适合后端？

Java在处理大量数据和高并发请求时表现出色，具有强大的扩展性，可以使用多线程和分布式计算等技术实现高并发。此外，Java的自动内存管理和垃圾回收机制也有助于提高系统稳定性
纵然间·2024-09-03 21:13

大语言模型算力优化策略：基于并行化技术的算力共享平台研究

算力共享旨在通过分布式计算技术，将大规模计算任务分配给多个计算节点，以提高计算效率、降低资源成本并加速模型训练和推理过程。其次，
ZhangJiQun&MXP·2024-09-03 19:34

防御Nginx负载均衡中的拒绝服务攻击：策略与实践

拒绝服务攻击（DoS）和分布式拒绝服务攻击（DDoS）是网络安全的主要威胁之一，它们通过过载服务器资源或网络带宽，使得合法用户无法访问服务。
2401_85763639·2024-09-03 16:46

开源物业管理系统HC

HC小区物业管理系统是由java110团队于2017年4月份发起的一款前后端分离、分布式架构的开源免费商用项目。
易道合之逍遥峰·2024-09-03 16:12

服务之间调用的几种方式

服务调用是分布式系统和微服务架构中的核心概念，能够实现不同系统或组件之间的协作和功能整合。优缺点优点模块化开发：可复用性：服务可以被多个应用或系统调用，减少重复开发。分而治之：系统可以拆分为多个独立
ArchManual·2024-09-03 15:08

【初出江湖】分布式之什么是分布式存储？

目录标题分布式存储分布式存储系统特点分布式存储原理分布式存储的应用场景分布式存储和集中式存储的区别分布式存储分布式存储是一种将数据分散存储在多个节点上的存储方式。
无休居士·2024-09-03 15:05

【分布式注册中心】NACOS_2.3.0部署与实战

部署一准备1依赖：MYSQL2创建数据库CREATEdatabaseifNOTEXISTS`nacos`defaultcharactersetutf8mb4collateutf8mb4_unicode_ci;3导入初始化SQLhttps://raw.githubusercontent.com/alibaba/nacos/develop/distribution/conf/mysql-schema.
布熬夜了·2024-09-03 15:35

hive学习（五）

inpath'路径'[overwrite]intotable表名[partition(partcol1=val1,…)];特殊说明1）local：标识从本地加载数据到Hive表，若没有local的话从HDFS
2301_79721847·2024-09-03 14:00

Java 中MongoDB的使用

基础概念是一个基于分布式文件存储的开源数据库系统。再高负载的情况下，添加更多的节点，可以保证服务器性能。
木子0204·2024-09-03 13:56

智能合约与身份验证：区块链技术的创新应用

二、区块链的基本概念区块链，从本质上讲，是一个去中心化的分布式数据库。它由一系列按照时间顺序排列的数据块组成，并采用密码学方式保证不可篡改和不可伪造。
星途码客·2024-09-03 12:16

hive学习记录

Hive将HQL（HiveQueryLanguage）转化成MapReduce程序或其他分布式计算引擎（如Tez、Spark）的任务进行计算。
2302_80695227·2024-09-03 12:46

CityHash、FarmHash

它们在数据中心和大规模分布式系统中尤其有用，用于任务如数据分区、查找优化、数据校验等。这两种哈希函数都以其高效的性能和良好的分布特性而著称。
秋夫人·2024-09-03 11:43

利用Spring Boot的@Transactional注解保障业务数据的一致性

在现代软件开发中，特别是在分布式系统和微服务架构中，确保数据的一致性是一项至关重要的任务。
潘多编程·2024-09-03 10:39

消息中间件概述

什么是JMSJava消息服务（JavaMessageService）即JMS，是一个Java平台中关于面向消息中间件的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。
小孩真笨·2024-09-03 08:36

【Kafka】怎么解决Kafka消费者消费堆积问题？

文章目录一、引言二、Kafka消费堆积原因分析三、解决方案1.重制消费点位2.增加消费者数量3.优化消费能力四、重制消费点位五、增加消费者数量六、优化消费能力七、总结八、参考文献九、附录摘要：在分布式系统中
程序者王大川·2024-09-03 07:47

聊聊 OceanBase 资源管理

OceanBase是分布式多租户架构数据库，其分布式集群从资源角度看可以分成集群、Zone、OBServer、资源池和租户等几个层次。
数据最前线·2024-09-03 04:56

基于分布式计算的电商系统设计与实现【系统设计、模型预测、大屏设计、海量数据、Hadoop集群】

有需要本项目的代码或文档以及全部资源，或者部署调试可以私信博主==项目展示项目介绍目录摘要Abstract1引言1.1研究背景1.2国内外研究现状1.3研究目的1.4研究意义2关键技术理论介绍2.1Hadoop相关组件介绍2.2分布式集群介绍
王小王-123·2024-09-03 04:54

大数据基础之Flume——Flume基础及Flume agent配置以及自定义拦截器

Flume简介Flume用于将多种来源的日志以流的方式传输至Hadoop或者其他目的地 -一种可靠、可用的高效分布式数据收集服务Flume拥有基于数据流上的简单灵活架构，支持容错、故障转移与恢复由Cloudera2009
Clozzz·2024-09-03 03:17

2024SpringCloud学习笔记

远程调用RestTemplate服务注册与发现&分布式配置管理Consul下载安装官网https:/ldeveloper.hashicorp.com/consul/downloads开发者模式启动consulagennt-dev
wang__n·2024-09-03 02:11

Hadoop之MapReduce

1.MapReduce解决的问题1)数据问题：10G的TXT文件2)生活问题：统计分类上海市的图书馆的书2.MapReduce是什么MapReduce是一种分布式的离线计算框架，是一种编程模型，用于大规模数据集
qq_43198449·2024-09-03 01:07

Flume介绍及调优

一、概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理
桓桓桓桓·2024-09-03 01:04

Hadoop 中的大数据技术：调优篇（3）

HDFS—故障排除NameNode故障处理需求NameNode进程崩溃且存储的数据丢失，如何恢复NameNode？
大数据深度洞察·2024-09-03 00:33

大数据技术之Flume

第1章Flume概述1.1Flume定义Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。
okbin1991·2024-09-03 00:32

SkyWalking：⼀款用于分布式系统的应用程序性能监视工具

⼀款用于分布式系统的应用程序性能监视工具，尤其是面向微服务、云原生和基于容器(Kubernetes)架构设计。
学博成·2024-09-02 23:23

Elasticsearch 查询和聚合查询：基本语法和统计数量

摘要：Elasticsearch是一个强大的分布式搜索和分析引擎，提供了丰富的查询和聚合功能。本文将介绍Elasticsearch的基本查询语法，包括预发查询和聚合查询，以及如何使用聚合功能统计数量。
zybsjn·2024-09-02 20:40

分布式搜索引擎Elasticsearch——基础

文章目录一、Lucene与Solr与Elasticsearch二、ES核心术语三、ES核心概念四、倒排索引五、ES的安装（centos7）1、下载地址（这里安装linux版本）2、解压压缩包3、修改配置文件(1)修改核心配置文件(2)修改JVM配置文件4、启动ES(1)添加系统用户并授权(2)ES启动(3)修改配置文件(4)再次启动ES六、安装ES-head插件（可视化管理插件）1、使用谷歌市场安
敲代码的旺财·2024-09-02 16:17
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他