hadoop架构

万字长文聊聊Web3的组成架构

本文首发于公众号：Keegan小钢Web3发展至今，生态已然初具雏形，如果将当前阶段的Web3生态组成架构抽象出一个鸟瞰图，由下而上可划分为四个层级：区块链网络层、中间件层、应用层、访问层。
Keegan小钢·2024-09-14 23:32

月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线

申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop
「已注销」·2024-09-14 23:30

论文分享系列（三）——论软件架构风格

论软件架构风格摘要2023年5月，我司启动了精彩购电商系统的开发工作，该项目组中我担任系统架构师岗位，主要负责整体架构设计与中间件选型。
马斯洛金字塔下的小灵猴儿·2024-09-14 23:59

微服务之服务注册与发现：Etcd、Zookeeper、Consul 与 Nacos 比较

在微服务架构中，服务注册与发现是实现服务动态管理和负载均衡的关键。
陌北v1·2024-09-14 22:26

论文分享系列（二）——论微服务架构及其应用

论微服务架构及其应用摘要2023年5月，我司启动了精彩购电商系统的开发工作，该项目组中我担任系统架构师岗位，主要负责整体架构设计与中间件选型。
马斯洛金字塔下的小灵猴儿·2024-09-14 22:25

HBase介绍

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
mingyu1016·2024-09-14 21:47

科普文：软件架构数据库系列之【MySQL的sql_mode参数】

概叙科普文：软件架构数据库系列之【MySQL解析器和优化器】-CSDN博客科普文：软件架构数据库系列之【MySQL查询优化器中的优化策略optimizer_switch】-CSDN博客科普文：软件架构数据库系列之
-无-为-·2024-09-14 21:45

Android MVVM 架构应用实现(2)

Repository类：实现BmobRepository类，作为HomeViewModel的数据提供方。BmobRepository类中有一个挂起函数getAllRecommendLibrary(libraryRecommendData:MutableLiveData)用来获取云数据库中的数据，函数的参数是LiveData，在获取数据后，利用setValue通知View展示数据。classBmob
渊Y·2024-09-14 21:14

新一代网络研发利器——开物™，让用户每一行代码都贡献在核心创新

但是，从零开始进行网络系统的搭建，开发人员需要掌握各类创新技术无关的、最底层的技术架构原理，如硬件设计逻辑、API接口、底层IP、硬件驱动等一系列复杂的
中科驭数·2024-09-14 20:13

Java中的大数据处理框架对比分析

本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
省赚客app开发者·2024-09-14 20:41

Oozie Bundle 规范

为什么80%的码农都做不了架构师？>>>文档地址转载于:https://my.oschina.net/sskxyz/blog/756359
weixin_34075268·2024-09-14 20:40

SQLite的架构 (The Architecture Of SQLite)

这篇文档描述SQLite库的基本架构。对那些想要理解和修改SQLite的人很有帮助。下面这张图表展示了SQLite的组件和它们之间的关系。
斗大的熊猫·2024-09-14 20:38

RocketMQ 架构简析，看这篇就够了！

生产者组（ProducerGroup）同一类Producer的集合，这类Producer发送同一类消息且发送逻辑一致。如果发送的是事务消息且原始生产者在发送之后崩溃，则Broker服务器会联系同一生产者组的其他生产者实例以提交或回溯消费。消费者组（ConsumerGroup）同一类Consumer的集合，这类Consumer通常消费同一类消息且消费逻辑一致。消费者组使得在消息消费方面，实现负载均衡
V搜编程进阶路·2024-09-14 19:33

ExoPlayer架构详解与源码分析（17）——TrackSelector

系列文章目录ExoPlayer架构详解与源码分析（1）——前言ExoPlayer架构详解与源码分析（2）——PlayerExoPlayer架构详解与源码分析（3）——TimelineExoPlayer架构详解与源码分析
山雨楼·2024-09-14 19:02

ExoPlayer架构详解与源码分析（12）——Cache

系列文章目录ExoPlayer架构详解与源码分析（1）——前言ExoPlayer架构详解与源码分析（2）——PlayerExoPlayer架构详解与源码分析（3）——TimelineExoPlayer架构详解与源码分析
山雨楼·2024-09-14 19:02

ExoPlayer架构详解与源码分析（7）——SampleQueue(4)

long[]newSourceIds=newlong[newCapacity];long[]newOffsets=newlong[newCapacity];long[]newTimesUs=newlong[newCapacity];int[]newFlags=newint[newCapacity];int[]newSizes=newint[newCapacity];CryptoData[]newC
2401_83740189·2024-09-14 19:00

深入学习-Gradle-自动化构建技术（五）Gradle-插件架构实现原理剖析-

6、AndroidGradlePluginV3.0.0（2017年10月）7、AndroidGradlePluginV2.3.0（2017年2月）三、Gradle构建核心流程解析1、LoadSettings2、Configure3、TaskGraph4、RunTasks5、Finished四、关于Gradle中依赖实现的原理1、通过MethodMissing机制，间接地调用DefaultDepen
2401_84002294·2024-09-14 19:00

揭秘OozieBundle：架构组件与核心概念

揭秘OozieBundle：架构、组件与核心概念1.背景介绍在大数据领域，数据处理工作流程通常由多个复杂的作业组成,这些作业之间存在着依赖关系。
光剑书架上的书·2024-09-14 18:59

微服务架构下的服务治理实现方案详解

在微服务架构中，服务治理是确保系统稳定运行、提高服务间通信效率和灵活性的关键环节。它涉及服务的发现、负载均衡、容错、监控等多个方面。
星辰@Sea·2024-09-14 18:27

webpack怎么配置单页面或者多页面项目？

entry的值改成一个数组，数组中的每一项是入口文件的地址，并且通过dependOn配置多个入口的依赖关系，一般的，我们也可以直接在entry中配置多个入口文件的键值对1、单页面举个例子=>你有这样一个项目架构
镜中的女孩-potato·2024-09-14 18:25

248、Python开发秘籍：技术选型与架构设计技巧解析

Python开发：掌握如何处理技术债务和遗留系统作为软件开发者，我们经常会遇到两种问题：技术债务和遗留系统。技术债务是指在软件开发过程中，为了尽快完成项目而采用的短期解决方案，这会导致代码质量下降，维护成本增加。而遗留系统则是指那些已经存在很长时间，但不再适应现代技术需求的系统。在这篇文章中，我们将介绍如何使用Python来处理这两种问题。理解技术债务技术债务可以理解为一种“借债”。想象一下，你正
多多的编程笔记·2024-09-14 18:55

项目内部调用的远程接口开发

编写一个项目内部调用的远程接口通常是为了在分布式系统或者微服务架构中，实现各个服务之间的通信和数据交换。这样的远程接口专门用于服务之间的调用，而不是直接暴露给外部用户或前端。
cyt涛·2024-09-14 18:55

多级缓存架构设计

缓存是提升性能最直接的方法多级缓存分为：客户端，应用层，业务层，数据层1、客户端缓存：主要对浏览器的静态资源进行缓存通过在响应头设置Expires，cache-control，将文件保存在本地，减少多次请求静态资源带来的带宽损耗（解决并发手段）2、应用层缓存：浏览器只负责读取Expires，Expires在CDN内容分发网络和Nginx进行设置CDN内容分发网络是静态资源分发的主要技术手段，有效解
白鸽呀·2024-09-14 18:24

transformer架构(Transformer Architecture)原理与代码实战案例讲解

transformer架构(TransformerArchitecture)原理与代码实战案例讲解关键词：Transformer,自注意力机制,编码器-解码器,预训练,微调,NLP,机器翻译作者：禅与计算机程序设计艺术
AI架构设计之禅·2024-09-14 16:47

焦点初13中13坚持分享第218天2019.6.26

焦点解决短期治疗的例外架构。例外，即优势，资源，力量，成功的统称。
ruby吕·2024-09-14 15:31

六、TOGAF（架构能力框架Architecture Capability Framework）

以下是对TOGAF架构能力框架中每个部分的详细解释和实际示例。这些示例将帮助您更深入地理解各个部分的应用。
伯牙碎琴·2024-09-14 14:03

Java 后端程序员必须要懂的几种框架分享

MVC框架MVC模式是软件工程中的一种软件架构模式，可以把软件系统分为三个基本部分：模型（Model），编写程序应有的功能（实现算法等等）、进行数据管理和数据库设计，。
Java烟雨·2024-09-14 14:33

如何查看自己的计算机架构

如何查看自己的计算机架构计算机架构是指计算机系统的组织结构和功能特性，包括硬件和软件两个方面。不同的计算机架构对应不同的指令集和数据表示方法，对于开发者来说，了解自己的计算机架构是非常重要的。
bcb3376·2024-09-14 14:31

英伟达（NVIDIA）B200架构解读

H100芯片是一款高性能AI芯片，其中的TransformerEngine是专门用于加速Transformer模型计算的核心部件。Transformer模型是一种自然语言处理（NLP）模型，广泛应用于机器翻译、文本生成等任务。TransformerEngine的电路设计原理主要包括以下几个方面：
weixin_41205263·2024-09-14 14:31

查看当前计算机CPU架构

在安装软件的时候，windows上会有32bit,64bit的区别，但是Linux系统下则还需要知道CPU架构，比如amd64,i386,arm64,x86_64,aarch64等等。
raoxiaoya·2024-09-14 14:29

Android应用架构 — 从MVC到MVVM，基于android的app开发

角色划分Model:用来保存程序的数据状态，比如数据存储，网络请求等。View:GUI组件构成，向用户展示Model中的数据。Controller:连接用户和系统，响应交互，传递数据。解决的问题MVC最重要的目的并不是规定各个模块应该如何交互和联系，而是将原有的混乱的应用程序划分出合理的层级，把以往一团混乱的代码，按照展示层和领域层分成两个部分。这种分离使得位于领域层中的领域对象可以不需要对展示层
m0_66264134·2024-09-14 13:27

一文说透 Android 应用架构 MVC、MVP、MVVM 和 组件化，Android基础入门教程

然后，就是我们的View层的代码，同样，我对代码做了删减：@Route(path=BaseConstants.EYEPETIZER_MENU)publicclassHomeActivityextendsCommonActivityimplementsHomeContract.IView{//实例化PresenterprivateHomeContract.IPresenterpresenter;{p
Java后时代·2024-09-14 13:56

Java程序的分层设计

Java程序的分层设计通常遵循分层架构（LayeredArchitecture）的原则，将应用程序分为多个相互独立但有依赖关系的层。这样设计有助于降低耦合度，提高可维护性和可扩展性。
天天进步2015·2024-09-14 13:54

Celery 立即执行任务 延迟执行任务

包架构封装​project├──celery_task#celery包│├──__init__.py#包文件│├──celery.py#celery连接和配置相关文件，且名字必须交celery.py│└
i0208·2024-09-14 13:53

查看 CPU架构类型

打开cmd窗口—>输入echo%PROCESSOR_ARCHITECTURE%接口显示，本人的是AMD64
BYAPESS·2024-09-14 13:21

掌握检索技术：构建高效知识检索系统的架构与算法23

在检索专业知识层需要涵盖更高级的检索技术，包括工程架构和算法策略。一、工程架构工程架构在构建检索系统中决定了系统的可扩展性、高可用性和性能。
是小旭啊·2024-09-14 13:50

一张图详解开源监控夜莺（Nightingale）的架构

夜莺监控是一款开源云原生观测分析工具，采用All-in-One的设计理念，集数据采集、可视化、监控告警、数据分析于一体，与云原生生态紧密集成，提供开箱即用的企业级监控分析和告警能力。夜莺于2020年3月20日，在github上发布v1版本，已累计迭代100多个版本。夜莺最初由滴滴开发和开源，并于2022年5月11日，捐赠予中国计算机学会开源发展委员会（CCFODC），为CCFODC成立后接受捐赠的
夜莺开源监控·2024-09-14 12:19

掌握检索技术：构建高效知识检索系统的架构与算法21

在检索专业知识层需要涵盖更高级的检索技术，包括工程架构和算法策略。一、工程架构工程架构在构建检索系统中决定了系统的可扩展性、高可用性和性能。
是小旭啊·2024-09-14 12:18

垂直领域大模型微调实践经验最全总结

瓦力算法学研所技术总结专栏作者：vivida本篇从基座模型选择、模型整体架构、数据设计、训练微调四个角度总结垂直领域大模型微调经验。
人工智能大模型讲师培训咨询叶梓·2024-09-14 12:16

Hadoop windows intelij 跑 MR WordCount

一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven
piziyang12138·2024-09-14 12:33

一种E2E的架构设计流程

本文不是介绍架构设计方法，只是给出一种E2E的架构设计流程的实现，具体的架构设计方法需要参考相关的资料。
weixin_33796205·2024-09-14 12:45

多模态大语言模型(MLLMs)-一般架构（非常详细）零基础入门到精通，收藏这一篇就够了

多模态大语言模型(MultimodalLargeLanguageModel,MLLM），在LLM原有的强大泛化和推理能力基础上，进一步引入了多模态信息处理能力。相比于以往的多模态方法，例如以CLIP为代表的判别式，或以OFA为代表的生成式，新兴的MLLM展现出一些典型的特质，在下面这两种特质的加持下，MLLM涌现出一些以往多模态模型所不具备的能力！模型大。MLLM通常具有数十亿的参数量，更多的参数
程序员_大白·2024-09-14 11:40

ELK 架构中 ES 性能优化

1.背景由于目前日志采集流程中,经常遇到用户磁盘IO占用超过90%以上的场景,但是观察其日志量大约在2k~5k之间,整体数据量不大,所以针对该问题进行了一系列的压测和实验验证,最后得出这篇优化建议文档2.压测前期准备2.1制造大量日志该阶段为数据源输入阶段,为了避免瓶颈在数据制造侧,所以需要保证filebeat具有足够的日志制造能力最后效果,filebeat可以达到70kQPS的数据发往logst
xianjie0318·2024-09-14 10:38

Google大数据架构技术栈

数据存储层ColossusColossus作为Google下一代GFS（GoogleFileSystem）。GFS本身存在一些不足单主瓶颈GFS依赖单个主节点进行元数据管理，随着数据量和访问请求的增长，出现了可扩展性瓶颈。想象一下，只有一位图书管理员管理着一个庞大的图书馆——最终，事情变得难以承受。元数据可扩展性有限主节点上的集中元数据存储无法有效扩展，影响了性能并妨碍了PB和EB级数据的管理。实
剑海风云·2024-09-14 10:37

由于直接在回答中完整展示一个复杂如游戏商城的代码系统并不现实（会超出限制且难以维护），我将为你概述一个简化的游戏商城系统的架构，并提供关键部分的示例代码，这些代码将涵盖几种不同的编程语言。

架构概述pzswcc.cn前端：用于展示商品、处理用户交互（如查看商品详情、添加到购物车、结账等）。后端：处理业务逻辑（如商品库存管理、订单处理、用户认证等），与数据库交互。
NewmanEdwarda2·2024-09-14 10:37

linux arch目录下处理器体系架构介绍

alpha处理器Alpha处理器最早由美国DEC公司设计制造，在Compaq（康柏）公司收购DEC之后，Alpha处理器继续得到发展，并且应用于许多高档的Compaq服务器上，HP（惠普）收购的Compaq，Alpha便为HP（惠普）所有，不过HP（惠普）已经放弃发展alpha处理器。arm处理器Arm系列处理器是英国Arm公司设计的主流嵌入式32位RISC处理器，Arm公司不直接生产Arm处理器
老徐拉灯·2024-09-14 10:06

导购返利系统的分布式事务管理

随着系统的分布式架构越来越普遍，如何有效地管理分布式事务成为了一个关键问题。本文将详细介绍如何在Java应用中实现分布式事务管理，并提供相应的代码示例。
wx_tangjinjinwx·2024-09-14 10:34

淘宝返利微信机器人的消息处理与推送技术

1.微信机器人的基础架构实现一个淘宝返利微信机器人，我们首先需要了解微信机器人的基础架构
微赚淘客系统开发者·2024-09-14 10:33

微服务分布式架构中，如何实现日志链路跟踪？

MDC（MappedDiagnosticContext，映射调试上下文）是log4j和logback提供的一种方便在多线程条件下记录日志的功能。MDC可以看成是一个与当前线程绑定的Map，可以往其中添加键值对。MDC中包含的内容可以被同一线程中执行的代码所访问。当前线程的子线程会继承其父线程中的MDC的内容。当需要记录日志时，只需要从MDC中获取所需的信息即可。MDC的内容则由程序在适当的时候保存
2401_84048542·2024-09-14 09:26

Arch - 演进中的架构

文章目录Pre原始分布式时代1.背景与起源2.分布式系统的初步探索3.分布式计算环境（DCE）4.技术挑战与困境5.原始分布式时代的失败与教训6.未来展望单体时代优势缺陷单体架构与微服务架构的关系总结SOA
小小工匠·2024-09-14 08:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他