分布式学习篇

hadoop 分布式集群安装与原理

对很多人来说，学习大数据都止步于集群搭建，即使是那些工作过很多年的JAVA程序员也不例外，我们分享一套能让您轻松完成集群搭建的方法，包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理，请点击下面连接按笔记顺序进行学习服务器基础环境批量操作多台服务器zookeeper编译hadoop源码高可用（HA）HDFS安装HDFS原理以及常用命令yarn原理以及日常使用
海牛大数据_青牛老师·2024-02-13 12:44

【重识云原生】第六章容器6.1.7.1节——Docker核心技术cgroups综述

主流虚拟化技术之VMareESXi第二章计算第3节——主流虚拟化技术之Xen第二章计算第4节——主流虚拟化技术之KVM第二章计算第5节——商用云主机方案第二章计算第6节——裸金属方案第三章云存储第1节——分布式云存储总述第三章云存储第
江中散人·2024-02-13 12:00

Windows安装DeepSpeed

文章目录问题描述解决方案AssertionError:Unabletopre-compileasync_io参考文献问题描述DeepSpeed是一款微软推出的深度学习优化库，它使分布式训练和推理变得简单高效
XerCis·2024-02-13 12:30

撸了35天，奉上最强干货“全家桶”：Spring+SpringCloud+SpringSecurity+SpringBoot+SpringMVC+Spring5！

撸了35天，奉上最强“全家桶”脑图+面试+进阶学习：Spring+Cloud+Security+Boot+MVC+Spring5，且全篇分为以下三个部分：脑图篇面试篇进阶学习篇阅读前请注意：这是迄今最全的
废柴程序员·2024-02-13 11:03

Elasticsearch的使用场景深入详解

Elasticsearch是一个基于Lucene的开源搜索引擎，它提供了一个分布式多用户能力，能够处理PB级别的结构化或非结构化数据。
Y T·2024-02-13 08:30

Elasticsearch—概念、安装和配置

13.jpg前言：Elasticsearch是一款很火热的，很优秀的，基于lucene的开源的分布式的搜索引擎，话不多说，本篇文章主要是Elasticsearch基本概念介绍、安装和配置。
Sunflow007·2024-02-13 08:03

git入门

分布式版本控制系统DVCSgit就是一个典型的分布式版本控制系统分布式版本控制系统可以不用联网就可以工作，因为每个人的电脑上都是完整的版本库，当你修改了某个文件后，你只需要将自己的修改推送给别人就可以了
入 梦皆星河·2024-02-13 07:08

一文讲清楚分布式事务+分布式锁实现及各技能知识要点

1分布式锁1.1问题分析上面抢单过程实现了，但其实还是有问题，会发生超卖问题，如下图：在多线程执行的情况下，上面的抢单流程会发生超卖问题，比如只剩下1个商品，多线程同时判断是否有库存的时候，会同时判断有库存
纵然间·2024-02-13 07:02

自动化运营运维解决方案XXL-JOB需求分析，案例讲解，调度实现，全套解决方案

1.分布式任务调度-XXL-JOB1.1分布式任务调度在实际的开发中，定时执行某任务是非常常见的需求。
纵然间·2024-02-13 07:32

后台服务代码架构：项目实际应用中分布式锁介绍

目录一、锁的介绍1.1悲观锁1.2行锁1.3表锁1.4页锁1.5共享锁1.6排他锁1.7乐观锁二、数据库锁三、缓存锁四、分布式锁4.1分布式锁—zookeeper一、锁的介绍1.1悲观锁顾名思义，很悲观
纵然间·2024-02-13 07:59

Redis分布式锁

Redis分布式锁是一种在分布式系统中协调多个进程对共享资源访问的机制。在Redis中实现分布式锁主要依赖于几个关键的操作原子性。
辞暮尔尔-烟火年年·2024-02-13 07:26

SylixOS 大型实时操作系统

SylixOS内核自主化率达到100%(依据工信部评估报告)，拥有完全自主可控的技术能力，满足国产化需求SylixOS支持对称多处理器（SMP）平台，并且具有实时进程及动态加载机制，满足多部门分布式软件
香蕉不会写代码·2024-02-13 07:20

【Java程序设计】【C00263】基于Springboot的分布式架构网上商城（有论文）

基于Springboot的分布式架构网上商城（有论文）项目简介项目获取开发环境项目技术运行截图项目简介这是一个基于Springboot的网上商城本系统分为管理员功能模块以及系统功能模块。
maker011·2024-02-13 06:42

nodejs学习计划--（八）MongoDB数据库

MongoDB1.简介1.Mongodb是什么MongoDB是一个基于分布式文件存储的数据库，官方地址https://www.mongodb.com/2.数据库是什么数据库（DataBase）是按照数据结构来组织
化作繁星·2024-02-13 06:06

分布式缓存

分布式缓存–基于Redis集群解决单机Redis存在的问题单机的Redis存在四大问题：0.学习目标1.Redis持久化Redis有两种持久化方案：RDB持久化AOF持久化1.1.RDB持久化RDB全称
KYGALYX·2024-02-13 06:26

分布式事务

分布式事务1.分布式事务问题1.1.本地事务本地事务，也就是传统的单机事务。
KYGALYX·2024-02-13 06:55

第四节 zookeeper集群与分布式锁

zookeeper集群2.Zookeeper实战案例2.1创建项目引入依赖2.2获取zk客户端对象2.3常用API2.4客户端向服务端写入数据流程2.5服务器动态上下线、客户端动态监听2.6测试3.Zookeeper分布式锁
做个专注的工程师·2024-02-13 06:16

Spring Boot整合Elasticsearch、Logstash实现MySQL数据同步及全文搜索

Elasticsearch先来了解一下Elasticsearch欢迎来到Elastic—Elasticsearch和Kibana的开发者|ElasticElasticsearch是一个开源的分布式搜索和分析引擎
ikkkp·2024-02-13 06:16

Kubernetes深度实践（三）

先说一下存储的选择，一般的话有一个分布式存储+Localstorage基本就够了。
哦呵呵_3579·2024-02-13 05:07

小猿圈之Hadoop优化

1、mr程序的效率瓶颈功能：分布式离线计算计算机性能：CPU、内存、磁盘、网络I/O操作优化（1）数据倾斜（代码优化）（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久
小猿圈加加·2024-02-13 05:38

Kafka 入门笔记

课程地址概述定义Kafka是一个分布式的基于发布/订阅模式的消息队列（MQ）发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接受感兴趣的消息消息队列消息队列应用场景
Daniel_187·2024-02-13 05:49

关于在分布式环境中RVN和使用场景的介绍2

简介在《关于在分布式环境中RVN和使用场景的介绍1》中我们介绍了RVN的基本概念和基本使用的场景以及目标。在本文中，我们将介绍使用RVN来解决其它的一些有关问题。
书香门第·2024-02-13 03:23

AWS入门指南之一：怎样创建免费的AWS账号

这其中会穿插于介绍一些云和分布式系统的知识，但是以AWS的实现为主。可能会带有少量的代码，但是主体操作应该会使用AWSConsole和AWSCLI来完成。
书香门第·2024-02-13 03:52

通过写代码学习AWS DynamoDB（1）

DDB的实现应用了非常多的分布式系统的技术，例如SHARD，eventualconsistency，consistencyHash等。
书香门第·2024-02-13 03:22

Apache Ignite 使用SQL模式

Ignite带有符合ANSI-99、水平可扩展和容错的分布式SQL数据库。根据用例，通过跨集群节点对数据进行分区或完全复制来提供分布。
wank1259162·2024-02-13 03:21

Java从入门到精通

廖雪峰老师推荐的Java学习路线图如下：1、首先要学习JavaSE，掌握Java语言本身、Java核心开发技术以及Java标准库的使用；2、如果继续学习JavaEE，那么Spring框架、数据库开发、分布式架构就是需要学习的
nightluo·2024-02-13 01:52

ZooKeeper分布式锁简单实践

ZooKeeper分布式锁的实现原理在分布式解决方案中，Zookeeper是一个分布式协调工具。
Java大生·2024-02-13 00:37

故障分析 | MySQL clone 自动重启失败的解决方式

image作者自画像MySQL8添加了新的clone插件，被用于MGR的分布式恢复当中，也可以用来进行物理备份恢复。
爱可生开源社区·2024-02-12 23:25

GIT 和 SVN 区别

最核心的区别Git是分布式的，而Svn不是分布的。
抽疯的稻草绳·2024-02-12 23:09

工业制造：分布式控制系统（DCS），一文掌握。

一、什么是DCS在工业制造领域，DCS是分布式控制系统（DistributedControlSystem）的缩写。
大千UI工场·2024-02-12 22:48

DL4J中文文档/DataVec/读取器

读取器实现对于复杂的文件类型或分布式存储机制是有用的。读取器返回记录记录中每一列的Writable类。这些类用于将每个记录转换为张量/NDArray格式。使用每个读取器实现都扩展了BaseRec
hello风一样的男子·2024-02-12 22:18

LeetCode、62.不同路径的数目(一)【简单，动态规划或递归】

涵盖技术内容：Java后端、算法、分布式微服务、中间件、前端、运维、ROS等。博主所有博客文件
长路 ㅤ   ·2024-02-12 21:14

2万字曝光：华尔街疯狂抢购比特币背后

余字在最近比特币ETF获得批准之后，贝莱德的拉里-芬克透露，很快所有东西都将被「ETF化」与代币化，不仅威胁到现有的资产和商品，而且也威胁到自然世界的碎片化，使大多数生物沦为华尔街的金融产品，在一个单一的通用的分布式账上进行交易
碳链价值·2024-02-12 21:58

Git使用详细教程，Git零基础实战视频教程

Git是一种分布式版本控制系统，你也许会问什么是版本控制系统？那么根据我知道的学习知识来告诉你，但首先你也需要了解一下github知识，因为比较好理解吧。
我的学习机·2024-02-12 20:09

去虾皮面试，结果人都被问麻了！竟惨遭面试官的吊打

什么是虚拟内存排行榜的实现，比如高考成绩排序分布式锁实现聊聊零拷贝聊聊sync
技术栈·2024-02-12 20:03

分布式事务

分布式事务参考：知乎分享：分布式事务的4种模式4种模式（AT、TCC、Saga、XA）的分布式事务实现，均为2PC（2phasecommit），内部划分为事务参与者和协调者AT(AutomaticTransaction
ChaunhewieTian·2024-02-12 20:25

分布式环境下，互斥性与幂等性问题，分析与解决思路

传统的集中式系统已经逐渐无法满足要求，分布式系统被使用在更多的场景中。分布式系统由独立的服务器通过网络松散耦合组成。在这个系统中每个服务器都是一台独立的主机，服务器之间通过
life_niu·2024-02-12 20:23

学习笔记12-zookeeper

什么是zookeeper简介:ApacheZookeeper是一种用于分布式应用程序的高性能协调服务,提供一种集中式信息存储服务特点:数据存在内存中,类似文件系统的树形结构(文件和目录),高吞吐和低延迟
在知识的海洋里遨游·2024-02-12 19:09

C#系列-C#EF框架实现雪花主键（20）

雪花主键（SnowflakeID）是一种在分布式系统中生成唯一ID的算法，它通常是由Twitter的雪花算法演变而来。
管理大亨·2024-02-12 19:04

刘润讲：区块链、比特币、ICO

一、区块链话题，很大，加密分布式记账技术。加密，是数学问题。分布式，是网络式。记账。中心话记账，转账，本身就是记账。中心话的记账，“中心”有可能出问题。分布式记账，中本聪，点对点的记账系统。记账，的
玥玥粑粑·2024-02-12 19:18

LLM的参数微调、训练、推理；LLM应用框架；LLM分布式训练

大模型基础主流的开源大模型有哪些？GPT-3：由OpenAI开发，GPT-3是一个巨大的自回归语言模型，拥有1750亿个参数。它可以生成文本、回答问题、翻译文本等。GPT-Neo：由EleutherAI开发，GPT-Neo是一个开源的、基于GPT架构的语言模型，拥有数十亿到百亿级的参数。GPT-J：也是由EleutherAI开发的，GPT-J是一个拥有60亿参数的开源语言模型。PaLM(Pathw
lichunericli·2024-02-12 19:27

浅谈路由器

一次查表，多次路由3.第三代路由器：分布式软件转发。处理能力强，接口种类多，配置灵活；转发速率小，共享总线容量限制路由器的吞吐量4.第四代路由器：基于ASIC与交换矩阵。
LYDlsj·2024-02-12 18:12

Redis初识

开源基于键值的存储服务系统多种数据结构高性能、功能丰富Redis的特性速度快持久化多种数据结构支持多种编辑语言功能丰富简单主从复制高可用、分布式Redis特性-速度快10wops（官方10w次读写）数据存在哪
香沙小熊·2024-02-12 17:47

.NET集成DeveloperSharp生成分布式唯一ID

分布式唯一I
数字智慧化基地·2024-02-12 17:19

第五十三天：得到学习篇丨有效打造个人品牌

个人品牌今年冬天，职场好像格外“寒冷”，人心惶惶。每个年底，都是公司重新调整人员结构、复盘业务的时间节点。作为公司的一员，你不但需要做好手中业务，更要放眼行业，时刻保持敏感。年底有三大重点事项需要我们注意：1、加薪薪资问题是我们最关心的问题，薪水随着工龄增长的年代已经不存在，学会主动才能获得更多资源，投入更多时间，创造个人价值，主动让企业给出相应回报，为自己加薪创造更好条件。2、升职升职几乎是每一
summer成长·2024-02-12 16:44

2021年第7周复盘：（2.8—2.14）

学习篇：√1.通过消防工程师考试：安全通过，真棒！！2.学习写作，完成200篇：完成3篇。3.手机摄影，图虫作品200幅：完成4幅。4.短视频制作2
花花的记录·2024-02-12 16:13

Hadoop分布式系统架构-MapReduce-02

1、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。Reduce负责“合”，即对map阶段的结果进行全局汇总。MapRedu
一直上上签X·2024-02-12 16:41

分布式计算入门

分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。
xmvip01·2024-02-12 15:15

一文详解 Java 限流接口实现

在分布式系统中，高并发场景下，为了防止系统因突
阿里技术·2024-02-12 15:01

揭秘阿里自研搜索引擎 Havenask 在线检索服务

一、Havenask介绍Havenask是阿里巴巴广泛使用的自研大规模分布式检索系统，是过去十多年阿里在电商领域积累下来
阿里技术·2024-02-12 15:01
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他