分布式学习篇

自然语言处理系列六十一》分布式深度学习实战》TensorFlow深度学习框架

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列六十一分布式深度学习实战》
陈敬雷-充电了么-CEO兼CTO·2024-09-07 11:11

图像去噪算法代码c语言,深度学习图像去噪代码

AI开发平台ModelArtsModelArts是面向开发者的一站式AI开发平台，为机器学习与深度学习提供海量数据预处理及半自动化标注、大规模分布式Training、自动化模型生成，及端-边-云模型按需部署能力
weixin_39777018·2024-09-07 11:40

linux搭建ceph集群

172.26.50.75node1172.26.50.112node2172.26.50.228node3ceph-mon，ceph-mgr，ceph-mds都搭建在node1上，node2和node3上搭建ceph-osd，每个机器1个osdCeph是一个分布式的存储系统
浓黑的daidai·2024-09-07 11:05

linux自动化运维之ansible实战

ansible基础介绍优点-相比于saltatack和puppet，没有客户端，更轻量级-只是一个工具，可以很容易实现分布式拓展-更强的远程执行命令特点-模块化-支持自定义模块，可以用任何语言编写模块-
浓黑的daidai·2024-09-07 11:05

jedis 与 redission 实现分布式锁

本文为博主原创，未经允许不得转载：1.Jedis实现分布式锁2.Redission实现分布式锁为了确保分布式锁可用，至少要保证锁的实现同时满足以下几个条件互斥性：在任意时刻只有一个客户端能持有锁不会死锁
不知言愁·2024-09-07 10:34

ELK7.8部署：Elasticsearch+Logstash+Kibana搭建分布式日志平台

ELK7.8部署：Elasticsearch+Logstash+Kibana搭建分布式日志平台一、前言1、ELK简介2、ELK工作流二、准备工作1、服务器&软件环境说明2、ELK环境准备三、Elasticsearch
_海风_·2024-09-07 10:33

Elasticsearch新手入门教程

Elasticsearch入门一.Elasticsearch介绍Elasticsearch是一个分布式、可扩展、实时的搜索与数据分析引擎。
超级英雄吉姆·2024-09-07 09:51

PySpark数据分析基础：PySpark基础功能及DataFrame操作基础语法详解_pyspark rdd(2)

有一个既适用于pandas（测试，较小的数据集）又适用于Spark（分布式数据集）的代码库。
2401_84181403·2024-09-07 08:46

探索Java中的分布式消息队列与事件总线：架构、实现与最佳实践

引言在现代分布式系统中，消息队列和事件总线已经成为实现松耦合、高扩展性和高可用性架构的关键组件。无论是微服务架构、事件驱动架构，还是实时数据处理，消息队列和事件总线都扮演着至关重要的角色。
๑҉ 晴天·2024-09-07 08:14

Apache Storm：入门了解

前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。
布说在见·2024-09-07 03:43

分布式发号器（2）

目录数据结构最大峰值型最小粒度值型并发机器ID的分配时间同步设计验证性能需求调整时间是否会影响ID产生功能？每4年一次同步润秒会不会影响ID产生功能？数据结构1.最大峰值型：采用秒级有序，秒级时间占用30位，序列号占用20位字段：|`版本`|`类型`|`生成方式`|`秒级时间`|`序列号`|`机器ID`|位数：|*63*|*62*|*60-61*|*40-59*|*10-39*|*0-9*|2.最
lmkbuffon·2024-09-07 03:39

【架构】一款永不重复的高性能分布式发号器，实战nginxpdf

零、基本术语发号器：用于生成唯一流水号（也即俗称的唯一ID）的服务系统，称之为发号器一、技术选型UUID优点：能够保证唯一性缺点：（1）完全的时间数据=>性能比较差、比较长、占用空间大、间接导致数据库性能下降;（2）无序=>导致B+树索引在写的时候会有过多的随机写操作，不会产生有顺序的append操作，而是需要进行insert操作，这将读取整个B+树节点到内存并在插入该条记录后会将整个节点写会磁盘
m0_64867839·2024-09-07 02:39

java分布式开发面试题

正文梳理知识点，是快速提升技术的关键前面讲过，快速提升自己的技术硬实力其实是有方法的。大致就是梳理知识点+夯实基础+进阶深入学习+实战，下面我会一点点跟大家剖析，本文干货满满，大家仔细阅读。梳理知识后，夯实基础乃是刚需：深入进阶学习（28个主流Java知识点“一网打尽”）1、并发编程Java并发编程是整个Java开发体系中最难以理解，但也是最重要的知识点之一，一旦掌握你一定在市场上供不应求。Jav
spring面试题·2024-09-07 02:38

seata环境搭建以及官方示例的坑

1、seataserver搭建（windows）在建seata服务之前请搭建好nacos服务官方的最新的为2.0.0版的，这个版本暂时有些问题，管理分布式事务时会报错。所以建议使用1.8的。
qq_20546587·2024-09-07 01:32

UI 自动化分布式测试 -Docker Selenium Grid

分布式测试SeleniumGrid对于大型项目或者有大量测试用例的项目，单机的测试环境往往无法快速完成所有测试用例的执行，此时自动化测试执行效率将会成为最大的瓶颈，SeleniumGrid可以通过多机的分布式架构允许测试用例并行运行
程序员与诗人·2024-09-07 01:30

Selenium Server 中 Standalone 模式|实现分布式测试、远程驱动浏览器

实现分布式测试|远程驱动浏览器SeleniumServer介绍主要功能Standalone模式概括Standalone模式分布式测试的应用SeleniumServer介绍SeleniumServer是Selenium
cs_mengxi·2024-09-07 01:58

为什么需要分布式数据库

这些年，由于数据规模和业务访问负载越来越大，越来越多的公司无法依赖单台数据库服务器支撑其业务，越来越多的公司不得不做数据分区存储，也就是所谓的分库分表，但大量的烦恼与困惑也随之而来。令人“头都大了”的分库分表中间件10多年前阿里因此原因不得不把淘宝后台系统从OracleRAC切换到数百个MySQL集群构成的分库分表集群，不过那时的淘宝仅仅使用一个分库分表中间件，名为tddl（又名：头都大了，江湖上
KunlunBase 昆仑数据库·2024-09-06 21:08

2024年效果图云渲染平台到底哪家最好？

一、功能对比具体功能列表云渲染平台技术水平基础功能高级功能独有功能痛点炫云☆☆☆☆☆一键渲染、自动下载结果、进度预览；多任务同时渲染；小样0.01元；性价比及速度包含不同模式可自由选择；分布式渲染；一键
水月rusuo·2024-09-06 20:32

数据库分库分表-ShardingSphere学习

ShardingSphere是一个开源的分布式数据库中间件解决方案，旨在提供数据库分片、分布式事务、读写分离、数据治理等多种数据服务，它以模块化的方式设计，使用户可以根据不同的应用场景选择适合的模块来部署
学Java的skyyyyyyyy·2024-09-06 19:24

第04课：基于 Redis 的分布式缓存实现及加固策略

1.Redis-Cluster搭建本节将介绍基于Redis和Lettuce搭建一个分布式缓存集群的方法。
Jin_Kwok·2024-09-06 18:13

Git、Gitlab以及分支管理

一、Git概述Git是一种分布式版本控制系统，用于跟踪和管理代码的变更。它是由LinusTorvalds创建的，最初被设计用于Linux内核的开发。
柠檬树723·2024-09-06 17:40

Memcached多维度查询解密：高效缓存策略全解析

Memcached作为主流的分布式内存缓存系统，其对数据的存储和查询方式尤为关键。本文将详细探讨Memcached支持缓存数据的多维度查询方法，以及如何在实际应用中实现高效的缓存策略。
2402_85758936·2024-09-06 16:02

RPC的实现原理架构

RPC的实现极大地简化了分布式系统中的通信，避免了开发人员直接处理底层网络协议和数据序列化。以下是对RPC实现原理和架构的详细讨论。
Flying_Fish_Xuan·2024-09-06 16:30

PolarDB for PostgreSQL 内核解读：HTAP架构介绍

在PolarDB存储计算分离的架构基础上我们研发了基于共享存储的MPP架构步具备了HTAP的能力，对一套TP的数据支持两套执行引擎：单机执行引擎用于处理高并发的OLTPMPP跨机分布式执行引擎用于复杂的
阿里云技术·2024-09-06 16:28

电源架构--集中式电源架构/分布式电源架构

这里写目录标题概述隔离式电源集中式电源架构分布式电源架构：个人理解概述·集中式电源架构（CPA）：效率高，但成本高，PCB占用面积大。
qq_40721100·2024-09-06 15:24

推荐开源项目：nacos-sdk-python - 实现Python版的Nacos开放接口

nacos-sdk-pythonnacospythonsdk项目地址:https://gitcode.com/gh_mirrors/na/nacos-sdk-python在软件开发中，服务发现和配置管理是至关重要的环节，而阿里云推出的Nacos作为一个分布式服务治理平台
班歆韦Divine·2024-09-06 15:22

微服务架构（MSA）

它的核心组件有:服务限流降级、服务注册与发现、分布式配置管理、消息驱动能力、分布式事务、分布式任务调度。Summary：微服务是一个架构设计方
鸣鸣就·2024-09-06 14:17

【Kafka专栏 11】深入理解Kafka的网络线程模型：是谁在幕后“操纵”数据流？

致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景，一步步构建起消息队列和流处理的知识体系，无论是对分布式系统感兴趣
夏之以寒·2024-09-06 14:16

分布式系统实战：什么是微服务架构？微服务架构与SOA架构的区别

微服务架构自2014年业界提出“微服务（Microservices）”的概念以来，微服务架构就不断演进，并且日趋火爆。越来越多的企业拥抱微服务，期望通过微服务的架构来解决大型项目的管理与运维。那么什么是微服务？微服务架构与传统的SOA架构有什么区别？何时应该采用微服务架构？如何构建微服务？本章就针对上述提到的问题，来简单介绍下微服务架构。什么是微服务架构微服务架构（MicroservicesArc
程序员小英·2024-09-06 13:07

redisson RMap和RMapCache的区别

RMap和RMapCache的区别可以归纳为以下几点：基本功能：RMap：是一个分布式的映射结构，类似于Java中的Map接口，用于存储键值对。
weixin_43833540·2024-09-06 12:31

梧桐数据库（WuTongDB）：存算分离和存算一体架构的分布式数据库技术分析

摘要：随着数据量的不断增长和对数据处理性能的要求越来越高，分布式数据库技术成为了数据存储和处理的重要解决方案。
鲁鲁517·2024-09-06 11:27

标题：**从单体到微服务：轻松搭建高效电商平台**

它从最初的SSM单体架构，升级为集成SpringCloud的分布式系统，旨在为你提供一个全面了解从简单到复杂的电商系统演进过程的绝佳实例。
芮伦硕·2024-09-06 11:25

【Spark高级应用】使用Spark进行高级数据处理与分析

ApacheSpark作为一种高效的分布式计算框架，凭借其高速、易用、通用和灵活的特点，已经成为大数据处理和分析的首选工具。
爱技术的小伙子·2024-09-06 10:47

EI会议推荐-第二届大数据与数据挖掘国际会议（BDDM 2024）

.com主办方：武汉纺织大学会议时间：2024年12月13日-12月15日会议地点：湖北武汉02征稿主题：包含（但不限于）以下领域：大数据：大数据分析、人工智能、大数据网络技术、大数据搜索算法和系统、分布式和点对点搜索
shiyuankeyan·2024-09-06 08:36

Kafka

Kafka是一个高性能的分布式消息队列系统，最初由LinkedIn开发，后来成为Apache软件基金会的一部分。Kafka设计用于处理大规模的数据流，提供高吞吐量、低延迟的消息传递机制。
傲雪凌霜，松柏长青·2024-09-06 07:57

2024年Python最新Python爬虫教程-新浪微博分布式爬虫分享(2)

Python编辑器：Pycharm；MongoDB管理工具：MongoBooster；Redis管理工具：RedisStudio）爬虫框架使用Scrapy，使用scrapy_redis和Redis实现分布式
2401_84584682·2024-09-06 05:45

Spark MLlib模型训练—聚类算法 K-means

ApacheSpark提供了K-means聚类算法的高效实现，支持大规模数据的分布式计算。本文将详细介绍K-means聚类算法的原理，并结合Spark
不二人生·2024-09-06 04:14

Java分布式ID生成解决方案

Java分布式ID生成解决方案参考文章：（1）Java分布式ID生成解决方案（2）https://www.cnblogs.com/hxun/p/11451629.html备忘一下。
短期菜鸟·2024-09-06 04:10

Spark的Web界面

Storage-此视图展示了数据如何在RDDs（弹性分布式数据集）之间进行分层存储，以及
静听山水·2024-09-06 04:40

Java 7.1 - 理论 & 算法 & 协议

C：Consistency一致性A：Availability可用性P：Partition分区容错性对于理论计算机科学，CAP定理指出，对于一个分布式系统而言，CAP中的三个只能同时满足两个。
没有韭菜的饺子·2024-09-06 04:39

Java 7.4 - 分布式锁

什么是分布式锁？对于单机多线程，我们使用ReentrantLock这类本地锁来控制多个线程对本地共享资源的访问；而对于分布式系统，我们使用分布式锁来控制多个服务对共享资源的访问。
没有韭菜的饺子·2024-09-06 04:39

Java实战：分布式ID生成方案

在分布式系统的设计与开发过程中，如何生成全局唯一、有序且高可用的ID是一个绕不开的核心问题。尤其是在电商、社交网络、金融交易等领域，ID不仅是业务数据的重要标识，还可能直接影响系统的稳定性和扩展性。
拥抱AI·2024-09-06 04:39

java分布式ID生成组件

1、新建WorkId类packagecom.hua.common.id;importorg.apache.commons.lang3.RandomUtils;importorg.apache.commons.lang3.StringUtils;importjava.net.Inet4Address;importjava.net.UnknownHostException;/***@Deacripti
hong_myth·2024-09-06 03:08

Xline v0.2.0: 一个用于元数据管理的分布式KV存储

Xline是一个基于Curp协议的，用于管理元数据的分布式KV存储。现有的分布式KV存储大多采用Raft共识协议，需要两次RTT才能完成一次请求。
达坦科技DatenLord·2024-09-06 03:35

大厂程序员都会的分布式RPC框架，直接无私打包分享，手慢无

一.概述什么是RPC？远程服务调用官方：一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的思想通俗一点：客户端在不知道调用细节的情况下，调用存在于远程计算机上的某个对象，就像调用本地应用程序中的对象一样。市面上常见的rpc框架：dobbo，springCloud，gRPC...那为什么要有RPC，HTTP不好么？因为RPC和HTTP就不是一个层级的东西，所以严格意义上这两个没有可比
卡卡的Java架构笔记·2024-09-06 02:56

JuiceFS 社区版 v1.2 发布，新增企业级权限管理、平滑升级功能

JuiceFS是为云环境设计的分布式文件系统，支持超过10种元数据引擎和30种以上的数据存储引擎。
Juicedata·2024-09-06 01:24

经验笔记：RPC与高性能NIO框架

RPC与高性能NIO框架的经验笔记引言随着互联网技术的发展，分布式系统逐渐成为了现代软件架构的标准之一。
漆黑的莫莫·2024-09-06 01:21

python分布式集群ray_GitHub - Leesire-Python/jd_spider: 两只蠢萌京东的分布式爬虫.

使用scrapy,scrapy-redis,graphite实现的京东分布式爬虫，以mongodb实现底层存储。分布式实现，解决带宽和性能的瓶颈，提高爬取的效率。
weixin_39781930·2024-09-06 00:17

文章汇总 | 2018

12月RIA便签学习法10月财富最好的定义Spark分布式原理及碰到的三个坑在不断解决问题(矛盾)的过程进步9月《韭菜的自我修养》-股票交易是零和游戏吗?
学习之术·2024-09-05 22:27

Spark基础

一.基础1.RDD机制  1.rdd分布式弹性数据集，简单的理解成⼀种数据结构，是spark框架上的通⽤货币。所有算⼦都是基于rdd来执⾏的，不同的场景会有不同的rdd实现类，但是都可以进⾏互相转换。
Tom无敌宇宙猫·2024-09-05 22:26
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他