分布式大数据处理引擎

大模型训练和推理

文章目录一、NLP基础1.Tokenizer2.positionencoding3.注意力机制与transformer架构二、大模型训练1.SFT训练2.RLHF训练3.分布式并行训练技术（1）模型并行
李明朔·2024-08-30 01:27

云计算day13

一、Git概述Git是一种分布式版本控制系统，用于跟踪和管理代码的变更。它是由LinusTorvalds创建的，最初被设计用于Linux内核的开发。
巭氼·2024-08-29 23:42

中间件简介

它们在分布式系统、网络通信和应用集成中起着关键的作用。那么常见的中间件有哪些呢？消息队列中间件：消息队列中间件允许应用程序之间异步地发送和接收消息。
Will_1130·2024-08-29 22:38

虚拟机安装hadoop，hbase（单机伪集群模式）

就像当初做爬虫一样（虽然很简单），在数据爆发的现在，传统的数据库mysql，oracle显然在处理大数据量级的数据时显得力不从心，所以有些特定的业务需要引进能够处理大数据量的数据库，hadoop提供了分布式文件系统
流~星~雨·2024-08-29 21:31

2021-01-06：mysql中，我存十亿个手机号码，考虑存储空间和查询效率，用什么类型的字段去存？

考虑三种类型，BigInt，Char，Varchar这几种类型在InnoDB引擎下默认行格式的存储方式为：1.对于bigint类
福大大架构师每日一题·2024-08-29 21:21

如何解决“来自计算机网络的异常流量”

这个错误旨在阻止自动化系统对搜索引擎造成过载，但有时会错误地影响正常用户。什么会触发“异常流量”提示？
ForRunner123·2024-08-29 21:58

自然语言处理系列四十五》Elasticsearch搜索引擎》Elasticsearch入门及技术原理

此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列四十五Elasticsearch搜索引擎
陈敬雷-充电了么-CEO兼CTO·2024-08-29 20:24

MySQL 实现模糊匹配

摘要：在不依赖Elasticsearch等外部搜索引擎的情况下，您依然能够充分利用MySQL数据库内置的LIKE和REGEXP操作符来实现高效的模糊匹配功能。
flying jiang·2024-08-29 20:50

Ubuntu20.04下docker和docker-compose使用

1.docker下载部署DockerCompose是依赖于Docker引擎的，所以在安装DockerCompose之前要确保机器上已经安装了Docker(可以使用docker–v指令查看)。
蜂蜜柚子茶。·2024-08-29 19:48

Apache Kafka 快速学习大纲

Kafka概述定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。
aaaak_·2024-08-29 19:46

大数据实训笔记7：kafka

概述Kafka是一个开源的分布式事件流平台(EventStreamingPlatform)，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。
Roslin_v·2024-08-29 19:14

MySQL存储引擎

简介通过showengines;,查看mysql现在已提供什么存储引擎image-202010251603246151.InnoDB存储引擎InnoDB是MySQL的默认事务型引擎，它被设计用来处理大量的短期
西界__·2024-08-29 19:15

github搜索html源码,三款十分简洁的自适应多引擎搜索主页源码_GitHub开源项目

这次分享的三款搜索引擎主页源码均来源于GitHub开源项目，页面都是属于简约、精美风格，功能也是很强大，支持二次开发的哦，你可以充分发挥自己的审美，为它们设计一套“皮肤”。
PableetoX·2024-08-29 18:41

9月份最新的百度收录软件有哪些？泛码网SEO工具有什么？

百度作为中国最大的搜索引擎，其排名机制直接影响着网站的在线可见度。本文将深入探讨如何利用百度排名优化软件和一系列方法，有效提升网站在百度搜索结果中的排名。
aspoping·2024-08-29 18:10

QPS提升10倍怎么设计-JAVA后端经常用到的技术

例如，使用分布式服务器集群，将请求均匀地分配到各个节点上，避免单个服务器负载过高。升级服务器的硬件配置，如提高CPU性能、增加内存容量、使用更快的存储设备等。例如，采用多核处理
九张算数·2024-08-29 17:00

《黑神话：悟空》神话再现，虚幻引擎与Unity/C#谁更强？

目录前言匠心打造：东方神话传奇虚幻引擎：视觉盛宴的缔造者Unity/C#：灵活高效的代名词Unity与虚幻引擎（UnrealEngine）共同点Unity和虚幻引擎（UnrealEngine）不同点Unity
小码编匠·2024-08-29 16:59

优秀的开源项目

目录热key多线程并行秒级百G级日志工具ES操作工具消息推送平台HTTP客户端业务层的分布式限流组件企业级微服务解决方案热keyhotkey:京东App后台中间件，毫秒级探测热点数据，毫秒级推送至服务器集群内存
点滴~·2024-08-29 16:28

实现基于LLM的VSCode代码补全插件及网络搜索功能

文章目录前言一、代码补全代码实现实现效果:当前问题二、LLM+搜索引擎功能概述实现步骤代码实现结论前言本文将介绍如何利用VSCode插件开发环境结合大模型（LLM）来实现代码补全功能，并且介绍如何集成网络搜索功能以增强代码补全的能力
今天不熬夜！·2024-08-29 16:25

分布式中间件

1.Nacos服务注册和服务发现原理图：1.服务提供方将集群信息注册到Nacos，并定期心跳包提供健康信息，宕机即剔除2.服务消费方定期拉取订阅信息，获取服务实例列表3.服务集群的负载均衡是在消费者一方进行选择负载均衡：四层（传输层，ip+端口），七层（应用层，在四层ip+端口的基础上，添加一些用户级负载均衡规则，例如过滤特定的url访问请求）；nginx同时支持四层和七层负载均衡，硬件负载均衡器
C15751X·2024-08-29 16:54

Python知识点：如何使用HBase与HappyBase进行分布式存储

使用HBase与HappyBase进行分布式存储是处理大规模数据的有效方式。HBase是一个基于Hadoop的开源分布式数据库，可以处理非常大的表。
杰哥在此·2024-08-29 15:51

思二勋：web3.0是打造应对复杂市场敏捷组织的关键

本文内容摘自思二勋所著的《分布式商业生态战略》一书。数字化时代，需要企业具备敏捷应对变化的能力，以敏捷反应应对客户和市场的迅速变化。
学客汇·2024-08-29 14:15

【观点】区块链的未来：分布式商业；企业的未来：分布式商业生态战略

本文内容摘自思二勋所著的《分布式商业生态战略》一书。近两年，商业经济环境的不确定性越来越明显，市场经济受到疫情、技术、政策等多方因素影响越来越难以预测，黑天鹅事件时有发生。
学客汇·2024-08-29 14:14

新书推荐：《分布式商业生态战略：未来数字商业新逻辑与企业数字化转型新策略》

近两年，商业经济环境的不确定性越来越明显，市场经济受到疫情、技术、政策等多方因素影响越来越难以预测，黑天鹅事件时有发生。在国内外经济方面，国际的地缘政治对商业经济产生着重大的影响，例如供应链中断，核心技术的自主创新及国产化，以及美联储的持续加息对市场经济的影响，等等。国内经济也在承压发展，尽管内需总体回暖，但市场活力不足、内生动力不强、市场资源利用率低下等问题不容忽视。而在技术革新商业经济方面，如
学客汇·2024-08-29 14:44

Spark权威指南读书笔记（二）：结构化API

第四章结构化API概述结构化API主要指三种核心分布式集合类型API：Dataset、DataFrame、SQL表和视图DataFrame和Dataset类型DataFrame和Dataset是具有行和列的类似于数据表的集合类型
kaiker·2024-08-29 11:23

Java中的基于规则的引擎（如Drools）

Drools是一个强大的开源规则引擎，可以帮助开发者实现业务规则的管理和执行。这篇博客将详细介绍Drools的基本概念、优势、安装和使用方法，并通过一个示例展示如何在Java应用中集成Drools。
๑҉ 晴天·2024-08-29 10:49

【花雕学AI】11：ChatGPT与New Bing的横向比较与多维度对比测试

搜索引擎作为我们与互联网的主要接口，也在不断地进化和创新。
驴友花雕·2024-08-29 10:09

你这么焦虑，就是因为你没有学习临界知识

好友燕子是朋友圈的学习达人，在企业从事人力资源工作的她，经常神龙见首不见尾，朋友们周末约她时，她不是在学习，就是在学习的路上，所学课程涉及时间管理、商务谈判、沟通演讲，职场礼仪，最近还去学了编程课，我们都戏称她是“知识付费的引擎
麦芽的理想吧·2024-08-29 09:12

Centos7安装Docker

文章目录前言一、Docker的关键概念1.容器(Container)2.镜像(Image)3.Dockerfile4.Docker引擎(DockerEngine)5.DockerHub二、Docker的优势
StaticKing·2024-08-29 09:11

Python分布式任务处理库之dramatiq使用详解

Dramatiq是一个用于分布式任务处理的Python库，旨在提供简单、可靠的任务队列解决方案。与其他任务队列库相比，Dramatiq更加轻量级，且易于上手。
Rocky006·2024-08-29 09:41

笔记：node.js基础

1.初识node.jsNode.js是一个基于chromeV8引擎的javaScript运行环境。浏览器中js的运行环境=chromeV8引擎+webAPI（BOM、DOM、ajax等）。
一只小bug。·2024-08-29 07:57

【话题】国产游戏崛起：技术驱动下的新机遇

引言方向一：技术解析图形渲染与视觉效果物理引擎AI技术方向二：行业影响对国内游戏开发行业的影响IT人才需求变化方向三：未来展望发展前景技术创新点跨界合作机会后记国产游戏技术能否引领全球？
何遇mirror·2024-08-29 06:52

模型 分形理论

1分形理论的应用1.1字节跳动的分形创新增长引擎字节跳动作为一家全球领先的科技公司，其快速的发展和创新能力在业界引起了广泛关注。公司通过分形创新理论，实现了产品和业务的快速迭代与扩展。
图王大胜·2024-08-29 06:49

MapXtreme Java 版 --- 100% 纯Java 地图应用服务器

MapXtremeJava版，100%纯Java的基于Web的地图应用引擎，提供了高性能、多平台、高伸缩性、“编写一次”可重复使用的地图能力，
lihua2915·2024-08-29 06:17

探索WebKit的奥秘：打造高效、兼容的现代网页应用

WebKit是一个开源的浏览器引擎，最初由苹果公司开发，用于其Safari浏览器。自发布以来，WebKit已成为多个浏览器的核心组件，如苹果的Safari和早期版本的GoogleChrome。
vvvae1234·2024-08-29 05:14

Kylin的工作原理及使用分享操作指南

ApacheKylin是一个分布式的分析引擎，专为大数据环境中的快速分析和查询而设计。它通过构建OLAP（联机分析处理）立方体，使得对海量数据的实时分析成为可能，极大地提升了数据查询的效率。
vvvae1234·2024-08-29 05:14

Elasticsearch 压测方案之 esrally 简介

由于Elasticsearch（后文简称es）的简单易用及其在大数据处理方面的良好性能，越来越多的公司选用es作为自己的业务解决方案。
叫小七的剑客·2024-08-29 05:48

Metasploit漏洞利用系列（九）：MSF渗透测试 - DistCC后门漏洞实战

DistCC是一个分布式编译系统，旨在通过网络分发编译任务以加速编译过程。然而，不当的配置或特定版本的漏洞可能为攻击者留下可乘之机，使其能够利用DistCC服务作为跳板，入侵目标系统。
Alfadi联盟 萧瑶·2024-08-29 02:55

情报收集技术深度解析（一）：基本信息与域名信息收集技术

本文将深入探讨基本信息收集和域名信息收集的两大核心技术模块，包括但不限于GoogleHacking、网络空间搜索引擎、操作系统/中间件/源代码/数据库信息获取，以及域名收集工具的使用方法与实战技巧。
Alfadi联盟 萧瑶·2024-08-29 02:25

mvcc机制中的快照读和当前读

MCVV(MultiversionConcurrencyControl)，多版本并发控制是InnoDB引擎处理读写冲突的手段，目的是用来提高数据库并发场景下的吞吐性能。
木小同·2024-08-29 02:23

分布式唯一id的7种方案

背景为什么需要使用分布式唯一id？如果我们的系统是单体的，数据库是单库，那无所谓，怎么搞都行。
木小同·2024-08-29 02:53

UnQLite：多语言支持的嵌入式NoSQL数据库深入解析

文章目录1.引言2.Key/Value存储接口2.1关键函数2.2使用示例2.3高级操作：批量文件存储3.游标的使用4.UnQLite-Python使用示例4.UnQLite数据库引擎架构5.1Key/
橘色的喵·2024-08-29 01:12

Hdfs的机架感知与副本放置策略

1.介绍Apachehadoop机架感知Hadoop分布式文件系统(Hdfs)作为ApacheHadoop生态系统的的核心组件之一,通过机架感知和副本放置策略来优化数据的可靠性,可用和性能.Hdfs的机架感知和副本放置策略是其设计的关键组成部分
sheansavage·2024-08-29 01:42

JMS 原理

为什么需要JMS用RPC中间件技术已广泛应用于分布式系统之间的通信，但是这些技术也显示出了局限性：同步通信：客户发出调用后，必须等待服务对象完成处理并返回结果后才能继续执行客户和服务对象的生命周期紧密耦合
LynnGuo·2024-08-29 00:53

Web应用系统的小安全漏洞及相应的攻击方式

主要目的如下：了解什么叫安全漏洞知道什么是api了解一些获取api的工具通过对API的认识了解白盒接口测试基本概念和技术免责声明：本文主要是以学习交流为目的，而且实验的对象也是通过搜索引擎随机选择的。
测试界晓晓·2024-08-29 00:10

Java中的BPM与工作流引擎详解

业务流程管理（BusinessProcessManagement，BPM）和工作流引擎在现代企业应用中扮演着关键角色。它们帮助自动化和优化业务流程，提高工作效率。
๑҉ 晴天·2024-08-29 00:40

【cocos2dx】【iOS工程】如何保存用户在游戏内的绘画数据，并将数据以图像形式展示在预览界面

【cocos2dx】【iOS工程】如何保存用户在应用内的操作数据，并将数据以图像形式展示在预览界面设备/引擎：Mac（11.6）/MacMini开发工具：Xcode（15.0.1）开发需求：如何保存用户在应用内的操作数据
GameTomato·2024-08-29 00:33

【App Store深度链接】【IOS-Universal-Links】给App添加App Store深度链接，方便APP的更新内容及时在App Store中显示并提示用户更新

【AppStore深度链接】【IOS-Universal-Links】给App添加AppStore深度链接，方便APP的更新内容及时在AppStore中显示并提示用户更新设备/引擎：Mac（11.6）/
GameTomato·2024-08-29 00:03

ROS Node

ROS节点是ROS中实现模块化、分布式和可扩展性的关键组件之一。在ROS中，节点是通过ROS核心（ROSMaster）进行通信和协调的。
GYHlf·2024-08-28 23:31

XML-RPC-1概述

XML-RPC是一个远程过程调用（远端程序呼叫）（remoteprocedurecall，RPC)的分布式计算协议，通过XML将调用函数封装，并使用HTTP协议作为传送机制。
weixin_30340775·2024-08-28 22:26

RPC框架之Dubbo

问题1：为什么要把系统拆分成分布式的？为啥要用dubbo？1.为什么要将系统进行拆分？
猫猫桑·2024-08-28 22:56
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他