Intensive

Data-Intensive Text Processing with MapReduce

大量高效的MapReduce程序因为它简单的编写方法而产生：除了准备输入数据之外，程序员只需要实现mapper和ruducer接口，或加上合并器（combiner）和分配器（partitioner）。所有其他方面的执行都透明地控制在由一个节点到上千个节点组成的，数据级别达到GB到PB级别的集群的执行框架中。然而，这就意味着程序员想在上面实现的算法必须表现为一些严格定义的组件，必须用特殊的方法把它们
西二旗小码农·2024-09-01 09:56

论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

论文：Retrieval-AugmentedGenerationforKnowledge-IntensiveNLPTaskscode:https://github.com/huggingface/transformerscode:https://github.com/huggingface/transformers/blob/master/model_cards/facebook/rag-toke
Ian_Wonder·2024-08-28 18:27

Designing Data-Intensive Application《数据密集型应用系统设计》笔记

DesigningData-IntensiveApplication中译《设计数据密集型应用》又名《数据密集型应用系统设计》，我看的是冯若航在gitbook开源的翻译版本，地址是https://vonng.gitbooks.io/ddia-cn/content/。以下为读书笔记。第一部分第三章开始阅读英文原版。参考文献可见https://github.com/ept/ddia-references
我想唱歌给你听·2024-02-20 03:31

OSDI 2023: Userspace Bypass Accelerating Syscall-intensive Applications

我们使用以下6个分类标准对本文的研究选题进行分析：1.方法：**系统调用消除：**专注于完全消除I/O路径中的系统调用（例如DPDK、UserspaceBypass）。**系统调用优化：**在不完全消除的情况下，旨在降低系统调用的成本（例如io_uring、F-Stack）。**替代执行模型：**探索使用用户空间或微内核等不同执行环境来绕过系统调用（例如QEMU、Unikernels）。2.应用重
结构化文摘·2024-02-07 12:53

Designing Data-Intensive Applications

相对于读书笔记，本文更像是一篇阅读大纲，在初步阅读本书后，尚有许多疑难，借用此大纲，以后温故而知新DDIA讲了什么什么是data-intensive原文这样定义Data-intensiveapplicationsarepushingtheboundariesofwhatispossiblebymakinguseofthesetechnologicaldevelopments.Wecallanapp
bangshijian6100·2024-02-01 22:24

《Designing Data-Intensive Applications》学习笔记 Chapter5

分布式的数据为了更高的负载，更高的可用性，更低的延迟，分布式的架构被利用起来，scaleout，扩展能力是一个系统必须考虑的因素数据的分布，常常会有2中途径，复制和分片复制复制主要是提供冗余，高可用。但某些情况下，也可以用于提升性能分片partitioning或者shading，将一份完整数据拆分为多个分片Chapter5复制单独考虑复制的前提是每一个节点可以包含所有的数据，而不需要分片。复制的难
lionel880·2024-01-14 12:50

编码与模式------《Designing Data-Intensive Applications》读书笔记5

进入到第四章了，本篇主要聊的点是编码（也就是序列化）与代码升级的一些场景，来梳理存储之中涉及到的编解码的流程。目前主流的编解码便是来自Apache的Avro，来自Facebook的Thrift与Google的Protocolbuf，在本篇之中，我们也会一一梳理各种编码的优点与痛点。1.非二进制的编码格式程序通常以至少两种不同的表示方式处理数据：1、在内存中，数据是保存在对象、结构、列表、数组、哈希
LeeHappen·2024-01-08 06:09

Re59：读论文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

诸神缄默不语-个人CSDN博文目录诸神缄默不语的论文阅读笔记和分类论文名称：Retrieval-AugmentedGenerationforKnowledge-IntensiveNLPTasks模型开源地址：https://huggingface.co/facebook/rag-token-nqArXiv下载地址：https://arxiv.org/abs/2005.11401本文是2020年Ne
诸神缄默不语·2023-12-17 15:40

《Designing Data-Intensive Applications》学习笔记 Chapter6

sharding是数据系统中最常见的措施，在分布式，去中心化的今天，业务数据不断增长，单机必然无法容纳所有的数据，因此，分片是必然的选择。本质上，每一个分片其实都是一个数据库的数据，尽管很多数据库支持的搜索，屏蔽了底层多个分片结合的处理image.png这是典型的分片和副本同时使用数据存储1.1分片策略partitionbykeyrange优点：方便操作，范围查找比较容易缺点：可能会不太平均，造成
lionel880·2023-12-04 05:23

每日一词 Shift

翻译Chineseeconomyisgoingthroughashiftfromlabor-intrusivetointellectually-intensive.造句Myattitudetoovertimeworkinghasashiftfromnegativetopositive
机智的雨珩·2023-11-26 03:37

《Data-Intensive Text Processing with mapReduce》读书笔记之二：mapreduce编程、框架及运行...

搜狐视频的屌丝男士第二季大结局了，惊现波多野老师，怀揣着无比鸡冻的心情啊，可惜随着剧情的推进发展，并没有出现期待中的屌丝奇遇，大鹏还是没敢冲破尺度的界线。想百度些种子吧，又不想让电脑留下污点证据，要知道大洋彼岸有个棱镜计划，只好作罢。不如看看书吧，书中自有颜如玉。开始本次读书笔记前，先扯两个哲学观点，提高下境界。第一个就是《Data-IntensiveTextProcessingwithmapRe
weixin_30624825·2023-11-17 09:51

Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks - 翻译学习

知识密集型NLP任务的检索增强生成-论文学习文章目录Abstract1Introduction2Methods2.1Models2.2Retriever:DPR2.3Generator:BART2.4Training2.5Decoding3Experiments3.1Open-domainQuestionAnswering3.2AbstractiveQuestionAnswering3.3Jeop
多喝开水少熬夜·2023-11-12 17:45

第四章数据编码和更新-part2,designing Data-Intensive Applications 中文翻译摘要

AvroAvro是2009年发起的一个hadoop的子项目，他也是一种二进制的编码方式，但是和Thrift和ProtocolBuffer不尽相同,它诞生之初就是因为Thrift在Hadoop编解码是不是很好用。他同样是用schema的形式定义编解码的数据结构，他有两种描述语言(IDL)，一种给人看的，另外一种是机器更好生成和解析。还是之前的经典，如果是Avro的IDL就长这样人类版recordPe
cheng_e819·2023-11-04 15:39

LLM-Embedder

1.目标训出一个统一的embedding模型LLM-Embedder，旨在全面支持LLM在各种场景中的检索增强2.模型的四个关键检索能力knowledge：解决knowledge-intensive任务
comli_cn·2023-10-28 09:41

Designing Data-Intensive Applications

所谓数据密集型（data-intensive）应用，是相对于计算密集型（compute-intensive）而言的，翻译自wikipedia的解释：“数据密集型计算是一种并行计算应用程
yaksea·2023-10-22 01:32

RAG:Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文阅读

2020NeuralPS文章地址：https://arxiv.org/abs/2005.11401源码地址：GitHub-huggingface/transformers:Transformers:State-of-the-artMachineLearningforPytorch,TensorFlow,andJAX.-142RAG目录0、背景1、摘要2、导言3、结论4、模型5、实验6、与REALM
小白的咆哮·2023-10-18 14:54

Design Data-Intensive Applications 读书笔记七 索引结构：LSM和B-tree对比

对比B-tree和LSM-tree即便B-tree比LSM-tree成熟，LSM-tree也有吸引力，因为它的性能。LSM-tree写入很快，B-tree读取很快。LSM-tree读取慢，因为它不得不在压缩的各个阶段检查多个不同的数据结构和SSTable。但是测定负载通常是不准确的，易受干扰的。你不得不使用自定的负载来测试系统，做出有效的比较。这节我们简要的讨论测量存储引擎性能时要考虑的一些事情。
白马居士·2023-10-10 14:02

第四章数据编码和更新-part1,esigning Data-Intensive Applications 中文翻译摘要

综述我们的应用往往不可避免的需要进行更新，添加新的功能。在第一章讲过了应用具有可进化性，也就是说我们的应用应该在设计之初就拥抱变化。大多数情况下，一旦功能发生变化，底层的数据可能也要跟着变化。会加新的字段，或者已有数据展示方式有变化。第二章在数据模型时讲过不同的模型在应对数据变化时有不同的解决方法。关系数据库总的来说假设所有数据是一种结构，虽然数据结构可以修改，譬如altertable，但是他在一
cheng_e819·2023-10-09 15:33

第四章数据编码和更新-part4,designing Data-Intensive Applications 中文翻译摘要

消息队列数据流这部分会简要介绍一种异步消息传递系统，在某种意义上讲是在数据库和RPC的折中方案。他与RPC相似点在于都是一个客户端用一个很短的延迟将请求传递给另一个进程。他与数据库相似点在于他并不是通过网络直接将数据发送给对方进程，而是通过一个消息传递代理,messagebroker，broker可以临时储存消息。跟RPC相比，消息队列有几个明显的好处当接收方临时不可用时，broker可以充当缓存
cheng_e819·2023-10-07 05:32

《Designing Data-Intensive Application》02数据模型与查询语言

《DesigningData-IntensiveApplication》关系模型与文件模型NoSQL的诞生对象关系不匹配多对一和多对多的关系文档数据库是否在重蹈覆辙网络模型关系模型与文档数据库相比关系型数据库与文档数据库在今日的对比哪个数据模型更方便写代码？文档模型中的架构灵活性查询的数据局部性数据查询语言Web上的声明式查询MapReduce查询图数据模型属性图Cypher查询语言SQL中的图查
更新失败·2023-10-04 14:06

流处理与消息队列------《Designing Data-Intensive Applications》读书笔记16

上一篇聊了聊批处理的缺点，对于无界数据来说，流处理会是更好的选择，“流”指的是随着时间的推移逐步增加的数据。消息队列可以将这些流组织起来，快速的在应用程序中给予反馈。但是消息队列与传统的数据库之间又存在着“剪不断，理还乱”的“纠葛”，最后我们将探讨通过消息队列之中与时序有关的一些问题。文件是批处理作业的输入和输出，而在流处理之中，作业的输入输出等价物是什么呢？在流处理之中，当输入是文件时，第一个处
LeeHappen·2023-09-19 00:00

An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks

本文是LLM系列文章，针对《AnEfficientMemory-AugmentedTransformerforKnowledge一种用于知识密集型NLP任务的高效内存增强转换器摘要1引言2相关工作3高效内存增强Transformer4EMAT的训练流程5实验6分析7结论局限性摘要获取外部知识对于许多自然语言处理任务至关重要，例如问答和对话。现有的方法通常依赖于将知识存储在其参数中的参数模型，或者使
UnknownBody·2023-09-05 10:13

[HPC/IO]Automatic generation of benchmarks for I/O-intensive parallel applications

论文题目：AutomaticgenerationofbenchmarksforI/O-intensiveparallelapplications文章时间：2018年3月会议/期刊：期刊J.ParallelDistrib.Comput.作者背景：哈工大，UIUC笔记时间：2021年10月12日周二论文地址：https://www.sciencedirect.com/science/article/p
sagfugetabf·2023-08-27 01:08

Redis 实战 —— 11. 实现简单的社交网站

简介前面介绍了广告定向的实现，它是一个查询密集型(query-intensive)程序，所以每个发给它的请求都会引起大量计算。
满赋诸机·2023-08-05 15:01

论文阅读笔记：TEA: Enabling State-Intensive Network Functions on Programmable Switches

文章：TEA:EnablingState-IntensiveNetworkFunctionsonProgrammableSwitches来源：sigcomm2020摘要：可编程交换机被认为是部署网络功能(NFS)的一种有吸引力的选择，但是它们的内存容量一直是主要障碍，尤其阻碍了它们支持状态密集型NFs的应用（例如云规模NAT和维护数百万个流表条目的负载平衡器）。本文探索了一种在典型NFV群集服务器
阿明DunDunDun·2023-07-22 17:40

带读 |《Designing Data-Intensive Applications》(中文：数据密集型系统设计)

我在实习和工作的过程中发现技术方案的设计这一环节是后端开发散发魅力并且深深吸引我的地方，好的技术方案/架构设计可以让整个系统开发的开发者开发更轻松后续的维护以及拓展更容易遇到高并发、各种软硬件失效人为错误带来的挑战时更可靠，总而言之，这让我觉得像是在设计自己世界乐高，我对此很有兴趣，于是找到这本书。数据系统基础这里先给出了一个全文检索服务器的例子（之前《GoInAction》也拿搜索例子做为开篇，
·2023-04-19 11:10

人工智能概述

计算密集型的程序所谓计算密集型(Compute-intensive)的程序，就是其大部分运行时间花在了寄存器运算上，寄存器的速度和处理器的速度相当，从寄存器读写数据几乎没有延时。
Better Me·2023-04-16 10:13

2022-05-22

动物可能拥有人类想象不到的智能，动物可能比人想象的更聪明视听说：你拥有的可能远超你的想象，即使年龄很大，你也可能做出伟大的事业2，我在本片文章／音频／视频中学到的怦然心动的单词（精读和视听说分别总结）精读：intensive
张云叶·2023-04-12 04:06

第五章备份-part1,designing Data-Intensive Applications 中文翻译摘要

备份意味着把你的数据的多个副本放置在不同的机器上，这些机器通过网络连接。如第二章综述所讲，备份的好处有以下几点允许你的数据离你的用户在地理位置上更近，从而减小延迟允许你的系统在单个节点挂掉之后依旧能够工作通过提高机器的数量从而提高读的吞吐量。这章我们先假设一台机器能够放下所有的数据，在第6章，我们在把这个假设放宽，通过分区技术解决当单机没办法放下所有数据时候的问题。这章后面讨论备份系统可能出现的问
cheng_e819·2023-03-31 09:31

Scale a CPU intensive python task using Ray

本文旨在尝试使用Ray将一个运行在单机环境，非常消耗CPU且运行时间较长的算法任务，改成分布式环境运行的程序，以达到同时降低单台机器的负载和提高任务整体运行的速度的作用1.Setupenvironment1.1Miniconda我们知道python有自带的包管理工具pip,为什么我们需要conda，还有miniconda和conda的关系是什么？http://blog.sina.com.cn/s/
Cherryly·2023-03-27 00:14

《Ultimate Guide Building Database Intensive Apps Go》笔记

import("database/sql"_"github.com/go-sql-driver/mysql""log")funcmain(){db,err:=sql.Open("mysql","root:@tcp(:3306)/test")iferr!=nil{log.Fatal(err)}deferdb.Close()_,err=db.Exec("CREATETABLEIFNOTEXISTSte
苏慕漓·2023-03-24 06:40

总不能痛经痛死

星期三痛经痛了6个小时，非常intensive，可以算是我这辈子最疼的一次。那天有太阳，天气预报说是有二十多度，我住的房子常常像个蒸炉，可也因为疼耗干了所有阳气。我知道外面阳光明媚，我不要拉开窗帘。
梅兰科里氏·2023-03-15 12:07

第五章备份-part3,designing Data-Intensive Applications 中文翻译摘要

多Leader备份(Multi-LeaderReplication)这章当目前位置我们都在讨论单Leader的备份架构，这个方案用的很普遍，但也有些问题。因为只有一个Leader，所有写请求都要通过通过这个Leader，一旦客户端和Leader连接断了，就不能写了。一个最自然的解决方法是多个节点都可以接受写请求，备份方式是一样的，每个节点处理一个写请求后把更新发送给其他节点。我们管他叫多Leade
cheng_e819·2023-03-14 17:11

带读 |《Designing Data-Intensive Applications》(中文：数据密集型系统设计)

我在实习和工作的过程中发现技术方案的设计这一环节是后端开发散发魅力并且深深吸引我的地方，好的技术方案/架构设计可以让整个系统开发的开发者开发更轻松后续的维护以及拓展更容易遇到高并发、各种软硬件失效人为错误带来的挑战时更可靠，总而言之，这让我觉得像是在设计自己世界乐高，我对此很有兴趣，于是找到这本书。数据系统基础这里先给出了一个全文检索服务器的例子（之前《GoInAction》也拿搜索例子做为开篇，
·2023-02-03 22:15

Paper intensive reading (十六)：Deep learning enables accurate clustering and batch effect removal

论文题目：Deeplearningenablesaccurateclusteringandbatcheffectremovalinsingle-cellRNA-seqanalysisscholar引用：0页数：14发表时间：2019.1.25发表刊物：preprint作者：XiangjieLi1,2,YafeiLyu1,JihwanPark3,JingxiaoZhang2,DwightStambo
wxw060709·2023-01-26 08:14

带读 |《Designing Data-Intensive Applications》(中文：数据密集型系统设计)

我在实习和工作的过程中发现技术方案的设计这一环节是后端开发散发魅力并且深深吸引我的地方，好的技术方案/架构设计可以让整个系统开发的开发者开发更轻松后续的维护以及拓展更容易遇到高并发、各种软硬件失效人为错误带来的挑战时更可靠，总而言之，这让我觉得像是在设计自己世界乐高，我对此很有兴趣，于是找到了这本书。数据系统基础这里先给出了一个全文检索服务器的例子（之前《GoInAction》也拿搜索例子做为开篇
·2023-01-16 23:13

论文阅读 IPOD: Intensive Point-based Object Detector for Point Cloud

IPOD:IntensivePoint-basedObjectDetectorforPointCloudAbstract提出了基于原始点云的3D目标检测框架。对于每一个点都设置proposal，我们设计了一个端到端的训练框架，所有proposal中所有点的特征都从骨干网络中提取并且得到一个proposalfeature用于最终的边界框推测。1.Introduction随着CNN的发展2D图像识别取
Re-赟·2022-12-30 10:48

【论文笔记】Towards Corrective Deep Imitation Learning in Data Intensive Environments

【论文笔记】TowardsCorrectiveDeepImitationLearninginDataIntensiveEnvironments:HelpingrobotstolearnfasterbyleveraginghumanknowledgeAbstractInteractiveimitationlearningreferstolearningmethodswhereahumanteache
Ctrl+Alt+L·2022-12-29 07:32

《Designing Data-Intensive Application》03存储与检索

《DesigningData-IntensiveApplication》驱动数据库的数据结构哈希索引SSTables和LSM树构建和维护SSTables用SSTables制作LSM树性能优化B树让B树更可靠B树优化比较B树和LSM树LSM树的优点LSM树的缺点其他索引结构将值存储在索引中多列索引全文索引和模糊索引在内存中存储一切事务处理还是分析？数据仓库OLTP数据库和数据仓库之间的分歧星型和雪花
更新失败·2022-12-24 13:44

Paper intensive reading (二十二)： Tissue-based map of the human proteome

论文题目：Tissue-basedmapofthehumanproteomescholar引用：1510页数：11发表时间：23Jan2015发表刊物：Science作者：MathiasUhlén,etc.摘要：Resolvingthemoleculardetailsofproteomevariationinthedifferenttissuesandorgansofthehumanbodywi
wxw060709·2022-11-29 09:43

[NSDI 2021]MilliSort and MilliQuery Large-Scale Data-Intensive Computing in Milliseconds

MilliSortandMilliQuery:Large-ScaleData-IntensiveComputinginMilliseconds动机希望讨论在拥有无限多，但随时会被回收的资源条件下一毫秒最多能执行多少任务。文章定义了MilliSort和MilliQuery作为benchmarks，来判断算法的优劣。背景现在，大数据集上的应用基本都是秒级或者分钟级内实现的。这是因为分配和协调服务器集群
yujianke100·2022-11-26 04:58

Paper intensive reading (十三)：Removing batch effects in analysis of expression microarray data

论文题目：Removingbatcheffectsinanalysisofexpressionmicroarraydata:anevaluationofsixbatchadjustmentmethodsscholar引用：258页数：10发表时间：February28,2011发表刊物：PLOSONE作者：ChaoChen1,2,KayGrennan2,JudithBadner2,DandanZh
wxw060709·2022-11-26 02:11

Transformer课程第39章：面向Knowledge-intensive任务的Transformer模型RAG的架构及完整源码实现

1，为何Transformer网络能够存储factualknowledge信息？2，pretraineddenseretrieval数学原理分析3，sequence-to-sequencemodel数学原理分析4，jointlyfine-tuning数学原理分析5，parametricmemory原理分析6，non-parametricmemory原理分析7，non-parametricmemor
StarSpaceNLP667·2022-07-05 07:03

Designing Data Intensive Applications

chapter1：搭建可靠，伸缩性好，且易于维护的系统什么是数据密集型应用？首先，它是针对计算密集型系统定义的。现如今的大多数应用，核心其实并不在于计算，而在于数据——由此而引发出了一系列现实复杂的问题，比如说海量数据的存储，数据的结构如何设计，如何快速实现数据变更……数据为应用服务，不同应用的数据结构或特点并不相同，为了适用不同的场景，于是就诞生了很多数据系统：传统数据库（MySQL等等），消息
javior·2022-02-18 16:02

2.3.3阅读教学

intensive:对文章的词汇，句型，中心思想和篇章结构的深入理解。）分层阅读（略读skim即迅速阅读，掌握主旨大意，寻读s
胖纯·2022-02-18 13:06

《Designing Data-Intensive Applications》第6章 读书笔记：分片分区

1.前言对于非常庞大的数据量，经常需要分片分区在分片分区的模式下：每一个数据（一行记录）只属于一个分区，每个分区是整个数据库的一部分。分区为了更好的伸缩性。本章就讨论索引是如何利用分区的。在讨论数据的平衡等问题。2.分区和备份的关系两者经常都是结合起来的，这样每个分区的数据都存有备份，存储在其他的节点上。一个节点能可以存储多个分区，在单leader模型中，每个节点可以成为某个分区的leader，也
赤子心_d709·2022-02-05 18:55

设计数据密集型应用-Data-Intensive Application_王 炸的博客-CSDN博客

不懂数据库的全栈工程师不是好架构师——Vonng周六停更SpringBoot从入门到实践系列教程读一本好书《设计数据密集型应用》-DesigningData-IntensiveApplication简称：DDIA在正确的时候读一本合适的书是一种幸运~作者：MartinKleppmann原书名称：《DesigningData-IntensiveApplication》译者：冯若航Gitbook地址：
·2021-08-17 22:00

/proc/stat 的数据损坏引起的一个问题

如果宿主机上其他的租户正在贪婪地运行CPU-intensive的任务，可能会抢占一部分本来属于你的虚拟机的时间，这些被抢占的时间就被报告为stealtime。对于AWSEC2来
song4·2021-06-05 11:58

流式计算与计算抽象化------《Designing Data-Intensive Applications》读书笔记15

上篇的内容，我们探讨了分布式计算中的MapReduce与批处理。所以本篇我们将继续探索分布式计算优化的相关细节，并且分析MapReduce与批处理的局限性，看看流式计算是否能给我们在分布式计算层面提供一个更好的解决方案。1.MapReduce的局限MapReduce作业是独立于其他作业，输入与输出目录通过分布式存储系统串联。MapReduce作业的存在相互的依赖关系，前后相互依赖的作业需要将后面作
LeeHappen·2021-05-20 22:08

连接词

Bread-earner挣钱养家的人By-product副产品Capital-intensive资本密集型的Check-out结账Check-up核对Color-blind色盲的Duty-free免税的
磨叽还犯迷糊·2021-05-15 11:37
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他