数据压缩

SC21 论文简读[3] -- 纯CS研究方向 网络 文件 IO 系统软件 数据压缩

文章时间：2021年11月前会议/期刊：SC2021笔记时间：2021年11月17日周三Session网络论文题目：SEEC:stochasticescapeexpresschannel作者背景：GeorgiaInstituteofTechnology论文地址：(https://dl.acm.org/doi/10.1145/3458817.3476140)摘要：在移动到下一个路由器之前分配一个空闲
sagfugetabf·2023-08-02 05:27

统一观测｜借助 Prometheus 监控 ClickHouse 数据库

一、ClickHouse简介（一）技术特点列式存储与数据压缩：在执行数
阿里云云原生·2023-08-02 04:38

2019-01-22 可视化数据

1.数据降维来进行数据压缩2.数据降维来进行可视化数据，它可以帮助我们来开发高效的学习算法，前提是我们能更好地理解数据。
奈何qiao·2023-08-02 03:39

【SpringBoot应用篇】Spring Boot 配置HTTP 响应内容压缩

2、浏览器默认是支持数据压缩的，会自动对gzip压缩的数据进行解压，F12打开网络，可以看到请求头中会有：'Accept-E
喜羊羊sk·2023-08-01 17:21

SRA批量下载及转为Fastq格式

NCBI中会将测序等数据压缩成sra格式。本文介绍如何批量下载sra文件及转化为Fastq格式。下载SRA文件sratoolkit从NCBI官网下载sratoolkit选择合适的版本进行下载。
jlyq617·2023-07-30 12:54

【图像处理】使用自动编码器进行图像降噪（改进版）

它由一个将数据压缩为低维表示的编码器和一个从压缩表示中重建原始数据的解码器组成。该模型使用无监督学习进行训练，旨在最小化输入和重建输出之间的差异。自动编码器可用于降维、数据去噪和异常检测等任务。
无水先生·2023-07-29 08:18

ClickHouse使用场景和案列分析

目录一、ClickHouse概述1.ClickHouse简介2.ClickHouse发展历程3.ClickHouse特点二、ClickHouse架构1.数据存储层：2.SQL解析层：3.查询执行层：4.数据压缩层
Web3&Basketball·2023-07-29 03:24

POLARDB IMCI 白皮书 云原生HTAP 数据库系统 一 数据压缩和打包处理与数据更新

开头还是介绍一下群，如果感兴趣polardb,mongodb,mysql,postgresql,redis等有问题，有需求都可以加群群内有各大数据库行业大咖，CTO，可以解决你的问题。加群请联系liuaustin3，在新加的朋友会分到2群（共1100人左右1+2+3）新人会进入3群4.3数据打包压缩和整理压缩当部分package达到最大容量后，它会被转换为bigpackage并压缩到磁盘上以减少空
Austindatabases·2023-07-28 09:11

GaussDB技术解读系列之高级压缩

本文作者华为云数据库GaussDB首席架构师冯柯背景介绍数据压缩与关系数据库的结合，早已不是一个新鲜的话题，当前我们已经看到了各种各样数据库压缩的产品和解决方案。
Gauss松鼠会·2023-07-27 17:43

【数据结构】树状数组和线段树

树状数组需求：能够快速计算区间和保证在修改了数组的值之后，对相关数据结构内容修改的操作数尽量少—>同时包含多个节点信息—>树状数组或二叉索引树（BinaryIndexedTree）用途能够解决数据压缩里的累积频率的计算问题
TIkitianya·2023-07-27 08:43

范式霍夫曼编码资料

参考资料：《数据压缩导论》3.2.2范式霍夫曼码https://blog.csdn.net/xiji333/article/details/111995757https://blog.csdn.net/
Allen---J·2023-07-27 08:35

VAE-根据李宏毅视频总结的最通俗理解

其结构如下：自编码器是一种先把输入数据压缩为某种编码,后仅通过该编码重构出原始输入的结构.从描述来看,AE是一种无监督方法.AE的结构非常明确,需要有一个压缩编码的Encoder和就一个相应解码重构的Decoder
保持客气哈·2023-07-27 05:05

ClickHouse（二）：ClickHouse特性

目录1.完备的DBMS功能2.列式存储3.数据压缩4.向量化执行引擎5.关系模型与标准SQL查询6.多样化的表引擎7.多线程与分布式8.多主架构9.交互式查询10.数据分片与分布式查询进入正文前，感谢宝子们订阅专题
IT贫道·2023-07-26 11:39

读数据压缩入门笔记11_读后总结与感想兼导读

1.基本信息数据压缩入门UnderstandingCompression[美]柯尔特·麦克安利斯（ColtMcAnlis）、[美]亚历克斯·海奇著；王凌云译人民邮电出版社,2020年4月出版，1版1.1
躺柒·2023-07-26 07:05

【数据压缩】WAV文件和AVI文件格式分析

一、WAV文件和AVI文件格式简介WAV的英文全称是WaveformAudioFileFormat，它采用RIFF（ResourceInterchangeFileFormat）文件格式结构。通常用来保存PCM格式的原始音频数据，所以通常被称为无损音频。但是严格意义上来讲，WAV也可以存储其它压缩格式的音频数据。AVI的英文全称是Audio/VideoInterleaved，被我们称为音频视频交错格
spadeK2020·2023-07-26 00:45

读数据压缩入门笔记08_评价数据压缩

1.并不是每个算法都适用于所有的使用场景2.关注点2.1.数据是在哪里压缩、存储和解压的2.2.数据是从哪里来的、到哪里去3.数据压缩的使用场景3.1.线下压缩，客户端解压3.1.1.打包的应用程序或者电子游戏
躺柒·2023-07-25 09:49

读数据压缩入门笔记10_通用压缩和序列化

1.数据建模1.1.多上下文编码算法背后的基本概念1.1.1.会考虑最后观察到的几个符号以确定当前符号的理想编码位数1.1.2.英语中的字母组合如何影响后面字母的出现概率1.1.3.基于统计观察的相邻关系，通常也被称作“预测”编码器1.2.马尔可夫链（Markovchain）1.2.1.一种离散的随机过程，其未来的状态只取决于现在，而与过去的历史无关1.2.2.马尔可夫提出的事件选择概率（prob
躺柒·2023-07-25 09:49

读数据压缩入门笔记09_多媒体数据压缩

1.压缩分类1.1.多媒体数据压缩（media-specificcompression）1.2.通用压缩（generalpurposecompression）2.有损压缩算法2.1.为了使数据压缩得更小
躺柒·2023-07-25 09:47

Python实现“快速发送”数据文件

像上图中以G为单位的数据压缩文件，想要在短时间内快速高效的发送给对方，需要怎么实现呢？笔者将在
写python的鑫哥·2023-07-25 02:51

Clickhouse原理

2.数据压缩：ClickHouse使用各种压
团团很腻害·2023-07-24 23:54

深度学习——自编码器AutoEncoder

它由编码器（Encoder）和解码器（Decoder）两部分组成，通过将输入数据压缩到低维编码空间，再从编码空间中重构输入数据。
时代&信念·2023-07-18 08:22

三维（3D）压缩传感算法的深入研究：专注于实时体积成像的新颖视角

实战项目下载三维压缩感知是一种基于稀疏性的数据压缩方法，其主要思想是对数据进行稀疏表示，然后通过一种优化
快撑死的鱼·2023-07-16 18:31

数据压缩算法该如何选择？

补充为什么要进行数据压缩？为了优化存储(减少存储空间)和充分利用网络带宽，通常采用压缩方法。大数据需要处理海量数据，此
Shockang·2023-07-16 17:47

图像处理 有损压缩-变换编码

变换编码经常与量化一起使用，进行有损数据压缩。因为转换通常本身是无损的（完全可逆的），但可用于实现更好的（更有针对性的）量化，从而导致原始输入的质量降低（无损压缩）。在视频和
kxwang_·2023-07-16 11:59

读数据压缩入门笔记07_自适应统计编码

1.位置对熵的重要性1.1.为了计算概率总需要多遍历一次数据集，而在计算出整个数据集中各符号的出现概率后，还要继续处理这些数值1.1.1.如果是相对较小的数据集，那么这些就不是什么问题1.2.随着要压缩的数据集变大，统计编码的结果与熵的偏差也会越来越大1.2.1.数据集的不同部分有着不同的概率特征1.3.如果处理的是流数据，比如视频流或音频流，由于整个数据集没有“结尾”，因此就不能“遍历两次”1.
躺柒·2023-07-16 10:06

博客摘录「 Protobuf 入门级指南(谷歌的序列化框架，类似json，但更快)」2023年5月14日

优点：它的速度比xml和json更快，同时他能将数据压缩的更小，对于结构化数据优势更明显。什么是结构化数据呢？就是带有一定结构的数据。
匹马单枪出重围·2023-07-16 01:07

【python】zip 介绍和例子

许多人将Python的zip与众所周知的存档文件格式ZIP混淆，后者用于无损数据压缩。由于这种数据压缩不仅使所需的存储空间非常小，而且执行速度也非常快，因此选择了名称“zip”。
程序员孔乙己·2023-07-15 10:44

基于哈夫曼树的数据压缩算法讲解

哈夫曼树（HuffmanTree）是一种基于频率统计的树形结构，常用于数据压缩中的编码算法。
红色荷包蛋·2023-07-14 19:58

密码学入门——单向散列函数

该函数通常被用于密码学中的数据完整性验证、数字签名、消息认证码等领域，也被广泛应用于数据压缩、数据指纹等领域。单向散列函数具有以下特点：输入数据的任意长度都可以被处理为固定长度的输出
叶卡捷琳堡·2023-07-14 03:03

Hadoop 之数据压缩

1概述image压缩策略和原则image2MR支持的压缩编码压缩格式hadoop自带算法文件扩展名是否可切分换成压缩格式后，原程序是否需要修改DEFLATE是，直接使用DEFLATE.deflate否和文本处理一样，不需要修改Gzip是，直接使用DEFLATE.gz否和文本处理一样，不需要修改bzip2是，直接使用bzip2.bz2是和文本处理一样，不需要修改LZO否，需要安装LZO.lzo是需要
djm猿·2023-07-14 02:40

前端使用pako对数据进行压缩与解压

模块二、使用步骤1.压缩、解压函数2.使用总结前言碰到一个项目，把很多数据都存到sessionStorage中进行调用，而sessionStorage存储空间是有限的，当存储数据过大时会报错，所以想到把数据压缩在存到本地
小马_xiaoen·2023-06-22 00:22

WebGL应用性能优化

于是就想到了数据压缩，花了大概一周多时间做数据压缩，然后就是修改代码，debug，修改代码，debug...好容易调通了，上整车试试呗，在微信内置浏览器里边打开模型，见证奇迹的时刻到了，妈卖批，这次没有崩溃
孤独剑GDJ·2023-06-21 15:35

符号集合近似法SAX

0.内容时间序列局部特征构造的方法：SAX算法（符号集合近似法）符号集合近似法下的距离定义符号集合近似法除了可以降低时间序列的维度之外，还有数据压缩作用一些时间序列分类问题可能涉及时间序列属性的差异，这些属性被限制在特定的有区别时间区间内
楚江客·2023-06-21 12:22

SAX（Symbolic Aggregate Approximation）：时间序列的符号聚合近似方法

文章目录0.前言1.SAX的特性2.SAX算法2.1表示方法2.2表示过程及要点3.数据降维4.离散化5.距离度量6.数据压缩7.一些问题及解决方法0.前言SAX（(SymbolicAggregateapproXimation
kanchigo·2023-06-21 12:21

[golang 微服务] 3. ProtoBuf认识，安装以及golang 中ProtoBuf使用

解决流量过大的基本方法就是使用高度压缩的通信协议，而数据压缩后流量减小带来的自然结果也就是省电：因为大数据量的传输必然需要更久的网络操作、数据序列化及反序列化操作，这些都是电量消耗过快的根源。
zhoupenghui168·2023-06-21 09:19

docker安装kafka

Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。
a...Z·2023-06-21 02:00

电脑监控系统如何减少监控存储容量？

为了减少监控存储容量并有效管理数据，可以采取以下几种策略：数据压缩和存储优化：监控系统可以使用数据压缩算法对监控数据进行压缩，以减少存储空间的占用。
绿虫生产力分析·2023-06-20 20:58

入门学习编码器与自编码器1----包括详细的理论讲解与详细的python程序代码，小白直接看懂！！！纯干货

编码器是一种神经网络，可以将原始输入数据压缩到较低维度的表示中。这个过程类似于在高维输入空间中找到一个低维嵌入空间，其中每个
小桥流水---人工智能·2023-06-20 19:48

【AntDB数据库】AntDB数据库操作系统配置（一）

SELINUX需要关闭最好配置本地YUM源，或者将操作系统ISO文件放在主机上，以便配置本地YUM源antdb用户需要sudo权限数据盘建议使用一个挂载点，如/data或/antdbdata如果需要使用数据压缩
亚信安慧AntDB数据库·2023-06-20 13:37

Python中的数据压缩与解压缩：深入了解zlib模块

Python有一些内置库用于处理数据压缩和解压缩，其中一个就是zlib模块。这个模块为DEFLATE压缩算法和相关的gzip（文件格式）提供了支持。
青春不朽512·2023-06-19 20:24

哈夫曼树的js实现

前言哈夫曼树是数据压缩编码算法的基础，本文使用JavaScript语言实现了该算法。算法流程：输入待编码的字符串，算法去构造哈夫曼树，从而实现对字符串的二进制压缩编码。
·2023-06-19 17:45

哈夫曼树（Huffman Tree）的基本概念介绍

哈夫曼树（HuffmanTree）是一种常用的数据结构，用于实现数据压缩和编码。它是由美国计算机科学家DavidA.Huffman于1952年提出的，被广泛应用于通信、压缩算法和信息存储等领域。
·2023-06-19 17:10

读数据压缩入门笔记05_字典转换

1.瓶颈1.1.在网络带宽有限、存储昂贵的时期1.2.移动设备正日益成为人们访问互联网的首选的今天1.3.数据压缩成了缓解这些瓶颈的关键2.字典转换2.1.dictionarytransforms2.2
躺柒·2023-06-19 09:48

读数据压缩入门笔记06_上下文转换

1.压缩算法可归为两类1.1.统计压缩（即VLC）1.2.字典压缩（如LZ78）1.3.从不同的角度利用了给定数据流中存在的统计冗余信息2.上下文变换2.1.contextualtransform2.2.给定一组相邻的符号集，对它们进行某种方式的变换使其更容易压缩3.行程编码3.1.run-lengthencoding，RLE3.2.过去40多年来看似很简单、实则很高效的编码技术3.3.单字符上下
躺柒·2023-06-19 09:48

Python中的数据压缩与解压缩：深入了解zlib模块

Python有一些内置库用于处理数据压缩和解压缩，其中一个就是zlib模块。这个模块为DEFLATE压缩算法和相关的gzip（文件格式）提供了支持。
·2023-06-19 09:17

走向实用的AI编解码

基于AI的端到端数据压缩方法受到越来越多的关注，研究对象已经包括图像、视频、点云、文本、语音和基因组等，其中AI图像压缩的研究最为活跃。
LiveVideoStack_·2023-06-18 09:59

protobuf数据类型byte_gRPC快速入门（二）——Protobuf序列化原理解析

Protobuf对于不同的字段类型采用不同的编码方式和数据存储方式对消息字段进行序列化，以确保得到高效紧凑的数据压缩。Protobuf序列化过程如下：(1)判断每个字段是否有设置值，有值才进行编码。
weixin_39913141·2023-06-18 05:05

信息检索-存储

编码与压缩:下次可以买来看的书：https://book.douban.com/subject/25789553/数据压缩导论（第4版）https://book.douban.com/subject/35034359
以梦为马驾驾驾·2023-06-18 02:32

HBase 2.3.7中snappy压缩配置

snappy是一种快速的数据压缩和解压缩算法，可以提高HBase的存储空间利用率和读写性能。
runepic·2023-06-17 05:59

VAE（变分自编码器）原理简介

自编码器（Autoencoder）是深度学习领域中常用的一种无监督学习方法，其基本思想是通过将输入数据压缩到低维表示，然后将其解压缩回原始空间，从而实现对数据的重构。
qq_41771998·2023-06-16 10:13
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他