snappy

使用ycsb的mapkeeper连接mapkeeper里面的server进行测试

首先在进行连接之前，要参考前面的几篇文章进行相应的包下载和安装，我是使用的centos操作系统，安装libevent、thrift、boost（需要在thrift前进行安装）、snappy等。
机智帅气的葫芦娃·2019-09-11 21:28

Rocksdb参数总结

CompressionType：压缩类型kNoCompression=0x0,kSnappyCompression=0x1,kZlibCompression=0x2,kBZip2Compression=
机智帅气的葫芦娃·2019-09-06 09:25

大数据-常用压缩方式总结

原文链接：https://blog.csdn.net/zzhongcy/article/details/89375346转载声明本文系转载自以下两篇文章：压缩格式gzip/snappy/lzo/bzip2
迷路剑客·2019-09-06 00:00

hive调优

sethive.exec.compress.intermediate=truesetmapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodecsetmapred.map.output.compression.codec
不穿格子衫的徍爺·2019-09-01 15:00

16hive压缩以及配置

一、Hadoop源码编译支持snappy压缩（可省略查看）（可按照“17”中的“1.修改*”来配置，无需自己编译）1.资源准备(jar包)(1)hadoop-2.7.2-src.tar.gz(2)jdk
大家说啥呢·2019-08-18 09:27

支持tcp、udp流量转发，支持内网http代理、内网socks5代理，同时支持snappy压缩、站点保护、加密传输、多路复用、header修改等。支持web图形化管理，集成多用户模式。

npsnps是一款轻量级、高性能、功能强大的内网穿透代理服务器。目前支持tcp、udp流量转发，可支持任何tcp、udp上层协议（访问内网网站、本地支付接口调试、ssh访问、远程桌面，内网dns解析等等……），此外还支持内网http代理、内网socks5代理、p2p等，并带有功能强大的web管理端。背景做微信公众号开发、小程序开发等---->域名代理模式想在外网通过ssh连接内网的机器，做云服务器
·2019-08-12 09:00

ubuntu安装caffe遇到的一些问题（重新整理）

编译，感觉好丑，重新整理一下博客Caffe安装1、caffe相信大家都很熟悉了，下面是一些基础依赖库sudoapt-getinstalllibprotobuf-devlibleveldb-devlibsnappy-devlibopencv-devlibhdf5
hjxu2016·2019-08-09 11:43

基于Snappy实现数据压缩和解压

Snappy是谷歌开源的一个用来压缩和解压的开发包。相较其他压缩算法速率有明显的优势，官方文档显示在64位i7处理器上，每秒可达200~500MB的压缩速度，不禁感叹大厂的算法就是厉害。
码农code之路·2019-07-12 16:35

kafka 0.8,0.10兼容性测试

一.不同版本的读兼容性结果服务端版本是否开snappy压缩客户端0.8.2.2客户端0.10.2.20.8.2.2true成功失败0.8.2.2false成功失败0.10.2.2true成功成功0.10.2.2false
懿行·2019-07-06 22:55

大数据常用压缩方式对比

网络的IO和磁盘的IO)加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度坏处由于使用数据时，需要先将数据解压，加重CPU负荷2.压缩格式压缩比压缩时间可以看出，压缩比越高，压缩时间越长，压缩比：Snappy
明天你好lk·2019-06-15 18:20

Hive专题九---Hive的压缩和存储

交流QQ:824203453欢迎访问博主个人主页：http://www.oldsheep.cn压缩和存储Hadoop源码编译支持Snappy压缩资源准备CentOS联网配置CentOS能连接外网。
gssgch·2019-06-13 17:27

使用Datax将Hive数据迁移到Postgresql

将Hive的表数据导入到postgresql的表数据量大概8千多万Hive表采用orc格式，snappy压缩{"job":{"setting":{"speed":{"byte":1048576,"channel
你锋哥真的强·2019-06-11 10:57

大数据工程师面试题（一）

sethive.exec.compress.intermediate=true;setmapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec
觉地求生·2019-06-08 00:00

impala存储和压缩

文件格式压缩编码Impala是否可直接创建是否可直接插入ParquetSnappy（默认）,GZIP;Yes支持：CREATETABLE,INSERT,查询TextFileLZO，gzip，bzip2，
ITBOY_ITBOX·2019-05-20 23:44

hive数据仓库之学习笔记（三）

文章目录压缩常见压缩总结压缩格式与hive命令压缩方案时间处理数据倾斜方案优化处理压缩Hive压缩的目的是：减少磁盘IO与网络IO配置方式将snappy文件解压缩到hadoop/lib/native使用
DeaSun·2019-05-20 23:34

Ubuntu16.04+caffe(GPU)

Nvidia显卡驱动&cuda&cudnn均已安装配置好的基础上1、安装caffea、安装相关依赖包sudoapt-getinstalllibprotobuf-devlibleveldb-devlibsnappy-devlibopencv-devlibhdf5
lihe2019·2019-05-18 17:06

Mac 下编译 Hadoop

portoc-2.5.0zlib：1.2.3-libOpenSSL：1_0_2rcmale：3.14.3-win64-x64Cygwin：2.897_x86_64hadoop：hadoop-2.9.2snappy
leone·2019-05-11 00:00

使用spark streaming使用snappy压缩保存数据到HDFS中

工作中需要将从Kafka中的数据保存到HDFS中去，并且需要使用snappy压缩话不多说，直接上代码/***自定义多目录写与追加写,采用snappy压缩*@authordemon*@version2019
Demon_gu·2019-05-06 10:34

Snappy压缩源码编译

减少文件夹权限出现问题2．jar包准备(hadoop源码、JDK8、maven、protobuf)（1）hadoop-2.7.2-src.tar.gz（2）jdk-8u144-linux-x64.tar.gz（3）snappy
ITBOY_ITBOX·2019-05-05 15:10

在 WordPress 主题中使用 knp-snappy 生成 PDF 文件并发送给客户

knp-snappy是一个可以帮助我们从URL或HTML文件生成PDF
Amos_Lee·2019-04-27 00:00

caffe 安装 -- 掉坑2

81298666（1）安装依赖sudoapt-getinstalllibprotobuf-devsudoapt-getinstalllibleveldb-devsudoapt-getinstalllibsnappy-devsud
夏颜汐·2019-04-24 18:36

基于伪分布式（单机版）hdfs的单机hbase 1.2.0搭建

搭建单机hbase（基于hdfs）安装伪分布式hadoop2.6.0版本由于需要snappy，不得不编译hadoop编译环境准备获得snappynativelib异常问题解决安装hadoop2.6.0安装配置启动与测试异常问题解决安装
蔷薇枝·2019-04-17 16:48

hive 压缩格式汇总

而hive中间结果是map输出传给reduce，所以应该使用低cpu开销和高压缩效率，一般最好使用snappy1源数据在云上（hdfs）压
aiSniff·2019-03-01 16:32

Hadoop的SNAPPY压缩

linux6.x和hadoop2.7.3和hbase1.2.6;目前hadoop支持4种压缩，优略如下0DBBED1A-2A76-465f-98AE-F8ECFA1244F5.png由于速度快的原因，snappy
请叫我李半仙·2019-02-26 17:00

python 使用 kafka 中 assert has_snappy(), 'Snappy decompression unsupported'的错误解决

任务场景，初次安装kafka，出现错误主要是依赖package未安装，conda安装snappy即可，命令如下：condainstallpython-snappy直接使用“pipinstallpython-snappy
Autuming·2019-02-20 17:52

运行python版faster rcnn时，出现错误AttributeError: 'module' object has no attribute 'compress'

/lib/python2.7/site-packages/dask/bytes/compression.py",line31,incompress['snappy']=snappy.compressAttributeError
fdd096030079·2019-02-16 16:32

Hadoop压缩方式与存储格式

deflateDefaultCodec是是gzip.gz是gzipdeflateGzipCodec是是bzip2.bz2是bzip2bzip2Bzip2Codec是否lzo.lzo是lzoplzoLzopCodec否是snappy.snappy
无名虫·2019-02-16 11:50

zstd，未来可期的数据压缩算法

在我们测试的文本日志压缩场景中，压缩率比gzip提高一倍，压缩性能与lz4、snappy相当甚至更好，是gzip的10倍以上。
petergz·2019-01-26 04:44

Ubuntu Anaconda3 环境下安装caffe

安装依赖包sudoapt-getinstalllibprotobuf-devlibleveldb-devlibsnappy-devlibopencv-devlibhdf5
gmHappy·2019-01-22 11:51

一文学会绕过Hive存储和压缩的坑

而文件的压缩形式为Snappy。具体的操作形式如下：①创建Parq
假的鱼·2019-01-21 20:28

在Mac OS Mojave(10.14)上安装 caffe(转自知乎）

假设你已经在mac上安装了homebrew，根据caffe的官方指南，我们需要安装一些依赖：brewinstall-vdsnappyleveldbgflagsglo
Chaos？·2019-01-21 16:10

在win系统的python安装python-snappy库

访问C.Gohlke的个人win版python库（非官方）根据python版本和win版本，下载python_snappy‑0.5.3‑cp27‑cp27m‑win_amd64.whl（python27
阿熊码农·2019-01-16 09:28

caffe pyenv 安装

caffe.gitsudoapt-getinstallprotobuf-c-compilerprotobuf-compilersudoapt-getinstalllibprotobuf-devlibleveldb-devlibsnappy-devlibopencv-devlibboost-all-devli
VcosmosV·2019-01-14 21:08

Hadoop2.6.0源码编译支持Snappy压缩

环境准备系统:Centos6.564位JDK1.7因为pom文件里面很多注明了JDK1.7，所以最好用JDK1.7编译Maven：3.6.0Hadoop源码：Hadoop2.6.0-cdh5.7.0.src.tar.gzProtocolBuffer2.5.0Jar依赖包安装ProtocolBuffer2.5.0root权限安装依赖包#yuminstall-ygccgcc-c++makecmake指
Nekou_·2019-01-12 15:35

linux caffe安装

dependencieshttps://www.linuxidc.com/Linux/2016-09/135034.htmsudoapt-getinstalllibprotobuf-devlibleveldb-devlibsnappy-devlibopencv-devlibhd
2young2simple·2019-01-09 21:30

Hive与HBase整合（实例）

中创建表（三列族）：create'ceshi7',{NAME=>'TIME',VERSIONS=>1,BLOCKCACHE=>true,BLOOMFILTER=>'ROW',COMPRESSION=>'SNAPPY
SunWuKong_Hadoop·2019-01-04 11:33

数据存储text转parquet及引发的OOM问题

1.数据转parquet的后效果table1为textfile格式存储的表，分区20161122转换之前大小约400M,分别以parquet无压缩，parquetsnappy压缩和parquetgzip
javastart·2019-01-03 17:50

caffe环境的搭建

我是基于ubuntu16.04版本搭建caffe环境的1.安装需要的库：sudoapt-getinstalllibprotobuf-devlibleveldb-devlibsnappy-devlibopencv-devlibhdf5
daxia9112002·2018-12-11 14:32

java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

spark-env.sh文件中添加如下配置exportJAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/usr/lib/hadoop/lib/nativeexportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/hadoop/lib/nativeexportSPARK_YARN_USER_ENV="JAVA_LIBRARY_PATH=
liuzx32·2018-12-06 17:51

【手把手AI项目】二、ubuntu16.04+caffe＋CUDA10.0+cudnn7.4+opencv2.4.9.1+python2.7　（超超细致）

安装开发所需依赖包：sudoapt-getinstalllibprotobuf-devlibleveldb-devlibsnappy-devlibopencv-devlibhdf5-serial-devprotobuf-compilersudoapt-getinstall
Che_Hongshu·2018-12-03 15:39

kafka系列——日志篇

该图引用下面kafka日志版本的演变的博客crc32：消息校验码magic：消息版本号,0=v0,1=v1,2=v2,目前是2attributes：占用2字节,低3位指压缩格式,0=none,1=gzip,2=snappy
循环ing·2018-11-28 20:04

hadoop 压缩 gzip biz2 lzo snappy

转载于：http://aperise.iteye.com/blog/2397398集成snappy和LZO压缩格式的一般步骤如下：1)编译hadoop-xxx-master.zip得到一个hadoop-xxx
codeforces·2018-11-22 16:39

Hive 压缩

压缩优点省空间网络传输快降低IO压缩缺点CPU负载增加如果不支持分割，并行度低常用压缩名称code压缩压缩时间解压时间是否支持分割Snappyorg.apache.hadoop.io.compress.SnappyCodec49.96%
Peasmaster·2018-11-20 11:44

MapReduce设置snappy压缩方式

查看当前安装的hadoop支持的压缩方式：bin/hadoopchecknative二：设置snappy压缩方式注意：默认下载的CHD版本的hadoop不支持snappy压缩，需要对hadoop进行本地
徐川江的个人博客·2018-11-18 23:24

caffe安装教程2

0.安装一些基本依赖项：$sudoapt-getinstalllibprotobuf-devlibleveldb-devlibsnappy-devlibopencv-devlibhdf5-serial-devprotobuf-compiler
nkszjx2·2018-11-14 12:10

hadoop的问题--WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform

这个错误，所以在hadoop安装目录下，执行hadoopchecknative-a发现结果是（都是false）：Nativelibrarychecking:hadoop:falsezlib:falsesnappy
daiqinge·2018-10-30 17:23

Hadoop2.7.5环境搭建

已编译好的hadoop2.7.5（支持snappy）的安装包：服务器环境为腾讯云-Centos6.8，安装hadoop单机模式，root用户下安装注：hostname千万不要包含下划线单机配置localhost1
csdnmrliu·2018-10-09 11:02

Mac+caffe(cpu)

我已经装了anaconda2依赖brewinstall-vdsnappyleveldbgflagsglogsziplmdbbrewtaphomebrew/science第二句出错:Error:homebrew
袁小方·2018-09-30 15:16

Hive的压缩和存储

压缩和存储数据压缩开启Map输出阶段压缩开启Reduce输出阶段压缩数据存储格式创建一个SNAPPY压缩的ORC存储方式的表数据压缩hive和hadoop一样，也可以使用压缩来节省我们的MR处理的网络带宽
Fenggms·2018-09-28 20:46

Snappy文本压缩（备忘）

packagecom.fenbi.commons.spider.services.utils;importcom.fenbi.commons.core.log.GLog;importorg.xerial.snappy.Snappy
只对西红柿鸡蛋有感觉·2018-09-28 14:11
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他