Avro

最新Hadoop大数据学习路线分析及Hadoop生态架构技术

大数据学习路线分析及Hadoop生态架构技术简介关于Hadoop，本文主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro
csdnzoutao·2018-07-03 11:59

Hadoop 之管理 Avro

Hadoop之管理AvroApacheAvro是一个中立语言的(language-neutral)数据序列化系统。
devalone·2018-07-02 10:37

protobuf 编码之varint/zigzag

发现Avro为了对int、long类型数据压缩，采用ProtocolBuffers的ZigZag编码Thrift也采用了类似的算法.参考:https://izualzhy.cn/protobuf-encode-varint-and-zigzaghttps
已不再更新·2018-06-25 09:47

Flume

flume由三部分组成：source：用来搜集数据channel:用来暂时存放数据（可选择存到内存或文件中等）sink:将数据写入到某种介质中（hdfs、oracle等）source1.avrosourceflume
博弈史密斯·2018-06-19 22:47

Google Protocol Buffer -- Windows下Python的应用

一、参考资料跨语言通信方案的比较—Thrift、Protobuf和AvroGoogleProtobuf3版本介绍GoogleProtocolBuffer简单介绍python+protobuf在python
appleyk·2018-06-13 16:00

expect脚本同步文件、expect指定host和要同步的文件、构建文件分发系统、批量远程执行命令

/usr/bin/expectsetpasswd"123456"spawnrsync-avro[email protected]:/tmp/12.txt/tmp/expect{"yes/no"{send"yes
handsome灿生·2018-06-07 23:26

Kafka 生产消费 Avro 序列化数据

本文实践了如何连接Kafka生产和消费Avro序列化格式的数据,不能像NgAgo-gDNA那样,为保证实验内容及结果的可重复性,文中所用的各中间件和组件版本如下:ApacheKafka:kafka_2.11
Unmi·2018-06-02 05:53

Apache Avro 序列化与反序列化 (Java 实现)

XML,那是自我描述性格式,XML有Schema定义,但尚无正式的JSONSchema规范.在讲求效率的场合,纯文本式的数据交换格式无法满足要求,于是有二进制的GoogleProtobuf和ApacheAvro
Unmi·2018-06-02 05:08

构建大数据ETL通道--Json数据的流式转换--Json转Parquet（三）

如果生成的日志数据是Avro格式，可直接采用上一篇的方式（https://blog.csdn.net/qq_29829081/article/details/80518671），将Avro数据转储为Parquet
TOMSCUT·2018-06-01 08:50

flume-ng命令

/flume-ng[options]...commands:helpdisplaythishelptextagentrunaFlumeagentavro-clientrunanavroFlumeclientversionshowFlumeversi
Jay7925417·2018-05-31 10:14

构建大数据ETL通道--Json数据的流式转换--Avro转Parquet（二）

如果我们生成的日志是Avro格式的文件，那么可以直接采用kite-dataset将Avro数据流式转换成Parquet数据进行存储，并在Hive进行查询。以下是具体步骤：1创建dataset.
TOMSCUT·2018-05-31 08:59

Flume + Kafka整合

的安装与综合使用https://www.jianshu.com/p/90e17b80f366实时日志采集框架图Flume+Kafka整合.png1.在$FLUME_HOME/conf下新增一个配置文件avro-memory-kafka.conf
sparkle123·2018-05-08 13:41

Shell项目之分发系统-expect（下）

/usr/bin/expectsetpasswd"123456"spawnrsync-avro[email protected]:/tmp/12.txt/tmp/expect{"yes/no"{send"yes
Xavi2017·2018-05-01 10:27

Flume 实战3 从A服务器采集日志到B服务器

将A服务器上的日志采集到B服务器技术选型：(1)execsource+memorychannel+avrosink(2)avrosource+memorychanngel+loggersink需要写两个配置文档写配置文档
fengfengchen95·2018-04-30 19:24

分发系统（下）

/usr/bin/expectsetpasswd"w14"spawnrsync-avro[email protected]:/tmp/12.txt/tmp/expect{"yes/no"{send"yes
xinghun1227·2018-04-27 09:13

expect 脚本同步文件，指定host和要同步的文件，构建文件分发系统，批量远程执行命令

/usr/bin/expectsetpasswd"1q2w3e"spawnrsync-avro[email protected]:/tmp/12.txt/tmp/expect{"yes/no"{send"yes
非此即彼·2018-04-27 00:04

Flume数据采集常用案例

flume的案例1)案例1：AvroAvro可以发送一个给定的文件给Flume，Avro源使用AVRORPC机制。a)创建agent配置文件?
一只土肥圆的猿·2018-04-26 15:53

Hive的几种常见压缩格式（ORC，Parquet，Sequencefile，RCfile，Avro）的读写查询性能测试

一.测试背景工作中想把历史的APP日志结构化到Hive中进行查询，由于数据较大，需要进行压缩，根据Hive官方提供的几种压缩格式分别进行写入，读取，OLAP计算的性能测试，以求找到最好的压缩格式。二.测试方法概述数据来源：采用生产上数据抽样，大小为100G。原始日志格式为textfile文件（标准JSON）。测试平台：公司Ambari测试平台，物理内存100G。测试方法：将textfile文件通过
人唯优·2018-04-26 12:13

大数据开发需要数学好吗？

从老男孩教育大数据培训课程中就可以看出：阶段一：Java基础部分阶段二：Linux阶段三：Hadoop阶段四：Hive阶段五：Avro与Prot
lmseo5hy·2018-04-25 17:22

Java面试题－互联网中间件（持续更新）

FlumeAgent三个组件：Source、Channel、Sink  Source专门用来收集数据，可以处理各种类型、各种格式的日志数据，比如avro、exec、HTTP、Kafka、SpoolingDirectory
蒙蒙的林先生·2018-04-18 14:27

hadoop学习路径（知乎）

推荐一些Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa
冷暖己知·2018-04-13 09:35

Hive文件存储格式查询性能的比较

一、Hive的文件存储格式Hive总共支持以下几种文件存储格式：TextFileSequenceFileRCFileAvroFilesORCFilesParquetCustomINPUTFORMATandOUTPUTFORMAT
不清不慎·2018-04-09 21:37

spark -外部数据源

阅读更多1.在Spark1.2中提供了ExternalDataSourceAPI，开发者可以根据接口来实现自己的外部数据源，如avro,csv,json,parquet等等。
功夫小当家·2018-04-07 18:00

flume 安装

外部数据源发送数据到flume，必须按照Source支持的格式发，例如AvroSo
功夫小当家·2018-04-05 17:00

flume的工作机制

flume的核心组件:Source:SyslogSource,HDFSSource,HTTPSource,etc,AvroSource,SyslogTCPSource,SyslogTCPSourceExecSource
Dream__Sky_·2018-04-05 00:36

flume的工作机制

flume的核心组件:Source:SyslogSource,HDFSSource,HTTPSource,etc,AvroSource,SyslogTCPSource,SyslogTCPSourceExecSource
Dream__Sky_·2018-04-05 00:36

【Flume-1.8.0】Flume配置详解

Flume可以通过配置多个第一层代理和一个avrosink来实现这一点，所有代理都指向单一代理的avrosource（同样，您可以在这种情况下使用thriftsource/sink/客户端）。
Ancony_·2018-04-03 01:58

Docker容器中运行flume及启动不输出运行日志问题

Namethecomponentsonthisagentapp1.sources=r1app1.sinks=k1app1.channels=c1#Describe/configurethesourceapp1.sources.r1.type=avroapp1
redstarofsleep·2018-03-30 14:50

Hadoop学习笔记之avro文件格式

一、什么是avro英文简介https://en.wikipedia.org/wiki/Apache_Avro官网简介http://avro.apache.org/docs/current/avro是一个数据序列化系统
xun-ming·2018-03-27 19:51

Hive官方使用手册——Avro Files

本文为自己翻译的译文，原文地址：https://cwiki.apache.org/confluence/display/Hive/AvroSerDeHive官方使用手册——AvroFilesAvailability
Sammion·2018-03-23 10:07

使用Lenses（1）——Lensens仪表板及管理主题

1，实时绘制在平台上流动的数据2，主题和状态的数量3，关键基础设施（broker、zookeeper和connect）状态4，纵览Avro模式的数量5，纵览部署的SQL处理器的数量6，纵览部署的Kafka
乐言笔记·2018-03-21 17:08

扩展：将CSV转换为json

选择Controllerservices选项卡：通过选择闪电图标/按钮启用AvroSchemaRegistry。这将允许您启用CSVReader和JSONRecordSetWr
世界之大追梦者·2018-03-08 17:40

Hive官方使用手册——目录

命令行和CLIs命令行旧的HiveCLI新HiveCLI(BeelineCLI)变量替换HCatalogCLI文件存储格式AvroFilesORC
Sammion·2018-03-06 12:06

expect脚本同步文件、expect脚本指定host和要同步的文件、构建文件分发系统、批量远程执行

/usr/bin/expectsetpasswd"rootroot"spawnrsync-avro[email protected]:/tmp/12.txt/tmp/expect{"yes/no"{send"yes
平步清云·2018-02-28 23:00

expect脚本同步文件，构建文件分发系统，批量远程执行命令

/usr/bin/expectsetpasswd"123456"spawnrsync-avro[email protected]:/tmp/12.txt/tmp/expect{"yes/no"{send"yes
pcct·2018-02-28 20:07

【shell编程】expect脚本同步文件、expect脚本指定host和要同步的文件、构建文件分发系统和批量远程执行命令

/usr/bin/expectsetpasswd"123456"spawnrsync-avro[email protected]:/tmp/12.txt/tmp/expect{"yes/no"{send"yes
mojianbin·2018-02-28 18:52

理解Java里面的序列化和反序列化

是将对象转化成字节数组以方便保存或者用于网络传输，这个对象可以是一个图片，一个字符串，一个class等等，常见序列化格式有字节数组，json格式，xml格式，更加高效的有google开源的ProtocolBuffers，以及ApacheAvro
qindongliang1922·2018-02-27 22:00

理解Java里面的序列化和反序列化

是将对象转化成字节数组以方便保存或者用于网络传输，这个对象可以是一个图片，一个字符串，一个class等等，常见序列化格式有字节数组，json格式，xml格式，更加高效的有google开源的ProtocolBuffers，以及ApacheAvro
qindongliang1922·2018-02-27 22:00

Flume的汇总节点的配置

1配置分析因为汇总节点的sources是其他flume节点的输出.AvroSourcechannel一般选择MemoryChannel.有几个sink就需要有几个channelsink需要分2个,一个给
6cc89d7ec09f·2018-02-13 18:08

springboot整合gprc 传输对象

GRPC与thrift、avro-rpc等其实在总体原理上并没有太大的区别，简而言之GRPC并没有太多突破性的创新。
Carlos_v·2018-01-19 17:58

大数据开发要知道的关于AVRO的知识

Avro是apacheAvro的简称，其实是一个独立于编程语言的数据序列化系统，设计用于支持大批量数据交换的应用。
牛大财有大才·2018-01-18 16:07

Flume开发中常用组件source,channel,sink等配置

组件使用介绍source数据源Avro监听由Avrosink或FlumeSDK通过AvroRPC发送的事件所抵达的端口Exec运行一个Unix命令（例如tail-F/path/to/file）,并且把从标准输出上读取的行转化为事件
牛大财有大才·2018-01-11 22:23

大数据学习笔记（十）-Hive中的Storage format

1.Storageformat行存储：SEQUENCEFILE、TEXTFILE列存储：ORC、PARQUET、AVRO行列混合存储：RCFILE、2.行存储VS列存储行式存储：①一行数据一定在一个block
狂暴棕熊·2017-12-13 21:03

Flume自定义功能实现

该功能可以实现flume读取xml配置文件在avrosink模式下可以同时开启多个端口，并且根据客户定义的xml来将数据处理后导入多个集群中的相应hbase表中。
小强签名设计·2017-12-12 09:05

从Kudu中导出、导入数据

kudu导出数据或者导入数据：这是一个sparkApplication，根据代码中的用法：可以选择导入或者导出数据可以选择文件格式（csv，avro）可以选择表名可以选择输出路径可以选择kudu的master
姥爷家的小胡同·2017-12-10 18:29

简单的Android路由框架NavRouter

NavRouter简介支持给activity绑定url，从而利用url唤起activity,并支持浏览器跳应用页面。
Leo_Zheng·2017-12-06 15:15

Flume和Kafka的整合完成实时数据采集

1.Flume和Kafka整合框架2.写FLUME的agent配置文件exec-memory-avro.confexec-memory-avro.sources=exec-sourceexec-memory-avro.sinks
BornZhu·2017-12-02 10:26

大数据框架资源下载列表CDH5.13.0

http://archive.cloudera.com/cdh5/cdh/5/avro-1.7.6-cdh5.13.0.tar.gzhttp://archive.cloudera.com/cdh5/cdh
Albert陈凯·2017-11-21 00:21

flume中几种常见的source、channel、sink

flume中几种source、channel、sink一、source1、avrosource侦听Avro端口并从外部Avro客户端流接收事件。
Kumquatlemon·2017-11-14 11:34

Pixhawk进阶开发

PixhawkPID参数整定地面站进行航迹规划任务设置mavrospx4.launch中fcu_url和gcs_url的设定//如果mavros连接虚拟飞控(gazebo)//如果mavros连接的是
一銤阳光·2017-11-04 12:14
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他