Avro

Hadoop 2.X 从入门到精通系列视频课程套餐

套餐地址：http://edu.51cto.com/pack/view/id-806.html赵强老师博客地址：http://collen7788.blog.51cto.com/Avro是一个通用的序列化数据结构形式
collen7788·2016-08-07 13:28

java.util.ConcurrentModificationException异常分析

异常日志2016-07-2015:02:41,278(NewI/Oworker#197)[ERROR-org.apache.flume.source.AvroSource.appendBatch(AvroSource.java
Lnho2015·2016-07-26 13:00

flume练手

一、牛刀小试（一）1、/home/ut/hadoop/apache-flume-1.6.0-bin/conf下创建vimavro.confa1.sources=r1a1.sinks=k1a1.channels
huangdsky·2016-07-25 14:38

Hadoop家族学习路线图

[+]主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括，YARN
_Mr_Computer_·2016-07-13 17:23

Hadoop家族系列文章

发现一个学习Hadoop的文章...学习Hadoop的同学可以看看...主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro
happyduoduo1·2016-07-02 10:00

[置顶] 最全的“大数据”学习资源（二）

服务编程  AkkaToolkit：JVM中分布性、容错事件驱动应用程序的运行时间；  ApacheAvro：数据序列化系统；  ApacheCurator：ApacheZooKeeper的Java库；
happyduoduo1·2016-07-01 16:00

Hadoop周刊—第 175 期

所以在技术新闻部分，有关于HadoopKerberos认证的内容另外还有Salsify应用Avro的文章。在产品发布部分，包括Yandex新近开源的列式数据库在内的多个项目均有新版本发布。 
成都心情·2016-07-01 15:00

大数据技术总结

RDL结构化和非结构化数据传输组件ChukwaAvroMinos
yfx000·2016-06-22 22:15

大数据技术词汇表

Avro：一个在Hadoop上的数据序列化系统，设计用于支持大批量数据交换应用。 贝叶斯分析方法（B
youzhouliu·2016-06-20 12:00

Parquet 之mapreduce

在mapreduce中使用Parquet，根据不同的序列化方式，有不同的选择，下面以Avro为例：使用AvroParquetInputFormat和AvroParquetOutputFormat@Overridepublicintrun
乄浅醉·2016-06-16 16:09

Parquet

诸如JSON、XML、Avro这种rowstorage数据序列化存储格式也是基于行存储的。而列存储的设计，数据存储首先按列存储，然后按行存储。
乄浅醉·2016-06-08 15:49

Hadoop 之 Avro

从结构上看，Avro和SequenceFile的很相似。schema被序列成Header的一部分，可以是反序列化变的简单。每个block都包含一系列Avro记录，默认情况下，大小为16KB。
乄浅醉·2016-06-07 19:57

ffmpeg 中av_rescale_rnd 的含义

一、函数声明:int64_tav_rescale_rnd(int64_ta, int64_tb, int64_tc, enumAVRounding rnd);直接看代码,它的作用是计算"a*b/c"的值并分五种方式来取整
u013354805·2016-05-31 15:00

goldengate for big data 12.2.0.1.1新增功能

新格式支持：包括AvroOCF和HDFS顺序文件，OGG现在支持将数据写入Avro对象容器(Objectcontainerformat)和HDFS顺序文件支持Hadoop平台元数据或DDL更新：OGG现在支持
margiex·2016-05-25 16:00

maven构建CDH开发环境

默认目录hadoop：/opt/cloudera/parcels/CDH/libCDH文件是指向${CDH.Version}的一个链接lib下可用的包包含如下：avrohado
trucyluce·2016-05-12 12:00

Spark SQL和DataFrame的学习总结

spark通过DataFrame操作大量的数据源，包括外部文件（如json、avro、parquet、sequencefile等等）、hi
myy1012010626·2016-05-10 19:00

flume的source, channel, sink 列表

FlumeSourceSource类型说明AvroSource支持Avro协议（实际上是AvroRPC），内置支持ThriftSource支持Thrift协议，内置支持ExecSource基于Unix的
lifuxiangcaohui·2016-05-09 17:00

欢迎使用CSDN-markdown编辑器

使用Docker容器模拟分布式flume使用Docker模拟分布式flume，agent1通过avro接口连接agent2和agent3，agent2和agent3采用负荷分担方式。
u013942461·2016-05-09 17:00

Avro文件结构及部分重要API

Avro文件结构先上图：datafile(Avro标准序列生成二进制的文件）结构就如该图所示分为两块：文件头四个字节’O’,‘b’,‘j’开始，后面紧接着1，一般称这四个字节为魔术字符(magic)紧接着文件头的是
blackcatdyx·2016-05-06 09:00

flume到kafka和hbase配置

#Flumetestfile#ListensviaAvroRPConport41414anddumpsdatareceivedtothelogagent.channels=ch-1agent.sources
super-d2·2016-05-05 17:00

Spark-Avro学习9之SCALA环境下Avro使用（不生成code方式）

1.与上篇类似，只是代码改下：packageorg.apache.spark.avro.learning importjava.io.File importjava.text.SimpleDateFormat
bob601450868·2016-05-02 15:00

Spark-Avro学习8之Java Avro使用（不生成code方式）

1.解释  Avro与thrift,protocolbuffer区别之一是:Dynamictyping:不必需生成代码(生成代码只是优化选项)2.代码：/** *@authorxubo *time20160502
bob601450868·2016-05-02 15:00

Spark-Avro学习7之Java Avro使用（生成code方式）

1.下载jar包：http://mirrors.hust.edu.cn/apache/avro/stable/java/2.建立Schema：在project的src下{ "namespace":"example.avro
bob601450868·2016-05-02 12:00

Spark-Avro学习6之Ubuntu下安装

1.下载：gitclonehttps://github.com/databricks/spark-avro.git 2.安装：.
bob601450868·2016-05-02 11:00

Spark-Avro学习5之使用AvroReadSpecifyName存储AVRO文件时指定name和namespace

更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.制定avro存储时的name和namespace2.代码：/** *@authorxubo
bob601450868·2016-05-02 11:00

Spark-Avro学习4之使用AvroWritePartitioned存储AVRO文件时进行划分

更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.主要是partition存储avro文件2.代码：/** *@authorxubo
bob601450868·2016-05-02 11:00

Spark-Avro学习3之使用AvroCompression存储AVRO文件

更多Spark学习examples代码请见：https://github.com/xubo245/SparkLearning1.说明：使用不同的压缩level对avro数据进行压缩2.代码：/** *@
bob601450868·2016-05-02 11:00

Spark-Avro学习2之使用byDatabricksSparkAvroL读取AVRO文件

github.com/xubo245/SparkLearning1.代码：/** *@authorxubo *@time20160502 *refhttps://github.com/databricks/spark-avro
bob601450868·2016-05-02 11:00

Spark-Avro学习1之使用SparkSQL读取AVRO文件

https://github.com/xubo245/SparkLearning1.安装：https://repo.maven.apache.org/maven2/com/databricks/spark-avro
bob601450868·2016-05-02 10:00

Adam学习16之SAM/BAM在Adam中的初始存储格式AlignmentRecord

1.SAM/BAM和Fastq一样的Avro，不详细就写了2，数据：{"readNum":0,"contig":{"contigName":"chrUn_KN707606v1_decoy","contigLength
bob601450868·2016-05-01 02:00

Adam学习14之Fasta在Adam中的初始存储格式NucleotideContigFragment

更多Adam学习代码等资料请见：https://github.com/xubo245/AdamLearning1.Fasta格式在Adam里面的Avro模式是NucleotideContigFragment
bob601450868·2016-05-01 01:00

Avro 详解

最近在做Spark的大数据处理，底层文件系统用的HDFS，总所周知HDFS对小文件的支持不太好，刚好看到Avro，但是网上的相关资料都比较少，而且大多都是简单的介绍了下简单数据类型的使用方法，例如：对象中采用组合的方式有另一个对象
blackcatdyx·2016-04-30 12:00

Hadoop2.6.0中YARN底层状态机实现分析

前言Hadoop2.x.x版本的底层实现中作了很多优化：用状态机对各种对象生命周期和状态转移进行管理；采用事件机制避免线程同步与阻塞；采用ProtocolBuffers优化RPC性能；采用ApacheAvro
beliefer·2016-04-29 08:00

GRPC原理解析

GRPC与thrift、avro-rpc等其实在总体原理上并没有太大的区别，简而言之GRPC并没有太多突破性的创新。
iteye_19607·2016-04-27 18:40

GRPC原理解析

GRPC与thrift、avro-rpc等其实在总体原理上并没有太大的区别，简而言之GRPC并没有太多突破性的创新。
QING____·2016-04-27 18:00

GRPC原理解析

GRPC与thrift、avro-rpc等其实在总体原理上并没有太大的区别，简而言之GRPC并没有太多突破性的创新。
QING____·2016-04-27 18:00

PX4 Offboard Control Using MAVROS on ROS

原文：https://404warehouse.net/2015/12/20/autopilot-offboard-control-using-mavros-package-on-ros/OverviewRecentlyopensourceautopilotshavebecomereliablebyvariousfailsafefunctionsintegratedbytheopensourcec
OLillian·2016-04-27 08:00

第87课：Flume推送数据到SparkStreaming案例实战和内幕源码解密

一、Flume推送数据给SparkStreaming,流程图如下：如上图所示，Flumesink会根据配置的host与port将事件(以AVRO的方式)发送到spark程序，由spark程序完成处理。
18610086859·2016-04-25 22:46

Avro RPC 对比测试

阅读更多J2EE平台常采用多层分布式的架构体系。分布式服务节点之间需要通讯和交互（业务节点和资源节点之间），服务端和客户端需要交互（终端客户端需要调用服务端的远程服务，客户端有C实现的，也有Java等其他语言实现的）。因此基础平台需要提供一个稳定、高效的、可伸缩的RPC服务性组件。RPC服务组件的要求：1.稳定，高性能；作为一个基础性的骨架组件，高可用性和高性能是必备的；传输层希望是面向连接的TC
aoyouzi·2016-04-19 19:00

Avro RPC 对比测试

阅读更多J2EE平台常采用多层分布式的架构体系。分布式服务节点之间需要通讯和交互（业务节点和资源节点之间），服务端和客户端需要交互（终端客户端需要调用服务端的远程服务，客户端有C实现的，也有Java等其他语言实现的）。因此基础平台需要提供一个稳定、高效的、可伸缩的RPC服务性组件。RPC服务组件的要求：1.稳定，高性能；作为一个基础性的骨架组件，高可用性和高性能是必备的；传输层希望是面向连接的TC
aoyouzi·2016-04-19 19:00

RPC框架之Apache Avro 简介

Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。
hebeind100·2016-04-19 19:55

RPC框架之Apache Avro 简介

阅读更多Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。
aoyouzi·2016-04-19 19:00

RPC框架之Apache Avro 简介

阅读更多Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。
aoyouzi·2016-04-19 19:00

Hadoop学习之路（一）——Hadoop家族学习路线图

主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括，YARN,Hcatalog
_Mr_Computer_·2016-04-19 15:11

Avro RPC 对比测试

J2EE平台常采用多层分布式的架构体系。分布式服务节点之间需要通讯和交互（业务节点和资源节点之间），服务端和客户端需要交互（终端客户端需要调用服务端的远程服务，客户端有C实现的，也有Java等其他语言实现的）。因此基础平台需要提供一个稳定、高效的、可伸缩的RPC服务性组件。RPC服务组件的要求：1.稳定，高性能；作为一个基础性的骨架组件，高可用性和高性能是必备的；传输层希望是面向连接的TCP通信。
aoyouzi·2016-04-19 11:00

基于Zookeeper的分步式队列系统集成案例

Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro,Ambari,Chukwa，新增加的项目包括
nysyxxg·2016-04-17 09:00

hadoop

Avro1、数据序列化工具，由于hadoop的创始人DougCutting主持开发2、用于支持大批量数据交换的应用。支持二进制序列化方式，可以便捷，快速地处理大量数据3、动态语言友好。
厦小岗·2016-04-13 21:05

source示例

1、配置文件case2_avro.conf#配置内容#namethecomponentonthisagenta1.sources=r1a1.channels=c1a1.sinks=k1#describe
wang_ying_198·2016-04-13 15:00

source介绍及动手实践

flume内置了大量的source，其中avrosource、thriftsource、spoolingdirectorysource、kafkasource具有较好的性能和较广泛的使用场景。
wang_ying_198·2016-04-13 15:00

从Solr卡顿到G1垃圾回收

随着公司商品数据规模不断的扩大，针对Solr的二次开发难度也在不断的增大，在过去的几年时间内，我把大量的数据放在索引构建上，从之前的DB模式24小时都无法完成全量的构建，到现在使用hive+avro+m
github_26340097·2016-04-11 11:10
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他