Avro

【RPC-Python】Protobuf二进制协议结构

参考：https://martin.kleppmann.com/2012/12/05/schema-evolution-in-avro-protocol-buffers-thrift.htmlProtobufProtobuf
allenxguo·2020-07-07 08:17

Ubuntu18.04安装PX4并与ROS联合实验

手动配置1.先安装MAVROS1.1(a)二进制版本官网1.1(b)源码编译（我后来用源码编译并不麻烦，推荐如下）安装编译工具：sudoapt-getinstallpython-catkin-toolspyt
boyhoodme·2020-07-07 04:18

RocketMQ使用Avro序列化生产者消费者java示例

使用avro序列化生产者示例:importjava.io.ByteArrayOutputStream;importjava.io.IOException;importorg.apache.avro.Schema
sunyang098·2020-07-07 02:02

ROS_yolo_PX4初尝试

跟风尝试下最近火热的Yolo，实现方法参考ROS下基于YOLO的px4无人机目标检测PX4+mavros为常规配置，只需要添加对应的gazebo插件在PX4固件中找到Firmware/launch/mavros_posix_sitl.launch
Chasing中的小强·2020-07-06 17:58

ROS下基于YOLO的px4无人机目标检测+对应的各种问题解决办法（亲测有效，避免入坑）

ROS下基于YOLO的px4无人机目标检测一、搭建无人机仿真环境1.安装依赖2、ROS安装（已安装就忽略）3.Gazebo安装（已安装就忽略）4.MAVROS安装5.PX4配置编译makeposix_sitl_defaultgazebo
w²大大·2020-07-06 15:50

Mavros控制无人机

通过Mavros控制无人机仿真1新建ROSpackage在开始之前我们新建一个工作空间作为测试首先需要创建一个catkin工作空间$mkdir-p~/catkin_test/src$cd~/catkin_test
DoveCC·2020-07-06 10:49

Hadoop解决两个问题

Hadoop解决两个问题海量数据的存储--HDFS海量数据的分析--MapReduceHadoop=TheHadoopprojects和Hadoop相关的一些项目Common,Avro,MapReduce
wuyanlinwangli·2020-07-06 08:02

【解决问题】wget https：xx报错Connecting to raw.githubusercontent.com ……failed: Connection refused.

wgethttps://raw.githubusercontent.com/mavlink/mavros/master/mavros/scripts/install_geographiclib_datasets.sh
君琴·2020-07-06 05:51

扩展Spark Catalyst，打造自定义的Spark SQL引擎

Spark中最常见的扩展就是基于DataSourceAPI添加对新数据源的支持，除了Spark内置的HDFS，S3，Kafka等数据源，Parquet，Orc，Avro等数据类型，还有很多第三方的DataSourcePlu
weixin_33744854·2020-07-05 22:16

hdfs文件格式比较

SequenceFile,MapFile,AvroDatafile。
scottzcw·2020-07-05 18:36

TX1上安装mavros时，出现UAS:GeographicLib exception: File not readable...错误

1、安装cp210x驱动可以参考http://blog.csdn.net/abc869788668/article/details/782965092、安装mavros可以参考http://www.ncnynl.com
李德胜的学习记录·2020-07-05 12:48

SpringBoot整合MongoDB

jmp=navRobo3T下载地址：https://rob
intomylife·2020-07-05 08:13

Hadoop家族学习路线图

hadoop-family-roadmap/Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout,Zookeeper,Avro
qq361301276·2020-07-05 02:49

PIXHAWK无人机mavros与SLAM技术实用课程培训--北京站（2018年3月31日~4月2日）

众所周知PX4无人机构架下mavros与offboard模式，就是给这种实时路径规划预留的接口，而如何去用？阿木实验室对于无人机的视觉SLAM，路径规划，实时避障一直保有关注。过去的一年我们和各大高
阿木实验室·2020-07-05 00:48

轻量级rpc框架Hessian

远程服务调用在分布式项目架构中扮演着不可或缺的角色，近几年的运用也越来越广泛，主要目的旨在做到高可用的开发，RPC的相关框架有很多，比如阿里的Bubbo、HFS、脸书的Thrift、谷歌的grcp、推特儿的finagle、新浪的Montan以及avro
先生_吕·2020-07-04 20:35

Hadoop实战(全面讲解Hadoop以及Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等相关技术)...

Hadoop实战(全面讲解Hadoop以及Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等相关技术)基本信息作者：陆嘉恒[作译者介绍]出版社：机械工业出版社ISBN
iteye_11539·2020-07-04 18:04

树莓派4b 安装buster系统 安装ROS与MAVROS 连接pixhawk飞控

手把手教程无屏幕的树莓派4b安装Rapbianbuster系统安装ROS与MAVROS连接pixhawk飞控（1）准备：树莓派4b*132G内存卡*1树莓派官方raspbianbuster（pi4目前只支持此版本
NaiveWizard·2020-07-04 07:23

初识Avro

  Avro是Hadoop生态圈的一部分，由Hadoop的创始人DougCutting牵头开发，当前最新版本1.8.2。Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。
山阴少年·2020-07-04 05:54

大数据学习路线（完整详细版）

大数据学习路线大数据开发一共几个流程，大概概括起来有：收集、清洗、数仓（建模）、OLAP、可视化这里边：收集一般的技术是：Kafka、Flume、高性能HTTP开发（可能）、Avro协议（可能）、Thrift
✾ ͡冷೨夏ʚɞ͜✿·2020-07-04 01:19

【运维干货】带宽压缩之Flume Avro方案实践

这期文章，Mr.Tech邀请了在性能优化方面有着丰富经验的个推高级运维工程师白子画，为大家分享宽带优化之FlumeAvro在个推的实践。
个推·2020-07-02 20:55

AVRO格式学习总结

1.介绍Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。
-九天-·2020-07-02 17:54

Apache Avro使用入门指南

http://www.iteblog.com/archives/1008Avro有C,C++,C#,Java,PHP,Python,andRuby等语言的实现，本文只简单介绍如何在Java中使用Avro
me_lawrence·2020-07-02 13:11

Spark SQL和DataFrame的学习总结

spark通过DataFrame操作大量的数据源，包括外部文件（如json、avro、parquet、sequencefile等等）、hi
光脚丫丫·2020-07-02 13:29

面试官：Netty这些我必问

最流行的NIO框架，由JBOSS提供的，整合了FTP,SMTP,HTTP协议API简单成熟稳定社区活跃·经过大规模验证（互联网、大数据、网络游戏、电信通信）Elasticsearch、Hadoop子项目avro
mousy_coder·2020-07-02 12:43

序列化框架之AVRO

目录概述序列化RPC概述1.AVRO是Apache提供的开源框架，可以完成序列化以及RPC过程2.原来是ApacheHadoop项目的子项目，后来不止可以用于Hadoop，也可以用于其他框架中进行序列化以及
静静七分醉·2020-07-02 11:11

Hive之——Avro Hive SerDe

转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88623683使用表属性信息定义AvroSchema如下语句通过制定AvroSerDe
冰 河·2020-07-02 07:48

RPC_AVRO范例

1.下载与安装官方网站：http://avro.apache.org/下载地址：http://labs.renren.com/apache-mirror//avro/avro-1.5.1/avro-src
jackyhungvip·2020-07-02 05:59

Avro总结(RPC/序列化)

[size=medium]Avro（读音类似于[ævrə]）是Hadoop的一个子项目，由Hadoop的创始人DougCutting（也是Lucene，Nutch等项目的创始人，膜拜）牵头开发，当前最新版本
iteye_9550·2020-07-02 04:30

hadoop_AVRO数据序列化系统_简介

声明（）内容为个人理解，[]内容为注解（1）Avro是一个独立于编程语言的数据序列化系统[基于IDL]，目的在于解决hadoop中的语言移植性问题；Avro数据是用语言无关的模式定义的。
iteye_14580·2020-07-02 04:35

用Hadoop AVRO进行大量小文件的处理（转）

使用使用使用使用HDFS保存大量小文件的缺点：1.HadoopNameNode在内存中保存所有文件的“元信息”数据。据统计，每一个文件需要消耗NameNode600字节内存。如果需要保存大量的小文件会对NameNode造成极大的压力。2.如果采用HadoopMapReduce进行小文件的处理，那么Mapper的个数就会跟小文件的个数成线性相关（备注：FileInputFormat默认只对大于HDF
dawujiong2967·2020-07-01 21:32

spark使用scala读取Avro数据（转）

这是一篇翻译，原文来自：HowtoloadsomeAvrodataintoSpark。首先，为什么使用Avro？最基本的格式是CSV，其廉价并且不需要顶一个一个schema和数据关联。
dawujiong2967·2020-07-01 21:32

hive 中使用avro

参考链接：http://my.oschina.net/weiqingbin/blog/194411创建hive表时对avro使用snappy压缩：点击(此处)折叠或打开hive>sethive.exec.compress.output
csdn19011·2020-07-01 21:28

轻量级开源RPC框架——avro-rpc性能测试

1：介绍avro-rpc是一个支持多序列化方式的RPC框架，目前支持Avro，ProtocolBuffers，Json，Hessian，Java序列化方式。
THF334453719·2020-07-01 13:05

MAVROS 源码分析

一、安装MAVROS利用机载计算机对PX4飞控进行OFFBOARD控制，需要在机载计算机上安装ROS的MAVROS包。
SIR_wkp·2020-07-01 13:14

hive表存储为avro格式

Hive0.14andlaterversionsCREATETABLEkst(string1string,string2string,int1int,boolean1boolean,long1bigint,float1float,double1double,inner_record1struct,enum1string,array1array,map1map,union1uniontype,fix
AlferWei·2020-07-01 12:22

Avro技术应用_3. 利用 Hive 表处理 Avro 数据

本文参考于：http://www.iteblog.com/archives/1007&Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。
Mike_H·2020-07-01 11:26

在ETL中使用avro

摘要简介部分ETL过程中使用avro格式的优越性此文章主要记录ETL过程使用avro格式存储数据时的注意事项简介出于方便性考虑,数据仓库ods层的存储格式往往是texttext是易于人类阅读的,当然易于以字符串的形式批量处理数据
IAmListening·2020-07-01 10:01

大数据架构变迁

另外就是Avro或者Protobuf二进
clive0x·2020-07-01 04:13

RPC框架系列——Avro

http://blog.csdn.net/neutrojan/article/details/9816159RPC框架系列——AvroPostedon2011/09/09byJeoyginin网络,计算机技术浏览次数
me_lawrence·2020-07-01 03:17

在Hive中使用Avro

http://www.iteblog.com/archives/1007为了解析Avro格式的数据，我们可以在Hive建表的时候用下面语句：01hive>CREATEEXTERNALTABLEtweets02
me_lawrence·2020-07-01 03:17

用Hadoop AVRO进行大量小文件的处理

http://blog.csdn.net/zuochanxiaoheshang/article/details/9123273使用使用使用使用HDFS保存大量小文件的缺点：1.HadoopNameNode在内存中保存所有文件的“元信息”数据。据统计，每一个文件需要消耗NameNode600字节内存。如果需要保存大量的小文件会对NameNode造成极大的压力。2.如果采用HadoopMapReduc
me_lawrence·2020-07-01 03:17

Source、Channel、Sink的类型

FlumeSourceSource类型|说明AvroSource|支持Avro协议（实际上是AvroRPC），内置支持ThriftSource|支持Thrift协议，内置支持ExecSource|基于Unix
浮萍人生丶·2020-06-30 17:12

Flume 1.9.0开发者指南

概述架构数据流模型可靠性构建Flume获取Source编译/测试的Sink更新协议缓冲区版本开发自定义组件ClientClientSDKRPC客户端接口RPC客户端-Avro和Thrift安全RPC客户端
张伯毅·2020-06-30 14:32

flume日志写入hbase问题记录

flume日志写入hbase问题记录标签（空格分隔）：flumeflume使用kafkachannel，source为avro，应用通过logback写入logback-flume-appender数据发送
zh350229319·2020-06-30 13:40

Impala高性能探秘之HDFS数据访问

对于HDFS上的数据，Impala支持多种文件格式，目前可以访问Parquet、TEXT、avro、sequencefile等。
教练_我要踢球·2020-06-30 09:22

[px4仿真]单独启动编译和Gazebo仿真器

中文教程和英文教程都有错误，应该如下cdsrc/Firmwaremakeposix_sitl_defaultsource~/catkin_ws/devel/setup.bash//(只有mavros是用源码编译的才需要
明年暑假升初中·2020-06-30 08:20

flume常用属性的说明

agentagent的名称：a2agent的source、channel、sink的名称a2.sources=s20s21a2.channels=c20c21a2.sinks=k20k21sourceavrosource
bryyj·2020-06-30 07:54

Flume

3.1source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spoolingdirectory
我叫阿狸猫·2020-06-30 04:05

[大数据]flume日志收集

涉及到的知识点：flume，execsource，filechannel，avrosink，cumtomsink开发一、引言首先，为什么使用flume肯定不需要再说明了，成熟的技术框架，各大公司都采用的技术解决方案
binsfan·2020-06-30 03:07

flume自定义 file sink 以本地时间，event数据为目录

www.cnblogs.com/sunyaxue/p/6645753.html数据收集为file时，不能以本地时间和数据内容分类接入文件，参考别人的文章实现代码：packageflume;importorg.apache.avro.util.Utf8
一天两晒网·2020-06-30 00:32
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他