SINK 第31页

Flink入门及实战（8）- DataStream 的 sink

1DataStream的sink1.1向redis写数据org.apache.bahirflink-connector-redis_2.111.0启动redispackagecom.tzb.demo.streaming.sink

一角残叶·2020-09-10 23:23

最简单的基于FFmpeg的AVfilter的例子-修正版

1.调用avfilter_get_by_name("ffbuffersink")时在新版本的ffmpeg要修改为avfilter_get_by_name("buffersink");否则返回指针为空，调用

phymat.nico·2020-09-10 23:29

60-150-046-使用-Sink-Flink落HDFS数据按事件时间分区解决方案

0x1摘要Hive离线数仓中为了查询分析方便，几乎所有表都会划分分区，最为常见的是按天分区，Flink通过以下配置把数据写入HDFS，BucketingSinksink=newBucketingSink

九师兄·2020-09-10 23:02

Flume NG

Mongodbsinkimportjava.io.IOException;importjava.net.UnknownHostException;importjava.util.ArrayList;importjava.util.Date

iteye_1344·2020-09-10 22:10

avfilter_graph_create_filter初始化buffersrc失败

使用FFmpeg的avfilter时，流程如下：1.使用avfilter_get_by_name创建AVFilter的实例，返回指针2.构建buffersrc和buffersink，作为graph的输入输出端口

EthanXZhang·2020-09-10 22:51

Apache Flink——DataStream的DataSource以及DataSink（章节二）

DataStream的DataSource以及DataSinkDataSourceDataSource是flink数据的来源，用户可以通过env,addSource(SourceFunction)将SourceFunction

若不撇开终是苦;·2020-09-10 22:37

直播间源码在开发中如何在视频通话中加入美颜处理

本地视图显示，不做具体要求，可用户自己实现；也可使用MediaIO中的IVideoSink接口来自定义渲染器，通过setLocalVideoRenderer来显示。一、自采集接口1、MediaIO接口

云豹科技官方·2020-09-10 21:30

FlutterDojo设计之道—状态管理之路（三）

数据的管理，围绕Stream进行，通过Stream的sink和listen，来进行数据的管理Widget发出Stream后，无需感知外界

eclipse_xu·2020-09-10 21:21

大数据离线（五）

内部有三个组件：Source：采集源，用于跟数据源对接以获取数据Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据Channel：

weixin_30657999·2020-09-10 19:39

实战1：从指定网络端口采集数据传输到控制台已完毕

#example.conf:Asingle-nodeFlumeconfiguration使用flume的关境就是写配置文件A)配置sourceB)配置channelC)配置sinkD)把以上3个组件串起来

洪武·2020-09-10 18:50

kmalloc和vmalloc区别

kmallocallocatesphysicallycontiguousmemory,memorywhichpagesarelaidconsecutivelyinphysicalRAM.vmallocallocatesmemorywhichiscontiguousinkernelvirtualmemoryspace

phenias·2020-09-10 15:02

rust异步编程:futures-rs之futures-util

文章目录概述FutureExtTryFutureExtStreamExtTryStreamExtSinkExtAsyncReadExtAsyncWriteExtAsyncSeekExtAsyncBufReadExt

kk3909·2020-09-10 14:56

rust异步编程:futures-rs之futures-sink

文章目录概述Sink概述futures-sink这个类库比较简单，只包含一个Sinktrait,包含的发送方有ChannelsSocketsPipes除了此类“原始”sink之外，通常还可以在现有sink

kk3909·2020-09-10 14:56

Flume与Kafka对接

虽然flume中的channelselector中的副本策略也可以给多个sink传输数据，但是每个channelselector都是很消耗资源的。其次，kaf

billows9297·2020-09-08 11:47

Storm，Spark，Flink对比

spark可以保证计算过程的exactlyonce（不包含sink的exactlyonce）。

myf008·2020-08-29 16:32

Flume中自定义Source和自定义Sink

自定义SourceSource是负责接收数据到FlumeAgent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spoolingdirectory、netcat、sequencegenerator、syslog、http、legacy。官方提供的source类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求

苏世不醒·2020-08-28 21:25

Flume自定义Sink实现将数据写入到MySQL表中

目录需求说明代码开发步骤第一步：创建mysql数据库表第二步：定义mysqlSink类第三步：代码打包上传第四步：开发flume的配置文件第五步：启动flume第六步：创建文件验证数据进入mysql需求说明官方提供的

都市狼人·2020-08-27 17:20

黑猴子的家：Flume 角色

2、Channel用于桥接Sources和Sinks，类似于一个队列。3、Sink从Channel收集数据，将数据写到目标源(可以是下一个Source，也可以是HDFS或者HBase)。

黑猴子的家·2020-08-26 23:03

Log4j、Flume、kafka和spark streaming时时日志处理

本次实战flume是1.7版本，kafka是0.10，sparkstreaming是2.2.0版本第一步：flume=》kafka，首先配置flume的source为avro，然后sink为kafka方式

南山小和尚·2020-08-26 14:44

Flume参数配置详解

Flume参数配置详解一、agent#sources、channels、sinks名称定义agent_1.sources=weixin_source_from_kafkaagent_1.channels

英雄rock·2020-08-26 09:29

好吗不好

图片|sinking&SheliaLiu作品【好吗？】生活其实是有节奏的，或许我们说不清楚，但总能真真切切地感受到。

海底深处有条鱼·2020-08-25 17:16

Gstreamer 命令行

\videomixername=mixsink_0::alpha

huajingze·2020-08-25 11:43

linux gst-launch-1.0测试音视频

osssinkgst-launch-1.0产生颜色

Vernon2csdn·2020-08-25 11:39

gstreamer将H264码流转为avi视频文件示例

总体思想是，“视频合成主线程”根据视频数据通道创建gstreamer视频合成pipeline线程，然后剩余的视频合成以及文件存储操作均由pipeline的appsrc与appsink的回调函数出现。

luke-skyworker·2020-08-25 11:28

三个生产环境中使用Docker的案例

在2017年1月17日的Helsinki的首届Docker线下见面会中，Solita、Zalando和Pipedrive公司分别介绍了Docker在生产环境中的实践，包括案例及相应的输入输出。

天府云创·2020-08-25 06:22

Reverse Nodes in k-Group

[LeetCode]025.ReverseNodesink-Group(Hard)(C++/Java)，有需要的朋友可以参考下。

weixin_33834628·2020-08-25 05:34

OKio解析

OKio使用Okio.sink(newFile("***"));Okio.sink(newFileOutputStream(newFile("***")));Okio.sink(newSocket("*

黄大大吃不胖·2020-08-25 04:11

SpringCloudStream事件驱动2步骤-RabbitMQ

SpringCloudStream事件驱动2步骤注解/接口了解一、java实现（任何一种即可）1、默认实现2、自定义实现二、配置输出流/输入流绑定注解/接口了解SpringCloudStream内置了三个Source、Sink

菜鸟编程98K·2020-08-25 04:44

Java nio完成网络通信（三）

菜鸟笔记·2020-08-25 01:41

Flume Sink Processor

SinkGroup允许组织多个sink到一个实体上。SinkProcessors能够提供在组内所有sink之间实现负载均衡的能力。而且在失败的情况下能够进行故障转移。

happy19870612·2020-08-24 18:04

Flume：3.输出模式处理器【sink-processor】

Flume配置的三个“器”：1.消息源拦截器【source-Interceptor】2.通道选择器【source-selector】3.输出模式处理器【sink-processor】（本文）#agent1nameagent1

zeng255938·2020-08-24 18:25

用flume-ng-sql-source 从mysql 抽取数据到kafka被storm消费

github.com/keedio/flume-ng-sql-source.git安装说明文档编译和拷贝jar包2.编写flume-ng配置文件1.channels=ch-1a1.sources=src-1a1.sinks

wildservival·2020-08-24 18:19

解决Flume采集数据时在HDFS上产生大量小文件的问题

问题：flume指定HDFS类型的Sink时，采集数据至HDFS指定目录，会产生大量小文件。

bw_233·2020-08-24 18:18

Flume的数据收集,监控目录,监控某个文件的最新目录,两个agent级联,故障转移,负载均衡,过滤器案例

flume安装包下创建一个临时文件tmpconfmkdirtmpconf创建文件,并在文件中添加数据vimtmpconf/a1.conf数据a1.sources=r1a1.channels=c1a1.sinks

尹少博客·2020-08-24 17:51

10. Flume对接Kafka

kafka1.1kafka.conf☆1.2启动flume2.启动kafka消费者并测试2.1测试☆Flume对接Kafka1.配置和启动kafka1.1kafka.conf☆#definea1.sources=r1a1.sinks

喵先生呢·2020-08-24 17:45

Flume之企业开发案例-复制和多路复用

编辑配置文件创建flume-file-flume.conf#Namethecomponentsonthisagenta1.sources=r1a1.sink

郑永乐·2020-08-24 17:44

Flume 入门之架构

3SinkSink不断地轮询Channel中的事件且批量地移

郑永乐·2020-08-24 17:44

flume拓扑结构之故障转移和负载均衡

关于故障转移：Sinkgroups允许组织多个sink到一个实体上。

mo10·2020-08-24 17:57

Flume容错机制 : Sink Processor

SinkProcessors是作用在sink组件上的容错机制。

懒的执行力度无敌·2020-08-24 17:00

flume 中的 hdfs sink round 和roll

http://blog.csdn.net/kntao/article/details/49278239http://flume.apache.org/FlumeUserGuide.html#exec-source默认的是是SequenceFile所以数据存在hdfs上通过命令查看的时候会是乱码,如果此时需要修改filetype和writeFormat来修改hdfs.fileTypeSequence

weixin_34274029·2020-08-24 17:46

flume源码学习7-SinkProcessor相关类

org.apache.flume.SinkProcessor扩展了LifecycleAware,Configurable接口的接口类，操作多个sink的抽象层（类似于proxy），用来分配给SinkRunner

weixin_34270606·2020-08-24 17:45

Flume负载均衡配置

agent.sources=s1agent.channels=c1agent.sinks=k1k2ag

weixin_33854644·2020-08-24 17:58

Processor 介绍

1.概述SinkGroup允许用户将多个Sink组合成一个实体。FlumeSinkProcessor可以通过切换组内Sink用来实现负载均衡的效果，或在一个Sink故障时切换到另一个Sink。

weixin_33797791·2020-08-24 17:21

Flume Source 实例

跟前面的agent的AvroSink可以组成多层拓扑结构。

weixin_30896511·2020-08-24 17:31

Flume监听文件目录sink至hdfs配置

，Flume架构分为三个部分源-Source，接收器-Sink，通道-Channel。二：配置文件此配置文件source为一个目录，注意，该目录下的文件应为只读，不可写，且文件名不能相同，采用的ch

weixin_30677475·2020-08-24 17:15

[Flume]Flueme原理学习笔记

AgentAgent是一个JVM进程，以事件的形式将数据从源头送至目的地,是Flume传输的基本单位Source负责接收数据到flumeagent的组件ChannelChannel是位于Source和Sink

猛男落泪为offer·2020-08-24 17:12

Flume HDFS Sink配置详解

NameDefaultDescriptionchannel–type–组件的名称，必须为：HDFShdfs.path–HDFS目录路径，例如：hdfs://namenode/flume/webdata/hdfs.filePrefixFlumeDataHDFS目录中，由Flume创建的文件前缀。hdfs.fileSuffix–追加到文件的后缀，例如：.txthdfs.inUsePrefix–文件正在

weixin_30402085·2020-08-24 16:18

常用MFC宏

原来在使用ActiveX控件时会产生一个DECLARE_EVENTSINK_MAP()宏，在此宏之后定义的每一个成员如果不指定一个新的存取类型都会失去其原有的属

weixin_30267691·2020-08-24 16:36

flume各种配置

source1avro从网络收集数据#a2a2.sources=r2a2.sinks=k2a2.channels=c2a2.sources.r2.type=avroa2.sources.r2.bind=

宁君·2020-08-24 16:03

Flume (四) Sink Processors

FlumeSinkProcessors(FlumeSink处理器)接收组（Sinkgroups）允许用户将多个接收器分组到一个实体中。

DoNotStop·2020-08-24 16:09

推荐频道

SINK