SINK

The Fifth Talk in K

去年3月份我写了一篇文章，梳理了在K公司做的所有公开演讲，文章见右->->FourTalksinK.而10月份的最后的一个周五，我又完成了在K公司的thefifthtalk，如果纯粹计算上台次数的话，这绝对不是
7alan·2021-03-11 10:55

数据采集组件：Flume基础用法和Kafka集成

2、架构模型Agent包括三个核心组成，Source、Channel、Sink。So
·2021-03-09 22:47

Flink 状态一致性：端到端状态一致性的保证

文章目录状态一致性什么是状态一致性状态一致性种类端到端（end-to-end）状态一致性Sink端到端状态一致性的保证Flink+Kafka端到端状态一致性的保证状态一致性什么是状态一致性有状态的流处理
凌桓丶·2021-03-08 16:54

实战自定义Flink SQL Connector（w/ Flink 1.11 & Redis）

Connector是Flink与外部系统交互的载体，并分为负责读取的Source和负责写入的Sink两大类。
LittleMagic·2021-03-04 21:34

Flume的三要素（Source/Channel/Sink）、拦截器、选择器、Sink组

三要素（Source/Channel/Sink）Source：负责接收数据到flume的组件1.Netcat：基于TCP端口的数据源接收器#配置Agent中的三要素a1.sources=r1a1.sinks
大数据ZRL·2021-02-24 22:12

flume进阶（事务，原理，自定义，案例）

Flume事务FlumeAgent内部原理Flume拓扑结构1.简单串联2.副本和多路复用（多路复用要配合拦截器使用）3.负载均衡和故障转移Flume支持使用将多个sink逻辑上分到一个sink组，sink
每天都在努力的人·2021-02-23 20:23

四十、Flume自定义MySQLSource

上一篇文章我们通过自定义Source和Sink来实现了Flume的数据采集，本文我们再来看一个自定义MySQLSource的实例。
象在舞·2021-02-20 10:24

余老师带你学习大数据框架全栈第十二章Flume第七节简单案例之Flume进阶--Flume 事务

4.1Flume事务Flume是一个传输工具，在工作中要保证数据尽量不丢失，然而数据在传输过程中要经过source读数据——>再写给channel——>sink再从channel中取数据,在任一环节中都有可能会丢失数据
weixin_45810046·2021-02-08 15:09

YoMo v0.7.6 已经发布，边缘计算 Streaming Serverless 框架

此版本更新内容包括：关键升级YoMo-Zipper增加校验，添加至少一个YoMo-Flow或YoMo-Sink即可添加了更多的示例代码，展示如何与其他优秀的开源项目集成，如：FaunaDB、SSVM、EMQX
波浪蛋·2021-02-02 11:10

硬核！八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once（深入原理，建议收藏）

不了解的小伙伴可以看下我之前的文章：Flink可靠性的基石-checkpoint机制详细解析Sink端：将处理完的数据发送到下一阶段时，需要
·2021-02-01 21:32

硬核！八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once（深入原理，建议收藏）

不了解的小伙伴可以看下我之前的文章：Flink可靠性的基石-checkpoint机制详细解析Sink端：将处理完的数据发送到下一阶段时，需要
·2021-02-01 21:14

硬核！八张图搞懂 Flink 端到端精准一次处理语义 Exactly-once（深入原理，建议收藏）

不了解的小伙伴可以看下我之前的文章：Flink可靠性的基石-checkpoint机制详细解析Sink端：将处理完的数据发送到下一阶段时，需要
LLand520·2021-02-01 15:51

【Rust日报】2021-01-30 postage Rust 异步通道库，Rustc Dev Guide 中文翻译志愿者招募...

postage，Rust异步通道库postage-rs，一个Rust异步通道库，可以更轻松地在Rust异步中开发基于消息的应用，提供了丰富的通道集，以及具有combinators（组合子）的通道优化Sink
Rust语言中文社区·2021-01-31 22:14

网络流学习笔记

给定指定的一个有向图，其中有两个特殊的点源S(Sources)和汇T(Sinks)，每条边有指定的容量(Capacity)，求满足条件的从S到T的最大流(MaxFlow)。
zwj_dreamforest·2021-01-30 19:31

Flume的容错性测试和双层Flume架构

目录一.FailoverSinkProcessor测试二.双层的Flume架构三.单source多channel多sink一.FailoverSinkProcessor测试官网解释FailoverSinkProcessor
程研板·2021-01-25 23:10

堆排序算法实现（javascript语言）

Hengda//arr：待排序数组//nodeNo：二叉树中指定节点的序号/堆数组中的下标//heapLen：堆的长度//mode：true大的下沉，false小的下沉functionheapNodeSink
one312·2021-01-24 04:18

【源码解读】Flink-Kafka连接器自定义序列器和分区器

目录开篇导语序列化器分区器Flink中的Kafka序列化器源码解读自定义序列化器示例Flink中的Kafka分区器源码解读自定义分区器示例结束语开篇导语Flink将数据sink至Kafka的过程中，在初始化生产者对象
李奇峰1998·2021-01-19 23:30

Flume架构原理

面试）2.3.1故障转移2.3.2负载均衡2.3.3多层代理2.3.4多路复用3、Flume原理3.1主要组件及其作用3.2各组件作用如下3.2.1Source相关3.2.2Channel相关3.2.3Sink
xiaoxaoyu·2021-01-18 10:45

三十九、Flume自定义Source、Sink

这篇文章我们主要来看一下怎样通过自定义Source和Sink来实现Flume的数据采集。
象在舞·2021-01-18 10:48

hugging face的NMT翻译免费资源，源码/API/DEMO

在机器翻译任务上，huggingface包装了Helsinki大学关于多语言对的机器翻译NLP模型，以英文为中心，据称有1000+语言对。初步试玩，中英翻译表现不错。其它语言看不懂。
Thor9king·2021-01-15 11:12

三十八、几个Flume的使用案例

关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、实时抽取本地文件到HDFS二、实时抽取本地目录到HDFS三、Flume的扇入四、Flume的扇出4.1选择器4.2sink组一、实时抽取本地文件到
象在舞·2021-01-08 15:34

Flume对接Kafka详细过程

flume与kafka的关系及区别三、Flume对接Kafka（详细步骤）(1).Kafka作为source端1.配置flume2.启动flume3.启动Kafkaproducer(2).Kafka作为sink
不呐呐.·2021-01-04 15:53

Flume到底会不会丢失数据？

Source到Channel是事务性的，put事务Channel到Sink也是事务性的，take事务这两个环节都不可能丢失数据,传输失败后会回滚doRollback。
RayfunC·2021-01-01 16:17

三.Flume事务和内部原理

1.Flume事务Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到sink的事件传递。
leafgood·2020-12-31 03:59

三.Flume事务和内部原理

1.Flume事务Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到sink的事件传递。
leafgood·2020-12-31 03:59

二.Flume source

概述文档定义：ListensonAvroportandreceiveseventsfromexternalAvroclientstreams.Whenpairedwiththebuilt-inAvroSinkonanother
leafgood·2020-12-31 03:58

二.Flume source

概述文档定义：ListensonAvroportandreceiveseventsfromexternalAvroclientstreams.Whenpairedwiththebuilt-inAvroSinkonanother
leafgood·2020-12-31 03:28

PD诱骗芯片LDR6328,可用于type-C小家电，无线充等产品，诱骗出最大100W功率支持多协议。

LDR6328USBPDSink（PD受电端芯片，也叫PD诱骗芯片）芯片LDR6328，传输的额定功率最高可达100W。
禾川兴科技·2020-12-28 15:34

go自定义time支持rfc3339_基于Go数据框架设计与实现-Csink

今天给大家分享最近开发项目：基于Go数据框架Csink在讲Csink设计与实现前先介绍相关背景，为什么要自研一套数据清洗聚合框架。
weixin_39991926·2020-12-25 20:39

三十六、Flume框架介绍

关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、什么是Flume二、Flume的优点三、Flume的架构3.1Event3.2Agent3.3Source3.4Channel3.5Sink
象在舞·2020-12-23 16:05

聊聊golang的zap的Sink

序本文主要研究一下golang的zap的SinkSink[email protected]/sink.gotypeSinkinterface{zapcore.WriteSyncerio.Closer}typeWriteSyncerinterface
codecraft·2020-12-22 23:53

聊聊golang的zap的Sink

序本文主要研究一下golang的zap的SinkSink[email protected]/sink.gotypeSinkinterface{zapcore.WriteSyncerio.Closer}typeWriteSyncerinterface
codecraft·2020-12-22 23:04

flume jvm调优_Flume架构及常见面试

Agent主要有3个部分组成，Source、Channel、Sink。2、EventFlume数据传输的基本单元，以Event的形式将数据从源头送至目的地。
weixin_39678493·2020-12-20 23:24

flume初识-配置conf文件

以hdfs为例配置文件来源于官方手册1创建flume-taildir-hdfs.conf文件a3.sources=r3a3.sinks=k3a3.channels=c3#Describe/configurethesourcea3
MosesDon·2020-12-16 01:20

Flume拓扑结构--Flink进阶认识

2复制和多路复用单source，多channel、sinkFlume支持将事件流向一个或者多个目的地。
MosesDon·2020-12-16 00:41

Flume-接入Hive数仓搭建流程

基本在大公司都会有，在Flume1.8以后支持taildirsource,其有以下几个特点，而被广泛使用：1.使用正则表达式匹配目录中的文件名2.监控的文件中，一旦有数据写入，Flume就会将信息写入到指定的Sink3
Hoult丶吴邪·2020-12-06 18:56

大数据开发-Flume-频繁产生小文件原因和处理

2.过程分析接着上一篇，https://blog.csdn.net/hu_lichao/article/details/110358689本人在测试hdfs的sink，发现
Hoult丶吴邪·2020-12-06 18:54

Flume-接入Hive数仓搭建流程

基本在大公司都会有，在Flume1.8以后支持taildirsource,其有以下几个特点，而被广泛使用：1.使用正则表达式匹配目录中的文件名2.监控的文件中，一旦有数据写入，Flume就会将信息写入到指定的Sink3
Hoult丶吴邪·2020-12-06 18:39

大数据开发-Flume-频繁产生小文件原因和处理

2.过程分析接着上一篇，https://blog.csdn.net/hu_lichao/article/details/110358689本人在测试hdfs的sink，发现
Hoult丶吴邪·2020-12-06 18:37

【大数据技术】flume架构和应用

一、flume架构一个flume进程分为三个部分：source、channel、sink，总体称为一个Agent，是一个JVM进程1）source作用：读取数据，传送（put）给channel一个putList
江澈_SIMON·2020-11-29 20:51

Flink的sink实战之三：cassandra3

GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；本篇概览本文是《Flink的sink
程序员欣宸·2020-11-20 10:04

Flink的sink实战之四：自定义

GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；本篇概览Flink官方提供的sink
程序员欣宸·2020-11-20 10:04

专访：跨境电商 SaaS ERP 领星完成 7000 万人民币 A 轮融资的背后

深圳市领星网络科技有限公司是一家专注于为跨境电商行业提供SaaS解决方案的公司，于2017年成立并上线ASINKING领星系统，协助亚马逊卖家构建完整的数据化运营闭环。
Serverless·2020-11-18 17:20

Flink的sink实战之四：自定义

GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；本篇概览Flink官方提供的sink
程序员欣宸·2020-11-13 11:55

如何生成 Flink 作业的交互式火焰图？

/Scala/Python的DataStream接口或者标准SQL语言来快速实现一个分布式高可用的流式应用，通过内部的JavaJIT、off-heap内存管理等技术优化性能，并且有完整的Source、Sink
ApacheFlink·2020-11-13 11:19

Flink__Flink1.10.0Basic API Concepts__Overview

数据处理结果通过Sink，写出到分布式文件系统，标准输出等。Flink
guyuetftb·2020-11-08 15:08

flink系列--connector源码分析

一、概念connector简单来说就是flink系统对接的外界数据源二、支持的数据源类型该截图来自于官网，可以看到官网并没有支持很多常见的数据源，而且支持的数据源不一定source和sink都支持，那这是为什么呢
鲸失·2020-10-25 16:23

泰坦尼克号 机器学习_机器学习项目泰坦尼克号问题陈述

EveryoneknowsabouttheTitanicshipasmanyofthepeoplehaveseentheTitanicmovieandhowitreachedit’stragicendonthenightof15thApril1912.Ashipwhichwastermedasthe‘unsinkable
weixin_26731327·2020-10-15 00:06

开关电源中大功率器件 IC 导热胶片的选择

铜片直接与芯片的heatsink接触还是有好处的，因为有扩散热阻的存在，所以热量最好不经过任何介质（TIM）直
sanre123·2020-10-11 15:22

[翻译]akka in action之akka-stream ( 3 使用Graph DSL实现扇入扇出 ）

有许多扇入和扇出GraphStages，可用于创建各种图形，例如Source、FLow、Sink。也可以创建你自己的自定义G
乐言笔记·2020-10-11 11:37
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他