E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
SINK
英语晨读
Istrovewithnone,Fornonewasworthmystrife;NatureIloved,Andnexttonatire,Art;Iwarmedbothhandsbeforethefireoflife;It
sink
s
极译Gieey
·
2020-08-01 09:23
用 Gstreamer 将摄像头实时视频保存至文件
include#include#includeintmain(intargc,char*argv[]){GstElement*pipeline,*v4l2src,*encoder,*muxer,*file
sink
zhunt
·
2020-08-01 08:38
gnuradio中把file_
sink
的二进制文件转换成文本文件
http://www.swigerco.com/gnuradio/plotting.htmlPlottingSignalsHereareafewsimpleutilitiestoconvertrawdatafilesintoaformatyoucanreadandplotw/gnuplot.raw2num.c-convertsafileof16bitshortsintoanumericalhuma
天一涯
·
2020-08-01 08:11
GNU
Radio
Flink的Source端和
Sink
端大全
Flink和各种组件enviromentSourceflink+kafka(flink消费kafka中的数据)TransformTransformation的介绍复杂的方法
Sink
Kafka
Sink
Redis
Sink
ElasticsearchJDBC
youAreRidiculous
·
2020-08-01 08:21
代码实现
《从0到1学习Flink》—— 如何自定义 Data
Sink
?
image前言前篇文章《从0到1学习Flink》——Data
Sink
介绍介绍了FlinkData
Sink
,也介绍了Flink自带的
Sink
,那么如何自定义自己的
Sink
呢?
zhisheng_blog
·
2020-08-01 07:03
flume 日志收集单节点
flume单节点使用示例flume号称水道,其设计思路是水源(source)和水槽(
sink
)都是可以人意组合的。这样在汇集水的过程是非常灵活的。每一个逻
starfe-geek
·
2020-08-01 07:56
flume
okio读写流源码详解(第一篇(缓存Buffered
Sink
写入流程详解))
看文档的截图发现类不是很多,瞬间感觉很轻松有木有,看源码的规则就是首先你得会用,会用了,那么就会知道入口函数在哪,然后一步一步的剖析代码
Sink
:此接口负责写数据。
飞雨的夏天
·
2020-08-01 07:11
java/io流
Spark Metrics配置详解
它是基于CodaHaleMetricsLibrary的可配置Metrics系统,我们可以通过配置文件进行配置,通过Spark的Metrics系统,我们可以把SparkMetrics的信息报告到各种各样的
Sink
笔尖的痕
·
2020-08-01 07:03
spark
gnuradio学习之qa_tag_file_
sink
.py
/usr/bin/envpython#Afile
sink
thatusestagstosavefiles.# The
sink
usesatagwiththekey'burst'totriggerthesavingoftheburstdatatoanewfile
weixin_33918114
·
2020-08-01 04:37
GnuRadio模块
仪器模块Constellation
Sink
Frequency
Sink
Time
Sink
。。。信道模块ChannelModelFadingModelDynamicCha
weixin_33717117
·
2020-08-01 03:24
Spark测量系统 MetricsSystem
Spark测量系统,由指定的instance创建,由source、
sink
组成,周期性地从source获取指标然后发送到
sink
,其中instance、source、
sink
的概念如下:Instance
夜爬梧桐山
·
2020-08-01 02:59
Spark
使用USRP e300系列网络模式的一般流程
网络模式:我的理解就是使用uhd来驱动USRP进行发射接收,使用模块一般是UHD:USRP
Sink
和UHD:USRPSource。
sunshaozong111
·
2020-08-01 00:21
usrp
gnuradio
okio 原理分析(一)
文章目录1okio概念1.1okio1.2ByteStrings和Buffers1.3Sources和
Sink
s2底层实现2.1简洁明了API背后的逻辑2.2复用缓存2.3超时处理3待整理部分1okio
「已注销」
·
2020-08-01 00:34
android
Spark Core源码精读计划13 | 度量系统MetricsSystem的建立
推荐阅读目录前言度量系统MetricsSystem类实例化类中的属性成员注册度量来源注册度量目的地度量配置MetricsConfig类初始化设置默认配置及从文件加载配置分拆各实例的配置度量来源Source与目的地
Sink
Source
run_bigdata
·
2020-07-31 23:16
GStreamer播放本地wav格式音频文件代码实现
alsa
sink
命令规则参考点这里能正常听到声音就继续往下看呀~没有声音的
奶盖加芝士
·
2020-07-31 22:45
demo
GStreamer
c++
wav
Flume使用和特点
aggregating,andmoving收集聚集移动(3)组件agentsource:从数据源读取数据的,将数据转换为数据流,将数据丢给channelchannel:类似于一个队列,临时存储source发送过来的数据
sink
乔尼娜沙德星
·
2020-07-31 22:13
树莓派3b使用蓝牙当做A2DP
sink
端播放音乐
使用系统为官方下载的2017-11-29-raspbian-stretch1、需要安装一下包(时间很赶,所以不知道以下包是不是必须要装的,反正我装了后也是没问题的)sudoapt-getinstallbluetoothbluez-utilsbluemansudosudoapt-getinstalllibbluetooth-devsudoapt-getinstallpulseaudiopulseau
小牛CKX
·
2020-07-31 21:08
树莓派
gnuradio模块的数据输出
但如果想看到某一个模块之后输出的数据,方便的方法是加一个file
sink
模块。但我有很多时候都想自己用python处理数据,不要专门写出一个模块。然后再输入gnuradio进行处理。
fuyunkaka
·
2020-07-31 17:58
笔记
GUN Radio/USRP相关资料集锦
1.GNURadio_MAIN_PageUSRP_
Sink
各个模块的使用说明1.利用USRP模拟WiFi1.GNURadio中文社区官方wiki2.GUNRadio入门培训3.GNURadio安装教程:
517apple
·
2020-07-31 17:45
USRP
Flink的
sink
实战之三:cassandra3
本文是《Flink的
sink
实战》系列的第三篇,主要内容是体验Flink官方的cassandraconnector,整个实战如下图所示,我们先从kafka获取字符串,再执行wordcount操作,然后将结果同时打印和写入
程序员欣宸
·
2020-07-31 16:18
Flink
深入浅出Spark2.1.0度量系统——
Sink
继承体系
阅读提示:阅读本文前,最好请阅读《Spark2.1.0——深入浅出度量系统》和《深入浅出Spark2.1.0度量系统——Source继承体系》。Source准备好度量数据后,我们就需要考虑如何输出和使用的问题。这里介绍一些常见的度量输出方式:阿里数据部门采用的一种度量使用方式就是输出到日志;在命令行运行过Hadoop任务(例如:mapreduce)的使用者也会发现控制台打印的内容中也包含度量信息;
泰山不老生
·
2020-07-31 16:14
大数据
Spark
Scala
Metrics
深入理解Spark
二进制.dat文件如何经C++并在matlab中处理
在GNURadio中使用file
sink
保存的数据(全部是.dat文件),要想通过matlab来处理,中间必须经过相应的预处理,否则无法直接应用。
abing0513
·
2020-07-31 15:46
其他
BladeRF osmocom模块由于缺少libbladerf-dev导致source/
sink
模块提示no support device
本文介绍Ubuntu下BladeRFosmocom模块由于缺少libbladerf-dev导致osmocomsource/
sink
模块提示nosupportdevice,及其解决问题。
开源SDR实验室
·
2020-07-31 14:48
GNU
Radio
BladeRF
Flink 通过数据字段多
sink
到不同的topic
直接上代码,还有问题():使用EXACTLY_ONCE模式的时候写入有问题。暂时没解决,还有就是依赖冲突问题,kafka-client跟flink-connector-kafka_2.11的冲突packagesjb;importcom.alibaba.fastjson.JSONObject;importorg.apache.flink.api.common.functions.MapFunctio
黄瓜炖啤酒鸭
·
2020-07-31 12:35
Flink1.11
Android内存泄露抓取工具leakcanary
引言“Asmallleakwill
sink
agreatship.”-BenjaminFranklin概述某些对象的生命周期有限,当它们的工作完成以后,将会被GC回收。
w4lle
·
2020-07-31 12:37
内存泄露
oom
性能优化
android开发
内存泄露
Leakcanary
GNU Radio + USRP B210 实现FM接收机、FM发射机
Audio
Sink
模块来播放解调后的广播信号,采样率选择48KHz。MultiplyConst模块来调节声音的大小。实验结果:能清晰地收听到FM101
L_786795853
·
2020-07-31 11:16
USRP
Ubuntu
USRP
FM
FM发射
ubuntu
flume 问题分析与处理
问题一:org.apache.flume.EventDeliveryException:Failedtosendeventsatorg.apache.flume.
sink
.AbstractRpc
Sink
.process
wangqiaoshi
·
2020-07-31 10:47
flume
091-BigData-19Flume与Flume之间数据传递
上一篇:090-BigData-18FlumeFlume与Flume之间数据传递一、单Flume多Channel、
Sink
image.png目标:使用flume1监控文件变动,flume1将变动内容传递给
AncientMing
·
2020-07-30 22:58
flume断点续传配置
flume-1.6a1.sources=r1r2r3a1.
sink
s=k1a1.channels=c1a1.sources.r1.type=execa1.sources.r1.shell=/bin/bash-c
storm_fury
·
2020-07-30 21:09
Flume
(3)Flume的具体配置
2)Flume的具体配置如下:(1)在CM管理页面hadoop102上flume的配置中找到代理名称改为a1a1102103a1.sources=r1a1.channels=c1c2a1.
sink
s=k1k2configuresourcea1
佑熙
·
2020-07-30 19:06
电商数仓4
Sink
ing Down
整个面试过程,说不上简单说不上难,但是我自己的最大感觉是简单的忘了,难的不会!笔试本来没过,过去霸面,工作人员说PC端开发基本已经饱和,要不给你推荐到后台开发,我顺势也答应了。然后关切的问我吃了中饭没,然后就让我直接在那等。5min不到就叫了我名字让我去指定房间面试。一上来,面试官很客气的握了个手,然后直接给我一张纸,让我在存有100万小于2^20的数中找到任意一个不存在的数,考虑内存够用和不够用
SkyWatcher
·
2020-07-30 18:41
Flume
大数据-Flume环境Flume-ng1.9.0sourceTAILDIRchannelmemory
sink
hdfs一、性能测试针对以下场景对Flume进行性能测试场景1:一个channel,采用lzo
wutian713
·
2020-07-30 18:02
大数据
Flume
flume消费kafka到hdfs
flume-hdfs.conf文件,配置文件代码如下:#sourcealiasagent.sources=source_from_kafka#channelsaliasagent.channels=mem_channel#
sink
aliasagent.
sink
s
欧似你杰哥
·
2020-07-30 18:14
自定义Flume整合HBase
一、Flume收集数据到Hbase中1、自定义的Flume-HBase-
Sink
,主要完成的功能:1、可以指定任意的分隔符2、可以完成任意的列内容的分割3、自定义行键2、自定义FLume和HBase
sink
逆水行舟如何
·
2020-07-30 18:49
大数据工具之Flume
快速学习-Flume 对接 Kafka
第6章Flume对接Kafka1)配置flume(flume-kafka.conf)#definea1.sources=r1a1.
sink
s=k1a1.channels=c1#sourcea1.sources.r1
cwl_java
·
2020-07-30 17:48
快速学习
大数据学习之 spark写入数据到kafka中
目录1.kafka环境的搭建请参考:2.准备Kafka
Sink
3.实现代码:4总结:1.kafka环境的搭建请参考:https://blog.csdn.net/weixin_37835915/article
会编程的海贼王
·
2020-07-30 17:04
kafka
Spark
解决Flume向Kafka多分区写数据
Flume向kafka发布数据时,发现kafka接收到的数据总是在一个partition中,而我们希望发布来的数据在所有的partition平均分布2解决办法Flume的官方文档是这么说的:Kafka
Sink
usesthetopicandkeypropertiesfromtheFlumeEventheaderstosendeventstoKafka.Iftopicexistsintheh
weixin_34226706
·
2020-07-30 17:57
应用Flume+HBase采集和存储日志数据
1.在本方案中,我们要将数据存储到HBase中,所以使用flume中提供的hbase
sink
,同时,为了清洗转换日志数据,我们实现自己的AsyncHbaseEventSerializer。
weixin_33875839
·
2020-07-30 17:18
《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL
前言之前其实在《从0到1学习Flink》——如何自定义Data
Sink
?
csdn产品小助手
·
2020-07-30 17:27
Flume+hbase 日志数据采集与存储
(由于条件有限,目前是单机上实现)flume-agent配置文件#flumeagentconfsource_agent.sources=serversource_agent.
sink
s=avro
Sink
source_agent.channels
weixin_30916125
·
2020-07-30 17:25
3、案例实操
端口发送消息,最后Flume将监听的数据实时显示在控制台分析通过telnet工具向本机的55566端口发送数据Flume监控本机的55566端口,通过Flume的source端读取数据Flume将获取的数据通过
Sink
ZFH__ZJ
·
2020-07-30 17:04
17-Flink消费Kafka写入Mysql
分布式缓存7-重启策略8-Flink中的窗口9-Flink中的TimeFlink时间戳和水印Broadcast广播变量FlinkTable&SQLFlink实战项目实时热销排行Flink写入Redis
Sink
Flink
大数据技术与架构
·
2020-07-30 17:27
Flink从入门到实践
大数据成神之路
网络流 最大流最小割与最小费用流
最大流问题:给定指定的一个有向图,其中有两个特殊的点源点S(Sources)和汇点T(
Sink
s),每条边有指定的容量(Capacity),求满足条件的从S到T的最大流(MaxFlow)。
芋圆西米露
·
2020-07-30 16:11
板子
Flink SQL/Table API 消费Kafka的json格式数据存到MySQL--存入MySQL通过继承Rich
Sink
Function来实现
[另一篇通过JDBCAppendTable
Sink
方式实现存入MySQL:https://blog.csdn.net/qq_39799876/article/details/91884031]完整代码附有
我不是小白va
·
2020-07-30 16:28
bigdata
flink
kafka
json
实时计算
大数据
Spark Streaming篇3:Spark Streaming 把数据发往kafka,并实现去重
并实现去重废话不多说,直接上干货packagecom.iflytek.kafkaimportjava.util.Propertiesimportcom.iflytek.kafkaManager.Kafka
Sink
importorg.apache.kafka.clients.consumer.ConsumerReco
叮咚菜鸟许某人
·
2020-07-30 16:18
笔记
Flume+HBase+Kafka集成与开发
如下图红框中所示,节点1的Flume的source有两个:节点2和节点3的
sink
输出。
努力的凹凸曼
·
2020-07-30 16:35
Spark新闻项目
编译hbase-
sink
文章目录准备环境安装git安装maven修改代码fork到自己的github下使用gitpush到本地修改代码maven编译启动hbase-
sink
上传jar包到服务器
sink
properties启动
sink
小参
·
2020-07-30 16:46
hbase
sink
kafka
Flume配置Socket输入源HBase+Kafka输出源
配置如下:a1.sources=r1a1.channels=kafkaChbaseCa1.
sink
s=kafka
Sink
hbase
Sink
a1.sources.r1.type=avroa1.sources.r1
LMRzero
·
2020-07-30 15:29
Flume
自定义Hbase
Sink
输出采集日志到Hbase
前提:当前机器都安装用hbase,hadoop,flume,如果没安装有hbase和hadoop的可能会少一些依赖,把core-site.xml,hdfs-site.xml,hbase-site.xml配置文件拷贝到Flume安装目录的conf目录下,打jar包的时候只需要把下面的java类打进去即可,不需要别的依赖。1、编写Serializerpackagecom.panguoyuan.hbas
panguoyuan
·
2020-07-30 15:16
storm
spark)
Flume与Kafka整合之把flume中的数据
sink
到Kafka
一、说明版本介绍:apache-flume-1.6.0-bin+kafka_2.10-0.8.2.0场景说明:把flume中的数据
sink
到Kafka集群说明:192.168.215.90broker、
Little-Spark
·
2020-07-30 15:32
flume
kafka
上一页
36
37
38
39
40
41
42
43
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他