实时处理

大数据实时计算工程师/Hadoop工程师/数据分析师职业路线图

29.htmlhttp://my.oschina.net/infiniteSpace/blog/308401大数据实时计算工程师/Hadoop工程师/数据分析师职业路线图描述本路线图是一个专门针对大数据实时处理
weixin_30780221·2020-09-15 03:15

Android -- MediaRecord

MediaRecord集成了录音、编码、压缩等，支持少量的录音音频格式，大概有.aac.amr.3gp优点：大部分以及集成，直接调用相关接口即可，代码量小缺点：无法实时处理音频；输出的音频格式不是很多，
weixin_34292402·2020-09-14 21:48

JAVA8特性之STREAM

它也不同于StAX对XML解析的Stream，也不是AmazonKinesis对大数据实时处理的Stream。Java
昨日西风紧·2020-09-14 17:16

Storm 入门的Demo教程

随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点
weixin_34116110·2020-09-14 16:07

storm基础详解

类似于MapReduce降低了并行批处理复杂性，Storm降低了进行实时处理的复杂性，可以使用各种编程语言，容错性，水平扩展，可靠的消息处理等。
牛奋lch·2020-09-14 14:30

电商指标项目-实时分析系统开发（详细源码）

业务实时分析频道热点实时分析频道PV/UV实时分析频道新鲜度实时分析频道地域分布实时分析运营商平台实时分析浏览器类型技术Flink实时处理算子使用CheckPoint和水印解决Flink生产上遇到的问题
北山璎珞·2020-09-14 13:14

最通俗易懂Storm教程

（1）支撑各种实时类的项目场景：实时处理消息以及更新数据库，基于最基础的实时计算语义和API（实时数据处理领域）；对实时的数据流持续的进行查询或计算，同时将最新的计算结果持续的推送给客户端展示，同样基于最基础的实时计算语
chen1092248901·2020-09-14 12:29

消息队列（1）：一个消息队列应该有的特点

消息队列常见场景异步解耦削峰填谷日志收集分析代替事务，最终一致消息队列特点消息队列之所以能异步，就是因为消息并不是实时处理的，那肯定会有一个存储消息，处理消息的地方，才能达到异步效果。
zhangSir134·2020-09-14 09:37

用它可以实时处理和保存 Ajax 数据

“阅读本文大概需要5分钟。”做爬虫的时候我们经常会遇到这么一个问题：网站的数据是通过Ajax加载的，但是Ajax的接口又是加密的，不费点功夫破解不出来。这时候如果我们想绕过破解抓取数据的话，比如就得用Selenium了，Selenium能完成一些模拟点击、翻页等操作，但又不好获取Ajax的数据了，通过渲染后的HTML提取数据又非常麻烦。或许你会心想：要是我能用Selenium来驱动页面，同时又能把
VIP_CQCRE·2020-09-14 09:49

C#,Aforge调用摄像头,实时处理图像,灰度化/二值化；

//声明全局函数privateFilterInfoCollectionvideoDevices;privateVideoCaptureDevicevideoSource;privatestaticintjj;//Aforge调用摄像头privatevoidForm1_Load(objectsender,EventArgse){videoDevices=newFilterInfoCollection
王钰呦·2020-09-14 02:53

Spark是否能替代Hive

在实际生产环境中已经形成了离线以Hive为主，Spark为辅,实时处理用Flink的大数据架构体系及Impala,Es，Kylin等应用查询引擎但是有很多学习Spark的程序员普遍认为Spark必然会替代
ysjh0014·2020-09-13 20:27

Flume+Kafka+Storm+Redis构建大数据实时处理系统：实时统计网站PV、UV+展示

[TOC]1大数据处理的常用方法前面在我的另一篇文章中《大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例》中已经有提及到，这里依然给出下面的图示：前面给出的那篇文章是基于MapReduce的离线数据分析案例，其通过对网站产生的用户访问日志进行处理并分析出该网站在某天的PV、UV等数据，对应上面的图示，其走的就是离线处理的数据处理方式，而这里即将要介绍的是另外一条路线的数据处理
weixin_34406796·2020-09-13 20:26

Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示

1.大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Flink进行处理。比较贴切的一个例子是天猫双十一的成交额，
weixin_33670713·2020-09-13 18:39

同步和异步的区别

同步，就是实时处理（如打电话），比如服务器一接收客户端请求，马上响应，这样客户端可以在最
Mike江·2020-09-13 13:42

89c51中断系统及中断控制

现代的计算机都具有实时处理功能，当外界有突发事件时，cpu能够及时的做出处理，这就是靠中断来实现的。
飞翔的卡布达·2020-09-13 12:19

基于OpenCL的OpenCV扩展库发布了

参考链接：http://bbs.csdn.net/topics/3901457591扩展库简介OpenCV（OpenSourceComputerVisionLibrary）是一个致力于实时处理计算机视觉问题的开源库
xqch1983·2020-09-13 09:26

项目学习第四天ElasticSearch分布式搜索引擎

服务大公司；也可以运行在单机上;（2）将全文检索、数据分析以及分布式技术，合并在了一起，才形成了独一无二的ES；（3）开箱即用的，部署简单;（4）全文检索，同义词处理，相关度排名，复杂数据分析，海量数据的近实时处理
3号深海鱼，强势悍跳预言家·2020-09-13 03:11

手把手带你搭建海量数据实时处理架构

在线交易服务平台基于实时处理架构设计，通过将核心系统的数据变更，实时的同步到在平台数据库，从而达到数据实时复制，及向外提供服务的目的。本文旨在分析实时处理系统的各技术原理及整体架构。首先介绍该架构所
SequoiaDB_Official·2020-09-13 01:39

手把手带你搭建海量数据实时处理架构

在线交易服务平台基于实时处理架构设计，通过将核心系统的数据变更，实时的同步到在平台数据库，从而达到数据实时复制，及向外提供服务的目的。本文旨在分析实时处理系统的各技术原理及整体架构。首先介绍该架构所
SequoiaDB_Official·2020-09-13 01:38

使用异步编程

随着应用规模的不断增大，业务复杂性的增长以及实时处理需求的增加，开发者不断尝试榨取硬件资源、优化。
weixin_30325793·2020-09-12 18:50

cuda 介绍实例

我们为什么采用CPU+GPU架构,总的来说可以获取以下的好处：1）速度快，采用GPU可以获得CPU的数十倍数百倍的性能，可以实时处理高清图像；2）成本低，在普通PC机器上插上一块1000多元的GeforceGPU
langya_zz·2020-09-12 18:37

软考网络规划设计师教程学习笔记第一章（一）

计算机网络的几个应用方向：对分散的信息进行集中、实时处理；共享资源；电子化办公与服务；通信；远程教育；娱乐等。
qq123yyy·2020-09-12 15:53

CAT3.0监控系统的搭建与实现

cat官网地址安装的一些说明1:此次安装使用的是CAT3.0进行安装的2:环境使用的是linux7.2,jdk1.8,tomcat8.393:Cat优势实时处理：信息的价值会随时间锐减，尤其是事故处理过程中全量数据
a656678879·2020-09-12 12:49

浅析电子警察发展历程与需求趋势剖解

19来源：安防监控网浏览次数：525电子警察系统采用视频动态检测技术、视觉识别技术、计算机图像处理技术、通信技术及自动控制技术、数据库技术，利用高清晰CCD摄像机作为检测传感器，对动态的交通视频图像进行实时处理
淡定云天·2020-09-12 09:08

Asterisk Stasis消息总线（Message Bus）之ast_network_change_type分析之一

如果其他相关的资源需要进行实时处理时，可以对你模块进行订阅，或者要求推送这些信息，这样
yuesichiu·2020-09-12 01:05

zeromq的安装，部署（号称最快的消息队列，消息中间件）

1：Storm作为一个实时处理的框架，产生的消息需要快速的进行处理，比如存在消息队列ZeroMQ里面。由于消息队列ZeroMQ是C++写的，而我们的程序是运行在JVM虚拟机里面的。
weixin_34411563·2020-09-11 23:57

hbase导入数据几种方式

http://database.51cto.com/art/201407/445438.htmHBase实战(1)：数据导入方式作为Hadoop生态系统中重要的一员,HBase作为分布式列式存储,在线实时处理的特性
刀砍磁感线·2020-09-11 22:39

Storm介绍及与Spark Streaming对比

1Storm介绍Storm是由Twitter开源的分布式、高容错的实时处理系统，它的出现令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。
WF_事难懂·2020-09-11 22:46

flink入门实战总结

随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求
aebdm757009·2020-09-11 13:22

最强云硬盘来了，让AI模型迭代从1周缩短到1天

另一方面，随着人工智能（AI）、VR/AR、5G、自动驾驶等技术的发展，应用对云存储的实时处理能力提出了更高标准。对于支撑智能世界的数据平台而言，需要进入百微秒量级，才能满足实时性要求。最近，华
华为云·2020-09-11 12:38

大数据-12-Spark+Kafka构建实时分析Dashboard

转自http://dblab.xmu.edu.cn/post/8274/0.案例概述本案例利用Spark+Kafka实时分析男女生每秒购物人数，利用SparkStreaming实时处理用户购物日志，然后利用
weixin_34360651·2020-09-11 11:42

flink学习笔记-flink的DataStream集成kafka

对于实时处理当中，我们实际工作当中的数据源一般都是使用kafka，所以我们一起来看看如何通过Flink来集成kafka。
小猿学习笔记·2020-09-11 02:47

Flume1.8.0原理解析及安装部署

Flume是数据收集/聚合/传输的组件，也是我们生产环境中常用的日志收集传输系统，常用的一种日志实时处理架构就是Flume+Kafka+Storm/Flink+HDFS，这些实时系统的集成日后我们会提及到
夏天小厨·2020-09-11 00:59

Flink实时处理之DataStream

Flink的API概览1、dataStream的数据源1.1、socket数据源socketTextStream从socket当中接收数据，并统计最近5秒钟每个单词出现的次数第一步：node01开发socket服务node01执行以下命令开启socket服务nc-lk9000第二步：开发代码实现importorg.apache.flink.streaming.api.scala.{DataStre
TUJC·2020-09-11 00:30

消息队列之kafka在虚拟机安装使用与整合springboot详解教程

一、kafka的概述1.1定义Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
m飞向远方·2020-09-10 20:34

整理的最全大数据学习之路「大神必修课」

前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（书籍，博客，网站）五、项目案例分析（批处理+实时处理）前言一、背景介绍本人目前是一名大数据工程师
金罗老师·2020-09-10 16:44

基于ARM高精度数据采集及网络传输方案

恒颐成功案例*石油勘探行业数据采集终端*环境监测站应用背景当前，越来越多的领域要求高精度数据采集、A/D转换以及实时处理功能，尤其是物探分析、环境监测、医疗设备、工业控制等领域。
hyesco·2020-09-10 14:16

淘宝双十一实时显示成交数据是怎么实现的？

这个电子大屏的背后，就是用到我们所说的数据的实时处理技术。当然实时计算也不是完全实时，它一定有一个延时，只不过这个延时非常短。什么是数据实时处理呢？
大数据和云计算技术·2020-09-08 09:00

网易实时数仓实践与展望

DataFunTalk导读：随着大数据技术的进步，各种计算框架的涌现，数据仓库相关技术难题已经从离线数仓逐渐过渡到实时数仓，越来越多的企业对数据的实时性提出了严格的要求，如何满足企业的低延时的数据需求，如何看待批量处理和实时处理的关系
NetEaseResearch·2020-09-04 18:46

粒子滤波器/卡尔曼滤波局限/状态空间模型/蒙特卡罗方法/重要性采样/重要密度函数/重采样/粒子退化 的核心思想+ Matlab代码

粒子根据运动模型进行传播，然后根据观察结果的可能性对它们进行加权，在重新采样的步骤中，新粒子的绘制概率与观察到的可能性成正比--》从存储成本和对不断变化的信号特性的快速适应的角度来看，可以实现数据到达时进行实时处理
刑事组之虎9527·2020-08-26 11:21

Kafka 核心原理（贼全面）

一、Kafka概述1.1定义  Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域，处于大数据数据传输层，属于消息中间件。
旁观者最嗨·2020-08-26 09:44

阿里巴巴大数据实践—实时技术

相对于离线批处理技术，流式实时处理技术作为一个非常重要的技术补充，在阿里巴巴集团内被广泛使用。在大数据业界中，流计算技术的研究是近年来非常热门的课题。
阿里云云栖号·2020-08-25 16:20

操作系统

相应对象要求在秒级，毫秒，甚至微妙用于工业过程控制、军事实时控制通用操作系统可以同时具有多道批处理、分时、实时处理的功
hello妈耶儿·2020-08-25 16:37

YOLO,实时对象检测

我们的基础YOLO模型以每秒45帧的速度实时处理图像。较小版本的网络FastYOLO每秒处
荒の年·2020-08-25 16:30

CentOS7.3下ELK日志分析系统集群搭建

实现的开源、分布式、restful的全文本搜索引擎，此外他还是一个分布式实时文档存储，其中每个文档的每个filed均是可被索引的数据，且可被搜索，也是一个带实时分析功能的搜索引擎，能够扩展至数以百计的节点实时处理
weixin_34220963·2020-08-25 09:45

零代码三步快速集成腾讯移动分析（MTA）（android）

说得简单点，就是几点有很强大的实时处理能力，你只要上报了，可以实时看到新增用户，活跃用户多维度的数据分析，从用户角度，渠道，版本等多角度对数据进行汇总分析支持自定义事件模型，也就是特殊需求你自己上报，移动分析帮
hzrui·2020-08-25 03:06

实时数据产品实践——美团大交通战场沙盘

背景大数据时代，数据的重要性不言而喻，尤其对于互联网公司，随着业务的快速变化，商业模式的不断创新、用户体验个性化、实时化需求日益突出，海量数据实时处理在商业方面的需求越来越大。
zkf541076398·2020-08-24 20:30

量子计算将成人工智能新高地

未来量子芯片小型化后，人工智能前端系统的快速实时处理便成为可能，比如车
weixin_33834137·2020-08-24 20:52

kafka接入学习

对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行
飞血泪无痕·2020-08-24 16:14

调用链监控 CAT 之 入门

优势实时处理：信息的价值会随时间锐减，尤其是事故处理过程中。全量数据：全量采集指标数据，便于深度分析故障案例。高可用：故障的还原与问题定位，需要高可用监控来支撑。故障容忍：故
程序员果果·2020-08-24 15:54
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他