实时处理

为什么环保监测平台需要时序数据库？弃用MySQL，一周上线TDengine

小T导读：昆岳互联的“a环保”APP基于自主打造的环保产业互联网平台（INECO平台），对环境基础设施海量数据实时处理与分析，可以秒级实时采集工业大气环保各项监控指标的数据，分别通过年、月、日三个维度，
涛思数据·2020-08-20 17:10

大数据时代浅谈医疗——数据分析在医疗领域的运用

随着医疗卫生信息化迅速发展医学研究正步入大数据时代大数据的许多承诺正在医疗行业变成现实大数据的实时处理和数据分析可以让医疗领域的从业者更快更全面的做出决策和行动该领域正在慢慢成熟随着云计算、物联网、移动互联网等新技术水平的提高
李文哲·2020-08-20 16:24

大数据时代浅谈医疗——数据分析在医疗领域的运用

随着医疗卫生信息化迅速发展医学研究正步入大数据时代大数据的许多承诺正在医疗行业变成现实大数据的实时处理和数据分析可以让医疗领域的从业者更快更全面的做出决策和行动该领域正在慢慢成熟随着云计算、物联网、移动互联网等新技术水平的提高
李文哲·2020-08-20 16:24

连载：阿里巴巴大数据实践—实时技术

简介：相对于离线批处理技术，流式实时处理技术作为一个非常重要的技术补充，在阿里巴巴集团内被广泛使用。
阿里技术·2020-08-20 13:14

pngquant

快速模式，实时处理/大量的
Jff316948714·2020-08-20 10:07

根据官网文档看Spark Streaming对接Kafka的两种方式, 以及如何实现"Exactly Once"语义

只能算是对官网文档作了个翻译和解读,随时有可能回来更新和纠错上一篇文章讨论了SparkStreaming的WAL(WriteAheadLog)机制,最后给出了三个流处理的语义:不仅是在SparkStreaming,在其他的实时处理框架下
weixin_40828249·2020-08-20 08:48

090-BigData-18Flume

Flume、Kafka用来实时进行数据收集，Spark、Flink用来实时处理数据，impala用来实时查询。二、Flume角色imag
AncientMing·2020-08-20 06:33

python爬虫之代理池的维护

这肯定会影响爬虫的效率，所以我们需要提前做筛选，将不可用的代理删除掉，保留可用代理，所以我们需要搭建一个高效的代理池2代理池基本模架构：存储模块：负责存储抓取下来的代理，保证代理不重复，标识代理的可用情况，动态实时处理每个代理
Sun个了晒。·2020-08-20 02:34

2017年国赛b题，板球控制系统的一点经验。

但是用stm32有一个很大的问题，因为stm32裸机限制，不能实时处理多个进程。所以需要用两块stm32开发板。但是由于stm32的运算能力和自己
lobmo·2020-08-19 19:31

Kafka 0.10.1 官方文档（中文版）-1 开始

我们认为一个流数据处理平台必须具备三个关键功能：它允许你发布订阅流数据，在这方面，他类似一个消息队列或企业级消息系统（消息中间件）；它让你存储的流式数据具有容错机制；它让你能实时处理流式数据Kafka有什么好处
MusicMaster·2020-08-19 10:52

使用 Azure IoT 套件推动 IoT 开发

物联网(IoT)解决方案包括远程遥测设备、Web门户、云存储和实时处理功能。结构如此复杂，你就更不愿意开始进行IoT开发了。
天府云创·2020-08-19 07:37

Elasticsearch 深入理解search After 处理深度分页问题

这种方式往往用于非实时处理大量数据的情况，
妖妖灵.Shuen·2020-08-19 04:20

pcl分割原理欧式距离分割以及代码分析

欧几里得算法使用邻居之间距离作为判定标准，而区域生长算法则利用了法线，曲率，颜色等信息来判断点云是否应该聚成一类不管欧式距离分割还是其他分割，在电脑上进行实时处理都有点难度。
李京乐·2020-08-19 02:46

利用Celery实现定时任务

  Celery是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。在之前的文章Python之celery的简介与使用中，笔者简单介绍了celery以及celery的使用。
山阴少年·2020-08-19 02:58

代理池的构建

异步检测定时筛选、持续更新提供接口，易于获取三、代理池的架构获取模块定时从各代理网站抓取，固定格式，之后将可用代理保存到数据库存储模块用redis的有序集合，要求代理不重复、标识代理可用情况、还要动态实时处理每个代理
慢慢慢时光·2020-08-18 23:16

生产者消费者模式理解

如果你设计的系统需要实时处理数据，并且保证数据不会被抛弃掉，这个设计模式那就不太适合。
小黑soft·2020-08-18 18:35

嵌入式系统的复杂性推动了对接口标准的发展

二十年前，用于系统建模、仿真、图像和信号处理的嵌入式实时处理通常使用按比例缩小的超级计算机体系结构，以并行对称拓扑互连的相同处理器的同质阵列。
qq_52609913·2020-08-18 16:25

JStorm介绍

Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息；Storm也可被用于“连续计算”（continuouscom
cache007·2020-08-18 12:07

产品经理学大数据——大数据软件框架：实时流处理框架

然而，随着数据体量越来越大，实时处理能力成为了许多客户需要面对的收腰挑战。Hadoop的MapReduce是一个批处理计算框架，在实时计算处理方面显得十分乏力。
简城峰·2020-08-18 12:36

Spark Streaming连接TCP Socket

SparkStreaming连接TCPSocket1.SparkStreaming是什么SparkStreaming是在Spark上建立的可扩展的高吞吐量实时处理流数据的框架，数据可以是来自多种不同的源
Harvard_Fly·2020-08-18 12:34

使用Storm实现实时大数据分析

摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。
weixin_30682127·2020-08-18 12:20

本地local和kafka监听本地文件，进行sparkstreaming实时输出

spark2.3.0kafka1.10IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0)先是用sparksql来监听特定目录下的某一个source文件的变化，进行实时分析，用IDEA进行本地lcoal模式进行实时处理
reedom1991·2020-08-18 11:03

Spark实时项目第六天-维度数据业务流程之监控维表数据并用maxwell-bootstrap初始化数据(全量导入省份表)

实时处理流程HBase建表createtablegmall
SmallScorpion·2020-08-18 11:55

深入分析Kafka架构（一）：工作流程、存储机制、分区策略

kafka主要应用在大数据的实时处理领域，使用起来比较简单
且听_风吟·2020-08-18 11:47

01 在CentOS7中安装flink

数据分两类，一类是静态处理，多做批量处理，属于OLAP，一类是流式数据，多做实时处理，属于OLTP。SparkStreaming属于微批处理，并非真正意义上的实时处理。
张力的程序园·2020-08-18 11:57

初见spark streaming之JavaNetWorkWordCount

背景接触了一点spark，看到网上关于实时处理系统的博文也是铺天盖地，觉得还是有比要了解一下，作为时下比较热门的大数据，还是要多看多听多用。
磨刀人·2020-08-18 11:27

0073 spark streaming从端口接受数据进行实时处理的方法

一，环境Windows_x64系统Java1.8Scala2.10.6spark1.6.0hadoop2.7.5IDEAIntelliJ2017.2nmap工具（用到其中的ncat命令，对应Linux中的nc命令）二，本地应用搭建2.1环境变量设置方法：系统参数--》添加变量--》形式为：XXX_HOME，然后把对应安装包的根目录复制作为变量值；在PATH变量中添加:%XXX_HOME%\bin;
gendlee1991·2020-08-18 11:05

SparkStreaming获取数据源的两种方式(监听端口号及整合kafka)

方式一:监听端口号,此方式需要先在linux上开启nc-lk端口号服务,之后SparkStreaming可以从此端口拉取到数据,并进行实时处理,代码如下:importorg.apache.spark.streaming.dstream
StudyEverydayForward·2020-08-18 10:50

storm容错机制（翻译官网文档）

storm使得处理无边的数据流变得简单，就像hadoop做批处理那样执行实时处理。storm简单，可以被用在各种编程语言，并且用起来充满了乐趣！
zonahaha·2020-08-18 10:07

大数据 - （五-1）- Impala

级大数据进行交互式实时查询（速度快）Impala有什么优势大数据领域最大的问题是数据存储和分析粗略划分大数据开发任务数据采集（日志文件，关系型数据库）数据清洗（数据格式整理，脏数据过滤）数据预处理数据分析离线处理（T+1）实时处理数据可视化机器学习深度学习
啦啦啦喽啰·2020-08-18 09:37

【转载】我见之采样率转换

对模拟信号进行数字处理,提高处理速度是实现实时处理的首要目的。此外,减小存储容量,减少有限字长效应影响,实现不同系统互相兼容都是我们需要解决的问题。
大船-长风破浪·2020-08-17 22:27

音频数据采集-AudioRecord

AudioRecord和MediaRecorderAndroid提供了两个API用于录音，AudioRecord和MediaRecorderAudioRecord:能够获取原始的PCM数据，实现音频数据的实时处理
海盗的帽子·2020-08-17 13:35

OpenCV的概况和基本数据结构

OpenCVChina，转载请注明出处http://blog.sina.com.cn/lucyloveayuOpenCV是一个基于C/C++语言的开源图像处理函数库，其特点有：1.代码都是经过优化，可以用于实时处理图像
JANE_2014·2020-08-17 11:31

Druid大数据实时处理的开源分布式系统——介绍

AbstractDruid是一个为在大数据集之上做实时统计分析而设计的开源数据存储。这个系统集合了一个面向列存储的层，一个分布式、shared-nothing的架构，和一个高级的索引结构，来达成在秒级以内对十亿行级别的表进行任意的探索分析。以下将详细阐述Druid的架构，如何支持快速聚合、灵活的过滤、和低延迟数据导入。1.介绍Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，
Alvin家鸡鸭鱼的小米米·2020-08-17 09:40

Druid大数据实时处理的开源分布式系统——Coordinator

Druid技术笔记整理第4篇，关于DruidCoordinatorCoordinator主要完成如下功能：1.loadingnewsegments2.droppingoutdatedsegments3.managingsegmentreplication4.balancingsegmentloadCoordinatorNode主要负责Druid集群中Segment的管理与发布，包括加载新S
Alvin家鸡鸭鱼的小米米·2020-08-17 09:40

Druid大数据实时处理的开源分布式系统——Historical Node

最近开始整理有关Druid的技术知识。以下是第二篇关于HistoricalNode。Historical主要完成如下功能：1.LoadingandServingSegments2.LoadingandServingSegmentsFromCacheHistoricalNode的职责单一，就是负责加载Druid中非实时窗口内且满足加载规则的所有历史数据的Segment。每一个HistoricalNo
Alvin家鸡鸭鱼的小米米·2020-08-17 09:40

Druid大数据实时处理的开源分布式系统——Broker

第三篇，关于Druid的Broker节点Broker节点接收来自外部客户端的查询，并将这些查询转发到Realtime和Historical节点。当Broker节点收到结果，它们将合并这些结果并将它们返回给调用者。由于了解拓扑，Broker节点使用Zookeeper来确定哪些Realtime和Historical节点的存在。Broker主要完成如下功能：1.ForwardingQueries2.Ca
Alvin家鸡鸭鱼的小米米·2020-08-17 09:40

单片机学习笔记：中断学习

1.什么是中断，中断的原理中断是为使单片机具有对外部或内部随机发生的事件实时处理而设置的，中断功能的存在，很大程度上提高了单片机处理外部或内部事件的能力。
ToDoNothing·2020-08-17 01:25

计算机的中断

(二)中断系统作用：1.故障检测和自动处理程序执行出现异常如溢出可以通过中断处理2.实时信息处理实时信息处理中需要对信息做实时处理，采用中断可以完成3.并行操作多个外部设备可以与CPU并行操作，提高系
零丁若叹·2020-08-16 15:07

快速，实时处理大量数据，架构如何解？

随着业务越来越大，数据也是越来越多，怎么能让业务在数据大的时候还能保证快呢。互联网的业务无外乎线上OLTP场景和线下OLAP场景，这两种场景，数据量增大后，我们应该分别怎么应对呢。【OLTP】在业务初期，单库单表，就能满足绝大部分业务需求，其典型的架构为：（1）DAS：数据访问层；（2）DB：数据库；当数据量越来越大，例如达到1亿注册量时，我们必然遇到性能和存储瓶颈，这时我们应该怎么做？此时需要对
58沈剑·2020-08-16 14:00

UltraLAB HF380/HF490高频服务器介绍

采用工业级大排量水冷散热系统+更高效导热技术手段，比上一代机型配置规格更丰富，比市场上常规服务器更快、并行计算效率更高，每款规格的CPU运算能力上限、硬盘IOPS和带宽最大、网络数据收发延迟极小，满足那些对实时计算、实时处理
wdf8088·2020-08-16 08:26

世界强大的移动便携图形工作站介绍

UltraLAB便携工作站广泛用于军事、公安移动指挥、地震区域的航测影像实时处理、地质测绘数据现场采集与处理、现场广播电视录制编辑、现场网络侦测、移动视频监控与分析、现场电子取证、金融实时交易数据采集与分析
wdf8088·2020-08-16 08:54

大数据分析的技术栈(二)-Apache Kafka

作为一个流处理系统，实现实时处理的需求。本片文章主要介绍的是第一个能力，也就是作为消息处理系统的能力。kafka适合构建什么系统呢？作为一个消息中间件，在不同的程序和系统之
睁开眼起床·2020-08-16 07:50

SequoiaDB安装快速入门手把手教学

巨杉坚持产品从零开始自主研发，为用户提供安全可靠、性能卓越的海量数据存储管理、高并发实时处理、分布式计算以及实时流处理等企业级数据处理解决方案。
Kamani_msd·2020-08-15 21:41

Unity3D AI角色移动和自动跟随

AI角色按照一定的移动逻辑进行移动时，AI逻辑处理角色需要移动的位置，还需要移动逻辑实时处理角色的当前速度和角度。
菰城茧1990·2020-08-15 14:31

Kafka面试问题

kafka架构：kafka介绍：官方：分布式发布/订阅的消息系统是一个分布式的、支持分区（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，最大特征就是：实时处理大量数据
李东要努力·2020-08-14 21:19

分布式实时处理系统——C++高性能编程 RAII resource acquisition is initialization

分布式实时处理系统——C++高性能编程【前言】基于通信基础，介绍Hurricane实时处理系统的工程实现，主要使用C++语言。
aFakeProgramer·2020-08-14 20:53

葵花宝典--kafka

一、kafka概述kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。
张薄薄·2020-08-14 18:17

BLE蓝牙的数据黏包处理

但是呢，实际很多情况是需要实时处理蓝牙的数据，并将数据解析显示或者分析等，还有就是整个设备本身整个应
SeanyBrake·2020-08-14 04:55

嵌入式系统-知识点总结-1

嵌入式系统中的CPU一般具有4个特点：①支持实时处理；②低功耗
三猪·2020-08-14 01:45
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他