离线处理

基于HTML5标准的Web组态编辑器

什么是组态组态是工业控制领域，利用组态软件将相关的工业控制数据进行离线处理，以达到工业控制的目的和要求，这个工作过程叫做组态!
·2023-04-18 22:51

数据统计分析系统开发视频教程（离线处理-流处理-批处理）

数据统计分析系统开发视频教程（离线处理-流处理-批处理）课程学习地址：http://www.xuetuwuyou.com/course/249课程出自学途无忧网：http://www.xuetuwuyou.com
菜花小噗噗·2023-04-18 09:46

MapReduce

MapReduce特点–易于编程–良好的扩展性–高容错性–适合PB级以上海量数据的离线处理MapReduce的限制•不适合实时计算–要求毫秒级或者秒级内返回结果•不适合流式计算–MapReduce的输入数据集是静态的
ᥴꪮꪑρⱤꪮꪑłડꫀ·2023-04-15 15:47

[ hadoop] MapReduce架构

1.2特点优点:易于编程良好的扩展性高容错性适合PB级以上海量数据的离线处理缺点:不擅长实时计算(MySQL)不擅长流式计算:输
bone_ds·2023-04-15 15:39

Lambda架构，Kappa架构和去ETL化的IOTA架构

▌Lambda架构在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。
zxfBdd·2023-04-13 18:45

Hive简介

3)Hive定义了一种类SQL的查询语言：HQL（类sql但不完全相同），在离线处理的中非常受欢迎，到目前为止还很受欢迎。
机灵鬼鬼·2023-04-06 05:44

基于kafka原理单机高性能微秒级别队列改造

调研：kafka是我们日常生活中比较常见的消息队列，非常适合做消息的离线处理。
Sweet_Oranges·2023-04-04 19:01

Hive SQL语句操作

HiveSQL语句操作一、任务描述二、任务目标三、任务环境四、任务分析1.大数据离线处理特点2.HDFS3.Yarn框架的组件功能4.Hive五、任务实施步骤1、新建hql文件步骤2、hive中执行此文件步骤
不懂开发的程序猿·2023-04-04 07:34

大数据架构

Lambda架构架构中含有离线处理与实时处理两条链路，两条链路处理数据导致数据不一致等Kappa架构Kappa架构真正的实时数仓，目前在业界最常用实现就是Flink+KafkaKappa存在问题Kafka
阳光-星辰大海·2023-04-02 23:29

工业Web组态可视化开发软件——Sovit2D

什么是组态组态是工业控制领域，利用组态软件将相关的工业控制数据进行离线处理，以达到工业控制的目的和要求，这个工作过程叫做组态!
数维图2D3D前端可视化·2023-04-01 17:03

Web Server日志分析--信息提取

日志处理分类：离线处理：从生成的文件中，一行行处理，这种方式称为离线处理。在线处理：又称实时处理，用户访问的同时立马获取到用户行为日志，并推送到后台处理。离线处理和在线处理是大数据的两个方向。大数据
一个两个四个三·2023-04-01 06:08

大数据架构演变之路

一、JavaWeb为什么需要大数据二、数据库-OLTP&数据仓库-OLAP三、大数据架构演变1.传统离线大数据架构2.Lambda架构（离线处理+实时链路）离线数仓+实时数仓3.Kappa架构四、架构选择五
紫罗兰盛开·2023-03-31 08:35

大数据架构演变

大数据架构演变一、传统离线大数据架构二、Lambda架构（离线处理+实时链路）-传统实时开发三、Lambda架构（离线数仓+实时数仓）四、Kappa架构五、架构选择：六、湖仓一体（流批一体）实时数仓架构七
LG_985938339·2023-03-31 07:15

大数据流批一体

具体来说，数据可以按产生的时间划分为历史数据与实时数据，亦可按数据的明细程度分为流水数据与切片数据；数据处理方式按窗口大小可分为流式处理与批式处理，亦可按处理时延分为实时处理与离线处理。
张ruxiang·2023-03-31 02:19

大数据项目及实现

通过此项目，回顾并串联前面讲述的离线数据处理相关技术，如：FIune、Sqoop、Hive、Spark等，了解和掌握PB级数据离线处理的一般过程和架构。
任嘉平生愿·2023-03-27 14:51

创建离线app一些技术点

1、参考https://juejin.cn/post/7068162654736482341离线处理的库https://github.com/rgommezz/react-native-offline2
朱传武·2023-03-24 16:16

Hadoop之MapReduce学习总结

一台机器挂了，就把运算任务转移到另外一台机器，不至于这个任务失败，且不需要人工操作适合pb级别的数据进行离线处理，实现上千台服务器并发工作，
GetIdea·2023-03-12 18:29

数据清洗和特征选择

灰色框中蓝色箭头对应的是离线处理部分。主要工作是从原始数据，如文本、图像或者应用数据中清洗出特征数据和标注数据。
吃肉的小馒头·2023-03-11 18:34

Flink 离线处理案例

Dataset是flink的常用程序，数据集通过source进行初始化，例如读取文件或者序列化集合，然后通过transformation（filtering、mapping、joining、grouping）将数据集转成，然后通过sink进行存储，既可以写入hdfs这种分布式文件系统，也可以打印控制台，flink可以有很多种运行方式，如local、flink集群、yarn等.scala版本impo
一个人一匹马·2023-02-18 04:03

可路由计算引擎实现前置数据库

另一方面，数仓还要承担原始数据的批量离线处理，而批量任务不断增加，其数据量和计算量也在不断增大。所以，常常会出现中央数据库不堪重负的情况。
石臻臻的杂货铺·2023-02-16 23:56

未来的ETL是什么样子？（一）

目前ETL主要采取离线处理，来自各种操作型数据库的数据会议批处理的方式加载到数据仓库中，批处理的周期一般为每天一次。但是，最近几年，数据发展趋势发生了巨大的变化：单服务器的数据库正在被各种分
第十人_孔·2023-02-02 12:42

Storm 入门

storm是什么apache顶级项目，免费开源分布式实时流处理计算系统，能实现高频数据和大规模数据的实时处理storm官网stormgithubStormvsHadoop数据源/处理领域：实时vs离线处理过程
cjxll·2023-01-31 22:46

python多进程并行_基于python的多进程并行处理模型

在工作中，常常会遇到需要离线处理大批量的数据或者任务的需求。
程嵇邢滑·2023-01-11 11:48

【推荐系统学习】推荐系统架构

一、系统架构推荐系统架构，首先从数据驱动角度，对于数据，最简单的方法是存下来，留作后续离线处理，离线层就是我们用来管理离线作业的部分架构。在线层能更快地响应最近的事件和用户交互，但必须实时完成。
CC‘s World·2023-01-07 08:56

bert finetune 分类模型预加载

bert代码中使用了TensorFlow的高级APIestimator，但是这样训练出来的模型是不支持预加载到内存当中的，每次进行预测都要加载一遍模型，离线处理的话还可以接受，如果要在线预测的话效率就会大打折扣
AI精神小伙·2022-12-24 14:27

基于Spark 的电影推荐系统

id=1215基于大数据的电影推荐系统主要分为两部分：基于历史数据的离线处理和基于实时流的实时处理。
xiaohuanglv·2022-12-10 17:47

特征值处理-机器学习

灰色框中蓝色箭头对应的是离线处理部分。主要工作是从原始数据，如文本、图像或者应用数据中清洗出特征数据和标注数据。
haungtan07·2022-12-06 14:44

ES - 滚动查询(scroll)

简介实践中我使用到滚动的场景from-size分页的缺点json处理步骤案例如下java处理步骤代码逻辑简化版java代码如下：简介  Elasticsearch滚动查询也叫游标查询  适合那种需要一次性或分批拉出大量数据做离线处理
莫莫绵·2022-11-15 18:55

大数据平台架构包含哪些功能

第2层是大数据处理核心，包含数据离线处理和实时处理、数据交互式分析以及机器学习与数据挖掘。第3层是资源管理，为了支撑数据的处理，需要统一的资源管理与调度。
梯度科技·2022-10-13 15:01

学好大数据能做什么工作？

大数据开发工程师：主要工作负责大数据技术开发，例如，编写离线处理程序、数据差集、数据ETL等。大数据运维
我想去吃ya·2022-10-08 16:21

一幅长文细学华为MRS大数据开发（五）——MapReduce和Yarn

5MapReduce和Yarn摘要：本文中主要讲述大数据领域中最著名的批处理和离线处理计算框架——MapReduce，包括MapReduce的原理、流程、使用场景，以及Hadoop集群中负责统一的资源管理和调度的组件
ArimaMisaki·2022-09-07 20:09

大数据开发必须掌握哪些技术？

大数据开发的工具与语言：编程语言（Java，python，R语言等）1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；2、大数据实时计算的架构storm（基于JAVA）开源免费
juan333·2022-09-07 09:06

想学好大数据开发，要掌握哪些技术

大数据开发的工具与语言：编程语言（Java，python，R语言等）1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；2、大数据实时计算的架构storm（基于JAVA）开源免费
asd3331380·2022-09-07 09:02

大数据开发，就要掌握哪些技术？

大数据开发的工具与语言：编程语言（Java，python，R语言等）1、大数据离线处理架构Hadoop（基于JAVA）开源免费，懂JavaSE；2、大数据实时计算的架构storm（基于JAVA）开源免费
asd3331380·2022-09-07 09:02

基于inotify实现落盘文件的跨进程实时读写交互

调研：kafka是我们日常生活中比较常见的消息队列，非常适合做消息的离线处理。但是在一些实时性要求比较高的场景下，消息自带的延迟是不可忍受的，测试
土豆西瓜大芝麻·2022-08-10 11:09

什么是Web云组态软件平台

组态是工业控制领域，利用组态软件将相关的工业控制数据进行离线处理，以达到工业控制的目的和要求，这个工作过程
·2022-07-26 16:19

[目标跟踪]传统算法--背景法【附代码】

离线跟踪-离线跟踪是离线处理任务，可以通过过去、现在和未来的帧来推断物体的
爱吃肉的鹏·2022-07-19 08:45

阿里云大数据ACP认证学习笔记

基础知识2.1.1购买Maxcompute并创建项目增加子用户2.1.2创建ODPS2.1.3maxcompute的命令行客户端odpscmd的安装与基本命令2.2数据上传与下载2.2.1tunnel批量离线处理
dzdzdzdzdzdzdz·2022-06-10 16:36

MySQL spark离线计算_Spark SQL实现日志离线批处理

ECharts、HUE、Zeppelin处理框图：1234567为离线处理，其中5不一定是Hive(还有SparkS
weixin_39804059·2022-04-24 15:44

Spark SQL实现日志离线批处理

ECharts、HUE、Zeppelin处理框图：1234567为离线处理，其中5不一定是Hive（还有SparkS
weixin_30778805·2022-04-24 15:42

sparkSql数据离线处理--整理记录

sparkSql数据离线处理前言：本文作为本人学习sparkSql离线数据抽取，离线数据处理的学习整理记录，文中参考博客均附上原文链接。
Clown_34·2022-04-24 14:50

Blazor WebAssembly 渐进式 Web 应用程序 (PWA) 离线处理数据

原文链接:https://www.cnblogs.com/densen2014/p/16133343.htmlWindow.localStorage只读的localStorage属性允许你访问一个Document源（origin）的对象Storage；存储的数据将保存在浏览器会话中。存储
AlexChow·2022-04-12 01:00

【学习笔记】大数据技术之Hadoop（MapReduces）

mapreduce1.MapReduce概述1.1MapReduce定义1.2MapReduce优缺点1.2.1优点1）MapReduce易于编程2）良好的扩展性3）高容错性4）适合PB级以上海量数据的离线处理
prague6695·2022-03-25 07:13

MapReduce总结（概括）

MapReduce是一种大规模数据处理的编程模型使用场景PVUV词频统计TopNMapReduce优缺点优点：编程模型简单高伸缩性支持横向扩展（增加节点）高吞吐离线处理数据并行处理缺点：不支持流式数据不支持实时计算不支持复杂计算不支持迭代计算
elpsyco·2022-03-25 07:08

面向流批一体的 Flink Runtime 新进展

总结与展望点击查看直播回放&演讲PDF一、流批一体流批一体的目标是希望能够为有限数据和无限数据提供一套统一的处理API，包括DatastreamAPI与Table/SQLAPI，其中有限数据的处理对应离线处理
·2022-03-24 14:12

面向流批一体的 Flink Runtime 新进展

总结与展望点击查看直播回放&演讲PDF一、流批一体流批一体的目标是希望能够为有限数据和无限数据提供一套统一的处理API，包括DatastreamAPI与Table/SQLAPI，其中有限数据的处理对应离线处理
·2022-03-14 11:55

零基础班第十八课 - Hive项目实战

第一章：上次课回顾第二章：离线处理过程中的大数据处理2.1MySQL数据准备2.2Hive数据准备2.3从sqoop导数据到Hive中去第三章：开始进行需求分析第一步获取商品基本信息第二步：统计各区域下各个商品的访问次数第三步
zhikanjiani·2022-02-28 11:19

关于微博热搜的一个想法

包括两项内容：1）离线处理，离线处理注重在收集一定量的日志之后，分析各个热搜的整体上的热度规律，对各种模式做一个多维的统计。
VChao·2022-02-13 23:13

Storm的可靠性与ack机制

无论是实时处理还是离线处理，都会遇到一个不可避免的问题是，失败任务如何重做？Storm提供了一个ack机制。首先来看一下ISpout接口的方法。
orisonchan·2022-02-07 05:20

hbase笔记1

我们在学习hbase之前应该对hive有了一个了解hive是管理存储在hdfs上的数据（离线处理），hive处理数据是通过mapreduce处理，那么假设是100个T的数据，一个maptask如果按block
zzh0·2021-12-01 20:16
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他