离线处理

大数据离线处理数据项目（一） 网站日志文件数据采集 日志拆分 数据采集到HDFS并进行预处理

简介：这篇写的是大数据离线处理数据项目的第一个流程：数据采集主要内容：1）利用flume采集网站日志文件数据到access.log2）编写shell脚本：把采集到的日志数据文件拆分（否则access.log
'一生所爱·2021-11-30 19:36

系统谈数据治理，具体案例来分析

为什么要做数据治理进入到大数据时代，数据领域里的工程师、分析师和科学家们可以很轻易的使用开源世界的各种技术（比如离线处理有MapReduce、Spark，实时处理有Flink、SparkStreaming
宋懵懵的数据生活·2021-06-21 01:19

[Hermes]大数据利器中的白富美

TDW（腾讯数据仓库，TencentDataWarehouse）很好的解决了海量数据的离线处理分析。然而，很多应用场景往往要求在数秒内完成对几亿、几十亿甚至几百
葡萄喃喃呓语·2021-06-07 20:59

整数数组前K大的问题

问题描述如下：在一个整数数组中，找最大的k个整数离线算法这离线处理中，可以使用QuickSelect算法。在O(N)的时间内找到数组的第K大的数，然后扫描一次整个数组就可以得到前K大的数。
Zake_Wang·2021-06-05 22:45

分布式计算框架MapReduce

MapReduce概述源自于Google的MapReduce论文，论文发表于2004年2月HadoopMapReduce是GoogleMapReduce的克隆版MapReduce优点：海量数据离线处理&
一杯敬朝阳一杯敬月光·2021-05-26 21:27

MapReduce入门（一）—— MapReduce概述 + WordCount案例实操

MapReduce入门（一）——MapReduce概述1.1MapReduce定义1.2MapReduce优缺点1.2.1优点1）MapReduce易于编程2）良好的扩展性3）高容错性4）适合PB级以上海量数据的离线处理
Leokadia Rothschild·2021-05-05 22:49

工单在客服系统中的应用

前者是基于人工坐席会话的基础上，提供一对一的即时聊天会话，即时接起客户服务请求；机器人客服是相对于人工更智能的客服方式，引导客户通过自助解决问题；工单则可适用于离线处理。
Web1800远程服务系统·2021-04-22 15:01

关于流计算基本认识

这样看起来虽然非常合理，但是结果却非常的紧凑和，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决问题。
云计算小百科·2021-03-11 06:11

深度学习推荐系统-笔记06：推荐系统线上服务相关

1.高并发线上服务1.工业级推荐服务器功能需要跟离线训练好的模型打交道，把离线模型进行上线，在线进行模型服务（ModelServing），需要跟数据库打交道，把候选物品和离线处理好的特征载入到服务器召回层
ACDance·2021-03-09 20:51

大数据系列--框架介绍

简介hadoop是一个文件系统，外加一个离线处理框架（map-reduce执行框架），主要用于海量数据文件的保存、非实时的海量数据的计算。
feiying0canglang·2021-02-22 21:13

SparkStreaming的介绍

探讨SparkSreaming之前,先要了解什么是批处理,什么是流处理.批处理:也叫离线处理T+1的模式,以Hive+Spark为主流处理:水流也叫实时处理,SparkStreaming(秒级别,微批次处理
刘啊福·2021-01-20 12:47

大数据电影可视化系统

本项目以电影数据为主题，以数据采集、处理、分析及数据可视化为项目流程，可实现百万级电影数据离线处理与计算。
GoAl的博客·2021-01-20 11:55

关于流计算基本认识

这样看起来虽然非常合理，但是结果却非常的紧凑和，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决问题。
云计算小百科·2020-10-11 16:59

HDU 5179 beautiful number 离线处理

传送门：http://acm.hdu.edu.cn/showproblem.php?pid=5179beautifulnumberTimeLimit:2000/1000MS(Java/Others)MemoryLimit:32768/32768K(Java/Others)TotalSubmission(s):176AcceptedSubmission(s):104ProblemDescriptio
阑珊灬回忆·2020-09-17 11:06

MapReduce（一）基础简介和Wordcount实例

MapReduce源于：2004年12月Google发表的论文，其特点：1）易于编程;2）良好的扩展性；3）高容错性；4）适合PB级以上海量数据离线处理应用场景：流量统计/单词统计/最流行的K个搜索词/
风之清扬·2020-09-15 19:36

离线处理之业务数据采集、生成用户画像、推广效果分析以及知识点总结

离线处理之业务数据采集、生成用户画像、推广效果分析以及知识点总结1.Azkaban周期性调度任务1.1.总览1.2.调度脚本1.3.
越奋斗，越幸运·2020-09-15 12:55

消息系统Kafka介绍

传统的日志分析系统提供了一种离线处理日志信息的可扩展方案，但若要进行实时处理，通常会有较大延迟。而现有的消（队列）系统能够很好
iterjpnic·2020-09-15 08:16

bzoj4137: [FJOI2015]火星商店问题（线段树分治+可持久化01trie）

思路：第一眼显然的线段树套可持久化01trie恭喜MLE走人然后发现每个人的询问可以放到按时间建出的线段树上，这个不就可以线段树分治离线处理了吗。于是把每
SC.ldxcaicai·2020-09-15 02:38

HDU 3938 Portal(并查集构建MST+离线处理)*

PortalTimeLimit:2000/1000MS(Java/Others)MemoryLimit:65536/65536K(Java/Others)TotalSubmission(s):2063AcceptedSubmission(s):1008ProblemDescriptionZLGGfoundamagictheorythatthebiggerbananathebiggerbananap
等我学会后缀自动机·2020-09-14 19:11

【CodeForces500E】New Year Domino （线段树+并查集+栈）

题解考虑将询问排序，离线处理。因为左边的骨牌有可能会推倒它右边的连续一段区间的骨牌，我们处理询问时应按询问左端点从右往左处理。设当前左端点已经处理到第ll个骨牌。
CaptainHarryChen·2020-09-14 18:05

SPOJ 1557 Can you answer these queries II（GSS2 线段树）

--cxlove题目：求出区间的最大子段和，而且相同的数只能计算一次http://www.spoj.pl/problems/GSS2/嘛~~~这个题还是很不错的，不会，哭~~~~喵在线的处理不了，只能离线处理按询问区间的右端点排序
ACM_cxlove·2020-09-14 18:09

2018.11.08 NOIP模拟 班车（倍增+dfs+bit）

传送门对于每个点离线处理出向上走2i2^i2i班车到的最上面的点。
weixin_30387423·2020-09-14 01:22

线段树+树状数组整理

线段树和树状数组在很多时候都可以用来处理相同的问题，特别是在用来进行RMQ离线处理时候两者各有所长，故放在一起整理。
seagullcugb·2020-09-14 01:01

【Violet III】天使玩偶 K-D tree

对于插入操作可以离线处理，即先把原始的点和所有的即将插入的点一开始全部放在K-Dtree里，把一开始没有的点打上标记。在更新答案时，如果没有标记才进行更新。那么添加操作就是单点查找，取消标记。
rgnoH·2020-09-14 01:30

Flume+Kafka+Storm+Redis构建大数据实时处理系统：实时统计网站PV、UV+展示

中已经有提及到，这里依然给出下面的图示：前面给出的那篇文章是基于MapReduce的离线数据分析案例，其通过对网站产生的用户访问日志进行处理并分析出该网站在某天的PV、UV等数据，对应上面的图示，其走的就是离线处理的数据处理方式
weixin_34406796·2020-09-13 20:26

如何页面减少重绘回流

主要方法：直接改变className，如果动态改变样式，则使用cssText（考虑没有优化的浏览器）让要操作的元素进行”离线处理”，处理完后一起更新不要经常访问会引起浏览器flush队列的属性，如果你确实要访问
weixin_33753003·2020-09-13 20:50

如何减少回流？

虚拟DOM其实就是一个真实的JS对象，操作js中的内存要比直接操作DOM的速度要快1.直接改变className，如果动态改变样式，则使用cssText（考虑没有优化的浏览器）2.让要操作的元素进行”离线处理
weixin_30345055·2020-09-13 20:21

ACM-思维-CF#521div3 B+C+D+E+ (ECR#53div2的C 二分答案)

就是离线处理这个序列，贪心的遇到101就改掉第二个1为0，然后一直On查找至结束intt;cin>>t;n=0;for(inti=0;i>sumx[i];
oliveQ·2020-09-13 19:57

Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示

1.大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，
weixin_33670713·2020-09-13 18:39

ONLYOFFICE集成版 | 对于Nuxeo：适用于Nuxeo的在线办公室

ONLYOFFICE集成版适用于Nuxeo的在线办公室在Nuxeo中编辑和共同编辑Office文档为什么选择ONLYOFFICEONLYOFFICE是一个自托管的办公套件，可用于离线处理通行格式的文本文档
哲想软件·2020-09-13 00:00

Codeforces #669 Div2 E. Little Artem and Time Machine（离线、优先队列）

分析；离线处理。首先将查询按照查询时间排序，然后检查所有在这个查询的输入之前的操作，如果操作时间小于查询时间那么就执行，否则就存进一个优先队列中，等到时间够了再执行。#
ramay7·2020-09-12 05:37

hdu 2433 Travel（Dijkstra+思维）

输出这个和（很明显是离线处理）题目思路：优化后的dijstra的复杂度是O(Elog(V))，如果每次都是一个点一个点的求解最短路然后求和的话，题目的复杂度一样会爆炸，所以，只能采
China震震·2020-09-12 00:38

Hadoop1.0与Hadoop2.0的区别

Hadoop1.0即第一代Hadoop，指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中MapReduce是一个离线处理框架
哎呦、不错哦·2020-09-11 19:51

flink入门了解

在线工程在机器学习场景下，在线离线处理也会面临一些问题。首先会将离线的数据进行预处理和特征工程（如红框标注所示），然后进行离线的模型训练，训练好的模型会推到线上做推理。
serenysdfg·2020-09-11 10:12

HAdoop生态离线项目

大数据项目：集群规模–》每台机器的配置–》机型（物理机机型）一、Hadoop离线处理架构整个流程开发步骤：（1）数据采集server–>hadoop（2）
zhikanjiani·2020-09-10 22:09

mapReduce 大数据离线分析

数据分析一般分为两种，一种是在线一种是离线流程：一般都是对于日志文件的采集和分析场景实例（某个电商网站产生的用户访问日志（access.log）进行离线处理与分析的过程）1、需求：基于MapReduce
weixin_30319097·2020-09-10 18:46

利用openvibe做简单的离线脑电数据处理

对于脑电信号的离线处理，需要将加载到采集客户端
BCIduino脑机接口社区·2020-09-08 14:46

Spark------------------------spark核心SparkStreaming与 kafka、redis的结合

1.Apachespark核心编程集批处理（离线处理）、交互式处理和流式处理，为一体一栈式大数据解决方案Core数据式结构：分布式集合RDDSparkContext批处理（batchprocessing
leson-xu·2020-08-26 09:11

HDU 4777 Rabbit Kingdom(树状数组离线处理)

题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4777题目大意:一个兔子王国，有N只兔子，每只兔子有一个重量，如果两只兔子的重量不互质，那么就会干架，现在国王想将lr之间的兔子关进监狱，它想知道会有多少只兔子不会和别的兔子干架。也就是求l到r这个区间内有多少个数与所有数都互质题目解析:这题的思路真感觉是山路十八弯呀。后面学习了kuangbin大大的题
幻月瑶琴·2020-08-24 08:50

BZOJ 2434 ac自动机fail树+dfs序+树状数组+离线处理

简略题意：中文题目丢链接跑先考虑建立ac自动机，P代表当前节点为终止节点，B代表返回父亲节点。这样就可以O(n)建树。问第x个字符串在y中出现多少次，相当于问root到y这条路径每个点不停在fail上走，能到达多少次x。所以我们相当于在fail树上询问，root到y这条路径上有多少点在x的子树中。对于一个询问，我们只需要把root到y这部分点，用dfs序插入树状数组，随后询问x的子树即可。对于多个
meopass·2020-08-23 02:47

新浪微博：大规模离线视频处理系统的架构设计

本次演将以微博视频大规模视频离线处理系统的架构设计为主题为大家带来大规模分布式系统的架构设计，性能优化和高可用保障等一线实战经验。
LiveVideoStack·2020-08-22 13:38

莫队算法——暴力出奇迹

——zrt课件这个算法本质上其实是暴力，但是由于可以离线处理循环的顺序，使得复杂度可以从n^2降到n^根号n甚至更低。
weixin_34059951·2020-08-22 04:31

莫队算法（最小曼哈顿生成树或者分块处理）

莫队算法是一种离线处理区间问题很强的算法，简单学了下。
Miracle_ma·2020-08-22 00:25

【2018icpc宁夏邀请赛现场赛】【Gym - 102222F】Moving On（Floyd变形，思维，离线处理）

https://nanti.jisuanke.com/t/41290题干：FirdawsandFatinaharelivinginacountrywithnncities,numberedfrom11tonn.Eachcityhasariskofkidnappingorrobbery.Firdaws'shomelocatesinthecityuu,andFatinah'shomelocatesin
韬光养晦_·2020-08-21 05:43

ACM课程设计课 Advance_Contest_1 解题报告 Apare_xzc

ACM课程设计第一节课给ACM队员挂的题，不得不说难度还是有的，一共有四道题A.K-thNumber(poj-2104)查询区间第K大，主席树模板题B.SuperMario(HDU-4417)线段树+离线处理
Apare_xzc·2020-08-21 05:02

Lambda架构已死，去ETL化的IOTA才是未来

▌Lambda架构在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。
易观大数据·2020-08-21 04:06

Spark DStream数据源之Kafka

Kafka介绍Kafka是一种高吞吐量的分布式发布订阅消息系统，用户通过Kafka系统卡伊发布大量的消息，同时也能实时订阅消费消息Kafka可以同时满足在线实时处理和批量离线处理在大公司生态系统中，可以把
zxc123e·2020-08-21 02:31

Codeforces：1100F-F. Ivan and Burgers（离线线性基）

所以这个题需要离线处理，首先将所有的询问按照右端点排序，然后将数插入线性基，在插入的同时
GoldenFingers·2020-08-20 22:02

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

1大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志
yoku酱·2020-08-20 21:47

【线性基】【离线处理】codeforces1100F Ivan and Burgers

F.IvanandBurgerstimelimitpertest3secondsmemorylimitpertest256megabytesinputstandardinputoutputstandardoutputIvanlovesburgersandspendingmoney.TherearenburgerjointsonthestreetwhereIvanlives.Ivanhasqfrie
BUAA_Alchemist·2020-08-20 21:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他