离线处理

hadoop1.0和hadoop2.0的区别

中的资源管理方案Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架
zhangxiong0301·2020-08-20 20:39

Turing Tree(离线处理+线段树/树状数组+思维)

题目链接AfterinventingTuringTree,3xianalwaysfeltboringwhensolvingproblemsaboutintervals,becauseTuringTreecouldeasilyhavethesolution.Aswell,wily3xianmadelotsofnewproblemsaboutintervals.So,today,thissickthi
MOGU漠沽·2020-08-20 13:28

hdu3333 Turing Tree（离线处理）（树状数组）

AfterinventingTuringTree,3xianalwaysfeltboringwhensolvingproblemsaboutintervals,becauseTuringTreecouldeasilyhavethesolution.Aswell,wily3xianmadelotsofnewproblemsaboutintervals.So,today,thissickthingha
qdu_ellery·2020-08-20 13:43

如何用Spark实现一个通用大数据引擎

Waterdrop的特性包括简单易用，灵活配置，无需开发；同时支持流式和离线处理;模块化和插件化，易于扩展；支持利用SQL做数据处理和聚合；支持选择Spark或Flink作为底层引擎层。
Ricky_Huo·2020-08-19 10:12

jzoj5769 引子

链接（需要jzoj账号）这道题是一道比较简单的模拟，重点是我们需要判断水箱与水管，一种方法是建树，当然我们这种怕麻烦的就只会直接搜索了我们先将整张图输入，然后可以离线处理，每当处理到数字时我们便查找一下数字
布拉克王国国王黑叔叔·2020-08-19 06:12

Kafka start

1.What'sKafka:kafka:是一个高性能的跨语言的分布式发布，订阅消息系统，支持数据持久化，全分布式，支持在线和离线处理消息。
塞北沐秋·2020-08-18 10:31

大数据 - （五-1）- Impala

级大数据进行交互式实时查询（速度快）Impala有什么优势大数据领域最大的问题是数据存储和分析粗略划分大数据开发任务数据采集（日志文件，关系型数据库）数据清洗（数据格式整理，脏数据过滤）数据预处理数据分析离线处理
啦啦啦喽啰·2020-08-18 09:37

hdu3874/hdu3333 线段树区间求和

很基础的线段树，求和的时候去掉重复的，用离线处理就ok了。
丿Smile灬晨星·2020-08-18 08:53

sequence

当且仅当其所有元素的按位与的值能被K整除给出一个长度为N的序列A和K，每次询问[L,R]中有多少个连续子序列是K好的题解由于按位与运算是不增的，我们可以把相同的后缀与值分段存下来，显然不会有超过30个段这就很有意思了我们可以离线处理
lcc_cat·2020-08-18 01:02

ural 1846. GCD 2010（线段树）

题意：求n个点的最大公约数，有两种操作，增加一个数，删去一个数，删去的数肯定是已经存在的离线处理，先要离散化然后找到每个数相应的位置插入或删除，简单的单点更新gcd(a,b,c,d)=gcd(gcd(a
Rest·2020-08-17 23:29

【题解 && 巧妙的判环】 Cities Excursions

题目传送门题目描述：Solution首先，很显然的是将问题离线处理，然后每个点做一遍遍历，解答以当前点为起点的问题。
鹭天·2020-08-17 22:21

Hive

概述：Hive是Apache提供的基于Hadoop的数据仓库管理工具Hive提供了类SQL语言来操作Hadoop，底层会将SQL转化为MapReduce来执行，所以效率会比较低Hive适应于离线处理要求安装
宰祖宣·2020-08-17 19:53

基于hadoop的crc校验谈hadoop的离线设计思想

前言hadoop比较适合做离线处理，这个是众所周知的，而且hdfs为了保证数据的一致性，每次写文件时，针对数据的io.bytes.per.checksum字节，都会创建一个单独的校验和。
weixin_33785972·2020-08-16 02:09

使用docker安装kafka,zookeeper

#简单了解一下kafkakafka高性能跨语言的分布式发布/订阅消息系统，数据持久化，全分布式，同时支持在线和离线处理kafka设计目标-高吞吐率在廉价的商用机器上单机可支持每秒100万条消息的读写-消息持久化所有消息均被持久化到磁盘
IT_javatom·2020-08-16 01:11

线段树离线处理（区间内不同的数的个数）hdu3333

OnlineJudgeOnlineExerciseOnlineTeachingOnlineContestsExerciseAuthorF.A.QHandInHandOnlineAcmersForum|DiscussStatisticalChartsProblemArchiveRealtimeJudgeStatusAuthorsRanklistC/C++/JavaExamsACMStepsGotoJ
u010660276·2020-08-15 16:20

大数据认知（一）之为什么使用Hadoop生态系统处理大数据而不是高性能关系型数据库

在设计使用分布式Hadoop生态系统，如使用HDFS进行冗余、高容错地存储大数据、使用MapReduce分布式并行离线处理大数据等。而没有使用高效性能的关系型数据库，尽管
张加浪·2020-08-15 05:38

离散化+线段树

分析：每次1操作会往序列底加first个second，first和second都是最大1e9的数据，每次2操作询问序列中第first到第second个数的和一开始就感觉有点像线段树，输入数据太大我们可以离线处理把数据离散化下
1naive1·2020-08-14 05:49

莫队算法 HDU4638

区间问题暴力解法＋离线处理题目传送门：小Z的袜子#include#include#include#include#includeusingnamespacestd;#definemaxn50010typedeflonglongll
_Scarlett·2020-08-14 05:17

二阶导数求信号波峰波谷算法

博文中的问题背景是在图像分析中的投影曲线波峰波谷查找，其实也是一种信号处理，只是这样的过程相当于是离线处理过程，而我面临的是在线实时的信号处理，但是原理都是一样的。
Bai max·2020-08-14 00:17

Lambda架构已死，去ETL化的IOTA才是未来

▌Lambda架构在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。
易观大数据·2020-08-12 17:39

深入ASM源码之ClassReader、ClassVisitor、ClassWriter

ASM被设计用于在运行时对Java类进行生成和转换，当然也包括离线处理。ASM短小精悍、且速度很快，从而避免在运行时
iteye_10413·2020-08-12 15:35

淘宝大数据产品解析之搜索应用平台nimitz介绍

在dump中心，是由道凡发起的一个项目，目标是希望nimitz能成为各个搜索小应用提供一个综合平台，可以快速部署各种中小型的搜索引擎服务，可以快速对接淘宝的各个业务库，快速开发海量数据数据的离线处理程序
豹先生_MR-BAO·2020-08-11 10:02

换个角度思考-----------------------------思维(离线+树状数组)

解析:对于询问先离线处理，然后对于询问按照x从小到大排序。对于序列的数也要从小到大排序。
AKone123456·2020-08-11 03:48

Flume整合Kafka

文章目录1.创建topic2.创建flume-agent配置文件3.开启消费者4.后台启动flume-agent5.测试flume主要是做日志数据（离线或实时）地采集flume采集完毕数据之后，进行的离线处理和实时处理两条业务线
DanielMaster·2020-08-11 02:08

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。
wxy_fighting·2020-08-11 01:29

【BZOJ2038】小Z的袜子（2009国家集训队）-莫队算法

于是本人今天学习了传说中离线处理区间询问的无敌算法——莫队算法，感觉妙极！莫队算法的讲解见这里。
Maxwei_wzj·2020-08-10 14:55

AtCoder Beginner Contest 174 F Range Set Query 离线处理+连续区间自左向右处理+树状数组定位颜色位置(一种颜色只记录一次,绝不重复)

AtCoderBeginnerContest174比赛人数9817AtCoderBeginnerContest174FRangeSetQuery离线处理+连续区间自左向右处理+树状数组定位颜色位置(一种颜色只记录一次
mrcrack·2020-08-10 10:10

Portal HDU - 3938 （并查集 +离线处理）

看了还久都没什么思路看了题解思路还是不晓得咋写最后看了别人的代码才明白这题咋弄题目意思题目给定了点，边和边的边权求最多有多少对点之间的路径上的最大值小于L题目思路这题要用到最小生成树kruscal的思想我们要让点之间的路径最大值尽量小直接对边的边权值排序从小往大取用并查集连接不连通的区域并且记录区域点的数量因为我们从小到大取取得时候只要保证边权小于限制的值就不需要考虑路径最大值超过限制因为询问较多
daydreamer23333·2020-08-09 20:12

基于Canal与Flink实现数据实时增量同步(二)

本文主要从Binlog实时采集和离线处理Binlog还原业务数据两个方面，来介绍如何实现DB数据准确、高效地进入Hive数仓。
西贝木土·2020-08-09 13:23

HDU 4791 Alice's Print Service 简单DP

所以进行离线处理，将询问排序，从小到大依次处理，处理过程O(n+m)，但排序过程是O(mlogm)，所
ooooooooe·2020-08-09 12:34

基于Canal与Flink实现数据实时增量同步(二)

本文主要从Binlog实时采集和离线处理Binlog还原业务数据两个方面，来介绍如何实现DB数据准确、高效地进入Hive数仓。
西贝木土·2020-08-08 14:40

大数据实战第十四课-若泽数据面试题

画出你们的大数据架构，然后针对架构提问，如何做到精准一次、小文件规避等https://blog.csdn.net/zhikanjiani/article/details/89284488参考第一个mapreduce离线处理项目
zhikanjiani·2020-08-04 22:58

hdu4288--Coder--线段树--离线处理+离散化+想法！

做过的线段树做到现在收获最大的一题～～～以后还要多做几遍～～～学会了左加右减的位移思想，学会了离线处理数据，学会了用lower_bound或者upper_bound寻找hash中某个数值所在的数组下标～
CS_ChenLI·2020-08-04 18:09

HDU 4288 Coder（线段树＋离线处理）

题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=4288维护一个序列an，有以下三种操作：一、在序列中添加元素x二、在序列中删除元素x三、计算序列中下标i%5=3的元素和在写解题报告之前先废话几句关于线段树的姿势问题：之前一直习惯于结构体姿势的线段树，后来看了notonlysuccess的线段树总结，开始采用数组的方式写线段树，结构体的缺点在于浪费了2
saucyJack·2020-08-04 17:31

HDU3078 Network（tarjan离线处理+排序，树链第k大）

题意给定一棵树，每个节点都有一个权值。有m个操作：0ab表示将a节点的权值改为bkab表示（k不为0）输出路径a–>b上节点（包括a、b）的权值第k大。解题用tarjan算法离线求出所有查询的lca。然后通过前缀点pre来暴力统计路径上的点，将点放入数组s中，排序一次。比较数组大小sum与k的关系，如果k>sum,无解；否则输出第k大（注意不是第k小）。tarjan算法时间复杂度为O(n+q）。排
EnjoyingAC·2020-08-04 17:51

VS2015+OpenCV+大恒MER-Gx系列工业相机

之前偶尔使用网络摄像头，勉强能够完成基础操作；偶尔进行离线处理，也还应付的过来。
ZXOO00·2020-08-04 12:48

HDU 4288 Coder 线段树做法不会果断水过

不得不说有些时候不会算法敢于尝试有可能就给过了...如果用线段树的话要离散化+离线处理..会这个的
神奇豆子·2020-08-04 10:05

CF-goodby 2014-E

题目连接NewYearDomino这个题用线段树来离线处理询问(结合代码来看,我觉得看代码还好懂一些);先设置一个数组,cur[],初始值设置为空,用线段树来维护它.这个数组的具体含义往后看.然后从左到右去扫描每个多米诺
qw4990·2020-08-04 00:18

在linux/CentOS中搭建LNMP架构、部署动态网站环境。

screen命令能做的事情非常多：可以用-S参数创建会话窗口；用-d参数将指定会话进行离线处理；用-r参数恢复指定会话；
锈了的皇冠·2020-08-03 23:11

牛客网暑期ACM多校训练营（第一场）比赛总结

这样再离线处理就很简单了。据说还可以用主席树或者莫队。。。针对树状数组离线处理的题目还有很多，这需要我们熟练掌握。
LSD20164388·2020-08-03 13:22

hive基础知识（二）

hive使用场景：离线数据处理大数据延迟高数据的离线处理；比如：日志分析，海量结构化数据离线分析…Hive的执行延迟比较高，因此hive常用于数据分析的，对实时性要求不高的场合；Hive优势在于处理大数据
六钥·2020-08-01 12:57

Hadoop精华问答 | Hadoop框架中最核心的设计是什么？

Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色，今天，就让我们看看关于Storm的精华问答吧。
CSDN云计算·2020-08-01 10:07

hdu-5213（莫队算法）

莫队算法介绍：莫队算法是离线处理一类区间不修改查询类问题的算法。就是如果你知道了[L,R]的答案。你可以在O(1)的时间下得到[L,R-1]和[L,R+1]和[L-1,R]和[L+1,R]的答案的话。
w-y-p·2020-08-01 02:02

莫队算法入门 Codeforces617E

莫队算法：莫队算法的用处是，对于一个区间内的查询，当我们已经知道了[L,R]的答案的时候，有莫队算法可以在很短的时间内得到[L-1,R]或者是[L,R+1]的答案，前提是可以离线处理。
LinzhiQQQ·2020-07-31 14:14

HDU 6333

利用莫队算法离线处理即可。代码：#include#defineINF0x3f3f3f3f#defineIOios::sync_with_stdio(0);cin.tie(0
Spy97·2020-07-31 12:39

离线处理网站的PV,UV方案

流程：导入数据hdfs（flume-->hdfs）建立hive表把hdfs上的数据导入到hive表里面数据清洗-->（先有一个数据清洗表）数据分析，数据统计-->存放一张表里面把hive表的数据导出到，mysql中把mysql里面的㐇给查出来，展示到页面何为PV？PV（pageview）访问量，即页面浏览量或点力量，衡量网站用户访问的网页数量；在一定统计周期内用户没打开或刷新一个页面就记录一次，多
小东升职记·2020-07-30 20:13

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。
wangmm0218·2020-07-30 17:01

大数据学习笔记

大数据相关技术Flume：数据的收集聚集加载Hadoop.HDFS：海量数据的存储MapReduce、Hive、SparkSql：数据的离线处理Kafka、flink、SparkStreaming：数据的实时处理
浩浩浩666·2020-07-30 14:39

洛谷P1972

这道题需要离线处理，由于问问题可能存在先问一下后方区间再突然问一下前方区间，而我们一旦要是想修改就会很麻烦。。
LXY_XYL·2020-07-30 09:55

莫队算法入门详细讲解（MoQueue)

莫队是基于分块从而诞生出来的一种技巧（我是这样理解的…）主要用于离线处理查询区间的问题，要求会基本的分块操作具体操作为保存所有的询问，然后对于询问进行分处理，之后遍历所有的询问，对于每次询问的区间端点与上一次的端点
十点就睡·2020-07-29 10:36
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他