离线处理

tarjan求LCA学习笔记

tarjan求LCA学习笔记其实，实质就是离线处理询问，我们可以将所有询问看成类似于这样的样子，每次提高LCA，当两点恰好连通时，两点之间最高的点就为LCA。
lsoi_ljk123·2019-10-25 08:00

迎国庆 itest(爱测试) 4.1.0 发布，开源BUG 跟踪管理 & 敏捷测试管理软件

新版极大方便测试执行，测试人员可要把看板设置为首页，就可以在这里连续不断的执行你的迭代用例，同时，用例导入导出及同步离线处理更加友好，返回具体的同步数据。V4.1.0详情如下所述:11个功能增强：（
itestAndy·2019-09-29 11:00

The Preliminary Contest for ICPC Asia Shanghai 2019 G. Substring（字符串hash）

hash匹配，由于卡空间，我们离线处理，枚举查询串的长度（不超过sqrt(q）)，二分得到匹配个数。
SnowLove·2019-09-18 20:00

Reactive(3)5分钟理解 SpringBoot 响应式的核心-Reactor

异常处理五、线程调度小结参考阅读一、前言关于响应式Reactive，前面的两篇文章谈了不少概念，基本都离不开下面两点：响应式编程是面向流的、异步化的开发方式响应式是非常通用的概念，无论在前端领域、还是实时流、离线处理场景中都是适用的
美码师·2019-09-12 22:00

The Preliminary Contest for ICPC Asia Xuzhou 2019 I. query （树状数组+二维偏序）

采用离线处理。i从1到n循环，对所有的query.L=i，减去sum[R]-sum[L-1]，即上面所说的y（此时L~R的合法对还没被计算
Cherry_93·2019-09-08 23:00

The Preliminary Contest for ICPC Asia Xuzhou 2019 I. query （树状数组+二维偏序）

采用离线处理。i从1到n循环，对所有的query.L=i，减去sum[R]-sum[L-1]，即上面所说的y（此时L~R的合法对还没被计算
Cherry_93·2019-09-08 23:00

大数据篇（一）：实时计算（storm集成kafka的流式处理）讲解

分布式批处理，可以看成离线处理，将数据收集到1个月一周或者一天进行处理，不要求纳秒/毫秒响应，应对不要求实时性的海量数据运算。这里不做过多讲解，等待
飞翔的IT人·2019-09-01 15:43

Hadoop——MapReduce分布式计算框架

具有海量数据离线处理。对于大数据量的计算，通常采用的处理方式就是并行计算，MapReduce就是一种分布式计算的编程框架，它使得并没有并行计算经验的开发人员也可以计算并行应用程序。
_羊羽_·2019-08-25 20:17

6 MapReduce的理解

Google的MapReduce论文发表于2004年12月HadoopMapReduce是GoogleMapReduce克隆版MapReduce特点易于编程良好的扩展性高容错性适合PB级以上海量数据的离线处理
农夫三拳有點疼·2019-07-19 16:00

谈谈我的面试经历：大数据开发如何面试？

技术架构：遇到高并发，高可用的实际问题是什么，因此采用Hadoop离线处理和Spark实时计算。技术难点一：离线处理中的数据处理，比如数据表的行转列，JSON转Java,复杂的SQL语句等。
非科班大数据工程师·2019-06-02 17:13

hadoop与传统数据库的区别

5v特征对比速度上hadoop：速度快-实时处理-离线处理，支持流处理，批处理。传统数据库：关系型数据库定时任务需要人工跑批，以一天为单位。价值密度hadoop：一批数据单个数据密度低，
@流浪地球·2019-05-28 21:54

大数据分析的下一代架构--IOTA架构[上] 转

▌Lambda架构在过去Lambda数据架构成为每一个公司大数据平台必备的架构，它解决了一个公司大数据批量离线处理和实时数据处理的需求。一个典型的Lambda架构如下：数
生活的探路者·2019-05-26 10:45

大数据项目及实现

通过此项目，回顾并串联前面讲述的离线数据处理相关技术，如：FIune、Sqoop、Hive、Spark等，了解和掌握PB级数据离线处理的一般过程和架构。
haotian1685·2019-05-11 21:36

大数据里常见的几种压缩格式压缩

离线处理流程：为什么使用压缩当使用MapReduce经过ETL后落到HDFS上时，若使用普通文本格式TXT，那一般副本数为三，若一个副本为500T，500*3=1500？显然是不现实的。
5xh·2019-04-16 19:01

LCA算法

涉及到批量查询的时候，咱们可以借鉴离线处理的方式，这就引出了解决此LCA问题的Tarjan离线算法。2.1、什么是Tarjan算法Tarjan算法（以发现者RobertTarjan命名
cx1165597739·2019-04-12 09:30

SFM方向开源软件COLMAP代码分析

作为目前最优的SFM开源软件COLMAP（离线处理模式），其详细介绍可参考：http://colmap.github.io/，编译源码后运行程序界面如下：其稀疏重建数据处理流程为：1）“File->Project
Z5122·2019-04-09 17:56

2019 CCSU GOLD!!!

最大字典序排列区间合并+LCA51Nod1766树上的最远点对更新结点，结点查找，扫描线51Nod1494选举拉票更新结点，区间最值+dp51Nod1781Pinball更新区间，区间最值51Nod1571最近等对+离线处理
SnowLove·2019-04-07 13:00

数据仓库设计与实现入门（一、ODS/DW/BN简介）

一、从数据流的逻辑上来讲，数据可以分为ODS层（原始日志数据），DW层（数据仓库），BN（统计结果数据）Spark/SparkStreaming任务加载原始日志（离线处理flume落地到hadoop集群的
zx_love·2019-04-02 19:23

HDFS性能优化心得【转载】

随着Hadoop平台成为越来越多公司的数据存储和离线处理的平台，如何对Hadoop平台进行性能优化也成为一项重要的技能，那么我们应该如何Get这项技能呢？俗话说的好，工欲善其事必先利其器。
风筝Lee·2019-04-02 19:19

Hadoop02【架构分析】

Hadoop1.0即第一代Hadoop，指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中MapReduce是一个离线处理框架
波波烤鸭·2019-03-31 21:20

大数据开发的高质量面试题

l技术架构：遇到高并发，高可用的实际问题是什么，因此采用Hadoop离线处理和Spark实时计算。l技术难点一：离线处理中的数据处理，比如数据表的行转列，JSON转Java,复杂的SQL语句等。
SmartBrain·2019-03-13 15:30

Storm精华问答 | 如何处理常见故障？

Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色，今天，就让我们看看关于Storm的精华问答吧。
csdn业界要闻·2019-03-13 11:36

Storm精华问答 | 如何处理常见故障？

Hadoop能够进行大批量数据的离线处理,但是在实时计算上的表现实在是不尽如人意;而Storm就可以担当这部分的角色，今天，就让我们看看关于Storm的精华问答吧。
csdn业界要闻·2019-03-13 11:36

SparkSQL实战5——综合实战完成日志分析1

1、离线处理架构图：2、数据处理流程：数据采集：使用Flume采集web日志信息到HDFS中去数据清洗：将脏数据清理，使用Spark、hive、MapReduce等分布式计算框架数据处理：按照我们的需要进行相应业务的统计和分析
驭风者yuzhansheng·2019-03-11 11:57

实践：Flume同步信息到HDFS

通过flume组件将不断更新的日志信息传递给hdfs做离线处理，kafka做实时处理。  当然我们本次先演示flume-hdfs的过程。架构图配置f
JeremyJiaming·2019-03-07 16:32

大数据Spark结合图数据库Neo4j设计架构

经测试，几套架构尚可满足Spark离线处理和实时计算需求。CodingIntroducedefgetDriver():Driver
XuTengRui·2019-02-24 15:44

离线处理网站的PV,UV方案

流程：导入数据hdfs（flume-->hdfs）建立hive表把hdfs上的数据导入到hive表里面数据清洗-->（先有一个数据清洗表）数据分析，数据统计-->存放一张表里面把hive表的数据导出到，mysql中把mysql里面的㐇给查出来，展示到页面何为PV？PV（pageview）访问量，即页面浏览量或点力量，衡量网站用户访问的网页数量；在一定统计周期内用户没打开或刷新一个页面就记录一次，多
小飞猪小肥猪·2019-01-17 21:22

大数据分析的下一代架构--IOTA架构设计实践[下]

IOTA架构提出背景大数据3.0时代以前，Lambda数据架构成为大数据公司必备的架构，它解决了大数据离线处理和实时数据处理的需求。
代立冬·2018-12-31 20:53

离线处理之Hive入门基础

改了一万个BUG，才开始HIVE之旅。且行且珍惜。HIVE是Facebook开发贡献给Hadoop开源社区的。他可以无基础帮助OLAP分析人员使用简单的sql语句进行数据分析。它的原理也很简单，hivesql先被sql解析其解析，生产个一个可执行的mr计划，最后交给hadoop处理。hadoop是批量处理，所以hive也是高延迟的。它不提供数据的排序和查询缓冲，以及在线事务和记录级跟新。hive主
机器不能学习·2018-11-27 20:44

2018.11.08 NOIP模拟 班车（倍增+dfs+bit）

传送门对于每个点离线处理出向上走2i2^i2i班车到的最上面的点。
SC.ldxcaicai·2018-11-08 23:05

Hive 基本架构

hive是一个著名的离线处理的数据仓库，可以通过类SQL语言轻松的访问大量的数据集，也可以访问HDFS中的文件，但是其底层的实现是MapReduce,所以具有较高的可扩展性。
张晓天a·2018-11-03 16:06

Hive数据仓库学习（一）之Hive初步认识

Hive，数据仓库，是基于Hadoop的一个数据仓库工具，它可以将结构化的数据文件映射在一直数据库表中，使用HQL（类SQL）开发，是一款很好的离线处理数据工具，在Hadoop中，用来进行离线批处理的事
闲暇的小安·2018-10-29 08:30

关于流计算基本认识

这样看起来虽然非常合理，但是结果却非常的紧凑和，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决问题。
云计算小百科·2018-10-11 12:32

分布式计算框架MapReduce总结

源自于Google的MapReduce论文，克隆复制发展而来优点：海量数据离线处理＆易开发＆易运行(与Spark比较还是弱很多)缺点:难以满足实时流式计算在跑MapReduce时，前面我的几篇博客说的HDFS
29DCH·2018-10-03 17:03

分布式计算框架MapReduce总结

源自于Google的MapReduce论文，克隆复制发展而来优点：海量数据离线处理＆易开发＆易运行(与Spark比较还是弱很多)缺点:难以满足实时流式计算在跑MapReduce时，前面我的几篇博客说的HDFS
29DCH·2018-10-03 17:03

storm学习笔记

分布式mysqlhadoop:海量数据，分布式存储、分布式计算，最终计算结果汇总---->非实时性，当下性能消耗低每天将所有的数据收集起来，第二天凌晨统一批量计算离线处理，批量计算s
CutePanda·2018-08-14 21:58

5807. 【NOIP提高A组模拟2018.8.13】简单的区间（在线分治（树上启发式合并 或 分治中心） 或 离线分治（主席树或桶））

首先考虑分治.对于一个区间[l,r][l,r]，我们考虑其中最大的数位置在mm，那么区间可以被分成两段，[l,m],[m+1，r][l,m],[m+1，r]那么这个时候考虑枚举小的那一段的位置，大的那一段可以离线处理
Algor_pro_king_John·2018-08-13 20:50

Tarjan离线算法 （LCA最近公共祖先）

Tarjan离线算法是利用并查集和DFS来达到离线处理的目的我们都知道，对于一棵树，后序遍历一遍，访问它的根的时机一定是后与它的孩子的。
bestsort·2018-08-03 15:30

HDU 6333 Problem B. Harvest of Apples 莫队算法

于是可以将每次询问看作区间，可以利用莫队算法离线处理出所有的询问。需要注意的是第四个的除2，直接
D-DeepWave·2018-08-02 12:24

流处理系统中的“Exactly Once”语义保证

前言最近在学习一些流处理相关的知识，对比与笔者接触比较多的离线处理系统，实时流处理的有些地方还是比较有意思的。
Android路上的人·2018-07-31 18:20

机器学习中的数据清洗与特征处理

灰色框中蓝色箭头对应的是离线处理部分。主要工作是从原始
羽翼天宇·2018-07-29 14:24

linux系统下hadoop的安装

配置免密登录3.5配置hadoop3.5.1解压hadoop3.5.2修改配置文件3.5.3启动hadoop3.5.4通过浏览器访问hadoophadoop简介：Hadoop是Apache提供的开源的海量数据离线处理框架
饥饿的石头HWL·2018-07-21 11:03

Flume+Kafka+Spark Streaming实现大数据实时流式数据采集

大数据实时流式数据处理是大数据应用中最为常见的场景，与我们的生活也息息相关，以手机流量实时统计来说，它总是能够实时的统计出用户的使用的流量，在第一时间通知用户流量的使用情况，并且最为人性化的为用户提供各种优惠的方案，如果采用离线处理
不清不慎·2018-07-21 01:31

2018年7月19日训练日记

然后离线处理。。。幸好及时想到了。。。其实就是个树状数组的简单应用。通过这题我对树状数组的理解又加深了，也能在完全不看模板的情况下完全手敲下来了。以后遇到类似的题，一定要尽快做出来，而且保证准确
LSD20164388·2018-07-19 20:12

服务器数据恢复案例 / raid5阵列多块硬盘离线处理方法

服务器数据恢复案例一：某研究院DELL服务器磁盘阵列崩溃，内置15块1TB硬盘搭建的RAID5阵列。一开始有一块硬盘离线，在更换新硬盘进行同步的过程中，第二块磁盘指示灯报警，同步失败，阵列无法正常工作。服务器数据恢复检测：最先离线的硬盘访问速度极其缓慢，第二块离线的磁盘有少量坏扇区，其他磁盘无明显物理问题。服务器质逻辑状况：整个阵列只包含一个卷组，该卷组占用阵列全部空间；并且该卷组只有一个起始位置
宋国建·2018-07-18 14:01

大数据的学习路线总结

大数据离线处理技术学习要点图：虽然网上也有很多的学习路线，很多的方法建议，各类不同的工具，但是找到属于自己的才是最好的。下面我就来详细说下我的学习路线吧。
qq_38799155·2018-07-03 14:42

大型企业级云产品-数据统计分析系统（离线处理-流处理-批处理）

阅读更多大型企业级云产品-数据统计分析系统（离线处理-流处理-批处理）课程观看地址：http://www.xuetuwuyou.com/course/249课程出自学途无忧网：http://www.xuetuwuyou.com
haoxuexi87·2018-05-09 10:00

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

1大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志
yuanzhitang·2018-05-02 23:58

12 大数据平台基础架构和常用处理工具

springboot实战（干货）React入门实战（干货）构建中小型互联网企业架构（干货）python学习持续更新ElasticSearch笔记kafkastorm实战(干货)一、概述数据在线分析处理和常用工具大数据离线处理和常用工具
chenshiying007·2018-05-01 21:53

大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

1大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志
JuiYang·2018-04-23 12:10
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他