海量数据处理

海量数据处理算法总结【超详解】

1.BloomFilter【BloomFilter】BloomFilter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。BloomFilter有可能会出现错误判断，但不会漏掉判断。也就是BloomFilter判断元素不再集合，那肯定不在。如果判断元素存在集合中，有一定的概率判断错误。因此，
weixin_34290352·2020-08-16 03:21

王璞：基于容器的服务发现与负载均衡

擅长分布式计算、大规模机器学习、海量数据处理。曾担任G
蔚1·2020-08-16 02:30

海量数据处理的常用思路和方法

http://blog.chinaunix.net/uid-26565142-id-3127581.html最近在研究个性化推荐系统，基础很是薄弱，没有海量数据处理相关经验，这篇文章算是分享了一些经验。
小飞鱼露·2020-08-15 22:22

海量数据处理方法归类

海量数据，找出最热门（频率最高）的某一数据，或前100的数据。一般情况下数据大小几百个G，而内存限制就1个G，完成计算。应用场景：（1）海量日志数据，提取出某日访问百度次数最多的那个IP；（2）搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户
aodeng3436·2020-08-15 22:49

大数据≠hadoop，数据中台选型你应该看到这些分布式数据库

尽管hadoop在高并发、海量数据处理等方面有着无可比拟的优势，但是在OLAP场景下的数据分析方面始终不如人意。在hadoop生态体系中，
IT农民工1·2020-08-15 17:00

迅速秒杀99%的海量数据处理面试题

2019独角兽企业重金招聘Python工程师标准>>>何谓海量数据处理？所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。
weixin_33943836·2020-08-15 16:15

海量数据搜索算法优化-存储/查询/排序算法

同时，实际的海量数据处理，更是涉及很多细节，包括海量数据存储（物理存储、逻辑存储、海量数据库的备份）、数据采集、海量数据查询（
xxyakoo·2020-08-14 22:47

秋招总结(四)-海量数据处理问题归纳

TOPN问题1.如何在海量数据中找出重复最多一个通过hash映射为小文件通过hash_map统计各个小文件重读最多的并记录次数对每个小文件重复最多的进行建立大根堆2.上亿有重数据，统计最多前N个内存存不下通过hash映射为小文件通过hash_map统计各个小文件重读最多的并记录次数对每个小文件重复最多的进行建立大根堆并重复N次取走堆顶并重建堆操作内存存得下直接内存通过hash_map统计并建大根堆
amoscykl·2020-08-14 16:27

Datax介绍

、ODPS(ODPS是分布式的海量数据处理平台)、HBase(
a870542373·2020-08-14 16:07

海量数据处理---分而治之

方法介绍对于海量数据而言，由于无法一次性装进内存处理，导致我们不得不把海量的数据通过hash映射分割成相应的小块数据，然后再针对各个小块数据通过hash_map进行统计或其它操作。那什么是hash映射呢？简单来说，就是为了便于计算机在有限的内存中处理big数据，我们通过一种映射散列的方式让数据均匀分布在对应的内存位置(如大数据通过取余的方式映射成小数存放在内存中，或大文件映射成多个小文件)，而这个
在云边听雨·2020-08-12 17:12

海量数据处理（查重，topk）

文章目录查重问题哈希表示例问题：找第一个重复的数字统计数字及其出现的次数可以使用无序映射表求topk对内存有限制的大数据处理查重问题查重：就是在一组海量数据中，查找重复的数据，一般的解题思路就是哈希表哈希表名称特点unordered_set单重集合，只存放key，不允许key重复unordered_multiset多重集合，只存放key，允许key重复unordered_map单重映射表，存放[k
qq_43313035·2020-08-12 12:02

并行计算之计算模型

随着海量数据处理的需求增加，并行计算越来越发挥它巨大的作用。通过采用多线程（多进程）的模式对同一任务进行并行处理，可以大大节省处理时间，提高处理效率。
zhanglei8893·2020-08-12 10:46

海量数据处理的SQL性能优化

1设计阶段的优化1.1表设计1.1.1范式化数据库设计三范式定义：1.第一范式：每个字段只包含最小的信息属性。例如常见的学号：入学年份+班级+编号，是不符合第一范式的，需要将其拆解为：入学年份、班级、编号。2.第二范式：（在满足第一范式基础上）模型含有主键，非主键字段依赖主键。3.第三范式：（在满足第二范式基础上）模型非主键字段不能相互依赖。例如订单表，一般来说订单表的主键是订单号。在此表中，字段
Cloud-g·2020-08-11 03:36

海量数据处理

文章目录0.前言1.位图应用2.布隆过滤器应用3.哈希切割4.倒排索引5.后续补充0.前言该文章会长期收录一些关于海量数据处理的常见问题，在面试中很容易被问到，希望做以记录帮助到读者。
Y_puyu·2020-08-11 01:08

徐易容「再创业」：从抓虾网到美丽说的16个转变！

因为自己懂得数据挖掘，而RSS正是海量数据处理。纯粹是从自己的角度，从擅长的技术角度去思考和决定的考虑市场，考虑别人的需求。
小饕·2020-08-10 13:22

海量数据处理之基本方法

2013年9月18日针对海量数据的处理，可以使用的方法非常多，常见的方法有Hash法、Bit-map法、Bloomfilter法、数据库优化法、倒排索引法、外排序法、Trie树、堆、双层桶法以及MapReduce法。1．Hash法Hash一般被翻译为哈希，也被称为散列，它是一种映射关系，即给定一个数据元素，其关键字为key，按一个确定的哈希函数Hash计算出hash（key），把hash（key）
yaotinging·2020-08-10 05:56

海量数据处理

本文转自:http://www.epubit.com.cn/article/290所谓海量数据处理，是指基于海量数据的存储、处理或操作。
酒中仙1225·2020-08-10 04:32

十道海量数据处理面试题与十个方法大总结

海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu。时间：二零一一年三月二十六日本文之总结：教你如何迅速秒杀掉：99%的海量数据处理面试题。
LeLe_Feb·2020-08-10 01:04

海量数据处理常见问题

有关海量数据处理的一直以来都是互联网企业笔试面试的重点，此类题目也非常多，但归纳起来，主要有以下3类：topK问题、重复问题、排序问题。以下将分别对这3类问题进行详细的分析。
Robin-Li·2020-08-10 01:39

99%的海量数据处理面试题

Hadoop实战高手速成宝典教你如何迅速秒杀掉：99%的海量数据处理面试题分类：22.BigDataProcessing05.MS100'original2012-03-2212:51348470人阅读评论
TT_LJM·2020-08-09 19:49

面试官：你都工作三年了，怎么对海量数据处理都没有掌握

作为一名大数据开发工程师，求职面试时，关于海量数据处理的问题时常会遇到。
爱开发V·2020-08-09 17:44

Kafka 是如何实现事务的？

Kafka是一个高度可扩展的分布式消息系统，在海量数据处理生态中占据着重要的地位。数据处理的一个关键特性是数据的一致性。
_tison·2020-08-09 02:51

教你如何迅速秒杀掉：99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题本文经过大量细致的优化后，收录于我的新书《编程之法：面试和算法心得》第六章中，新书目前已上架京东/当当作者：July出处：结构之法算法之道blog前言一般而言
v_JULY_v·2020-08-08 23:06

大数据实验数据集何处来？

相应之下，目前对于海量数据处理人才的需求也在不断增多，此类人才可谓炙手可热！越来越多的开发者把目光转移到海量数据的处理上。但是不是所有人都能真正接触到
徐海蛟博士·2020-08-08 22:45

大数据量的算法面试题

原链接：http://blog.csdn.net/v_july_v/article/details/7382693何谓海量数据处理？所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。
cynwang·2020-08-08 15:03

hadoop压缩与解压

压缩广泛应用于海量数据处理中，对数据文件进行压缩，可以有效减少存储文件所需的空间，并加快数据在网络上或者到磁盘上的传输速度
chuanjiaoye5017·2020-08-08 14:30

一. 分布式技术原理

分布式技术原理分布式系统的特点随着移动互联网的快速发展，互联网的用户数量越来越多，产生的数据规模也越来越大，对应用系统提出了更高的要求，我们的系统必须支持高并发访问和海量数据处理。
入门->放弃·2020-08-08 02:42

mycat介绍01-mysql读写分离配置

mycat介绍1》mycat出现场景在互联网时代，海量数据的存储与访问成为系统设计与使用的瓶颈问题，对于海量数据处理，按照使用场景，主要分为两种类型：联机事务处理（OLTP）和联机分析处理（OLAP）。
weixin_30920513·2020-08-05 02:54

Spark教程

Spark快速入门指南(QuickStartSpark)Spark,海量数据处理热度：1,432人围观我来评论六102014作者:过往记忆|新浪微博：左手牵右手TEL|可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明博客地址
kfyong·2020-08-05 00:25

Hadoop Map/Reduce编程模型实现海量数据处理—数字求和-Hadoop学习

HadoopMap/Reduce编程模型实现海量数据处理—数字求和魏仁言2010.8.24Map/Reduce编程模型型的原理是：利用一个输入key/valuepair集合来产生一个输出的key/valuepair
savechina·2020-08-04 18:38

一份 Hadoop 面试 【避坑指南】 拍了拍你！

多数人其实凭借平时工作对海量数据处理的经验，觉得这种面试题完全就是小case，不假思索就快速给出了答案：1.HD
过往记忆·2020-08-04 03:14

一、十大海量数据处理方法总结

一、布隆过滤器(BloomFilter)如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希表，Hashtable）等等数据结构都是这种思路，存储位置要么是磁盘，要么是内存。很多时候要么是以时间换空间，要么是以空间换时间。在响应时间要求比较严格的情况下，如果我们存在内里，那么随着集合中元素的增加，我们需要的存储空间越来越大，以及检
嘻哈吼嘿呵·2020-08-04 00:25

mangodb与mysql的区别

缺点：在海量数据处理的时候效率会显著变慢。Mongodb是非关系型数据库(nosql),属于文档型数据库。
那二楹·2020-08-03 16:34

好资源分享

advanced-java:互联网Java工程师进阶知识完全扫盲：涵盖高并发、分布式、高可用、微服务、海量数据处理等领域知识。architect-awesome：后端
tangdong3415·2020-08-03 04:22

海量数据处理之BitMap（转）

现在有10亿个int型的数字（JAVA中int型占4B），以及一台可用内存为1GB的机器，如何找出这10亿个数字的中位数？中位数定义：数字排序之后，位于中间的那个数。比如将10亿个数字进行排序（位置从1到10亿），排序之后，位于第5亿个位置的那个数就是中位数。关于中位数，可参考：快速排序中的分割算法的解析与应用一种方法是定义一个长度为10亿的整型数组，采用排序算法排序。但是：10亿个数字，每个数字
hahavslinb·2020-08-03 00:18

资料搜集-JAVA系统的梳理知识2

海量数据处理以及缓存穿透这两个场景让我认识了布隆过滤器，我查阅了一些资料来了解它，但是很多现成资料并不满足我的需求，所以就决定自己总结一篇关于布隆过滤器的文章。
君子志邦·2020-08-02 19:28

分布式缓存技术

普通人恐怕思来想去也说不出个所以然，但程序员却能脱口而出：高并发用户访问随着云计算与Web2.0的发展，许多企业或组织都在面对空前的需求，这也引领着着各项互联网技术的发展与变革，比如：集群技术、负载均衡、海量数据处理
金锁锁·2020-08-02 13:50

hadoop框架结构学习简述

单是谷歌的爬虫程序每天下载的网页超过1亿个（2000年数据，）数据的爆炸式增长直接推动了海量数据处理技术的发展。谷歌公司提出的大表、分布式文件系统和分布式计算的三大技术构架，解决了海量数据处理的问题。
weixin_34290352·2020-08-01 09:05

阿里云数据库资深专家林伟：大规模计算平台研究与实战

112峰会统一报名链接：http://yq.aliyun.com/webinar/join/49议题名称：《大规模计算平台研究与实战》议题简介：MaxCompute是由阿里云自主研发，是阿里巴巴自主研发的海量数据处理平台
weixin_34329187·2020-08-01 04:02

活动实录丨SRE在传统企业中的落地实践

擅长分布式计算、大规模机器学习、海量数据处理。曾担任Google广告部门数据平台构架师，负责管理每秒访问量全球最高的架构平台。
weixin_34258078·2020-08-01 04:03

算法10—海量数据处理之top k算法

第一部分：TopK算法详解问题描述百度面试题：搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。），请你统计最热门的10个查询串，要求使用的内存不能超过1G。必备知识：什么是哈希表？哈希表（
will的猜想·2020-08-01 01:15

海量数据处理问题（Top k问题）的实现

在很多互联网公司的面试题中，都可能会问到海量数据处理的题目，比如在几千亿个数据中如何获取10000个最大的数？这其实就是一个Topk问题，如何从亿万级的数据中得到前K个最大或者最小的数字。
tywiiu·2020-08-01 01:36

海量数据处理之双层桶划分

双层桶划分什么是双层桶事实上，与其说双层桶划分是一种数据结构，不如说它是一种算法设计思想。面对一堆大量的数据我们无法处理的时候，我们可以将其分成一个个小的单元，然后根据一定的策略来处理这些小单元，从而达到目的。适用范围第k大，中位数，不重复或重复的数字基本原理及要点因为元素范围很大，不能利用直接寻址表，所以通过多次划分，逐步确定范围，然后最后在一个可以接受的范围内进行。可以通过多次缩小，双层只是一
ts173383201·2020-08-01 01:21

一个简明的Mapreduce 原理分析

1.mapreduce简介mapreduce源自google的一篇文章，将海量数据处理的过程拆分为map和reduce。
zhaozhengcoder·2020-07-31 20:15

海量数据处理——从Top K引发的思考

(题图：fromgithub)三问海量数据处理：什么是海量数据处理，为什么出现这种需求？如何进行海量数据处理，常用的方法和技术有什么？如今分布式框架已经很成熟了，为什么还用学习海量数据处理的技术？
码闻强识·2020-07-31 18:38

《Hadoop海量数据处理：技术详解与项目实战（第2版）》一1.1　Hadoop和云计算

本节书摘来异步社区《Hadoop海量数据处理：技术详解与项目实战（第2版）》一书中的第1章，第1.1节，作者：范东来责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。
weixin_34185512·2020-07-30 20:46

大数据与Hadoop系列之序列化（一）

传统的计算机系统通过I/O操作与外界进行交流，Hadoop的I/O由传统的I/O系统发展而来，但又有些不同，Hadoop需要处理P、T级别的数据，所以在org.apache.hadoop.io包中包含了一些面向海量数据处理的基本输人输出工具
有梦想的人不睡觉121·2020-07-30 16:00

[Hadoop]序列化机制

传统的计算机系统通过I/O操作与外界进行交流，Hadoop的I/O由传统的I/O系统发展而来，但又有些不同，Hadoop需要处理P、T级别的数据，所以在org.apache.hadoop.io包中包含了一些面向海量数据处理的基本输入输出工具
SunnyYoona·2020-07-30 14:05

10021---分布式系统互斥性与幂等性问题的分析与解决

原文【前言】随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。
xxxcyzyy·2020-07-30 06:20

Hive之HQL数据定义

------------本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来HQL数据定义1.数据库database操作--创建数据库>createdatabasetest;>createdatabaseifnotexiststest
碣石观海·2020-07-30 04:51
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他