海量数据处理

超详细海量数据处理算法总结

1.BloomFilter【BloomFilter】BloomFilter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。BloomFilter有可能会出现错误判断，但不会漏掉判断。也就是BloomFilter判断元素不再集合，那肯定不在。如果判断元素存在集合中，有一定的概率判断错误。因此，
gougoubailove·2020-07-11 06:41

十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
daryanny·2020-07-11 04:27

海量数据处理2

这篇翻译不错，抄在这里免得下次想给人看找不到Map/Reduce有一天，你在浏览自己的代码，发现有两大段代码几乎一样。实际上，它们确实是一样的——除了一个关于意大利面（Spaghetti）而另一个关于巧克力慕思（ChocolateMoose）。//一个小例子:alert("偶要吃意大利面!");alert("偶要吃巧克力慕思!");嗯，这个例子碰巧是用javascript写的，不过你就算不懂Jav
cai_398·2020-07-11 03:30

Elasticsearch 01 Elasticsearch概述

它采用Java编写，提供了简单易用的RESTfulAPI它的目标就是屏蔽复杂性，从而让全文搜索变得很简单它也支持大规模的横向扩展，提供PB级别的结构化或非结构化的海量数据处理。
loetca·2020-07-11 01:37

海量数据处理---Trie树

trie树又被称为前缀树或键树，是一种树形结构。典型应用是用于统计和排序大量的字符串，所以经常被搜索引擎系统用于文本词频统计。它的3个基本性质：根节点不包括字符，除根节点外每个节点都只包含一个字符从根节点到某一节点，路径上经过的字符连接起来，就是该节点对应的字符串每个节点的所有子节点包含的字符都不相同树的构建假设有b,abc,abd,bcd,abcd,efg,hil这6个单词，建树的过程如下：对于
小狮子辛巴·2020-07-10 23:41

在线广告市场与背景

大数据与广告的关系当无法通过少量采样的方法来降低处理的复杂度，就必须利用海量数据处理的计算和技术。这样的问题就是大数据问题。大数据唯一实现规模化落地营收的行业就是计算广告。计
郭姣姣·2020-07-10 22:06

面对海量的数据，我们应该如何处理？

一、海量数据处理所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。那解决办法呢?
初壹十五a·2020-07-10 20:56

海量数据处理面试题与Bit-map详解

海量数据面试题目解析：1、A,B两个文件各存放50亿条URL，每条URL占用64字节，内存限制4G，找出A,B文件共同的URL答：方案一、50亿条数据，每条64字节。文件大小等于50G*64=320G，远大于内存限制的4G，不能将其完全加载到内存中，考虑分而治之的方法：1、分而治之/hash映射：遍历文件A，对每个url求取hash(url)%1000，然后根据所取得的值将url分别存储到1000
文宇肃然·2020-07-10 19:41

想从事大数据、海量数据处理相关的工作，如何自学打基础？

想做数据处理尤其是大数据量处理的相关工作必须兼具计算机科学基础和统计基础。现在有一个高大上的职业叫数据科学家，有人说数据科学家就是一个比程序员更懂统计的统计学家，一个比统计学家更会编程的程序员。觉得说得很形象。读本科生，有很多知识和课程还需要作为基础来学习和巩固。基础中的基础：线性代数，概率论核心知识：数理统计预测模型机器学习计算机：数学软件：强大矩阵运算和优化功能的matlab，专而精的math
金罗老师·2020-07-10 18:52

海量数据处理方案

以下是一些海量数据处理的例子：1.给定一个大小超过100G的文件,其中存在IP地址,找到其中出现次数最多的IP地址(ha
LiuWang_1122·2020-07-10 14:39

大数据量的算法面试题

原链接：http://blog.csdn.net/v_july_v/article/details/7382693何谓海量数据处理？所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。
多则惑少则明·2020-07-10 12:37

物联网工程设计与实施知识点

3)技术人员应掌握信息系统开发的主流技术，具有基于无线通信、Web服务、海量数据处理、信息发布与信息搜索等要素进行综合开发的经验
New soul~·2020-07-10 11:21

PostgreSQL 11 preview - 通用场景性能 增强 汇总

GeneralPerformanceAddJust-In-Time(JIT)compilationofsomepartsofqueryplanstoimproveexecutionspeed(AndresFreund)提高OLAP性能（海量数据处理
weixin_34061042·2020-07-10 08:16

简单了解分布式系统

随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题，大型网站的架构也在不断发展。
weixin_30384217·2020-07-10 06:53

架构之路：大规模数据处理系统的最新技术与实践

传统关系数据库（RDBMS）发展至今，面对海量数据处理的AP场景时，显得捉襟见肘。由此又诞生了以Hadoop/Spark等为首的分布式数据存储或计算引擎，NoSQL的概念也被提出。
GitChat的博客·2020-07-10 05:20

海量数据处理思路方法

/***@authorwangdaopo*@[email protected]*/海量数据处理思路方法+-如果超过内存空间限制采取分N文件而治之Hash（query）%N,将query相同范围映射放在同个文件
王道泼·2020-07-10 01:45

面试海量数据处理题总结

参考：https://blog.csdn.net/v_july_v/article/details/6279498/目录topk问题1、海量日志数据，提取出某日访问百度次数最多的那个IP。2.统计最热门的10个查询串3.有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。4.有10个文件，每个文件1G，每个文件的每一行存放的都是用户的
seeInfinite·2020-07-10 00:39

海量数据处理算法总结【超详解】

1.BloomFilter【BloomFilter】BloomFilter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在集合的快速的概率算法。BloomFilter有可能会出现错误判断，但不会漏掉判断。也就是BloomFilter判断元素不再集合，那肯定不在。如果判断元素存在集合中，有一定的概率判断错误。因此，
大师兄你家猴跑啦·2020-07-09 18:33

海量数据处理

https://blog.csdn.net/v_july_v/article/details/7382693目录何谓海量数据处理？
SimonxxSun·2020-07-09 12:01

时间序列数据库概览

时序大数据解决方案通过使用特殊的存储方式，使得时序大数据可以高效存储和快速处理海量时序大数据，是解决海量数据处理的一项重要技术。
weixin_33845881·2020-07-09 09:17

海量数据处理问题

标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名，:-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结
liche717·2020-07-09 09:48

分布式系统的特点以及设计理念

正是这些分布式系统，使得Google可以处理高并发请求响应以及海量数据处理等。Apache旗下的Hadoop、Spark、Me
fhthkm·2020-07-09 06:21

Hadoop 实现多个数据表的join操作

况且在海量数据处理中，这是一个非常普遍常见的需求。因此写下来和大家分享一下。如果哪为仁兄看后有更好的办法，咱们也可以切磋一下。欢迎拍砖，哈哈。
weixin_33739541·2020-07-08 15:00

经典算法题：大数据处理常见算法题

第一部分、十道海量数据处理1、海量日志数据，提取出某日访问百度次数最多的那个IP。
苍痕·2020-07-08 12:57

前缀树和后缀树

之前在此文，海量数据处理面试题集锦与Bit-map详解中给出的参考答案：用Trie树统计每个词出现的次数，时间复杂度是O(n*le)（le
lmjy·2020-07-08 11:30

大宝大话大数据（二）——大数据的学习路径和方法

当时上刘军老师《海量数据处理》这门课的时候，老师很好，很认真讲了Hadoop的
北邮郭大宝·2020-07-08 08:10

海量数据处理方式问题

1、现在有1亿个随机数，有重复的，随机数的范围在1到1亿之间，将1到1亿之间没有在随机数中的数求出来。/***用位图进行存储，产生随机数存入bitSet中相应的位置，并置1。*如果bitSet中相应位置为1则此数出现过，如果为0则未出现过。**/publicstaticvoidmain(String[]args){BitSetbitSet=newBitSet();Randomrandom=newR
IT刘华强·2020-07-07 11:00

从Hadoop框架与MapReduce模式中谈海量数据处理

从hadoop框架与MapReduce模式中谈海量数据处理前言几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣
dinongxu8804·2020-07-07 07:58

【GeekBand】C++面向对象高级编程-第十三周笔记

海量数据处理【转】在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。
茶色少年·2020-07-06 23:05

spark性能优化 -- > spark工作原理

无论你是从事算法工程师，还是数据分析又或是其他与数据相关工作，利用spark进行海量数据处理和建模都是非常重要和必须掌握的一门技术，我感觉编写spark代码是比较
村头陶员外·2020-07-06 23:56

一文详解分布式系统的特点以及设计理念

正是这些分布式系统，使得Google可以处理高并发请求响应以及海量数据处理
Java_supermanNO1·2020-07-06 22:17

大型网站技术架构（2）：架构要素和高性能架构【转】

上一篇我们把整个架构演变过程大致说了一下，这次我们来说说从哪方面进行考虑设计为了使网站的能够应对高并发访问，海量数据处理，高可靠运行等一系列问题，我们可以选择横向或纵向两个方向来入手基本思路首先可以对整个架构进行分层
weixin_30699955·2020-07-06 19:14

黑猴子的家：HDFS写数据之网络拓扑

在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。节点距离：两个节点到达最近的共同祖先的距离总和。
黑猴子的家·2020-07-06 04:01

hadoop大数据典型应用，基于Hadoop技术的大数据应用解决方案

近年来，Hadoop技术，大数据研发产品在国内迅猛发展，其在不断的发展中解决了传统数据库无法胜任海量数据处理的问题，以及结构化和非结构化数据统一起来进行数据分析、建模和挖掘得到了更高效的处理方案。
weixin_34212762·2020-07-06 00:49

DockOne微信分享( 九十一）：打造百亿级数据处理量的弹性调度容器平台

主要内容包括四个方面：海量数据处理的业务场景海量数据处理平台的挑战自研容器调度框架介绍海量数据处理平台实践一、数据处理业务场景首先介绍一下七牛数据处理业务的背景
weixin_33775572·2020-07-05 23:14

探索Greenplum的实践，了解新一代大数据处理利器

随着Greenplum的异军突起，以往大数据仓库所面临的很多问题都得到了有效解决，Greenplum也成为新一代海量数据处理典型代表。
weixin_33691700·2020-07-05 22:02

海量数据处理利器之Hash——在线邮件地址过滤

标题用了了海量数据（Massivedatasets）而不用大数据（Bigdata）。感觉大数据还是略微有点虚，来点实际的。一、需求现在我们需要设计一个在线过滤垃圾邮件地址的方案，我们的数据库里面已经有10亿个合法的邮件地址（称为合法地址集S），当有新的邮件发过来时，要检查这个邮件地址是不是在我们的数据库里面，如果在，我们接收邮件，如果不在，我们就把它当做垃圾邮件过滤掉。二、直觉想到的方法一拿到这个
weixin_30800807·2020-07-05 22:31

PHP的高并发和大数据处理

二、日常海量数据处理我用文件缓存，文件缓存分两种，第一种是最常见的生成html静太文件，除非数据有变动不然是不会查询数据库，其次.html文件更容易被搜索引擎收录，生成静太缓存也是有讲究的，最好是把生成的文件分布一下
weixin_30773135·2020-07-05 21:37

数据量越发庞大怎么办？新一代数据处理利器Greenplum来助攻

随着Greenplum的异军突起，以往大数据仓库所面临的很多问题都得到了有效解决，Greenplum也成为新一代海量数据处理典型代表。本文结合个推数据研发工程师李树桓在大数据领域的实践，对处理庞大的
weixin_30252709·2020-07-05 20:29

十个海量数据处理总结

一、Bloomfilter适用范围：可以用来实现数据字典，进行数据的判重，或者集合求交集基本原理及要点：对于原理来说很简单，位数组+k个独立hash函数。将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是1说明存在，很明显这个过程并不保证查找的结果是100%正确的。同时也不支持删除一个已经插入的关键字，因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是cou
回忆美好·2020-07-05 18:16

分布式两阶段提交和三阶段提交

随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题，大型网站的架构也在不断发展。
追着蜗牛打·2020-07-05 15:33

Storm：最火的流式处理框架

Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，运维复杂。
独孤芯览·2020-07-05 15:20

不了解布隆过滤器？一文给你整的明明白白！

海量数据处理以及缓存穿透这两个场景让我认识了布隆过滤器，我查阅了一些资料来了解它，但是很多现成资料并不满足我的需求，所以就决定自己总结一篇关于布隆过滤器的文章。
qq_599571116·2020-07-05 09:00

七牛海量数据处理平台自研容器调度框架实践

今晚分享的是七牛云基于容器技术的海量数据处理平台实践。
qq_26923057·2020-07-05 03:08

海量数据处理

有20亿个数，给定内存大小为1G，求中位数首先求中位数，其实就是求topK，比如此题就是求top20G/2（1亿个int占用512M内存，10亿个字节占1G内存，要记住）。如果内存能存下这么多数，直接用一个大小为20G/2的堆就可以。另外求topK时，有个窍门：求最大topK，先建一个最小堆，然后所有大于根节点的值，替换根节点并调平衡；求最小topK，先建一个最大堆，然后将比根节点小的值插入堆。此
littleflypig·2020-07-04 22:09

国外、国内Hadoop的应用现状

、国内Hadoop的应用现状2015-04-23大数据摘要：Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理
小麦苗·2020-07-04 21:08

在100G文件中找出出现次数最多的100个IP

昨天面阿里最后栽在一道很常见的海量数据处理上了，也怪之前没专门花时间准备这个问题。今天参考了July的博客，又反思了下自己面试时错误的思路，重新整理为下面的解答过程。
不舍驽马·2020-07-04 16:44

hadoop应用案例的分析：在百度中的应用

百度对海量数据处理的要求是比较高的，要在线下对数据进行分析，还要在规定的时间内处理完并反馈到平台上。百度在互联网领域的平台需求如图3-3所示，这里就需要通过性能较好的云平台进行处理了，Ha
yakcy·2020-07-04 13:46

Greenplum集群部署小记

Greenplum的分布式架构方案MPP对于海量数据处理还是很给力的，今天专门抽时间搭建了一下测试环境。首先来简单看下Greenplum的架构，这个和Oracle,MySQL还是大不同。
congbao6525·2020-07-04 13:17

Hadoop与网络拓扑

在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。
我是一名程序猿·2020-07-04 11:33
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他