海量数据处理

数据结构与算法：38 | 分治算法：归并排序的巧用

分治算法应用举例分析分治思想在海量数据处理中的应用如何理解分治算法？
阿祭儿·2020-09-16 01:14

关于海量数据查找排序问题

关于海量数据处理常用的数据结构：1.BloomFilter大致思想是这样，把一个数据通过N个哈希函数映射到一个长度为M的数组的一位上，将hash函数对应的值的位数组置1，查找时如果发现所有hash函数对应位都是
披萨大叔·2020-09-16 01:41

从Hadoop骨架MapReduce在海量数据处理模式（包括淘宝技术架构）

从hadoop框架与MapReduce模式中谈海量数据处理前言几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，认为它们非常是神奇。
aofan9566·2020-09-16 01:44

【数据结构与算法】-＞算法-＞分治算法-＞MapReduce的基本思想

分治算法Ⅰ前言Ⅱ分治算法的理解Ⅲ分治算法的应用Ⅳ分治思想在海量数据处理中的应用ⅤMapReduce的基本思想Ⅰ前言MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS和Bigtable
山河罔顾·2020-09-16 01:29

海量数据处理 | 关于TopK的思考

（给机器学习算法与Python学习加星标，提升AI技能）目录海量数据处理–TopK引发的思考1三问海量数据处理2解决TopK2.1抛出问题：寻找热门查询2.2分析问题2.2.1划分2.2.2统计2.2.3
机器学习算法与Python学习-公众号·2020-09-15 23:34

15道海量数据处理的问题,牛人不牛人都可以试试!

1.给你A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。2.有10个文件，每个文件1G，每个文件的每一行都存放的是用户的query，每个文件的query都可能重复。要你按照query的频度排序3.有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16个字节，内存限制大小是1M。返回频数最高的100个词4.海量日志数据，提取出某
zfrong·2020-09-15 21:08

教你如何迅速秒杀掉：99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文
逆风飞扬·2020-09-15 20:18

教你如何迅速秒杀掉：99%的海量数据处理面试题（转）

教你如何迅速秒杀掉：99%的海量数据处理面试题本文经过大量细致的优化后，收录于我的新书《编程之法》第六章中，新书目前已上架京东/当当/亚马逊作者：July出处：结构之法算法之道blog前言一般而言，标题含有
dianwei0041·2020-09-15 19:51

Python海量数据处理之_单机优化

1.说明 数据处理时，可能会遇到数千万以及上亿条数据的情况。一次处理所有数据，会遇到内存不够，计算时间太长等问题。一般的解法是：先拆分，再处理，最后将处理的结果合并（当然数据少的时候不需要这么麻烦）。本文将介绍在单机上，只使用Python如何处理大量数据。2.实例 本例是天池大数据竞赛中的“淘宝穿衣搭配”比赛，这是一个新人赛，只要注册参赛，即可下载数据。目标是根据商品信息，专家推荐，用户购物信息，
xieyan0811·2020-09-15 18:35

海量数据处理的优化

这次写的彩票的比较算法，从4000多万个数字去3万多，然后分别与4000多万取30万，50万个数字比较的算法跑5次耗时40多秒，感觉效率比较低，于是找了几篇关于海量数据处理的文章，打算看一下有无优化方法
edison702·2020-09-15 17:16

MySQL海量数据处理及优化

什么是mysqlMySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件。为什么是mysqlMySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不
大G哥·2020-09-15 16:18

海量数据处理优化方案

笔者在实际工作中，有幸接触到海量的数据处理问题，这是一项艰巨而复杂的任务。原因有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，在海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题。尤其在程序处理时，前面还能正常
luosen_1990·2020-09-15 16:52

海量数据处理

何谓海量数据处理？所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。那解决办法呢?
DreamMakers·2020-09-15 10:52

海量数据处理

1、引言海量数据处理工作为：基于海量数据上的存储、处理和操作。时间：采用巧妙的算法，搭配合适的数据结构，如Bloomfilter（布隆过滤器）、hash、bitmap、堆、trie树。
Java星·2020-09-15 06:03

面试常见海量数据处理问题

参考：https://blog.csdn.net/v_july_v/article/details/6279498/目录topk问题1、海量日志数据，提取出某日访问百度次数最多的那个IP。2.统计最热门的10个查询串3.有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。4.有10个文件，每个文件1G，每个文件的每一行存放的都是用户的
haitaobiyao·2020-09-15 04:57

【二叉树】C++判断一棵树是否为另一棵树的子树【需考虑海量数据处理中的栈溢出】

问题假设有两棵非常大的二叉树：T1，有几百万个结点；T2，有几百个结点。设计一个算法，判断T2是否为T1的子树。子树：如果T1有这么一个节点n，从n开始的子树与T2的值一模一样，则T2为T1的子树。思路1.如何判断：遍历T1，每遍历到一个结点current，则采用广度优先遍历方式从current开始，同时遍历T1子树和T2并做比较。若子树current与树T2完全相同，则返回true；若不相同，则
YoungSimpleNaive·2020-09-15 04:24

如何让你的Oracle sql/sp运行在Hive上？Apache hive hplsql 安装配置

背景基于海量数据处理需求背景下，公司要做数据处理平台的升级，整体架构从Oracle集群到完全分布式存储计算的Hadoop/Spark体系。
.破晓.·2020-09-15 02:29

海量数据处理专题（七）——数据库索引及优化

索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。数据库索引什么是索引数据库索引好比是一本书前面的目录，能加快数据库的查询速度。例如这样一个查询：select*fromtable1whereid=44。如果没有索引，必须遍历整个表，直到ID等于44的这一行被找到为止；有了索引之后(必须是在ID这一列上建立的索引)，直接在索引里面找44（也就是在ID这一列找
zhongguoren666·2020-09-14 17:44

Sqoop导入导出过程笔记

------------本文笔记整理自《Hadoop海量数据处理：技术详解与项目实战》范东来**导入导出时出现的问题处理链接：Sqoop安装及相关问题笔记（持续更新）一、导入过程1.导入过程图解：2.导入命令
碣石观海·2020-09-14 16:50

海量数据处理专题（八）——倒排索引(搜索引擎之基石)

引言：在信息大爆炸的今天，有了搜索引擎的帮助，使得我们能够快速，便捷的找到所求。提到搜索引擎，就不得不说VSM模型，说到VSM，就不得不聊倒排索引。可以毫不夸张的讲，倒排索引是搜索引擎的基石。VSM检索模型VSM全称是VectorSpaceModel(向量空间模型)，是IR(InformationRetrieval信息检索)模型中的一种，由于其简单，直观，高效，所以被广泛的应用到搜索引擎的架构中。
wangmeng882·2020-09-14 15:15

阿里巴巴实时计算引擎Blink浅析

业务背景各大公司也都基于自身业务场景和数据规模定制了自己的大数据计算平台，但这些大数据计算平台大都是批处理系统，虽然具备海量数据处理能力，但在时效性上有明显的滞后。
西子湖畔的蜗牛·2020-09-14 02:02

[徐培成系列实战课程]-docker篇-前序

很多企业越来越多的倾向于使用spark进行海量数据处理，主要是源于其高效快速的架构设计。docker也是非常热门的虚拟化技
十八掌教育·2020-09-13 20:40

多级缓存设计详解 | 给数据库减负，刻不容缓！

王梓晨：物流研发部架构师，GIS技术部负责人，2012年加入京东，多年一线团队大促备战经验，负责物流研发一些部门的架构工作，专注于低延迟系统设计与海量数据处理。
开涛的博客·2020-09-13 19:26

海量数据处理问题学习笔记

海量数据处理问题的常见场景有两种：（1）给定一定大小的数据（文件），数据（文件）大小大于内存容量，无法全部同时转载进内存中，然后需要对其进行处理，比如找重复项，或者找TOPk项；（2）给出非常大的待处理数据
zhoubao1992·2020-09-13 17:29

海量数据处理

海量数据处理首先熟悉一下进制转换计算机最小单位bit,也就是0和18个bit为一个字节byte1024个byte为1KB1024K为1MB1024M为1GB…一.给定一个大小超过100G的文件,其中存在
rugu-sco·2020-09-13 16:18

冰河的《海量数据处理与大数据技术实战》免费送！！

冰河的《海量数据处理与大数据技术实战》已经全面上架并正式开售将近10天了。说实话，在短短的10天内，书籍的总体销量还是不错的。光我知道的自己的公众号读者就入手100多本了。在此，感谢大家的支持和认可。
冰 河·2020-09-13 10:06

2012年互联网公司招聘要求

语言模型/文本分类与聚类/统计数学/机制设计/博弈论-至少精通一门编程语言，熟悉网络编程、多线程、分布式编程技术，对数据结构和算法设计有较为深刻的理解具有以下条件者优先：-熟悉文本分类、聚类、机器翻译，有海量数据处理
yuanyuanprince·2020-09-13 04:14

海量数据Top K算法（C实现）

收获还是挺大的：（1）实现了Hash链表（2）实现了堆；（3）熟悉了C语言的文件操作；海量数据处理的TopK算法就是在很大的文件中找出重复出现次数最多的前K个字符串；如果数据可以一次读入内存，那么可以按照如下思路来解决
cedricporter·2020-09-13 01:06

巨杉Tech | SparkSQL+SequoiaDB 性能调优策略

在海量数据处理的场景，即使单机计算能力再强，也无法满足日益增长的数据处理需求。所以，分布式才是解决该类问题的根本解决方案。而在分布式领域，有两类典型产品，分别是分布式存储和分布式计算。
SequoiaDB_Official·2020-09-13 01:39

【海量数据处理】N个数中找出最大的前K个数

N个数中找出最大的前K个数，需要用小堆实现。分析：由于小堆的堆顶存放堆中最小的数据，可以通过与堆顶数据进行比较，将大数据存放在堆中，注意在每次改变堆顶数据后，进行调堆，使堆顶一直存放整个堆中最小元素。void AdjustDown(int *a, size_t root, size_t size)//下调{//小堆size_t parent = root;size_t child = parent
weixin_33769207·2020-09-12 18:54

海量数据处理 大量数据中找出最大的前10个数 （Top K 问题）

在工作中我们常遇到此类问题，从一个大量甚至海量的数据中取出前几个大的数。必须在海量的文章中取出点击量最大的10篇文章。此类问题其实就是TopK问题。给定一个数据（数据量海量N），想找到前K个最大的或最小的元素。eg：有10亿个Long型整数，如果找出其中最大的10个？最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O（nlogn），如快速排序。每个L
大树91·2020-09-12 18:24

海量数据处理：一亿个浮点数的排序算法

有1亿个浮点数，请找出其中最小的10000个。提示：假设每个浮点数占4个字节，1亿个浮点数就要站到相当大的空间，因此不能一次将全部读入内存进行排序。问题分析：1)1亿个浮点数，其数据大小为400M。如此规模的排序，首先想到分批处理。每次读取1000000个数据并进行快速排序。需要的内存空间为1000000*4=4M。需要100次这样的排序。2）完全没的规律的数据，考虑使用快速排序。快速排序的平均复
weixin_33794672·2020-09-12 17:10

[转] 研究云计算与海量数据处理方向建议看的论文列表

本问转自：http://cloud.dlmu.edu.cn/cloudsite/index.php?action-viewnews-itemid-123-php-1[1]ZhouAY.Dataintensivecomputing-challengesofdatamanagementtechniques.CommunicationsofCCF,2009,5(7):50.53(inChinesewit
weixin_30275415·2020-09-12 11:16

海量数据处理--使用sklearn进行增量学习

转载来自：https://blog.csdn.net/whiterbear/article/details/53120004问题实际处理和解决机器学习问题过程中，我们会遇到一些“大数据”问题，比如有上百万条数据，上千上万维特征，此时数据存储已经达到10G这种级别。这种情况下，如果还是直接使用传统的方式肯定行不通，比如当你想把数据load到内存中转成numpy数组，你会发现要么创建不了那么大的num
jin_tmac·2020-09-11 21:32

淘宝如何满足数据仓库海量数据处理需求

导读：为了更好地了解客户需求，总结与分析运营和管理的规则，淘宝于2004开始基于Oracle产品构建企业级数据仓库（EDW），并于2007年、2008年和2009年三次利用OracleRAC10g和OracleRAC11g对数据仓库系统进行..�...淘宝网www.taobao.com中国杭州行业：零售业员工人数：超过2000年营业额：2008年网购交易额999.6亿元Oracle产品和服务：·O
iteye_18139·2020-09-11 14:48

基于C++的MapReduce实现（HCE）

、Facebook、淘宝、中移动、百度、腾讯等公司都在借助Hadoop进行海量数据处理。
alongyin·2020-09-11 14:43

top-K问题详解

top-K问题是一类经典的问题，它能解决许多海量数据处理相关的问题，例如在1亿个ip中找出访问次数前1000的ip，在海量搜索字符串中找出搜索频率排在前十的搜索字符串等等。
huan-yong·2020-09-11 10:55

海量数据处理全集

教你如何迅速秒杀掉：99%的海量数据处理面试题http://blog.csdn.net/v_july_v/article/details/7382693#commentsSTL容器分为两种：1.序列式容器
quietwave·2020-09-11 03:39

国产达梦数据库使用心得

达梦数据库管理系统的最新版本是8.0版本DM8采用全新的体系架构，在保证大型通用的基础上，针对可靠性、高性能、海量数据处理和安全性做了大量
qq_45510859·2020-09-11 03:58

海量数据问题全集

教你如何迅速秒杀掉：99%的海量数据处理面试题：http://blog.csdn.net/v_july_v/article/details/7382693十道海量数据处理面试题与十个方法大总结：http
gexiaobaoHelloWorld·2020-09-11 01:14

海量数据处理

两个大文本文件求交集通过hash函数将一个文件的所有数据映射到1000个文件中，这1000个文件记为a1,a2,a3…a1000。（hash(url)%1000）通过相同的hash函数将另一个文件的所有数据也映射到1000个文件中，这1000个文件记为b1,b2,b3…b1000。由于使用的是相同的hash函数，所以两个文件中一样的数据会被分配到文件下标一致的文件中，接着分别对a1、b1求交集，a
喵了个咪的回忆丶·2020-09-11 01:19

服务器架构（收藏）

大型网站架构演变过程、大并发服务器架构：http://blog.csdn.net/jnu_simba/article/details/15972395#comments从Hadoop框架与MapReduce模式中谈海量数据处理
zhenwenl_USTC·2020-09-10 22:05

海量数据处理——位图法bitmap

一、定义位图法就是bitmap的缩写。所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。在STL中有一个bitset容器，其实就是位图法，引用bitset介绍：Abitsetisaspecialcontainerclassthatisdesignedtostorebits(elementswithonlytwopossib
taxue505·2020-09-10 21:51

堆的应用（优先级队列、海量数据处理、堆排序）

一、优先级队列1、基本思路其实可以使用队列来实现，但是不可避免的是Push()和Pop()操作，至少有一个的时间复杂度为O(N),另一个的时间复杂度为O(1),而使用对可以做到插入时时间复杂度为O(lgN),，删除时时间复杂度为O(1)2、具体实现是通过适配器模式来实现的，通过对Heap的封装（1）堆的实现具体实现前面已有博客讲解过，这里就不具体讲解了（2）优先级队列的实现templateclas
Everlasting2016·2020-09-10 11:21

我的《海量数据处理与大数据技术实战》出版啦！

我是如何持续写作的？其实，关于写作，我也没多想，就是想着总结自己学习和工作中遇到的一些问题。我最开始写文章并不是在CSDN或者其他的一些博客平台，而是在QQ空间。那时的我还在上学，在QQ空间里写下了自己的第一篇原创文章《SQL注入攻击三部曲》。没错，你哥我最初就是搞渗透！后面，又开始持续写一些文章。还有上学时对于计算机操作系统的一些天马行空的想象。不过现在看来，那时的我的瞎想还是有一定“远见”的，
冰 河·2020-08-28 01:09

算法-位图排序

0.Thanks海量数据处理-10亿个数中找出最大的10000个数（topK问题）从1亿个数字中取出最大的100个数字-位图排序（空间换时间）1.概述有这样的一道题目，给出一定范围的1亿个数据（N=bitLength
CokeNello·2020-08-26 23:07

php 大数据量及海量数据处理算法总结

大数据量的问题是很多面试笔试中经常出现的问题，比如baidugoogle腾讯这样的一些涉及到海量数据的公司经常会问到下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。1.Bloomfilter适用
任鹏renpeng·2020-08-25 07:54

十道海量数据处理面试题与十个方法大总结

海量数据处理：十道面试题与十个海量数据处理方法总结作者：July、youwang、yanxionglu。时间：二零一一年三月二十六日本文之总结：教你如何迅速秒杀掉：99%的海量数据处理面试题。
Garry1115·2020-08-25 06:36

spark 分布式部署

Spark是专门为海量数据处理而设计
凤凰涅槃-2020·2020-08-25 03:19

海量数据处理之Bti-map详解

什么是Bit-map所谓的Bit-map就是用一个bit位来标记某个元素对应的Value，而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。如果说了这么多还没明白什么是Bit-map，那么我们来看一个具体的例子，假设我们要对0-7内的5个元素(4,7,2,5,3)排序（这里假设这些元素没有重复）。那么我们就可以采用Bit-map的方法来达到排序的目的。要表示8
qinjianhuang·2020-08-24 23:45
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他