海量数据处理

海量数据处理：十道面试题与十个海量数据处理方法总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
假的鱼·2018-05-29 22:40

mongodb与mysql区别（超详细）

缺点：在海量数据处理的时候效率会显著变慢。Mongodb是非关系型数据库(nosql),属于文档型数据库。
颜先生i·2018-05-23 14:30

转载：十道海量数据处理面试题

转载自：https://blog.csdn.net/v_july_v/article/details/62794981、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的I
yjaal·2018-05-18 21:39

2018-05-10

我们崇尚简单，始终关注用户需求，热衷于把从用户界面上的每一个细节体验到后台的海量数据处理都做到极致；我们推崇在轻松快乐的环境中学习，积累，分享和成长。在这里，我们每天都在创造价值，产生影响。
字节跳动_深圳·2018-05-10 13:05

大数据十道经典海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
菜鸟级的IT之路·2018-04-28 00:50

阿里云大数据MaxCompute计算资源分布以及LogView分析优化

阅读更多摘要：海量数据处理平台，服务于批量结构化数据的存储和计算，提供海量数据仓库的解决方案以及针对大数据的分析建模服务.
猫耳呀·2018-04-26 14:00

阿里云大数据MaxCompute计算资源分布以及LogView分析优化

阅读更多摘要：海量数据处理平台，服务于批量结构化数据的存储和计算，提供海量数据仓库的解决方案以及针对大数据的分析建模服务.
猫耳呀·2018-04-26 14:00

高并发高可用（二）架构

为解决大型网站所遇到的高并发访问、海量数据处理、高可用运行等系列问题，互联网公司实践中提出的解决方案，以实现网站高性能、高可用、易伸缩、可扩展、安全等各种技术架构目标。
陈鋆·2018-04-20 16:14

十道海量数据处理面试题与十个方法总结【面试+提高】

一、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。
Java帮帮·2018-04-19 11:30

海量数据处理的 Top K相关问题

Top-k的最小堆解决方法问题描述：有N(N>>10000)个整数,求出其中的前K个最大的数。（称作Topk或者Top10）问题分析：由于(1)输入的大量数据；(2)只要前K个，对整个输入数据的保存和排序是相当的不可取的。可以利用数据结构的最小堆来处理该问题。最小堆如图所示，对于每个非叶子节点的数值，一定不大于孩子节点的数值。这样可用含有K个节点的最小堆来保存K个目前的最大值(当然根节点是其中的最
数据架构师·2018-04-17 16:56

海量数据处理

1、海量日志数据，提取出访问次数最多的IP2^10=1024=1k千2^20=1M百万2^30=1G十亿2^32=4G传统方法：分治+Hash（1）一行一行处理日志，提取出IP，并对IP进行Hash取1024的模，也就是将2^32=4G个IP分散到1024个小文件中，每个文件中包含的IP不超过4M个，一个文件的大小应该不会超过内存的限制，当然，即使超过了也没有关系。（2）统计每个小文件中的频次最高
奋起直追CDS·2018-03-27 14:01

海量数据处理

1、海量日志数据，提取出访问次数最多的IP2^10=1024=1k千2^20=1M百万2^30=1G十亿2^32=4G传统方法：分治+Hash（1）一行一行处理日志，提取出IP，并对IP进行Hash取1024的模，也就是将2^32=4G个IP分散到1024个小文件中，每个文件中包含的IP不超过4M个，一个文件的大小应该不会超过内存的限制，当然，即使超过了也没有关系。（2）统计每个小文件中的频次最高
奋起直追CDS·2018-03-27 14:01

海量数据处理常用方法有哪些？

阅读更多处理海量数据是大数据工程师必备技能，通过对PB级别的数据进行挖掘与分析发掘出有价值的信息，为企业或政府做出正确决策提供依据，是十分必要的一项工作，以下是常用的海量数据处理方法！
mo默羽·2018-03-23 18:00

海量数据处理常用方法有哪些？

阅读更多处理海量数据是大数据工程师必备技能，通过对PB级别的数据进行挖掘与分析发掘出有价值的信息，为企业或政府做出正确决策提供依据，是十分必要的一项工作，以下是常用的海量数据处理方法！
mo默羽·2018-03-23 18:00

海量数据处理常用方法有哪些？

处理海量数据是大数据工程师必备技能，通过对PB级别的数据进行挖掘与分析发掘出有价值的信息，为企业或政府做出正确决策提供依据，是十分必要的一项工作，以下是常用的海量数据处理方法！
mo默芯·2018-03-23 18:36

海量数据处理

海量数据处理我们这里的海量数据处理主要是通过几个实际问题，应用数据结构，来熟悉哈希数据结构，位图数据结构，和布隆过滤器。
GangStudyIT·2018-03-19 16:59

解决大数据问题的思路

首先对数据量大小的单位做一个总结：1GB=1024MB1MB=1024KB1KB=1024Bytes（字节）1GB=109109Bytes哈希存储布隆过滤器归并排序快速排序推排序分布式架构trie树（字典树）bit_map（海量数据处理算法
疏雨过风林破·2018-03-17 20:11

经典大数据处理十道题

第一部分、十道海量数据处理1、海量日志数据，提取出某日访问百度次数最多的那个IP。
accumulate_zhang·2018-03-15 16:43

一些面试题

海量数据处理https://
Cloud_N·2018-03-12 23:18

海量数据处理

空间换算：1 Byte = 8 Bits1 KB = 1024 Bytes1 MB = 1024 KB1 GB = 1024 MB2^2=4;2^4=16;2^8=256;2^10=1024;2^16=655362^20=10485762^32=4294967296基本方法1.hash法Hash一般被称为散列，它是以一种映射关系，即给定一个数据元素，其关键字为key，按一个确定的散列函数计算出ha
叫我北北·2018-03-06 09:53

：分布式系统互斥性与幂等性实现及原理分析

阅读更多转载：http://blog.csdn.net/shukebai/article/details/60955497随着互联网信息技术的飞速发展，数据量不断增大，业务逻辑也日趋复杂，对系统的高并发访问、海量数据处理的场景也越来越多
h_1_y_m·2018-02-26 15:00

阿里云大数据MaxCompute计算资源分布以及LogView分析优化

摘要：MaxCompute(原ODPS）的概念海量数据处理平台，服务于批量结构化数据的存储和计算，提供海量数据仓库的解决方案以及针对大数据的分析建模服务.
猫耳·2018-01-31 00:00

数据库生涯回顾，新的职业规划

后来在erp开发量不大的情况下，我转型到了金融行业，从此进入海量数据处理阶段，数据库还是oracle,我的职位也变成了数
荜拨·2018-01-22 10:16

海量数据处理问题

分治法总体思想是先根据Hash函数将一个内存难以一次性读取的大文件分散到若干小文件中（其中相同的数据会被hash到同一个小文件中），然后对每一个小文件的数据进行处理，再进行合并处理（例如外排序：对小文件进行快排，然后对于有序的子序列，只需要很少的内存就可以进行归并排序）在处理海量数据中的最小k个数之类的问题可以使用堆排序（时间复杂度为O(N*lgk)）多层划分举例：求取海量数据的中位数。对于int
cjyang·2018-01-17 15:42

网络拓扑与Hadoop。

在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。
孤芳不自賞·2018-01-12 17:24

【演讲实录】下一代企业级应用架构管理体系

作者简介：王璞，数人云CEO，为美国GeorgeMason大学计算机博士，擅长分布式计算、大规模机器学习、海量数据处理。曾担任Google广告部门数据平台构架师，负责管理每秒访
Enmotech·2017-12-29 00:00

从上百幅架构图中学大型网站建设经验--上

原文：从上百幅架构图中学大型网站建设经验（上）引言近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。
17099933344·2017-12-28 11:30

monolake 的GeekBand C++开发学习笔记（十四）

海量数据的“大”所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。
monolake·2017-12-04 01:42

【智能商务】海量商品查找利器—苏宁搜索系统

它集成了海量数据处理与查询、机器学习、深度学习等各种技术。对时效性、并发性具有非常高的要求。苏宁易购搜索是一个集商品、推荐、金融、虚拟用品+功能的垂直类电商搜索引擎。
产业智能官·2017-12-02 00:00

消息中间件之ActiveMQ初步认识及第一个程序（二）

J2EE1．4规范的JMSProvider现，尽管JMS规范出台己经是很久的事情了，但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位，可以说ActiveMQ在业界应用最广泛，当然如果想要有更强大的性能和海量数据处理能力
小彬彬~·2017-11-29 16:37

分布式系统核心问题

分布式系统核心问题随着摩尔定律遇到瓶颈，越来越多情况下要依靠分布式架构，才能实现海量数据处理能力和可扩展计算能力。区块链系统，首先是一个分布式系统。
RonTech·2017-11-28 18:51

海量数据处理题目小结

解决这类题目的思路一般为（1）能否用特殊的数据结构解决：位图，布隆，堆。（2）哈希切分1。给一个超过100G大小的logfile,log中存着IP地址,设计算法找到出现次数最多的IP地址思路分析：1.要进行哈希切分编号，logfile可以看做是字符串，利用哈希字符串转换算法进行转换，转换成整型后，利用哈希函数进行映射，同一IP地址肯定映射到同一编号中，2.这里我们使用效率很快的哈希表，进行此数的统
chuxinlgz·2017-11-20 19:30

【服务器架构】网站架构要素和高性能架构

为了使网站的能够应对高并发访问，海量数据处理，高可靠运行等一系列问题，我们可以选择横向或纵向两个方向来入手基本思路首先可以对整个架构进行分层，一般可以分为应用层，服务层，数据层；实践中，大的分层结构中还可以继续分层
AG_·2017-11-04 18:59

分布式事务、两阶段提交协议、三阶提交协议

【转自】：http://blog.jobbole.com/95632/随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。
lxqfirst·2017-10-31 15:30

海量数据处理——位图法bitmap

海量数据处理——位图法bitmap一、定义位图法就是bitmap的缩写。所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不是很多的情况。通常是用来判断某个数据存不存在的。
ShellCollector·2017-10-25 00:32

算法（三）、[海量] 数据处理

算法（三）、[海量]数据处理一、数据处理矩阵加法、乘法、转置、反序、对角线元素之和查找矩阵、最小k个数、二、海量数据处理一、数据处理1、矩阵加法int[][] A = { { 1, 2, 3 }, { 
Qiu_CJ·2017-10-21 13:04

ECS云服务器通过SAP HANA认证，海量数据处理技术助力企业数字化转型

摘要：2017年10月12日，杭州云栖大会上，阿里云副总裁李津做了“云之深处”的重磅发布，宣布了阿里云ECS云服务器通过SAPHANA认证。这标志着阿里云弹性计算产品与SAP产品相结合，利用双方在大数据、人工智能方面的优势，一起让企业解决方案更加“智能”，创造出更有前景的价值。SAPHANA是一款支持企业预置型部署和云部署模式的内存计算平台，能够帮助客户加速业务流程，实现更智能的业务运营，并简化I
dicyt·2017-10-17 16:28

ECS云服务器通过SAP HANA认证，海量数据处理技术助力企业数字化转型

摘要：2017年10月12日，杭州云栖大会上，阿里云副总裁李津做了“云之深处”的重磅发布，宣布了阿里云ECS云服务器通过SAPHANA认证。这标志着阿里云弹性计算产品与SAP产品相结合，利用双方在大数据、人工智能方面的优势，一起让企业解决方案更加“智能”，创造出更有前景的价值。SAPHANA是一款支持企业预置型部署和云部署模式的内存计算平台，能够帮助客户加速业务流程，实现更智能的业务运营，并简化I
dicyt·2017-10-17 16:26

大数据算法导论课程大纲

另外，在面试软件工程师，算法设计师，数据分析师，大数据程序员等岗位的时候，面试官常会问一下算法的问题，没有算法修养的人往往哑口无言，场面尴尬，比如十道海量数据处理面试题http://f.datagur
网瘾少年安涂·2017-10-10 09:08

压缩在hadoop中的应用

压缩在hadoop中的应用1.1压缩简介Hadoop作为一个较通用的海量数据处理平台，每次运算都会需要处理大量数据，我们会在Hadoop系统中对数据进行压缩处理来优化磁盘使用率，提高数据在磁盘和网络中的传输速度
qq_38799155·2017-09-07 12:32

2018百度金融技术部机器学习工程师提前批面试

）其中问了松弛变量的作用，常用的核函数讲一下GMM模型（EM算法）生成模型，判别模型适用场景，优缺点Precision，Recall计算方法讲朴素贝叶斯二叉树后序遍历找两份日志文件中的重复出现的ID（海量数据处理
60506013·2017-09-02 16:28

面试复习-------算法与数据结构------算法设计

海量数据处理面试题：http://blog.csdn.net/v_july_v/article/details/6279498/分治法分治法的基本思想是将一个规模为ｎ的问题分解为ｋ个规模较小的问题，这些子问题互相独立且与原问题相同
我真的是dj·2017-09-01 21:17

关于分布式系统

正是这些分布式系统，使得Google可以处理高并发请求响应以及海量数据处理等。Apache旗下的Hadoop、Spark
会飞的鱼69·2017-08-30 14:51

教你如何迅速秒杀掉：99%的海量数据处理面试题

教你如何迅速秒杀掉：99%的海量数据处理面试题作者：July出处：结构之法算法之道blog前言一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文
csdn__DRAGON·2017-08-27 10:55

十道海量数据处理面试题与十个方法大总结

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。
Arya鑫·2017-08-23 14:43

海量数据处理（面试题）

1.给一个超过100G大小的logfile,log中存着IP地址,设计算法找到出现次数最多的IP地址？!解题思路：哈希分桶法。1，将100G文件分到1000个文件中，然后将每个IP地址映射到对应文件（IP地址转换为整数，对文件个数进行取余，然后根据结果放入对应文件，这样保证相同的IP肯定在同一文件中）；2，统计每个文件中出现次数最多的IP，然后比较取最大值。2.与上题条件相同，如何找到topK的I
pg_dog·2017-08-21 21:58

hadoop的价值在哪里

新霸哥注意到了在移动互联网时代，很多的传统的系统架构已经不能满足现有的业务需要了，在大数据时代，我们需要新的架构才能满足海量数据处理能力。
云计算-魏军·2017-07-13 22:51

关于处理海量数据的面试题

v_july_v/article/details/7382693题目为十道海量处理面试题和十个大方法总结（突然回过神来，这是july的博文，想起来自己还参加过他办的机器学习班）方法模式论--解决方法的抽象总结：海量数据处理包括
士多啤梨苹果橙_cc15·2017-07-10 16:57

阿里巴巴的相关-----ODPS技术架构、Java Web架构、PAI机器学习平台

摘要：ODPS是分布式的海量数据处理平台，提供了丰富的数据处理功能和灵活的编程框架。
Together_CZ·2017-06-27 19:36

海量数据处理的常用思路和方法

阅读更多最近在研究个性化推荐系统，基础很是薄弱，没有海量数据处理相关经验，这篇文章算是分享了一些经验。
yjsmask·2017-06-27 09:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他