E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
海量数据处理
字节跳动(今日头条)深圳研发中心招聘啦(走过路过、机会不要错过~~)
我们崇尚简单,始终关注用户需求,热衷于把从用户界面上的每一个细节体验到后台的
海量数据处理
都做到极致;我们推崇在轻松快乐的环境中学习,积累,分享和成长。在这里,我们每天都在创造价值,产生影响。
weixin_34261739
·
2020-07-01 06:02
海量数据处理
之Bloom Filter详解
海量数据处理
之BloomFilter详解前言本博客内曾已经整理过十道
海量数据处理
面试题与十个方法大总结。接下来,本博客内会重点分析那些
海量数据处理
的方法,并重写十道
海量数据处理
的面试题。
iteye_2060
·
2020-07-01 02:05
海量数据处理
- 10亿个数中找出最大的10000个数(top K问题)
前两天面试3面学长问我的这个问题(想说TEG的3个面试学长都是好和蔼,希望能完成最后一面,各方面原因造成我无比想去鹅场的心已经按捺不住了),这个问题还是建立最小堆比较好一些。先拿10000个数建堆,然后一次添加剩余元素,如果大于堆顶的数(10000中最小的),将这个数替换堆顶,并调整结构使之仍然是一个最小堆,这样,遍历完后,堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O(ml
yofer张耀琦
·
2020-06-30 20:13
算法
大数据应用以及原理分析
Cuttingedge笔记下面是关于我听到的一些知识并且加上我的理解糅合的一个札记一、BigData首先现在很多大公司都在搞云平台和大数据,个人认为在未来的一段时间里这也是一个不错的市场,著名的hadoop是开源的适合做
海量数据处理
的分布式软件框架
byte_way
·
2020-06-30 17:21
云平台学习
面试指导:
海量数据处理
面试题攻略
海量数据第一部分:从set/map谈到hashtable/hash_map/hash_setset/map/multiset/multimaphash_set/hash_map/hash_multiset/hash_multimap第二部分:处理海量数据问题的六把钥匙钥匙一:分而治之/Hash映射+Hash统计+堆/快速/归并排序1、海量日志数据,提取出某日访问百度次数最多的那个IP2、寻找热门查
KiteRunner24
·
2020-06-30 14:28
算法与数据结构
大量数据去重:Bitmap和布隆过滤器(Bloom Filter)
在面试时遇到的问题,问题的解决方案十分典型,但对于
海量数据处理
接触少的同学可能一时也想不到什么好方案。
zdxiq000
·
2020-06-30 12:23
算法
IT旅途——程序员面试经验分享
[1]教你如何迅速秒杀掉:99%的
海量数据处理
天涯飘鸿
·
2020-06-30 11:00
心得体会
Hive部署和3种搭建模式
Hive部署以上,是参考《Hadoop
海量数据处理
技术详解与项目实战》Hive搭建模式1、local模式此模式连接到一个In-memory的数据库Derby,一般用于UnitTest。
yimenglin
·
2020-06-30 07:55
大数据
Python
海量数据处理
之_Hadoop(二)概念和原理
1.说明 Hadoop是个分布式的架构,它将
海量数据处理
工作分配到集群中的多个机器上运行。前篇介绍了Hadoop的安装,在安装过程中会产生一些疑问,比如NameNode是什么东西?
xieyan0811
·
2020-06-30 01:58
大数据
Python
海量数据处理
之_Hadoop&Spark
1.说明 前篇介绍了安装和使用Hadoop,本篇将介绍Hadoop+Spark的安装配置及如何用Python调用Spark。 当数据以TB,PB计量时,用单机处理数据变得非常困难,于是使用Hadoop建立计算集群处理海量数据,Hadoop分为两部分,一部分是数据存储HDFS,另一部分是数据计算MapReduce。MapReduce框架将数据处理分成map,reduce两段,使用起来比较麻烦,并且有
xieyan0811
·
2020-06-30 01:58
大数据
Python
海量数据处理
之_Hadoop(三)程序调用
1.说明 前两篇分别介绍了Hadoop的配置方法和基本原理,本篇将介绍如何让程序借助Hadoop调用服务器集群中的算力。Hadoop是Java语言实现的,它不仅支持Java,还支持C++,Python等程序的分布计算。下面以Python为例介绍如何使用Hadoop的MapReduce功能。2.工作过程 在原理部分介绍过,Hadoop分为两部分,一部分是存储,一部分是运算,而各个部分又可分为主控和局
xieyan0811
·
2020-06-30 01:58
大数据
大量数据去重:Bitmap和布隆过滤器(Bloom Filter)
在面试时遇到的问题,问题的解决方案十分典型,但对于
海量数据处理
接触少的同学可能一时也想不到什么好方案。
奔跑的码农
·
2020-06-29 21:30
架构
面试题
分布式系统互斥性与幂等性问题的分析与解决
随着互联网信息技术的飞速发展,数据量不断增大,业务逻辑也日趋复杂,对系统的高并发访问、
海量数据处理
的场景也越来越多。如何用较低成本实现系统的高可用、易伸缩、可扩展等目标就显得越发重要。
5依旧孤独
·
2020-06-29 20:07
十道
海量数据处理
面试题与十个方法大总结
http://www.cnblogs.com/huanxiyun/articles/5405369.html一、给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?方案1:可以估计每个文件的大小为5G×64=320G,远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。1、遍历文件a,对每个url求取ha
骊骅
·
2020-06-29 20:07
Storm 简介及组件的基本概念
如果需要实现一个实时计算系统全量数据处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大、自动容错等优点,在
海量数据处理
上得到了广泛的使用。
zczpeng
·
2020-06-29 18:49
storm
互联网DSP广告系统架构及关键技术解析 | 广告行业资深架构师亲述
对于系统架构设计和技术团队建设感兴趣,关注高并发实时系统,
海量数据处理
。前
高可用架构
·
2020-06-29 16:46
闲鱼推荐,让智能计算从云走向端
中心化模式不但要消耗大量的服务器资源,还要面对
海量数据处理
所带来的延迟问题
闲鱼技术
·
2020-06-28 21:52
[面试题]
海量数据处理
-从10亿个数中找频率最高的1000个数
方法一:分治思想通常比较好的方案是分治+Trie树/hash+小顶堆(就是上面提到的最小堆),即先将数据集按照Hash方法分解成多个小数据集,然后使用Trie树或者Hash统计每个小数据集中的query词频,之后用小顶堆求出每个数据集中出现频率最高的前K个数,最后在所有topK中求出最终的topK。方法二:hadoop的map,reducetopK问题很适合采用MapReduce框架解决,用户只需
benjamin_sunny_li
·
2020-06-28 20:41
海量数据处理
问题知识点复习手册
面试知识点复习手册通过以下两种途径查看全复习手册文章导航关注我的公众号:Rude3Knife点击公众号下方:技术推文——面试冲刺全复习手册文章导航(CSDN)本文参考十道
海量数据处理
面试题与十个方法大总结
weixin_34377919
·
2020-06-28 18:17
Spark比拼Flink:下一代大数据计算引擎之争,谁主沉浮?
下一代大数据计算引擎\\自从数据处理需求超过了传统数据库能有效处理的数据量之后,Hadoop等各种基于MapReduce的
海量数据处理
系统应运而生。
weixin_34149796
·
2020-06-28 12:02
《Hadoop
海量数据处理
:技术详解与项目实战》一1.1 Hadoop和云计算
本节书摘来异步社区《Hadoop
海量数据处理
:技术详解与项目实战》一书中的第1章,第1.1节,作者:范东来责编:杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。
weixin_34127717
·
2020-06-28 11:04
大数据时代的微服务之路
有人说大数据就是大量
海量数据处理
。是吗?我说这样理解可能有点片面。在此我举两个小例子,希望有助于对于这个概念能做一定的阐述。
weixin_34112900
·
2020-06-28 11:10
《Hadoop
海量数据处理
:技术详解与项目实战(第2版)》一1.2 Hadoop和大数据
本节书摘来异步社区《Hadoop
海量数据处理
:技术详解与项目实战(第2版)》一书中的第1章,第1.2节,作者:范东来责编:杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。
weixin_34000916
·
2020-06-28 09:23
阿里c++一面面经
4三次握手,四次挥手,中间的等待5空class的大小,包含int和虚函数的大小6链表是否有环,O(1)时间复杂度删除指定节点,
海量数据处理
(topk)7线程安全(单例模式,懒汉,饿汉)8vector的动态增长
weixin_33989780
·
2020-06-28 09:25
sql server 2005
海量数据处理
[文章收藏]
sqlserver2005
海量数据处理
,方法之一就是建立分区表:SQLServer2005中的分区表和索引SQLServer2005利用分区对海量数据的处理SQLServer2005中的分区表(一):什么是分区表
weixin_33975951
·
2020-06-28 09:33
[tips]python
-
海量数据处理
-知乎https://www.zhihu.com/question/19607447python的优势不在于运行效率,而在于开发效率和高可维护性。
葡萄喃喃呓语
·
2020-06-28 00:37
从上百幅架构图中学大型网站建设经验(上)
从上百幅架构图中学大型网站建设经验(上)浏览次数:344次2011年10月06日结构之法算法之道字号:大中小分享到:QQ空间新浪微博腾讯微博人人网豆瓣网开心网更多1引言近段时间以来,通过接触有关
海量数据处理
和搜索引擎的诸多技术
weixin_30736301
·
2020-06-28 00:22
HDFS网络拓扑概念及机架感知(副本节点选择)
在
海量数据处理
中,其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里将两个节点间的带宽作为距离的衡量标准。节点距离:两个节点到达最近的共同祖先(如路由器)的距离总和。
weixin_30627341
·
2020-06-27 22:26
Hadoop与海量数据计算
导读随着Hadoop出现以及与其相关的众多分布式计算软件的诞生,构筑了
海量数据处理
底层技术支持,海量数据计算才逐渐成为可能,并在近几年风靡全球,不管是已经拥有大量数据的成熟企业,还是以往对数据不够重视的企业
Jogging
·
2020-06-27 14:54
面试必备之
海量数据处理
一、
海量数据处理
所谓
海量数据处理
,无非就是基于海量数据上的存储、处理、操作。何谓海量,就是数据量太大,所以导致要么是无法在较短时间内迅速解决,要么是数据太大,导致无法一次性装入内存。那解决办法呢?
wangdd_199326
·
2020-06-27 12:27
查漏补缺
【原创】拉勾课程速推指南-阶段四 模块二 MySQL海量数据存储与优化(下)
文章内容输出来源:拉勾教育Java高薪训练营学习心得【拉勾课程速推指南】学习心得课程介绍第四阶段大型分布式存储系统架构进阶模块二MySQL海量数据存储与优化(下)本模块主要对MySQL
海量数据处理
中的分库分表架构
可心大叔
·
2020-06-27 11:05
MapReduce技术的初步了解与学习
前言
海量数据处理
也许
v_JULY_v
·
2020-06-27 10:47
27.Architecture
design
mapreduce
任务
pair
集群
文档
网络
重启开源,分享无限--微软面试187题精选
题的解题中前期回顾我想,只要是稍微浏览过我博客的朋友都知道,本博客内总体上大致分为两个部分的内容:1、算法(如十六个经典算法研究系列);2、面试与编程(涉及到微软面试100题系列,程序员编程艺术系列,
海量数据处理
面试题集锦等等
v_JULY_v
·
2020-06-27 10:10
10.MS
100'
comments
微软面试100题系列
面试技巧——十道
海量数据处理
面试题与十个方法大总结
第一部分、十道
海量数据处理
面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。
Easoncwy
·
2020-06-27 04:46
面试
Apache Spark 2.2.0 官方文档中文版(翻译完成 98%. 除 MLib 外) | ApacheCN
原文链接:http://www.apachecn.org/bigdata/spark/268.htmlApacheSpark™是一个快速的,用于
海量数据处理
的通用引擎.官方网址:http://spark.apache.org
那伊抹微笑
·
2020-06-27 03:14
中文文档
ApacheCN
Spark
分布式系统场景注入测试
id=2752前言大数据浪潮下,
海量数据处理
能力的提升是推动大数据不断前行的基础,
海量数据处理
的分布式系统应运而生,hdfs、hadoop、spark、storm、MQ等等。
杰克家的猫
·
2020-06-27 01:47
从Hadoop实践到基于业务的分析,开启你的数据掘金之路(上海站)
Hadoop,Google3大论文的开源实现,让开发者可以在商用服务器上做
海量数据处理
,其批处理方式虽然不适用于实时场景,但却可以让用户以更低廉的成本做
云计算俱乐部
·
2020-06-27 00:14
大数据活动
操作系统系统概述——云计算
在云计算基础设施方面,介绍了云计算数据中心设计与管理及资源虚拟化技术;在大规模数据处理方面,分析了
海量数据处理
平台及其资源管理与调度技术;在云计算服务保障方
OraYang
·
2020-06-26 23:55
OS
海量数据处理
问题
海量数据处理
问题
海量数据处理
问题的解题关键分而治之,通过hash函数将大任务分流到机器,或分流为小文件常用hashMap或bitmap1.海量日志数据,提取出某日访问百度次数最多的那个IP.访问百度的日志中取出
JeremiahSu
·
2020-06-26 21:58
面试相关
海量数据处理
之外排序
前言:本文是对July博文http://blog.csdn.net/v_JULY_v/article/details/6451990的一些总结现在先让我们来看一道有关外排序的题:问题描述:输入:一个最多含有n个不重复的正整数(也就是说可能含有少于n个不重复正整数)的文件,其中每个数都小于等于n,且n=10^7。输出:得到按从小到大升序排列的包含所有输入的整数的列表。条件:最多有大约1MB的内存空间
ts173383201
·
2020-06-26 20:40
阅读笔记
海量数据处理
流式计算strom,Strom解决的问题,实现实时计算系统要解决那些问题,离线计算是什么,流式计算什么,离线和实时计算区别,strom应用场景,Strorm架构图和编程模型(来自学习资料)
1、背景-流式计算与storm2011年在
海量数据处理
领域,Hadoop是人们津津乐道的技术,Hadoop不仅可以用来存储海量数据,还以用来计算海量数据。
to.to
·
2020-06-26 20:05
#
storm(实时计算)
实战hadoop
海量数据处理
系列04预热篇:窗函数row_number 从理论到实践
实战hadoop
海量数据处理
系列04预热篇:窗函数row_number从理论到实践作者写第一版书的时候,,hive还没有官方支持row_number,需要使用UDF来实现额外的jar;不过幸运的是,从hive0.11
titer1
·
2020-06-26 19:47
大数据
实战hadoop
海量数据处理
系列03 :数据仓库的设计
实战hadoop
海量数据处理
系列03:数据仓库的设计鉴于我们之前两章提前预热的开发环境,我们现在来讨论数据仓库的设计,其实本章应该放到一个正式的项目的前端,不过好事总会要来的,准备好数据仓库,我们就可以实地验证
titer1
·
2020-06-26 19:47
大数据
实战hadoop
海量数据处理
系列 01:数据导入篇
实战hadoop
海量数据处理
系列01:数据导入篇本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。
titer1
·
2020-06-26 19:47
大数据
实战hadoop
海量数据处理
系列05 : 实现点击流日志的数据清洗模块
实战hadoop
海量数据处理
系列05:实现点击流日志的数据清洗模块之前已经实现结构化数据的清洗,下一步我们将实现半结构化(非结构化)数据的清洗。
titer1
·
2020-06-26 19:47
大数据
【今日头条】深圳研发中心基础架构招聘信息
我们崇尚简单,始终关注用户需求,热衷于把从用户界面上的每一个细节体验到后台的
海量数据处理
都做到极致;我们推崇在轻松快乐的环境中学习,积累,分享和成长。在这里,我们每天都在创造价值,产生影响。
互联网Amy
·
2020-06-26 19:57
2PC和3PC
随着大型网站的各种高并发访问、
海量数据处理
等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。
skyie
·
2020-06-26 12:53
海量数据处理
一大量字符串A,B两个文件各存放50亿条URL,每条URL占用64字节,内存限制4G,找出A,B文件共同的URL答:1G文件的大致字节数:2^30约等于1的9次方(2的10次方约等于100)所以50亿条URL大概为5*64=320G,所以将大文件分为1000个小文件,怎么分,每个URL进行hashcode再对1000取余。这个A文件就被分为(a0,…a999)了,同样的对B进行这样操作,B文件就被
Benett-Chen
·
2020-06-26 12:40
云计算与
海量数据处理
技术
为解决广大系统设计人员深入研究与开发云计算系统的需要,培训中心特举办“云计算与
海量数据处理
技术”培训班,具体事宜通知如下:一、培训对象1,系统架构师、系统分析师、高级程序员、资深开发人员。
shenmanli
·
2020-06-26 09:30
大数据量的算法面试题
原链接:http://blog.csdn.net/v_july_v/article/details/7382693何谓
海量数据处理
?所谓
海量数据处理
,无非就是基于海量数据上的存储、处理、操作。
sam_justin
·
2020-06-26 07:13
大数据
算法
上一页
9
10
11
12
13
14
15
16
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他