hadoop技术

HDFS-Datanode磁盘选择策略分析

概述Hadoop技术体系中，hdfs是重要的技术之一，而真实的数据都存储在datanode节点之上，DataNode将数据块存储到本地文件系统目录中，而每个datanode节点可以配置多个存储目录（可以是不同类型的数据硬盘
风筝Lee·2020-08-14 04:26

大数据入门第一天2018,01,02

国内大数据市场继续保持高速的发展态势，作者在与地方政府，证卷金融公司的项目中发现，他们对大数据技术很感兴趣，并希望从大数据技术等方面得到指导和应用帮助，本书共12章，以hadoop和Spark框架为线索，比较全面地介绍了hadoop
小赫本本本·2020-08-12 13:11

Spark数据分析实战：大型活动大规模人群的检测和疏散

Spark数据分析实战：大型活动大规模人群的检测和疏散2016-06-29Hadoop技术博文近日，风靡西雅图、旧金山的Datapalooza登陆上海（IBMSpark大赛启动10万美元悬赏最佳Spark
凌风探梅·2020-08-09 19:34

国内高校大数据工程教学实训平台解决方案

75%以上的公司表示在人员和培训方面存在障碍，会大数据挖掘技术的人才很热门，但是比较难找而且昂贵，会Hadoop技术的数据挖掘人才更是奇缺。
weixin_34005042·2020-08-09 00:23

hadoop的单机版测试和集群节点的搭建

Hadoop技术原理：Hdfs主要模块：NameNode、DataNodeYarn主要模块：ResourceManager、NodeManagerHDFS主要模块及运行原理：1）NameNode：功能：
Treasured _·2020-08-08 20:01

SQL on Hadoop技术分析（一）

2016-07-12王森hadoop技术学习背景Hadoop的诞生是划时代的数据变革，但关系型数据库时代的存留也为Hadoop真正占领数据库领域埋下了许多的障碍。
jiezhu2007·2020-08-02 13:33

Hadoop技术梗概（一）

Hadoop技术梗概（一）概要Hadoop的核心主要包括几个子项目。Hadoopcommon、HadoopHDFS、以及HadoopMapReduce。这三个部分是Hadoop最重要的三个部分。
SEU_杜臻臻·2020-08-01 14:56

Hadoop技术内幕之Hadoop基本结构

Hadoop基本结构Hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。分布式文件系统主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统之上，对存储在分布式文件系统中的数据进行分布式计算。HDFS结构HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。总体上采用了
owen1190·2020-08-01 13:31

架构精讲: Hadoop技术框架和架构演进方向

ApacheHadoop是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop包含以下两个主要组件:HadoopDistributedFileSystem(HDFS)和一个分布式计算引擎，该引擎支持以MapReduce作业的形式实现和运行程序。MapReduce是Google推广的一个简单的编程模型，它对以高度并行和
架构师技术联盟·2020-08-01 10:56

hadoop技术基本架构

一、Hadoop概述hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce则构建在分布式文件系统之上，对存储在分布式文件系统中的数据进行分布式计算。2、在Hadoop中，MapReduce底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单的配置后，存储在该
流水无Qing·2020-08-01 09:27

字节跳动面试问到Hadoop源码，拿40K进大厂的Java程序员必备技能

因此，Hadoop技术在大数据中占据着举足轻重的作用，也很受企业的青睐。像字节跳动等头部企业，往往很重视Hadoop源码的二次开发，对简历职级要求比较高，还需要应聘者具有源码阅读经验。
潇洒的程序员·2020-08-01 06:36

HDFS的工作机制,HDFS写数据流程,HDFS读数据流程（来自学习资料）

4.hdfs的工作机制（工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力）注：很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用
weixin_33860722·2020-08-01 04:19

Hadoop 技术在电信运营商上网日志处理中的应用架构

Hadoop技术在电信运营商上网日志处理中的应用架构一、电信运营商上网日志处理的现状在移动互联网如此普及的今天，每天会产生大量的上网日志，这些上网日志由于数据量巨大，产生后只能被保留3天，就因为存储空间等原因被丢弃
博文视点·2020-07-31 16:55

深度 | 资深架构师教你一篇文看懂Hadoop（二）

几乎大的企业或多或少的已经使用或者计划尝试使用Hadoop技术。就对Hadoop定位和使用不同，可以将Hadoop业界公司划分为四类：1.第一梯队：这类公司已经将Hadoop当作大数据战略武器。
weixin_34179968·2020-07-30 03:37

他是BAT大数据专家，公众号写了五年，连大佬们都在关注！

2014年，他创建了微信公众号，最开始的名字是：Hadoop技术博文，今年统一博客改
悄悄的努力·2020-07-28 20:43

Wikibon：Hadoop-NoSQL正迅速融入生产环境

Wikibon大数据首席分析师JeffKelly认为，推动市场蓬勃发展的主要动力在于相关技术趋势的重大转变，即由以甲骨文及Teradata为代表的传统关系型数据库向基于Hadoop技术且通常与NoSQL
weixin_34191734·2020-07-28 19:56

微博的大数据挖掘：知著、见微、晓意

文章讲的是微博的大数据挖掘：知著、见微、晓意，2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013Hadoop中国技术峰会(ChinaHadoopSummit2013
weixin_33981932·2020-07-28 18:35

大数据数据仓库－场景

大数据仓库－场景2015-10-24朱洁hadoop技术学习传统OLTP/OLAP之分数据仓库里面有OLTP/OLAP之分，OLTP是传统关系型数据库的主要应用，其主要面向基本的、日常的事务处理，例如银行交易
jiezhu2007·2020-07-28 00:20

Hadoop高级编程—构建与实现大数据解决方案pdf

下载地址：网盘下载内容简介······如果你已经准备好要充分实施大规模可扩展性数据分析工作，那么需要知道如何利用Hadoop技术。
weixin_30381793·2020-07-15 03:36

Hadoop技术(三)数据仓库工具Hive

数据仓库工具Hive第一章hive是什么一数据仓库工具Hive二hive架构三Hive执行流程第二章Hive的搭建一Hive的搭建模式介绍二单用户模式搭建三多用户模式搭建第三章Hive语法一DDL操作二DML操作InsertUpdateOtherDML三内部表四外部表五Hive分区(静态)单分区单分区中的DML操作双分区双分区中的DML操作六HiveSerDe(序列化与反序列化)七HiveBeel
时间静止不是简史·2020-07-14 21:54

0基础入门大数据开发需要学习什么内容？Hadoop体系

Hadoop技术体系（1）简介：Hadoop是Apache开源组织的一个分布式基础框架，提供了一个分布式文件系统(HDFS)、分布式计算（MapReduce）及统一资源管理框架（YARN）的软件架构。
HAOXUAN168·2020-07-14 04:01

Docker环境下Hadoop分布式集群搭建

抱着归零的心态，春节期间，了解了一下Hadoop技术，在windows环境下，利用dockerToolbox，搭建hadoop分布式集群，以便后续持续学习。
Predator_Zhang·2020-07-13 23:54

Hadoop技术内幕 深入解析MapReduce架构设计与实现原理

Hadoop的一些重大改进1.append,HDFS支持追加写功能2.HDFSRAID在HDFS之上构建了一个新的分布式文件系统，可以用更少副本保持可用性3.Symlink让HDFS支持符号链接4.Security知道blockId就可以绕过namenode会有安全问题5.MRv1和MRv26.NameNodeFederation，一个namenode会有内存上限的问题，将namenode横向扩展
peixun123·2020-07-13 09:42

浅谈大规模Hadoop集群自动化部署与运维

文章讲的是浅谈大规模Hadoop集群自动化部署与运维，2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013Hadoop中国技术峰会（ChinaHadoopSummit2013
weixin_33721427·2020-07-12 07:16

Hadoop技术内幕_YARN--资源调度器

资源调度器是HadoopYARN中最核心的组件之一，它是ResourceManager中的一个插拔式服务组件，负责整个集群资源的管理和分配YARN资源调度器是直接从MRv1基础上修改而来的，它提供了三种可用资源调度器，分别是FIFO、Yahoo！的CapacityScheduler和Facebook的FairScheduler，它们的实现原理和实现细节与MRv1中对应的三种调度器基本一致。HOD调
泽林呗·2020-07-12 05:26

【Hadoop技术】【离线分析系统结构概述】

上一篇：【Hadoop技术】【分布式系统概述】文章目录一、需求分析案例名称案例需求描述数据来源二、数据处理流程流程图解析项目整体技术架构图三、项目最终效果一、需求分析案例名称XX网/XXapp点击流日志数据挖掘系统网站分析的主要手段是分析网站的点击流数据
LinGavinQ·2020-07-11 20:01

成为大数据顶尖程序员，先过了这些Hadoop面试题！（附答案解析）

谷歌、阿里巴巴、百度、京东都在急需掌握hadoop技术的大数据人才！无论你精通大数据的哪一项类，都将在未来职场脱颖而出！01单选
nanao3o·2020-07-10 12:20

Hadoop技术之Hadoop HA 机制学习

欢迎大家前往腾讯云技术社区，获取更多腾讯海量技术实践干货哦~作者：温球良导语最近分享过一次关于Hadoop技术主题的演讲，由于接触时间不长，很多技术细节认识不够，也没讲清楚，作为一个技术人员，本着追根溯源的精神
weixin_34368949·2020-07-10 09:04

io_submit、io_setup和io_getevents示例

注：原发表在Hadoop技术论坛io_submit、io_setup和io_getevents和LINUX上的AIO系统调用。
weixin_34185320·2020-07-10 08:34

何刚：Hadoop成为打开大数据之门金钥匙

文章讲的是何刚：Hadoop成为打开大数据之门金钥匙，2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013Hadoop中国技术峰会（ChinaHadoopSummit2013
weixin_33850890·2020-07-10 07:12

零基础大数据入门该看哪些书

1.大数据工程师在互联网公司广泛招聘，偏平台业务方向，ETL和OLTP等，主要是基于Hadoop技术栈来处理大数据，算法要求不是特别高。经典图书推荐：《Hadoop权威指南》《Hive编程指南》《H
kuntoria·2020-07-10 01:59

零基础小白入手hadoop学习路线和教程分享

这里写图片描述Hadoop技术本身并不是新技术，而是互联网时代成就了它，互联网产生了大量的数据，传统的服务器解决方案成本太高，Hadoop分布式处理技术可以解决这个问题，随着BAT等知名公司的成功案例，
大数据导师·2020-07-09 12:09

mac关于Hadoop安装

一开始看的《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》，按照它的安装方法并没有成功。
vernwang·2020-07-08 05:13

【多维分析系列】拥抱大数据多维分析查询

华为开放心态拥抱大数据多维分析查询2013年11月23日15:03it168网站原创作者：申安安编辑：申安安查看全文赞（0）评论（0）标签：大数据【IT168现场报道】2013年11月22-23日，作为国内唯一专注于Hadoop
三少GG·2020-07-08 04:47

Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理 第1章　源代码环境准备 1.1　什么是Hadoop...

第一部分环境准备本部分内容源代码环境准备第1章源代码环境准备数据！数据！数据！今天，我们正被数据包围。全球43亿部电话、20亿位互联网用户每秒都在不断地产生大量数据，人们发送短信给朋友、上传视频、用手机拍照、更新社交网站的信息、转发微博、点击广告等，使得机器产生和保留了越来越多的数据。数据的指数级增长对处于市场领导地位的互联网公司，如Facebook、谷歌、雅虎、亚马逊、腾讯等提出了挑战。它们需要
海兰·2020-07-08 04:02

[Hadoop] HDFS 详解一（原理篇）

很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用，但实际并非如此。要
mnasd·2020-07-07 17:54

MapReduce调度与执行原理之任务执行（一）

作者：Jaytalent开始日期：2013年9月9日参考资料：【1】《Hadoop技术内幕--深入解析MapReduce架构
CraftsCoder·2020-07-07 12:39

MapReduce调度与执行原理之任务调度

作者：Jaytalent开始日期：2013年9月9日参考资料：【1】《Hadoop技术内幕--深入解析MapReduce架构
CraftsCoder·2020-07-07 12:39

MapReduce调度与执行原理之作业提交

作者：Jaytalent开始日期：2013年9月9日参考资料：【1】《Hadoop技术内幕--深入解析MapReduce架构
CraftsCoder·2020-07-07 12:39

hadoop大数据典型应用，基于Hadoop技术的大数据应用解决方案

近年来，Hadoop技术，大数据研发产品在国内迅猛发展，其在不断的发展中解决了传统数据库无法胜任海量数据处理的问题，以及结构化和非结构化数据统一起来进行数据分析、建模和挖掘得到了更高效的处理方案。
weixin_34212762·2020-07-06 00:49

hadoop零基础到高级全套培训教程视频教程下载

越来越多的企业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及Android程序员。
sihaosaonian·2020-07-05 12:09

企业如何选择Hadoop

帮助企业认识Hadoop，在选择Hadoop技术方案上做出抉择。一、什么是大数据分析工具及技术Hadoop是目前的处理和存储海量数据的最佳工具。Hadoo
iteye_3753·2020-07-04 19:49

Hadoop实战(全面讲解Hadoop以及Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等相关技术)...

：机械工业出版社ISBN：9787111359449上架时间：2011-10-21出版日期：2011年10月http://product.china-pub.com/198652编辑推荐内容全面，涵盖Hadoop
iteye_11539·2020-07-04 18:04

EasyHadoop 第六次技术分享(Hadoop应用(海量小文件存储),Hadoop高可用和信息安全)

Hadoop从互联网领域蓬勃发展,广大搜索,电商,视频,门户,游戏公司都纷纷开始实施Hadoop技术解决方案。
azhao_dn·2020-07-04 11:41

赢在数据群电子刊物《数据赢家》第二期出炉

《数据赢家》是QQ群279441740推出的用于推广和交流R语言、Hadoop技术的开放式电子刊物。R语言是什么？根据百度百科的描述，R是用于统计分析、绘图的语言和操作环境。
michael_zhu_2004·2020-07-02 12:43

赢在数据（R+Hadoop）群电子刊物《数据赢家》第三期出炉

《数据赢家》是QQ群279441740（赢在数据群）推出的用于推广和交流R语言、Hadoop技术的开放式电子刊物。R语言是什么？根据百度百科的描述，R是用于统计分析、绘图的语言和操作环境。
michael_zhu_2004·2020-07-02 12:42

零基础学Hadoop大数据好学么,大概需要学习多长时间？

在自学刚接触Hadoop技术时，会没有学习方向，不知从何下手，遇到问题也没有老师可以请教，更没有人指导，确实让人很
人工智能爱好者·2020-06-30 16:00

Oozie工作流分析

在hadoop技术栈中我们可以使用oozie做为任务的调度与定时触发的工具。可以方便的帮助
张晓天a·2020-06-30 14:37

Hadoop技术内幕_YARN--ResourceManager剖析

与MRv1一样，YARN也采用了Master/Slaver结构，Master实现为ResourceManager，负责整个集群资源的管理和调度；Slave实现为NodeManager，负责整个节点的资源管理与任务启动ResourceManager基本职能概况起来,ResourceManager主要完成以下几个功能：与客户端交互，处理来自客户端的请求启动和管理ApplicationMaster，并在
泽林呗·2020-06-30 08:37

大数据入门视频课程之hive讲解

而我们需要知道的是学习大数据技术，首先要学习Hadoop，而Hadoop技术中的数据仓库hive又是重中之重，所以今天小编除了分享大数据入门视频课程之外，还整理了一些关于hive的技术知识。
肖晓晓·2020-06-30 04:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他