大数据Hadoop

大数据Hadoop之HBase认识

ApacheHBase1.HBase是什么1）HBase的产生背景？随着数据规模越来越大，大量业务场景开始考虑数据存储的水平扩展，使得存储服务可以快速执行客户端发来的请求，而目前的关系型数据库更专注一台机器。海量数据量存储成为提升应用性能的瓶颈，单台机器无法负载海量的数据处理，随之而来的出现了很多的分布式存储解决方案，HBase就是其中之一。HBase－－DataBaseonHadoop，基于分布
悟成·2020-02-15 17:54

大数据Hadoop快速上手技巧，学习的方式

选择好版本之后，还需要选择学习的方式，那么今天小鸟就给大家介绍一些快速学习大数据Hadoop的方式。
大数据01·2020-02-09 06:23

hadoop3.0版本分布式平台搭建

前言该部署文档是笔者在一台配置稍微较高的笔记本电脑上利用虚拟化技术(VMware)创建3台linux操作系统虚拟机作为分布式搭建基础来操练大数据hadoop框架搭建，高度模拟出符合/类似生产环境的搭建方式进行部署
蓝空翱翔·2020-02-07 21:36

MapReduce高级应用——全排序和二次排序

前言尽管现在MapReduce程序在日常开发中已经代码编写已经很少了，但作为大数据Hadoop的三大板块之一，他内在的许多思想也是很多后续框架的基础铺垫。
提灯寻梦在南国·2020-01-11 20:20

大数据Hadoop Hive sql语法详解无标题文章

时间：2017-08-1619:36:53来源：CSDNHive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL，使不熟悉mapredu
majyer·2020-01-04 00:06

技术Checklist

RocketMQRabbitMQdubbo√日志Flume数据库事务分布式分库分表Gora运维nginx√docker√openstack算法常用算法数据结构语言scalashellgolangpython大数据
大踏步的流浪汉·2020-01-01 08:40

Python常用内置函数filter、map、reduce、apply、zip

如果对于大数据Hadoop和Spark感兴趣的话，最好学会这些内置函数的用法。因为Hadoop的分布式计算框架采用的是MapReduce模型，该模型的核
hufengreborn·2019-12-31 19:01

《全栈数据之门》正在来的路上

在大数据Hadoop与Hive环境的基础之上，使用Spar
i败火·2019-12-23 14:43

超全技术学习资料PDF分享

技术学习资料分享，目前共20G，持续更新...Java学习资料：大数据Hadoop：这里不一一截图了，资源持续更新中。关注下面公众号进行下载。
大数据实战派·2019-12-18 14:00

大数据Hadoop培训学习常用命令

今天科多大数据老师就总结了大数据Hadoop培训学习常用命令，下面跟随着科多大数据老师一起来看一看吧。
kuntoria·2019-12-16 19:50

大数据Hadoop分布式文件系统HDFS

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的
A尚学堂Nancy老师·2019-12-13 15:33

大佬用28小时讲述大数据HadoopHDFS集群搭建和MapReduce源码解析

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。1.HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常
qunqun8889·2019-12-12 11:13

2019菜鸟窝全新内部独家—零基础大数据实战精选视频123讲（免费领）

熟练掌握Java、Scala、Python语言，对大数据Hadoop、Hive、Hbase、K
菜鸟窝·2019-12-02 04:18

Hadoop Job相关命令

title:HadoopJob相关命令date:2016/11/510:54:40tags:Hadoopcategories:大数据hadoop命令行与job相关的：命令行工具•1.查看Job信息：hadoopjob-list2
Skye_kh·2019-11-04 16:31

2017-08-20

今日，学习了大数据Hadoop.感觉并不是很难，只要记住几个关键命令，便可以放心操作。其实真正的只是并没有自己想象的那么难，只要自己付出，便会得到自己想要的。
三木_5cc1·2019-11-04 13:13

大众点评网平台架构组高级工程师 hadoop 应用案例

大众点评网平台架构组高级工程师hadoop应用案例-小草君技术专栏-博客频道-CSDN.NEThttp://blog.csdn.net/ldds_520/article/details/41310511大数据
葡萄喃喃呓语·2019-11-01 06:03

大数据Hadoop2.7+zookeeper+Hbase+Hive完全分布式搭建

最近在新电脑上配置大数据开发环境，踩了不少坑，更具网上的一些方法整理了一套比较简单的hadoop+zookeeper+hbase+hive环境的搭建（由于虚拟机环境均以root用户操作）；除了zookeeper的myid，其他设置所有虚拟机上都一样，所以可以一台虚拟机全部安装配置完以后直接完全克隆几个，再配置单独的静态ip，hostname和myid即可；当然最稳妥的是配置完ssh后直接克隆，每配
SUSUR_28f6·2019-10-05 16:16

大数据Hadoop核心组件，主要有哪些？

首先，简单概括一下云计算和大数据之间的关系。在很大程度上它们是相辅相成的，最大的不同在于：云计算是你在做的事情，而大数据是你所拥有的东西。以云计算为基础的信息存储、分享和挖掘手段为知识生产提供了工具，而通过对大数据分析、预测会使得决策更加精准，两者相得益彰。从另一个角度讲，云计算是一种IT理念、技术架构和标准，而云计算不可避免地会产生大量的数据。大数据技术与云计算的发展密切相关，大型的云计算应用不
duozhishidai·2019-09-26 19:31

大数据hadoop系列：Hive HQL常用操作

1.hiveHQL的表操作：1.1创建数据库hive>createdatabasezhanzhy;OKTimetaken:0.073secondshive>showdatabases;OKdefaultzhanzhyTimetaken:0.012seconds,Fetched:2row(s)hive>--查看数据库详情hive>descdatabasezhanzhy;OKzhanzhyhdfs:/
兰波万·2019-09-13 17:48

大数据Hadoop未来五年发展走向分析

随着大数据的快速发展，未来五年内，数据量和数据类型都会快速增长，那时，PB级的数据量已经不能被称为大数据了。随着数据的猛增，企业对数据分析和存储能力的需求必然大幅上升。相对于传统数据库和数据仓库技术，Hadoop的优势在于将数据分析和存储平民化。美国联合市场研究(AlliedMarketResearch)机构近日预测，到2020年，Hadoop的市场价值会超过500亿。Hadoop技术发展至今，走
IT时代周刊·2019-08-08 14:20

阿里大牛详解分布式系统，大型网站分布式系统实战解析

分布式系统分布式系统从当初的CORBA到EJB，Web和SOA，从集群到现在的NoSQL云计算和大数据Hadoop等分布式系统，横向水平扩展Scalaout/in是分布式系统设计的一个特点，可靠性容错性是两个质量指标
Java大蜗牛·2019-08-05 16:34

阿里大牛详解分布式系统，大型网站分布式系统实战解析

分布式系统分布式系统从当初的CORBA到EJB，Web和SOA，从集群到现在的NoSQL云计算和大数据Hadoop等分布式系统，横向水平扩展Scalaout/in是分布式系统设计的一个特点，可靠性容错性是两个质量指标
Java大蜗牛·2019-08-05 16:34

大数据学习零基础能够学会不？

零基础大数据培训课程分为十个阶段主要的学习内容：Java基础、JavaWeb、主流框架、流行框架、大数据基础增强、大数据Hadoop离线分布式系统、大数据Storm实时计算系统、大数据Spark内存计算系统
加米谷谷·2019-07-22 15:06

大数据Hadoop生态圈介绍

大数据Hadoop生态圈-组件介绍Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。
kiss火葱花·2019-07-12 14:47

[大数据]大数据体系整理

大数据体系整理开发语言分布式存储分布式计算数据仓库技术机器学习开发语言Java大数据框架的编写支持很多开发语言，但是Java在大数据开发方面有很大的优势，目前流行的大数据Hadoop框架、map-reduce
朱同学·2019-07-09 13:26

hadoop之倒排索引案例

job2优化多job串联需求需求：有大量的文本（文档、网页），需要建立搜索索引原始数据a.txtmapreduceMapReduceindexInvertedindexInvertedindex倒排索引大数据
怒放de生命2010·2019-06-23 01:50

500G 史上最全的JAVA全套教学视频网盘分享

500GJAVA视频网盘分享(JEECG开源社区)[涵盖从java入门到深入架构，Linux、云计算、分布式、大数据Hadoop、ios、Android、互联网技术应有尽有]1、JeecgBoot前后端分离开发框架视频教程
scott·2019-06-06 00:00

54个大数据hadoop面试经典题

参考下面的MR系统的场景：HDFS块大小为64MB；输入类型为FileInputFormat；有三个文件大小分别是：0.在Hadoop中定义的主要公用InputFormat中，默认是哪一个？（A）A、TextInputFormatB、KeyValueInputFormatC、SequenceFileInputFormat1.下面哪个程序负责HDFS数据存储？（C）A.NameNodeB.JobTr
IT时代周刊·2019-05-20 12:02

学大数据Hadoop你需要知道的一些事项

如何工作的?Hadoop是从Google文件系统发源而来,并且他是一个用Java开发的跨平台的应用.核心组件有:HadoopCommon,拥有其他模块所依赖的库和基础工具,Hadoop分布式文件系统(HDFS),负责存储,HadoopYARN,管理计算资源,和HadoopMapReduce,负责处理的过程。Hadoop把文件拆成小块并且把他们分发给集群中的节点.然后，它使用打包的代码分发到节点上并
机器学习和人工智能·2019-05-19 21:00

大数据Hadoop基础入门

hadoop快速入门，基本上按照里面步骤能快速入门hadoop，但这篇文档是针对hadoop0.18写的，有些地方还是和hadoop0.20不同。在文档“伪分布式模式的操作方法”中有下面配置说明：配置使用如下的conf/hadoop-site.xml:fs.default.namelocalhost:9000mapred.job.trackerlocalhost:9001dfs.replicati
大数据框架Hadoop学习·2019-05-17 22:29

HBase浅度学习

简介hbase是大数据hadoop的数据库存储数据支持海量数据的存储hbase是构建在hdfs上的分布式数据库检索数据hbase支持对存储在hbase表中的海量数据进行随机的实时的查询服务hbase对其大表中的海量数据构建了层层索引已经有
觉地求生·2019-05-17 00:00

在Hive上构建数据仓库使用的数据模型

现状针对大数据Hadoop体系中，Hive作为数据仓库工具;但是对于大数据中数据仓库上构建数据模型的方法和传统的关系数据库的方法是否还是可以使用。
haotian1685·2019-05-11 21:34

大数据Hadoop入门简介

hadoop是什么Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDF
阿q宣你·2019-05-10 22:21

大数据Hadoop环境网络特性

Hadoop集群中的各节点通过网络连接起来，而且MapReduce中的以下过程会在网络中传输数据。（1）写数据。当向HDFS写入初始数据或者大块数据时，会发生数据写入过程。写入的数据块需要备份到其他节点，需要在网络中传输这些数据。（2）作业执行。1）Map阶段。在算法的Map阶段，几乎不需要在网络中传输数据。在Map开始阶段，当HDFS数据没有本地性（数据块不在本地存储，需要从其他节点拷贝）时，才
机器学习和人工智能·2019-05-09 21:55

大数据Hadoop快速入门教程

大数据1024G数据资料Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有
大数据hadoop·2019-05-07 22:02

干货|50个大数据面试问题及答案完结篇：经验丰富的Hadoop开发人员面试问题

截止到现在我们已经更新了四期，涵盖了大数据新人面试、大数据经验者面试、大数据hadoop面试和hadoop开发新人面试四个板块，如果对其中的版块有兴趣的小伙伴，点击下方文章跳转观看。
慧都大数据·2019-03-12 10:59

干货|50个大数据面试问题及答案第四篇：10个Hadoop开发人员新手面试问题

《干货|50个大数据面试问题及答案第一篇:10个大数据面试入门级问题》《干货|50个大数据面试问题及答案第二篇：10个大数据面试中级问题》《干货|50个大数据面试问题及答案第三篇：10个大数据Hadoop
慧都大数据·2019-03-11 14:33

使用Docker搭建大数据Hadoop环境

使用Docker搭建大数据Hadoop环境一、安装Docker原文地址：https://www.imooc.com/article/48676、http://www.runoob.com/docker/
wisdom_power·2019-03-11 14:50

使用Docker搭建大数据Hadoop环境

使用Docker搭建大数据Hadoop环境一、安装Docker原文地址：https://www.imooc.com/article/48676、http://www.runoob.com/docker/
wisdom_power·2019-03-11 14:50

干货|50个大数据面试问题及答案第三篇：10个大数据Hadoop面试问题

《干货|50个大数据面试问题及答案第一篇:10个大数据面试入门级问题》《干货|50个大数据面试问题及答案第二篇：10个大数据面试中级问题》10个大数据Hadoop面试的专业问题Hadoop是最受欢迎的大数据框架之一
慧都大数据·2019-03-08 11:24

大数据Hadoop学习视频教程 大数据hadoop新手初学快速入门视频课程

Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理适用人群有一定Java基础的学生或工作者课程简介Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hado
覞你很高兴·2019-02-28 19:15

大数据Hadoop视频教程_Hadoop新手入门教程

最新在学习hadoop、storm大数据相关技术，发现网上hadoop、storm相关学习视频少之又少,我这里整理了hadoop学习视频，分享出来给大家交流。-------------------课程目录-------------------视频下载地址：http://demo.liuy88.cn/jp0895.html第一天hadoop的基本概念伪分布式hadoop集群安装hdfsmapredu
zzzzzpian·2019-02-24 17:23

Hadoop大数据学习视频教程 大数据hadoop运维之hadoop快速入门视频课程

Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理适用人群有一定Java基础的学生或工作者课程简介Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hado
小狗崽的爸爸·2019-02-23 18:36

大数据Hadoop Hive HBase Spark Storm 和分布式流数据系统Kafka

原文链接：https://blog.csdn.net/zwgdft/article/details/54633105ApachePig教程https://www.w3cschool.cn/apache_pig/index.htmlHadoop教程https://www.w3cschool.cn/hadoop/?Zookeeper教程https://www.w3cschool.cn/zookeepe
高级点工·2019-02-21 11:53

大数据Hadoop入门视频教程：Hadoop的快如入门

最新在学习hadoop、storm大数据相关技术，发现网上hadoop、storm相关学习视频少之又少，这里整理了传智播客段海涛老师的hadoop学习视频，出来给大家学习交流。视频下载地址：http://demo.liuy88.cn/jp0733.html第一天hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示01-hadoop职位需求状况.avi02-hadoop课
当年的小狗头·2019-02-16 16:21

hadoop项目开发案例举例

阅读更多大数据Hadoop应用开发技术正可谓如火如荼推进中，以为大数据已经不仅仅是局限在互联网领域，而是已经被上升到了国家战略的高度层面。大数据正在深刻影响和改变我们的日常生活和工作方式。
adnb34g·2019-01-27 13:00

hadoop项目开发案例举例

阅读更多大数据Hadoop应用开发技术正可谓如火如荼推进中，以为大数据已经不仅仅是局限在互联网领域，而是已经被上升到了国家战略的高度层面。大数据正在深刻影响和改变我们的日常生活和工作方式。
adnb34g·2019-01-27 13:00

hadoop项目开发案例举例

阅读更多大数据Hadoop应用开发技术正可谓如火如荼推进中，以为大数据已经不仅仅是局限在互联网领域，而是已经被上升到了国家战略的高度层面。大数据正在深刻影响和改变我们的日常生活和工作方式。
adnb34g·2019-01-27 13:00

实战Hive本地文件系统导入数据

前言最近了解到大数据Hadoop相关内容，正好项目中需要与hive数据仓库交互，前提需要导入数据到Hive中，下面来看下本地文件系统导入hive的实战过程。
大白快跑8·2019-01-06 14:56

大数据hadoop入门之hadoop家族产品详解

阅读更多大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起，一次安装搞定所有，那对于
adnb34g·2018-12-26 15:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他