大数据Hadoop

大数据Hadoop、Spark、ZooKeeper、Flume、Azkaban、HBase、Storm、Flink、Spark组件常用端口笔记

大数据Hadoop、Spark、ZooKeeper、Flume、Azkaban、HBase、Storm、Flink、Spark组件常用端口笔记大数据Hadoop组件常用端口9000端口是与NameNode
qq_44813644·2020-06-26 03:01

MacOS下，如何搭建大数据Hadoop集群环境，看这一篇足矣！

首先声明，以下的所有配置都是基于VMWareFusion搭建，倘如没下载此软件，请自行下载。第一步环境准备此时，我已经默认你有了一台虚拟机了（如果没有，请自行下载）。在启动第一台虚拟机的时候，这个时候，你的虚拟机是无法ping通外网的，因为没和mac网关相关联。首先，查看你的mac网关ip和子网掩码。使用command+空格输入ter显示出终端操作界面，输入如下指令即可（这时，请不要关闭终端，因为
晴初1997·2020-06-26 01:34

大数据Hadoop--3.1.3——完全分布式搭建（入门）第二部分——ssh无密登录、群起集群

1、ssh免密登录1、生成公钥和私钥：ssh-keygen-trsa然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）2、将公钥拷贝到要免密登录的目标机器上ssh-copy-idhadoop101ssh-copy-idhadoop102ssh-copy-idhadoop103注意：需要每种账户都配置，才能使用相关账户具有无密登录的权限还需要在hadoop101上
Caron_xcb·2020-06-25 23:35

大数据Hadoop--3.1.3——完全分布式搭建、分发（入门）第一部分

首先准备三台一样的虚拟机，配置好相关设置集群部署规划注意：NameNode和SecondaryNameNode不要安装在同一台服务器注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。1、配置集群（1）配置：hadoop-env.sh如果是从搭建好的伪分布式拷贝过来的hadoop，因为已经配置过，可以直接跳过，如果是新解压
Caron_xcb·2020-06-25 23:35

大数据hadoop学习【9】-----通过JAVA语言编程，实现对Hbase数据库表及数据的相关操作

大数据hadoop学习【9】-----通过JAVA语言编程，实现对Hbase数据库表及数据的相关操作目录一、Hbase数据库的运行1、运行SSH2、运行hadoop3、运行Hbase二、eclipse整体
陈一月的编程岁月·2020-06-25 23:03

【备忘】Sqoop、Flume、Oozie、Hue大数据工具视频教程

第1章数据转换工具Sqoop101大数据Hadoop2.x协作.框架的功能.mp402Sqoop功能概述和版本、架构讲解.mp403Sqoop使用要点(核心)及企业版本讲解.mp404使用CDH5.3.6
qq_38472057·2020-06-25 14:55

大数据Hadoop学习(4)-MapReduce经典案例-单词统计

大数据Hadoop学习(4)-MapReduce经典案例-单词统计MapReduce单词统计案例（分别使用样例带的jar包和自己编写代码实现的jar包运行）1.Hadoop经典案例——单词统计1）打开HDFS
Loong1996·2020-06-25 07:45

大数据Hadoop学习(9)-Flume

1.实验原理Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力Flume提供了从console（控制台）、RPC（Thrift-RPC）、tex
Loong1996·2020-06-25 07:45

大数据Hadoop学习文章汇总

大数据Hadoop学习文章汇总大数据Hadoop学习(1)-虚拟机准备大数据Hadoop学习(2)-Hadoop分布式集群搭建大数据Hadoop学习(12)-HDFSHA高可用配置大数据Hadoop学习
Loong1996·2020-06-25 07:14

大数据hadoop系列：python实现MapReduce 词频统计

map代码：map_t.pyimportsysimportrep=re.compile(r'\w+')forlineinsys.stdin:ss=line.strip().split('')forsinss:iflen(p.findall(s))<1:continues_low=p.findall(s)[0].lower()prints_low+','+'1'reduce代码：red_t.pyim
兰波万·2020-06-25 02:49

大数据Hadoop

HadoopCAP理论大数据技术原理与应用——概念、存储、处理、分析与应用C(强一致性)：系统在执行过某项操作后仍然处于一致的状态。在分布式系统中，更新操作执行成功后所有的用户都应该读取到最新的值，这样的系统被认为具有强一致性。A(可用性)：每一个操作总是能够在一定的时间内返回结果，这里需要注意的是“一定时间内”和“返回结果”。P(分区容错性)：分区容错性可以理解为系统在存在网络分区的情况下仍然可
Col_·2020-06-24 09:59

大数据学习视频

课程链接地址【极限班培训】大数据hadoop+strom+spark+openstack等链接:https://pan.baidu.com/s/1fUjzNZnGbYWuOPWibB0bwA大数据实时计算系统实践
Perkinl·2020-06-24 08:56

六年亲历，见证中国大数据技术与应用时代的到来

big-data-technology-conference-dec六年亲历，见证中国大数据技术与应用时代的到来发表于2013-09-3009:39|8875次阅读|来源CSDN|34条评论|作者郭雪梅BDTCHBTC大数据
#菜鸟架构师文标#·2020-06-24 07:37

大数据Hadoop快速上手技巧，学习的方式

那么今天就给大家介绍一些快速学习大数据Hadoop的方式。对于小白学习大数据需要注意的点有很多，但无论如何，既然你选择了进入大数据行业，那么便只顾风雨兼程。
lele989·2020-06-24 03:32

大数据hadoop简答题

参考：《大数据技术原理与应用》——林子雨人民邮电出版社分布式文件系统HDFS名称节点是什么？  名称节点负责文件和目录的创建、删除和重命名等，同时管理着数据节点和文件块的映射关系，因此客户端只有访问名称节点才能找到请求的文件块所在位置。数据节点是什么？  数据节点负责数据的存储和读取，存储时，由名称节点分配存储位置，客户端到相应的数据节点写入数据；读取时，客户端从名称节点获得文件块和数据节点的映射
junior19·2020-06-23 23:52

大数据Hadoop这些年的发展回顾：致敬那些浪潮之巅的英雄

在这篇文章里，加米谷大数据沿大数据发展时间线，从产品、行业、技术多角度讨论其发展脉络，究其发展承其脉络大家可以学习、借鉴、并最终推测未来大致走向。Hadoop：开源大数据的基石Hadoop于2005年问世。之前，DougCutting和MikeCafarella已经拜读过Google的GFS论文，并且自己“手工造轮子”实现自己的Google分布式文件系统(最初称为Nutch分布式文件系统的NDFS
成都加米谷大数据·2020-06-23 21:15

大数据Hadoop部署和搭建

###大数据介绍1大数据的由来计算机技术的发展，互联网普及，信息积累，呈现爆炸式增长，收集，检索，统计信息越发困难，必须使用新技术来解决问题。2什么是大数据一定时间范围内没办法用常规软件工具去捕捉，管理和处理的数据集合，只能通过新处理模式，使得信息资产多样化。。能从各种类型的数据中，快速获得有价值的信息。它能做什么？利用相关数据分析，帮助企业降低成本，提高效率，开发新产品，更明智的业务决策。信息和
红姐姐有话说·2020-06-23 14:54

基于Hadoop离线大数据分析平台项目实战

其中数据分析主要依据大数据Hadoop生态系统常用组件进
haoyunqilai·2020-06-23 13:02

高级JAVA架构师之路(价值3万元的教程-年薪百万计划)

01.Svn版本管理与代码上线架构方案03.深入JVM内核—原理、诊断与优化04.基于Netty的RPC架构实战演练05.Git分布式版本控制系统权威指南06.Redis从入门到精通、集群与应用07.大数据
h123456789_·2020-06-23 12:05

大数据Hadoop免费教程-大数据从入门到实战

大数据Hadoop免费教程-大数据从入门到实战《大数据Hadoop进阶》：本课程面向Hadoop高阶学习者，具有一定Hadoop系统使用经验，结合大规模使用Hadoop的实践经验，了解和掌握HDFS构建
fengliaoai·2020-06-23 07:28

大数据Hadoop之 YARN认识

Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的committe
大数据hadoop·2020-06-22 09:52

Centos7配置静态IP（外部和内部可以互相ping）

在本机电脑装一个虚拟机Linux系统可以自己玩玩测试自己的一些知识,比如说在linux上写Java,搞Redis集群，搞大数据Hadoop等，因为linux是命令行操作和window界面操作不一样，Linux
_徐林·2020-06-22 06:55

大数据Hadoop集群搭建

大数据Hadoop集群搭建一、环境服务器配置：CPU型号：Intel®Xeon®[email protected]核数：16内存：64GB操作系统版本：CentOSLinuxrelease7.5.1804
wuxingge·2020-06-22 06:06

大数据hadoop培训总结

大数据hadoop培训总结一、培训安排第一天：大数据及其应用的介绍；部署CentOS系统，搭建hadoop基础平台，技术框架选型。
SadOnMyOwn·2020-06-22 04:55

大数据 Hadoop高可用HA

前言大数据基础概念大数据Centos基础大数据Shell基础大数据ZooKeeper大数据Hadoop介绍、配置与使用大数据Hadoop之HDFS大数据MapReduce大数据Hive大数据Yarn大数据
Notzuonotdied·2020-06-22 02:25

大数据 Hive

大数据基础概念大数据Centos基础大数据Shell基础大数据ZooKeeper大数据Hadoop介绍、配置与使用大数据Hadoop之HDFS大数据MapReduce大数据Hive大数据Yarn大数据MapR
Notzuonotdied·2020-06-22 02:54

大数据 MapReduce

前言大数据基础概念大数据Centos基础大数据Shell基础大数据ZooKeeper大数据Hadoop介绍、配置与使用大数据Hadoop之HDFS大数据MapReduce大数据Hive大数据Yarn大数据
Notzuonotdied·2020-06-22 02:54

大数据 Hadoop之HDFS

大数据基础概念大数据Centos基础大数据Shell基础大数据ZooKeeper大数据Hadoop介绍、配置与使用大数据Hadoop之HDFS大数据MapReduce大数据Hive大数据Yarn大数据MapReduce
Notzuonotdied·2020-06-22 02:54

大数据 ZooKeeper

大数据基础概念大数据Centos基础大数据Shell基础大数据ZooKeeper大数据Hadoop介绍、配置与使用大数据Hadoop之HDFS大数据MapReduce大数据Hive大数据Yarn大数据MapReduce
Notzuonotdied·2020-06-22 02:53

大数据 Centos基础

前言大数据基础概念大数据Centos基础大数据Shell基础大数据ZooKeeper大数据Hadoop介绍、配置与使用大数据Hadoop之HDFS大数据MapReduce大数据Hive大数据Yarn大数据
Notzuonotdied·2020-06-22 02:53

大数据 MapReduce使用

大数据基础概念大数据Centos基础大数据Shell基础大数据ZooKeeper大数据Hadoop介绍、配置与使用大数据Hadoop之HDFS大数据MapReduce大数据Hive大数据Yarn大数据MapReduce
Notzuonotdied·2020-06-22 02:22

大数据Hadoop2.x与Hadoop3.x相比较有哪些变化

我们将讨论Hadoop2.x与Hadoop3.x之间的比较。Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop2程序，Hadoop2和Hadoop3有什么区别？Hadoop2.x与Hadoop3.x之间的功能比较Hadoop2.x与Hadoop3.x之间的22个差异。现在让我们一起看一下1.Licenseadoop2.x-Apache2.0，开源Hadoop3.x-Apach
honesty_zhang·2020-06-21 20:26

大数据 基础概念

前言大数据基础概念大数据Centos基础大数据Shell基础大数据ZooKeeper大数据Hadoop介绍、配置与使用大数据Hadoop之HDFS大数据MapReduce大数据Hive大数据Yarn大数据
Notzuonotdied·2020-06-20 22:38

大数据hadoop3.1.3学习笔记——HBase的安装配置（高可用配置可选）

1Zookeeper正常部署首先保证Zookeeper集群的正常部署，并启动之：使用自定义脚本启动：zkstart2Hadoop正常部署Hadoop集群的正常部署并启动：sbin/start-dfs.shsbin/start-yarn.sh3HBase的解压解压Hbase到指定目录：tar-zxvfhbase-2.0.5-bin.tar.gz-C/opt/modulemv/opt/module/h
Caron_xcb·2020-06-19 18:16

视频教程-30天大数据Hadoop生态圈体系完整教程-Hadoop

30天大数据Hadoop生态圈体系完整教程张长志技术全才、擅长领域：区块链、大数据、Java等。10余年软件研发及企业培训经验，曾为多家大型企业提供企业内训如中石化，中国联通，中国移动等知名企业。
weixin_34340387·2020-05-28 10:00

大数据 Hadoop（一）概念与搭建环境

大数据Hadoop大数据概念大数据由巨型数据集组成，这些数据集大小常超出人类在可接受时间下的收集、庋用、管理和处理能力。
傅二毛·2020-05-15 17:57

【教程分享】大数据 hadoop+spark+hbase+zookeeper+kafka+scala+ambari视频+课件

【教程分享】大数据hadoop+spark+hbase+zookeeper+kafka+scala+ambari视频+相关视频+课件好书推荐、视频分享，公众号`读书ReadBook`与您一起进步学习大数据必备的大数据进阶课程下载地址
菜鸟飞不动·2020-04-14 00:53

hadoop学习笔记（一）：大数据存储与处理技术的原理

漫画大数据Hadoop是模仿Google大数据技术的开源实现，Google大数据技术有：MapReduce、BigTable、GFS。Hadoop是开源的分布式存储和分布式计算平台。
玫瑰小鹿angelina·2020-04-07 03:15

ubuntu18.04+大数据hadoop平台完全分布式集群搭建

hadoop完全分布式集群搭建(超详细)集群信息jdk:1.8linux:ubuntu18.04serverhadoop:hadoop2.9.2虚拟机:VMware一.安装VMware,准备一台虚拟机1.VMware:到VMware官网下载安装:一路next2.linux镜像:到官网下载这里一定要下服务器版的因为我们搭建集群至少要三台虚拟机,桌面版的太浪费性能,公司里也都是用服务器版3.安装虚拟机
climb.xu·2020-04-06 22:14

大数据hadoop生态体系之Hive数据仓库(14)

Hive简介：Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL。其底层实现是：将SQL语句转换为MapRecuce程序任务执行对
welun·2020-04-04 21:53

中科点击总裁彭作文深度解析大数据应用场景

大会现场，北京红象云腾系统技术有限公司总裁童小军、中科点击（北京）科技有限公司总裁彭作文先生签署战略合作协议，双方将在大数据Hadoop平台与大数据行业应用方面展开深层次的合作。中科
大数据应用·2020-03-26 18:51

Designing Data-Intensive Applications

之前并不看好大数据HadoopSparkFlink什么的，感觉不都是掉包狭吗，谁都会用。但其实这里还是有很多朴素的思想在里面的，我们更应该关心这些框架的架构思想，思想第一，实现原理
lesliefang·2020-03-26 15:50

大数据Hadoop第一天

Hadoop的优点：1.高可靠性：Hadoop按位存储和处理数据2.高扩展性：Hadoop是在计算机集群中完成计算任务，这个集群可以方便的扩展到几千台3.高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度快4.高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配5.低成本：Hadoop是开源的，集群是由廉价的PC机组成Hadoop
愤怒的_菜鸟·2020-03-20 15:00

大数据Hadoop第二天

安装Hadoop1.先用ssh工具上传Hadoop压缩包Hadoop压缩包.png2.解压Hadoop压缩包输入指令tar-zxvfhadoop-2.4.1.tar.gz3.确认防火墙是否关闭，如果没关闭就关闭。操作如下指令可关闭防火墙(输入serviceiptablesstop即可)1iptables防火墙状态：serviceiptablesstatus2开启防火墙：serviceiptable
愤怒的_菜鸟·2020-03-19 12:25

如何使用Docker搭建大数据Hadoop环境？学会这9步，快速上手

本文目的是帮助几乎从未接触过Docker和大数据Hadoop的同学，快速上手搭建Docker大数据Hadoop环境。
解放号社区·2020-03-04 22:13

大数据hadoop入门之hadoop家族详解

大数据hadoop入门之hadoop家族详解大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！
本宫没空8·2020-03-01 02:14

Python第二天

Python用处：运维，测试Python全栈（前端、后端）Java+Python人工智能爬虫工程师数据分析算法工程师cvnlprs系统大数据Hadoopspark...elifswitchscore=5ifscore
矗鑫宛馨·2020-02-27 15:37

大数据Hadoop Storm Hive等系列教程-百度云下载

1、内容目录-2016-01-03-linux深入和软件安装-2015-12-26-linux-视频-(1)linux-操作系统介绍.mp4-(2)linux-命令基础1.mp4-(3)linux-文件命令.mp4-(4)linux-vi.mp4-(5)linux-文本处理.mp4-(6)linux-用户命令.mp4-linux-安装.mp4-linux.txt-Linux命令大全.pdf-lin
暮无雪·2020-02-26 15:49

大数据学习思路分解（1）：hadoop学习

为了让大家更加准确和快速的入门学习大数据，我们这篇文章就和大家介绍一下大数据Hadoop主要需要学习哪些方面的知识。注：此学习路线非零基础学习线路，要求
尚学先生·2020-02-19 12:42

学习大数据HADOOP，不了解这些怎么行？

对于一些新手朋友来说，刚接触大数据不知从何学起，首先先了解下什么是大数据？大数据(bigdata,megadata)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的5V特点:Volume(大
大数据学习05·2020-02-17 16:57
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他