大数据Hadoop

大数据Hadoop学习(10)-Sqoop

Sqoop文章目录Sqoop一、Sqoop简介二、Sqoop安装及环境配置三、Sqoop命令RDBMS到HDFSRDBMS到HiveHIVE/HDFS到RDBMS(导出数据)四、脚本打包一、Sqoop简介ApacheSqoop™是一种旨在有效地在ApacheHadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。二、
Loong1996·2020-07-14 18:48

zookeeper集群管理(2) zookeeper集群在线扩容

zookeeper是一个分布式(集群)应用程序协调系统，具有分布式以及开源的特性，也是大数据hadoop生态中的一个基础服务，但不去不止用于hadoop系统。
毛小威·2020-07-14 16:53

hadoop项目开发案例举例

大数据Hadoop应用开发技术正可谓如火如荼推进中，以为大数据已经不仅仅是局限在互联网领域，而是已经被上升到了国家战略的高度层面。大数据正在深刻影响和改变我们的日常生活和工作方式。
ciwei03773·2020-07-14 09:24

零基础学习hadoop开发先明白这层关系

大数据hadoop无疑是当前互联网领域受关注热度最高的词之一，大数据技术的应用正在潜移默化中对我们的生活和工作产生巨大的改变。
adnb34g·2020-07-14 07:39

大数据Hadoop介绍和安装部署测试

大数据大数据的定义大数据指无法在一定时间范围内用常规软件工具进行捕捉/管理和梳理的数据集合,需要新处理模式才能具有更强的决策力/洞查发现力和流程优化能力的海量/高增长率和多样化的信息资产-是指从各种类型的数据中,库阿斯获得有价值的信息什么是大数据大数据能做什么企业组织利用相关数据分析帮助他们降低成本,提高效率,开发[新产品,做出更明智的业务决策等-把数据集合后进行分析的信息和数据关系性,用来擦觉商
faydeng08·2020-07-14 04:16

大数据Hadoop生态圈各个组件介绍（详情）

文章目录Hadoop生态圈总览图1.HDFS（分布式文件系统）——核心2.MapReduce（分布式计算框架）——核心3.Yarn（分布式资源管理器）——核心4.Spark（分布式计算框架）5.Tez(DAG计算模型)6.Hive（基于Hadoop的数据仓库）7.Pig(ad-hoc脚本）8.Mahout（数据挖掘算法库）9.Ambari（安装部署配置管理工具）10.Oozie(工作流调度器）11
锦超风采·2020-07-14 00:18

大数据Hadoop系列之Hadoop Web控制台添加身份验证

1.背景介绍本文档介绍如何配置HadoopHTTPWeb控制台以要求用户身份验证。默认情况下，HadoopHTTPWeb控制台（ResourceManager，NameNode，NodeManagers和DataNodes）允许访问而无需任何形式的身份验证。可以将HadoopHTTPWeb控制台配置为使用HTTPSPNEGO协议（Firefox和InternetExplorer等浏览器支持）进行K
王者的路注定孤独·2020-07-13 16:16

2017年极客学院大数据工程师全套 视频 代码 课件

课程内容】第1章：走进大数据Hadoop框架的世界01、Hadoop概述02、Hadoop架构介绍03、Yarn的发展背景及基本原理04、安装HadoopYARN第2章：用户行为分析项目01、Hadoop
qq_38473647·2020-07-13 11:04

大数据hadoop相关知识

HadoopHDFS海量数据的存储MapReduce海量数据的处理HDFS模块HDFS负责大数据的存储，通过将大文件分块后进行分布式存储方式，突破了服务器硬盘大小的限制，解决了单台机器无法存储大文件的问题，HDFS是个相对独立的模块，可以为YARN提供服务，也可以为HBase等其他模块提供服务。YARN模块YARN是一个通用的资源协同和任务调度框架，是为了解决Hadoop1.x中MapReduce
奋斗的憨憨小S·2020-07-12 21:46

大数据hadoop领域技术总体介绍（各个组件的作用）

2019/2/16星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql基于hadoop的数据仓库工具，使用方便，功能丰富，使用方法类似SQLZookeeper集群协调服务Sqoop数据导入导出工具Flume数据采集框架
weixin_34072637·2020-07-12 08:14

一、大数据hadoop体系开篇，大数据介绍概况及架构图

记得第一次接触“大数据”的概念，是在2017年的时候，记得当时大数据好像第一次火遍全国，甚至我所在的边疆省份的二线城市也燃起了大数据的星星之火；那时正好有个机会，公司和大学合作，要开展大数据的免费公开实战课，于是自学了一个月的大数据（离线部分），并且在接下来的三个月里，给大概几百个孩子讲了关于大数据的内容。过了那个阶段之后，在企业中做售前和部分解决方案的工作，大数据的学习就暂时告一段落了。直到最近
馒头泡稀饭24·2020-07-12 04:21

大数据Hadoop--3.1.3入门——伪分布式搭建学习

1启动HDFS并运行MapReduce程序（1）配置集群（a）配置：hadoop-env.sh首先查找文件位置进入文件进行修改命令Linux系统中获取JDK的安装路径：echo$JAVA_HOME/opt/module/jdk1.8.0_212修改JAVA_HOME路径：exportJAVA_HOME=/opt/module/jdk1.8.0_212（b）配置：core-site.xml添加如下配
Caron_xcb·2020-07-11 20:23

大数据Hadoop3.1.3——Zookeeper集群分布式搭建

1分布式安装部署1）集群规划在hadoop101、hadoop102和hadoop103三个节点上部署Zookeeper。2）解压安装（1）在hadoop101解压Zookeeper安装包到/opt/module/目录下tar-zxvfzookeeper-3.5.7.tar.gz-C/opt/module/3）配置服务器编号（1）在/opt/module/zookeeper-3.5.7/这个目录下
Caron_xcb·2020-07-11 20:23

大数据Hadoop--3.1.3——完全分布式搭建（入门）第三部分——日志、历史服务器配置

1、配置历史服务器为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：1.配置mapred-site.xmlvimapred-site.xml在该文件里面增加如下配置。mapreduce.jobhistory.addresshadoop101:10020mapreduce.jobhistory.webapp.addresshadoop101:198882.分发配置xsync$HA
Caron_xcb·2020-07-11 20:23

500G JAVA视频网盘分享 (JEECG开源社区)

500GJAVA视频网盘分享(JEECG开源社区)[涵盖从java入门到深入架构，Linux、云计算、分布式、大数据Hadoop、ios、Android、互联网技术应有尽有]JEECG开源社区秉承开源宗旨
weixin_30797199·2020-07-10 07:05

Ubuntu16.04 Hive安装配置

说来自己断断续续自学大数据Hadoop已经有一段时间了，不过觉得还是晕乎乎的，各种看了就忘，好记性不如烂笔头，还是记录下吧，也希望能对后面自学的人能有所帮助。
简一_hz·2020-07-10 04:40

大数据hadoop学习【6】-----通过JAVA编程实现对HDFS文件操作的JAVA整体项目

大数据hadoop学习【6】-----通过JAVA编程实现对HDFS文件操作的JAVA整体项目目录一、JAVA项目的整体结构介绍1、项目目录展示2、项目中类的功能的解释3、项目文件数据准备二、题目要求内容的分步讲解
陈一月的编程岁月·2020-07-08 02:17

大数据Hadoop第十一周——四台电脑的集群配置

大数据第十一周1.物理集群的验证开启本组所有电脑（4台），拷贝虚拟机映像，打开。在开启虚拟机之前，设置虚拟机内存是4G，处理器是4，网络连接是桥接模式。也可以在图形界面配把桥接网卡绑定到具体的物理网卡，不要使用自动绑定。设置完成后，启动寻虚拟机。2.设置网络连接编辑网络配置文件：/etc/sysconfig/network-scripts/ifcfg-ens33。IP地址设置如下：(其中50要改成
蔡军帅·2020-07-08 01:07

大数据hadoop集群的搭建总结及步骤

CentOS6.5mini版hadoop集群搭建流程CentOS7系列：关闭防火墙：systemctlstopfirewalld禁止防火墙开机启动：systemctldisablefirewalld安装虚拟机的时候需要配置好主机名和网络主机名：master，slave1，slave2网络配置：1.自动连接2.ipv4手动------------------三个都要执行的操作-2.验证网络配置是否正
夕阳下的独行者·2020-07-08 00:10

大数据简介视频下载_大数据简介

大数据简介视频下载WearegoingtodeliveraseriesofTutorialsonthefollowingconceptsonebyone:我们将逐一提供有关以下概念的一系列教程：BigData大数据
cunchi4221·2020-07-07 23:07

Hadoop笔记：YARN环境搭建

Hadoop笔记：YARN环境搭建标签：大数据Hadoop笔记：YARN环境搭建伪分布式YARN环境搭建配置参数启动进程验证定制YARN相关的进程使用版本：hadoop-2.6.0-cdh5.7.0配置文件
Japson_z·2020-07-07 11:08

大数据Hadoop分布式集群部署（详细版）

大数据Hadoop分布式集群部署（详细集群）一、搭建思路1.软件版本本文介绍大数据平台Hadoop的分布式环境搭建，为保证大家都可以在自己的电脑上使用，我们选取在VMwareWorkstationPro12.0
arnoldmp·2020-07-07 03:57

Hadoop笔记：YARN分布式资源调度框架

Hadoop笔记：YARN分布式资源调度框架标签：大数据Hadoop笔记：YARN分布式资源调度框架YARN产生背景简单介绍文档说明YARN架构ResourceManager：RMNodeManager
Japson_z·2020-07-06 16:07

大数据中Hadoop能做什么

关键词：Hadoop大数据Hadoop是DougCutting基于Google公司的GFS和MapReduce思想不断完善项目Nutch中脱胎而出的。
程序秘籍·2020-07-06 13:50

hadoop项目开发案例方案汇总

大数据Hadoop应用开发技术正可谓如火如荼推进中，以为大数据已经不仅仅是局限在互联网领域，而是已经被上升到了国家战略的高度层面。大数据正在深刻影响和改变我们的日常生活和工作方式。
weixin_34344403·2020-07-06 01:17

十八款Hadoop工具帮你驯服大数据

十八款Hadoop工具帮你驯服大数据Hadoop已经通过自身的蓬勃发展证明，它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不，这与它的潜能相比简直微不足道。
jack-zhu·2020-07-05 17:31

云计算技术总结

云计算技术总结大纲概念应用技术栈关键技术架构竞争力衡量维度开源软件云操作系统框架OpenStack虚拟化XenKVMSANNAS容器KubernetesMesosDocker大数据HadoopSpark
Lonwayne·2020-07-05 16:36

大数据Hadoop生态系统各框架概述

一、什么是大数据？顾名思义，就是大量的数据。数据量太大，我们就无法在一定时间内用常规软件去处理这些数据，因此就有了大数据技术。二、Hadoop概述Hadoop框架包含HDFS、Yarn、MapReduce三个核心组件。1）HDFS大量的数据在一台计算机上存不下，就需要用很多计算机来存。多台计算机的存储容量可以存储大数据了，但是多台计算机却不方便管理大数据了，于是就有了Hadoop的HDFS（Had
白眉三狼·2020-07-02 13:21

大数据Hadoop核心知识入门学习注意事项

今天来介绍新手学习hadoop的入门注意事项。这篇文章一来谈谈hadoop核心知识学习。首先hadoop分为hadoop1.X和hadoop2.X，并且还有hadoop生态系统，那么下面我们以hadoop2.x为例进行详细介绍：Hadoop的核心是mapreduce和hdfs。Mapreduce：mapreduce是很多人都需要迈过去的槛，它比较难以理解，我们有时候即使写出了mapreduce程序
程序员老牛了laoliu·2020-07-02 09:31

多图技术贴：深入浅出解析大数据平台架构

目录：什么是大数据Hadoop介绍-HDFS、MR、Hbase大数据平台应用举例-腾讯公司的大数据平台架构“就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式
hambition·2020-07-02 01:21

大数据Hadoop教程：Hadoop核心架构详细解析

通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。如有不足，后续及时修改。更多精彩内容请点我学HDFS的体系架构整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从(Master/Slave
HAOXUAN168·2020-07-01 09:00

大数据Hadoop快速入门教程

1、Hadoop生态概况Hadoop是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS,Mapreduce,常用模块架构如下2、HDFS源自谷歌的GFS论文，发表于2013年10月，HDFS是GFS的克隆版，HDFS是Hadoop体系中
qunqun8889·2020-07-01 04:39

后端开发实践之路（二）--分布式系统和分布式理论

一、分布式系统分布式系统从当初的CORBA到EJB，Web和SOA，从集群到现在的NoSQL云计算和大数据Hadoop等分布式系统，横向水平扩展Scalaout/in是分布式系统设计的一个特点，可靠性容错性是两个质量指标
RangeYan2012·2020-06-30 06:50

美团 大数据hadoop面试题2018年最新版

还在用着以前的大数据Hadoop面试题去美团面试吗？互联网发展迅速的今天，如果不及时更新自己的技术库那如何才能在众多的竞争者中脱颖而出呢？
肖晓晓·2020-06-30 04:11

【大数据】大数据Hadoop快速入门之初识

一、Hadoop简介:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（hight
52it.club·2020-06-29 23:27

大数据Hadoop集群中常用的任务调度框架

在大数据的集群环境中，经常用到的任务调度框架有如下几个，根据公司的业务的需要选择适合自己的业务调度的框架，调度框架anzkaban,crontab（Linux自带）、zeus(Alibaba)、Oozie(cloudera)，下面将分别介绍各个调度框架使用任务调度工具功能：时间调度：基于时间条件触发程序运行依赖调度：基于其他程序的执行结果进行调度执行数据可用性调度：一、anzkaban的介绍Azk
奔跑的小鲫鱼·2020-06-29 22:19

大数据Hadoop生态圈常用面试题

面试总结1.生产环境中有多少个reduce该问题可以总结为：1.一个task的map数量由谁来决定？inputsplit的大小间接决定了一个job拥有多少个map默认input大小是64M可以通过修改mapred.min.split.size参数决定inputsplit的大小从而影响map数量a.map的数量通常是由输入文件的总块数决定的，正常的map数量的并行规模大致是每一个Node是10~10
械风·2020-06-29 01:56

大数据Hadoop之Hive数据仓库安装

Hive只在一个节点上安装即可1.上传tar包2.解压tar-zxvfhive-0.9.0.tar.gz-C/cloud/3.安装mysql数据库（切换到root用户）（装在哪里没有限制，只有能联通hadoop集群的节点）mysql安装参考上一篇，不同版本mysql有各自的安装流程rpm-qa|grepmysql（查看有没有安装）rpm-emysql-libs-5.1.66-2.el6_3.i68
hooroom·2020-06-29 01:21

10分钟大数据Hadoop基础入门

原文链接摘要：前言目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解基础概念前言目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。基础概念大数据的本质一、数据的存储：分布式文件系统（分布式存储）二、数据的计
weixin_40581980·2020-06-29 00:45

windows搭建大数据Hadoop2.9.0平台

一、需要工具如下1.VMware2.jdk-8u161-linux-x64.tar.gz3.securecrt(相当于xshell)4.filezilla(给虚拟机传输文件)5.Centos7.iso6.hadoop-2.9.0.tar.gz二、搭建步骤（可参考https://www.bilibili.com/video/av15390641/?p=6和https://www.cnblogs.co
小景-SJZU·2020-06-28 23:46

大数据hadoop之YARN理解与架构简单分析

最近看了看大数据相关的书虽然很顺利的搭建了一个伪分布式的集群,但是坑确实是挺多的最大的坑是我们在进行idea操作的时候需要添加依赖cloudera-releaseshttps://repository.cloudera.com/artifactory/cloudera-repostruefalse也就是这个UTF-82.6.0-cdh5.7.0下面是我用的版本号但是重要的事情是,我们一般都习惯了用
一只想飞的猪猪·2020-06-28 22:24

Java程序员转行大数据开发怎么样？难吗？

大数据框架的编写支持很多开发语言，目前流行的大数据Hadoop框架，很多部分都是用开源的Java语言编写。
weixin_34259232·2020-06-28 15:24

大数据hadoop从入门到精通

前言：•一、背景介绍•二、大数据介绍正文：•一、大数据相关的工作介绍•二、大数据工程师的技能要求•三、大数据学习规划•四、持续学习资源推荐（书籍，博客，网站）•五、项目案例分析（批处理+实时处理）前言一、背景介绍本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。附上本人参考学习视频：参考学习视频：https://
weixin_33727510·2020-06-28 04:17

500G JAVA视频网盘分享 (Jeecg社区)

zhangdaiscott/article/details/18220411csdn排名400多名500GJAVA视频网盘分享(Jeecg社区)[涵盖从java入门到深入架构，Linux、云计算、分布式、大数据
weixin_30244889·2020-06-27 15:34

大数据系列全套学习路线图

ClouderaManagerClouderaManager平台部署说明书Hadoop大数据Hadoop系列之Hadoop分布式集群部署大数据Hadoop系列之Hadoop机架感知配置大数据Hadoop
王者的路注定孤独·2020-06-27 11:04

大数据Hadoop环境网络特性

大数据Hadoop环境网络特性Hadoop集群中的各节点通过网络连接起来，而且MapReduce中的以下过程会在网络中传输数据。(1)写数据。
一个鬼脸让我难安·2020-06-26 20:49

001潜入大数据Hadoop框架的世界

待我君临天下，结发与蕊可好。@夏瑾墨我的大数据初步学习路线图了解云计算技术学习Hadoop基础概念hadoopHDFS文件系统的特征什么是Map/ReduceMapreduce整个工作机制图Hadoopmapper类的阅读Mapreduceshuffle和排序java处理海量数据运用python数据分析课题：云计算和大数据技术与应用讲座人：杜宇健（清华大学自动化系博士，中国移动研究院，技术总监）昨
Jooey_Zhong·2020-06-26 18:41

Hadoop大数据学习视频教程 大数据hadoop运维之hadoop快速入门视频课程

Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理适用人群有一定Java基础的学生或工作者课程简介Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hado
taidipppnan·2020-06-26 17:01

大数据Hadoop完全分布式集群搭建

准备完全分布式主机的ssh-------------------------1.删除所有主机上的/home/centos/.ssh/*2.在s201主机上生成密钥对$>ssh-keygen-trsa-P''-f~/.ssh/id_rsa3.将s201的公钥文件id_rsa.pub远程复制到201~204主机上。并放置/home/centos/.ssh/authorized_keys$>scpid_
陈冲_河南漯河·2020-06-26 13:55

大数据Hadoop伪分布式集群搭建

安装hadoop-------------------1.安装jdka)下载jdk-8u65-linux-x64.tar.gzb)tar开$>sucentos;cd~$>mkdirdownloads$>cp/mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz~/downlooads$>tar-xzvfjdk-8u65-linux-x64.tar
陈冲_河南漯河·2020-06-26 13:23
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他