hadoop大数据

第一天 hadoop概述

hadoop概述一、hadoop大数据概述概念特点作用大数据就业方向和部门的组成二、Hadoop概述（hdfs+yarn+mapreduce）概念发展史特点组成数据业务流程图三、Hadoop的搭建步骤步骤一
飛翔的大雁·2022-03-18 04:06

实战 | 史上最详细Hadoop大数据集群搭建，不看后悔系列

文章目录1.搭建环境1.1实验环境1.2架构模型1.3前期准备2.软件环境依赖部署2.1jdk安装及配置2.2ssh免密钥配置3.Hadoop及Zookeeper部署3.1Hadoop安装及配置3.1.1解压hadoop-2.6.5.tar.gz：3.1.2修改配置文件/etc/profile:3.1.3修改hadoop-env.sh和mapred-env.sh配置文件3.1.4配置hdfs-si
小林玩大数据·2022-03-07 14:49

数据仓库电商建模_真实电商数据仓库全流程开发详解，资源教程下载

课程名称Hadoop大数据视频教程-第一季：真实电商数据仓库全流程开发详解(共46讲)，资源教程下载课程目录第一部分：数据仓库基础理论与技术圈第一章：互联网电商大数据环境第二章：商业智能与数据仓库基础理论第三章
weixin_39624733·2022-02-28 15:05

1&2 大数据发展趋势 & HDFS和ZooKeeper【HCIA-BigData】

文章目录1、大数据发展趋势与鲲鹏大数据**大数据应用的主要计算模式****Hadoop大数据生态圈****华为云大数据服务**2、HDFS分布式文件管理系统和ZooKeeper2.1导读2.2HDFS分布式文件管理系统
Mengo_x·2022-02-28 10:22

三.Hadoop介绍

Hadoop大数据平台入门——HDFS和MapReducehttps://blog.csdn.net/a60782885/article/details/71304913背景随着硬件水平的不断提高，需要处理数据的大小也越来越大
愿风去了·2022-02-12 12:37

大数据初学者福利：一片文章教你搭建Hadoop大数据处理环境

由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMwareWorkstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。VMware的安装，装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机，省时省力，需要注意的是需要修改每个虚拟机的IP与主机名。所有虚拟机采用NAT模式上网，而且要保证与物理主机的IP互相能
丨程序之道丨·2022-02-09 20:25

【教程】手把手教你如何搭建Hadoop单机伪集群

作者：幻好来源：恒生LIGHT云社区概述本文将通过虚拟机搭建单机伪集群的Hadoop服务，帮助更好的学习和理解Hadoop大数据平台的运行原理。具体到每个细节，方便新手学习和理解。
·2022-01-10 13:32

数据挖掘

搜索排序我们说过Hadoop大数据技术最早源于Google，而Google使用大数据技术最重要的应用场景就是网页排名。
do_young·2021-12-30 16:26

各大技术基础教学、实战开发教学（最新更新时间2021-11-23）

一、Hadoop大数据Hadoop集群搭建（一）——Liunx网络、主机名配置，多台虚拟机的相互连通和远程登陆Hadoop集群搭建（二）——Linux系统SSH远程双向免密登陆Hadoop集群搭建（三）
Yuan-Programmer·2021-11-16 23:41

各技术实战开发文章整合（持续更新~~）

一、Spring框架开发SpringBoot——第一个项目Spring项目——抵御跨站脚本（XSS）攻击Spring项目——Shiro和JWT技术二、Hadoop大数据开发Hadoop——集群搭建(步骤图文超详细版
HuiSoul·2021-11-12 00:50

hadoop中hive与mapreduce小文件合并优化实操（超强详解！！！）

1.2-小文件的危害：2-解决方案实操2.1-解决方案12.2-解决方案22.3-解决方案33-总结扩展3.1-总结3.2-扩展（map任务数量的准确控制）1-背景公司数据治理过程中，发现apachehadoop
KG大数据·2021-09-09 15:04

hadoop集群部署之基础概念介绍（一）

Hadoop生态其实我们在做工业级的大数据框架部署的时候，所说的hadoop大数据部署通常指的是一整个生态，其中包括hadoop，spark，hive，hdfs，flink等，而不是单独指hadoop。
远方的旅行者·2021-07-25 16:10

Hadoop大数据入门到实战（第二节） - 环境安装（centOS）

本小节，我们来安装Hadoop环境。远程连接工具为了安装环境我们需要先在Windows下安装一个远程连接的工具来连接Linux虚拟机。这款工具叫做SecureCRT，当然还有很多其他连接工具，不过我觉得这一款挺好用。官网下载地址（不免费）：https://www.vandyke.com/download/securecrt/download.html你也可以用我这个：链接：https://pan.
MasterXiao·2021-06-14 18:49

面试题汇总：Hadoop

《面试了7家公司的Hadoop开发，居然都考了这8道题（Hadoop大数据）》8.《请查收：TOP25大常见Hadoop面试题及答案》9.《Hadoop100道面试题及
金字塔下的小蜗牛·2021-06-07 00:49

记一次hadoop大数据课设准备工作--hadoop集群搭建（三个结点）+Spark安装

【未完待续…】本次课设所使用的操作系统是华为的openEluer。主节点部署创建hadoop用户创建用户：sudouseradd-mhadoop-s/bin/bash设置密码，可简单设置为hadoop，按提示输入两次密码：sudopasswdhadoop密码统一设置为Aaaa1111@hadoop用户增加管理员权限，方便部署：sudoadduserhadoopsudo用hadoop用户登录su-h
wxl@·2021-05-19 19:28

Hadoop大数据环境搭建保姆级教程（完整版）

SSH免密登陆8、搭建虚拟机上的Hadoop环境9、配置jdk和Hadoop10、scp、xsync集群分发脚本11、修改核心配置文件12、启动集群13、Hadoop环境检测前言：找了全网关于mac配置Hadoop
Jancydc·2021-05-16 22:04

Hadoop大数据入门到实战（第二节） - 环境安装（ubuntu）

本小节，我们来安装Hadoop环境。远程连接工具为了安装环境我们需要先在Windows下安装一个远程连接的工具来连接Linux虚拟机。这款工具叫做SecureCRT，当然还有很多其他连接工具，不过我觉得这一款挺好用。官网下载地址（不免费）：https://www.vandyke.com/download/securecrt/download.html你也可以用我这个：链接：https://pan.
MasterXiao·2021-05-15 20:54

Hadoop学习日志和资料

===========学习日志===========2017-04-28Hadoop大数据平台架构与实践|hadoop概述与安装Hadoop初探Hadoop安装2017-04-30Hadoop大数据平台架构与实践
拾壹北·2021-05-13 16:41

大数据与云计算整理

目录大数据大数据基础大数据概述大数据处理架构Hadoop大数据采集大数据存储分布式文件系统HDFS分布式数据库HBASENoSQL数据库云数据库大数据处理与分析MapReduceSpark流计算图计算数据可视化大数据应用云计算云概念云架构云组件云技术云端技术终端技术云安全信息管理与数据安全计算可用性互操作性和可移植性云应用云方案大数据大数据基础大数据概述数据产生方式经历的几个阶段运营式系统阶段用户
vircorns·2021-05-12 18:47

JBOD磁盘配置和StorCLI命令使用小结

前言已经实施过2次Hadoop大数据平台的基础环境搭建，对于硬盘的RAID模式都不约而同选择了JBOD，毕竟大数据对于文件系统的管理本身就是基于分布式，由至少3份副本来保障数据可靠性，只是不做RAID后的
王奥OX·2021-05-11 11:04

Hadoop大数据平台

文章目录1.HDFS单机版2.伪分布式3.全分布式热添加节点（在线添加server4节点）4.分布式存储5.Zookeeper高可用集群(hadoop自带的nn高可用)1.集群搭建2.hadoop配置3.启动hdfs集群（按顺序启动）4.上传文件5.测试故障自动切换6.yarn管理器的高可用7.测试yarn故障切换8.Hbase分布式部署1.HDFS单机版##新建五个快照server1，2，3，4
qiao_qing·2021-04-28 17:55

北京八维教育

2、云服务Java高级工程师、Hadoop大数据工程师
金火焰·2021-04-26 09:37

0基础搭建Hadoop大数据处理-初识

在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习，如双十一淘宝的交易量的实时展示。大数据什么叫大？4个特征：体量化Volume，就是量大。多样化Variety，可能是结构型的数据，也可能是非结构行的文本，图片，视频，语音，日志，邮件等快速化Velocity，产生快，处理也需要快。
欢醉·2021-04-24 03:59

hadoop大数据平台的简介及搭建

Hadoop1.简介2.hadoop的优点3.hadoop核心架构4.hadoop应用场景5.hadoop工作模式5.1单机模式（Local(Standalone)Mode）5.2Pseudo-DistributedMode伪分布式5.2.1配置5.2.2测试5.3完全分布式5.3.1部署5.3.2测试6.双机热备6.1节点扩容6.1.1配置6.1.2效果6.1.3上传文件6.2缩减节点7.hdf
樱桃Maruko小丸子cxj·2021-04-03 19:15

hadoop大数据平台搭建（一）

@Hadoop大数据平台搭建前言（这篇文章的背景和目的）百科是这样解释大数据（Bigdata）。
卫魔王·2021-03-28 15:33

hadoop 多机全分布式安装步骤（虚拟机1master+2slave）

编辑域名映射5.安装配置Java6.配置SSH免密登录7.安装Hadoop8.关闭防火墙9.格式化文件系统10.启动验证11.第一个MapReduce程序:WordCount12.关闭Hadoop参考书：《Hadoop
Michael阿明·2021-03-11 23:23

“七大属性加持，三个全新升级组件”这个高性能利器有点厉害

它独立于Hadoop大数据体系，
·2021-03-11 19:56

“七大属性加持，三个全新升级组件”这个高性能利器有点厉害

它独立于Hadoop大数据体系，
·2021-03-11 19:50

Hadoop大数据入门到实战（第一节）- Linux环境配置

Hadoop的学习我们先从Linux系统的安装与配置开始。1.下载Linux系统我们可以从官网（https://www.linux.org/）下载，当然在国内还是找国内的资源比较好。本文使用阿里云的镜像：https://mirrors.aliyun.com/centos/进入网站下载centos7.4的版本。image.pngimage.png2.安装Linux系统下载好了Linux的安装文件之后
MasterXiao·2021-03-11 16:50

Hadoop大数据技术原理与应用-第四章MapReduce分布式计算框架

4.1MapReduce概述4.1.1MapReduce核心思想MapReduce的核心思想是“分而治之”。所谓“分而治之”就是把一个复杂的问题，按照一定的“分解"方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各部分的结果，把各部分的结果组成整个问题的结果，这种思想来源于日常生活与工作时的经验，同样也完全适合技术领域。MapReduce作为一种分布式计算模型，它主要用于解决海量数据的计算
weixin_44275584·2021-03-10 12:09

Hadoop大数据技术原理与应用-第一章初识Hadoop

1.1大数据概述1.1.1什么是大数据字面意思来看大数据就是巨量的数据。最早提出大数据概念的是麦肯锡公司，他是这样定义大数据的：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型以及价值密度低四大特征。研究机构Gartner是这样定义大数据的：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流转优化
weixin_44275584·2021-03-04 11:04

浅谈数据管理工具Cloudera Navigator

Hadoop大数据平台拥有存储与分析任何种类和规模数据的能力，并且将其开放给更多用户和分析工具。但是，这同时也带来数据管理上的挑战：大量的业务用户想自助访问可发掘数据；管理员需要知道数据是怎么被用来优
Bianca21·2021-01-29 15:41

大数据基础——Hadoop大数据平台搭建

文章目录前言Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结前言分布式机器学习为什么需求大数据呢？
陈敬雷-充电了么-CEO兼CTO·2021-01-27 16:37

分布式离线计算—HiveSQL

原文作者：极客教程原文地址：Hive简介目录MapReduce实现SQL的原理Hive的架构Hive如何实现join操作总结Hive简介，Hive是Hadoop大数据仓库Hive。
测试狗一枚·2021-01-26 09:01

Hadoop大数据——用户行为分析Hive数据分析

1.本地数据集上传到数据仓库Hive1.1命令sudomkdir-R/usr/local/bigdatacase/dataset//这里会提示你输入当前用户（本教程是hadoop用户名）的密码//下面给hadoop用户赋予针对bigdatacase目录的各种操作权限cd/usr/local/sudochown-Rhadoop:hadoop./bigdatacasecdbigdatacase//下面
金皮癞蛤蟆·2020-12-31 08:22

Hadoop大数据数数仓之“买菜做饭”

能不能用【买菜做饭】的流程将Hadoop大数据生态的技术体系串联起来？笔者笃信：不管是学习抽象的商业逻辑，还是硬核的计算机技术，都需要将知识转换成“工作流程”，这样所学才能落地，否则都是瞎忙。"
猫有九条命*·2020-12-11 17:58

Apache Kylin的实践与优化

ApacheKylin是一个基于Hadoop大数据平
美团技术团队·2020-12-04 18:27

云计算和python学哪个_大数据、云计算该如何学习？

大数据之Linux+大数据开发篇阶段一、大数据、云计算-Hadoop大数据开发技术课程一、大数据运维之Linux基础本部分是基础课程，帮大家进入大数据领域打好Linux基础，以便更好地学习Hadoop，
weixin_39968592·2020-11-25 01:42

Apache Kylin的实践与优化

ApacheKylin是一个基于Hadoop大数据平
美团技术团队·2020-11-20 16:52

高性能利器！华为云MRS ClickHouse重磅推出！

它独立于Hadoop大数据体系，其最核心的特点是极致压缩率和极速查询性
华为云开发者社区·2020-11-19 17:36

高性能利器！华为云MRS ClickHouse重磅推出！

它独立于Hadoop大数据体系，其最核心的特点是极致压缩率和极速查询性
华为云开发者社区·2020-11-19 17:36

hadoop大数据开发技术学习笔记第三天：（前序）MySQL数据库进阶

hadoop大数据开发技术学习笔记第三天：（前序）MySQL数据库进阶一、回顾知识1.myschool数据库和数据表的创建（1）创建数据库（2）数据库模型图（3）创建数据表grand（4）创建数据表student
悦下听风·2020-11-14 00:50

美国大数据工程师面试指南(建议收藏)

先做一个自我介绍，本科南开后，加入了一个创业公司kuxun，做实时信息检索，后来进入百度基础架构组，搭建了BaiduAppEngine的早期版本，随后去Duke大学留学，在攻读硕士期间，做跟Hadoop
无精疯·2020-10-23 11:00

Hadoop大数据平台架构与实践-基础篇

一、Hadoop两大核心组成1.HDFS分布式文件系统：存储2.MapReduce:并行计算二、HDFS基本概念block块：固定大小为64M的逻辑单元，HDFS的文件被分成块进行存储NameNode：是管理节点，存放文件元数据①文件与数据块的映射表②数据块与数据节点的映射表DataNode：是HDFS的工作节点，存放数据块。HDFS体系结构三、HDFS中的数据管理与容错HDFS容错机制心跳检测二
Derrick_Xu·2020-10-11 12:24

大数据平台搭建：基于Hadoop的数据分析平台

Hadoop大数据平台Hadoop在大数据技术生态圈，经过这么多年的发展
加米谷大数据张老师·2020-10-10 10:33

Linux常见Shell命令

本文是对日常使用linux，尤其在学习hadoop大数据组件时经常使用到的linux命令的一个总结，linux的每个命令都有很多可选的参数，在本文中不会详细的介绍每个命令的各种参数，只会介绍每个命令最常用的使用场景
我是老薛·2020-10-09 15:18

企业数字化转型之数据管理的四个现代化

大数据产业创新服务媒体——聚焦数据·改变商业本文作者：Datablau么福祥2013年伴随维克托-迈尔-舍恩伯格一本《大数据时代》译作的推出，国内也开启了以星环等公司为代表的Hadoop大数据技术热潮，
数据猿·2020-09-17 04:58

Hadoop大数据系列之NoSql海量数据库Hbase入门Shell篇（二）

一、Hbaseshell相关操作进入Hbase操作hbaseshell说明：搭建好了大数据平台前提下，并且配置了配置环境变量，直接在任何路径下可用1、help帮助命令help'命令名字'1.1、status查看状态1.2、version查看版本2、hbase中数据库的概念namespace（命名空间，相当于传统数据库的DataBases）2.1、显示所有的数据库（命名空间）list_namespa
wunanliu·2020-09-14 12:41

Hadoop大数据系列之NoSql海量数据库Hbase详解原理篇（一）

Hbase的引言一、什么是Hbase1、hbase是Apache组织开源的顶级项目distributed,scalable,bigdatastore产品。2、hbase是Google的BigTable论文的开源实现。3、hbase是基于Hadoop的一个NoSQL产品Column(列存储)类型的NoSQL。4、hbase是GoogleBigTable的开源实现,数据存储于Hdfs上。5、hbase
wunanliu·2020-09-14 12:09

大数据第一季--Hadoop（day4)-徐培成-专题视频课程

讲师介绍徐培成更多讲师课程IT十八掌创始人兼首席大数据开发技术金牌讲师，曾任驿统金（上海）网络技术有限公司总经理，主导与光大银行总行重点合作的阳光驿站金融结算系统的研发，并指导团队在阿里公有云上规划、部署Hadoop
十八掌教育·2020-09-13 20:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他