Hadoop大数据

知名大厂大数据平台搭建案例分享

“今天我们来看一下淘宝、美团和滴滴的大数据平台”01淘宝大数据平台淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的Hadoop大数据平台，比较典型。
zhouyanjun_·2023-03-18 07:34

淘宝，滴滴，美团各大厂是如何搭建大数据平台架构的？

淘宝大数据平台淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的Hadoop大数据平台，比较典型。淘宝的大数据平台基本也是分成三个部分，上面是数
大数据基础入门教程·2023-03-18 07:03

HADOOP大数据之HDFS架构原理

HDFS架构图HDFS集群遵循主从架构(master/slave)。通常包括一个主节点和多个从节点。在内部，文件分块存储，每个块根据复制因子存储在不同的从节点计算机上形成备份。主节点存储和管理文件系统namespace，即有关文件块的信息，例如块位置，权限等﹔从节点存储文件的数据块。主从各司其职，互相配合，共同对外提供分布式文件存储服务。当然内部细节对于用户来说是透明的。HDFSArchitect
奋斗的韭菜汪·2023-03-15 10:48

HADOOP大数据技术栈简介

一、大数据技术图谱大数据.jpgHadoopHadoop狭义指Apacha的一款软件，广义指的是Hadoop大数据生态圈。Hadoop三大组件：HDFS、YARN、MapReduce。
奋斗的韭菜汪·2023-02-02 15:54

hadoop大数据平台手动搭建(七)-hue

1.解压tar-zxvf/opt/hue-3.9.0-cdh5.8.0.tar.gz2.编译安装makeapssmakeinstall3.修改hue.ini#Hueconfigurationfile#===================================##Forcompletedocumentationaboutthecontentsofthisfile,run#$/build/
从未停下脚步·2023-02-02 14:54

hadoop大数据平台的构建

目录hadoop概述什么是hadoop？hadoop特点hadoop组成hadoop默认端口hadoop分布集群搭建前置准备关闭防火墙修改各个节点的主机名修改自己所用节点的IP映射需要在所有节点上完成网络配置时间同步（三台机器均执行）ssh免密（三台主机）zookeeperhadoop安装hadoop配置PATH变量配置hadoop-env.sh配置core-site.xml配置hdfs-site
JeremyHeria·2023-01-30 04:27

实战｜Hadoop大数据集群搭建

实验环境：主机名IP地址角色qll251192.168.1.251NameNodeqll252192.168.1.252DataNode1qll253192.168.1.253DataNode2所需软件包：hadoop-2.9.2.tar.gzjdk-8u241-linux-x64.tar.gz软件包下载地址：Hadoop软件包官方下载地址：https://hadoop.apache.org/re
Dark_Ice_·2023-01-21 09:11

让SQL用户快速进入Hadoop大数据时代 —— Transwarp Inceptor是怎样炼成的

摘要：当前Hadoop技术蓬勃发展，用于解决大数据的分析难题的技术平台开始涌现。Spark凭借性能强劲、高度容错、调度灵活等技术优势已渐渐成为主流技术，业界大部分厂商都提供了基于Spark的技术方案和产品。根据Databricks的统计，目前有11个商业的Spark版本。当前Hadoop技术蓬勃发展，用于解决大数据的分析难题的技术平台开始涌现。Spark凭借性能强劲、高度容错、调度灵活等技术优势已
sdulibh·2023-01-17 08:18

hadoop大数据04---hive 的安装配置

Centos7192.168.2.37计算机名称master192.168.2.38计算机名称slave1192.168.2.39计算机名称slave2hive要使用到mysql,所以先安装mysql,hive和mysql都安装在192.168.2.37上面1，mysql安装，请参考我之前写的一篇mysql安装教程,mysql安装用的是root账号https://blog.csdn.net/sag
saga_gallon·2023-01-12 21:05

Python Spark 机器学习与Hadoop 大数据（1）学习笔记一

PythonSpark机器学习与Hadoop大数据1.1机器学习机器学习框架机器学习（MachineLearning）：通过算法，和历史数据进行训练，产生得出模型。
停止的闹钟·2023-01-07 14:09

笔记：python spark机器学习与hadoop大数据

目录1.1机器学习的介绍机器学习架构1.2Spark的介绍1.3Spark数据处理RDD、DataFrame、SparkSQl1.4使用python开发spark机器学习与大数据应用1.5pythonspark机器学习1.6大数据定义JAVA-JDK在Linux的下载和安装1.1机器学习的介绍机器学习技术不断进步，应用相当广泛，例如推荐引擎、定向广告、需求预测、垃圾邮件过滤、医学诊断、自然语言处理
长度735·2023-01-07 14:01

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
普通网友·2022-12-31 13:04

「经验汇总」基于TDengine的时序数据解决方案

在应对海量时序数据处理需求时，如关系型数据库、工业实时库、Hadoop大数据平台在内的传统数据库解决方案问题重重，严重阻碍数字化进程。
·2022-12-30 17:58

Hadoop v3.1 大数据技术快速入门

通过理论讲解-环境搭建-项目案例实战，让初学者快速掌握hadoop大数据技术栈，包括HDFS、MapReduce、YARN、HBase、Hive等等。
软件架构·2022-12-30 12:53

Hadoop大数据简介

一.Hadoop概述1.1Hadoop简要概述我们生活在这个数据大爆炸的时代，很难估算全球电子设备中存储的数据总共有多少。当前一个中小型公司的数据量也达到数十TB，甚至更多。有句话说得好：“大数据胜于好算法。”意思是说对于某些应用（譬如根据以往的偏好来推荐电影和音乐），不论算法有多牛，基于小数据的推荐效果往往都不如基于大量可用数据的一般算法的推荐效果。我们遇到的问题很简单：在硬盘存储容量多年来不断
只是甲·2022-12-30 04:59

基于hadoop大数据的音乐推荐系统

1简介今天向大家介绍一个帮助往届学生完成的毕业设计项目，基于hadoop大数据的音乐推荐系统。
黑白软件设计·2022-12-30 04:11

基于Hadoop大数据技术和协同过滤算法的就业推荐系统

1简介今天向大家介绍一个帮助往届学生完成的毕业设计项目，基于Hadoop大数据技术和协同过滤算法的就业推荐系统。
黑白软件设计·2022-12-29 23:05

大数据MapReduce学习案例：数据去重

（二）案例需求文件file1.txt本身包含重复数据，并且与file2.txt同样出现重复数据，现要求使用Hadoop大数据相关技术对以上两个文件进行去重操作，并最终将结果汇总到一个文件中。编写M
Neroiiey·2022-12-23 03:52

Hadoop大数据生态系统笔记

前言第一次更新于2022.3.6(未发布)第二次更新于2022.3.8本章主要用来记录回顾总结一下2021上学期的《大数据的技术原理及应用》，因为内容超级多，在本章我只记录关于Hadoop的内容以及整体主要的框架组件。Hadoop1.0与Hadoop2.0的区别Hadoop1.0Hadoop2.0HDFS单一NameNode节点，容易出现单点故障HDFSHA和热备份机制HDFS单一命名空间，无法隔
骆骆爱学习·2022-12-21 04:34

Hadoop大数据综合案例4-Hive数据分析

Hadoop大数据招聘网数据分析综合案例Hadoop大数据综合案例1-Hadoop2.7.3伪分布式环境搭建Hadoop大数据综合案例2-HttpClient与Python招聘网数据采集Hadoop大数据综合案例
CDHong.it·2022-12-15 22:30

Hadoop大数据开发基础课后答案

Hadoop大数据开发基础课后答案(仅供参考)本书为中国工信出版集团的《Hadoop大数据开发基础》Hadoop集群的搭建与配置一、选择题1.HDFS中的文件块默认保存（C）份。
不太聪明的学渣·2022-12-07 11:06

Hadoop大数据技术课程总结2021-2022学年第1学期

文章目录Hadoop大数据技术课程总结1.大数据概述1.1大数据时代的4V1.2大数据时代的三次浪潮1.3大数据时代的技术支撑1.4谷歌的3篇论文1.5Hadoop集群规模1.6Hadoop安装过程2.
IT从业者张某某·2022-12-01 20:18

Hadoop大数据技术课程设计说明

文章目录Hadoop大数据技术课程设计说明《Hadoop大数据技术》课程设计任务书一、设计时间及地点二、设计目的和要求三、设计题目和要求四、设计成果的编制六、设计指导教师及分组情况七、课程设计说明：八、
IT从业者张某某·2022-12-01 20:18

《Hadoop大数据分析技术》简介

#好书推荐##好书奇遇季#《Hadoop大数据分析技术》，京东当当天猫都有发售。定价69元，打折一下更便宜。配套源码、PPT课件，可以做Hadoop大数据分析课程的教材。
新知图书·2022-11-27 08:12

Hadoop大数据_安装jdk、hadoop

安装jdk一、开启网络,ifconfig指令查看ip二、修改主机名hostnamectlset-hostnamehadoop三、查看防火墙状态并打开防火墙1.firewall-cmd--state查看防火墙状态2.systemctlstartiptables.service打开防火墙3.reboot重启Linux四、删除已有的jdk查看java安装版本：java-version查看java安装包：
lhy857·2022-11-10 14:27

「经验汇总」基于TDengine的时序数据解决方案

在应对海量时序数据处理需求时，如关系型数据库、工业实时库、Hadoop大数据平台在内的传统数据库解决方案问题重重，严重阻碍数字化进程。
涛思数据（TDengine）·2022-11-02 18:03

电力行业海量数据处理如何做？看中节能、上海电气案例分享

在应对海量时序数据处理需求时，如关系型数据库、工业实时库、Hadoop大数据平台在内的传统数据库解决方案问题重重，严重阻碍数字化进程。在此背景下，一些企业开始尝试进行数据架构改造，选择适
涛思数据（TDengine）·2022-11-02 18:02

Hadoop大数据实战笔记

1、Hadoop简介：什么是Hadoop呢？Hadoop是一个开源分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，利用集群的威力进行高速的运算和存储，适合处理非结构化数据。2、Hadoop生态圈：什么组件组成了Hadoop的生态圈？Hadoop的生态圈组成为：数据存储、数据集成、数据处理和其他进行数据分析的专门工具。HDFS：HDFS是一种数据保存机制，数据被保存在集群
Popuessing's Jersey·2022-11-02 11:26

「经验汇总」基于TDengine的时序数据解决方案

在应对海量时序数据处理需求时，如关系型数据库、工业实时库、Hadoop大数据平台在内的传统数据库解决方案问题重重，严重阻碍数字化进程。
·2022-10-30 22:42

Hadoop专业解决方案之构建Hadoop企业级应用

这主要是因为一下原因：1.传统应用的基础设施是基于传统数据库访问模式设计的，它不支持Hadoop；2.数据存储在Hadoop之上，实时访问集群中部分数据是可行的；3.Hadoop大数据存储能力使得你可以存储数据集的多个版本
第五个号·2022-10-03 17:10

猿创征文｜Hadoop大数据技术综合实验

综合实验：网站访问日志采集、处理及分析概述监控日志文件日志数据预处理日志数据分析与统计日志数据可视化概述当前互联网应用中，万维网（WorldWideWeb）应用占据了绝大部分的份额。万维网应用对外提供服务需要架设Web服务器软件。典型的Web服务器软件有Apache、Nginx等。Web服务器软件在运行过程中会写入各种日志到磁盘文件中。例如，ApacheWeb服务器软件运行过程中，会产生acces
啊Q老师·2022-09-21 17:18

Hadoop大数据技术详解

一、大数据概述1、大数据简介大数据（BigData）∶指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决：海量数据的存储和海量数据的分析计算问题。按顺序给出数据存储单位∶bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit、
wespten·2022-09-20 07:40

全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)-----第一部分

##心路历程：这是大学时期做的项目，这个项目对我印象特别的深，当时没有记录在博客上，今后会积极分享自己做项目的历程与经验，希望能帮到需要的朋友，有什么问题或者建议欢迎在评论区留言，废话不多说，咱们就开始干！##所有需要的资料全部已上传到百度网盘上，请自行下载##获取镜像，https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA，提取码：ygyg获取Xshell
Yang三少喜欢撸铁·2022-09-09 07:29

Hadoop大数据综合案例5-SSM可视化基础搭建

Hadoop大数据招聘网数据分析综合案例Hadoop大数据综合案例1-Hadoop2.7.3伪分布式环境搭建Hadoop大数据综合案例2-HttpClient与Python招聘网数据采集Hadoop大数据综合案例
CDHong.it·2022-09-09 07:48

第一章初始Hadoop大数据技术

1.1大数据技术概要1.1.1大数据产生的背景2001年后，互联网迅速发展，数据量成倍递增。进入2012年，大数据（bigdata）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营
Mr 李小四·2022-09-09 07:58

猿创征文｜Hadoop大数据技术

Hadoop大数据技术Hadoop背景Hadoop生态圈Hadoop模式HDFS概述优点缺点基本组成NameNodeSecondaryNameNodeDataNodeYARNYARN调度器（Scheduler
啊Q老师·2022-09-08 20:45

【hadoop大数据】HBase 安装

前置环境：hadoopzookeeper安装并启动HBase安装解压HBase到指定目录：tar-zxvfhbase-1.3.1-bin.tar.gz-C/usr/local修改HBase对应的配置hbase-env.sh修改内容exportJAVA_HOME=/usr/local/jdk#禁用HBase自带ZKexportHBASE_MANAGES_ZK=falsehbase-site.xml修
dk18stone·2022-09-08 07:42

Hadoop大数据处理架构学习——Linux系统上安装Hadoop（Ubuntu22.04）

目录1.概述2.Hadoop的安装和使用（1）创建Hadoop用户（2）更新apt和安装vim编辑器（3）安装SSH和配置SSH无密码登录（4）安装java环境（5）安装单机Hadoop（6）Hadoop伪分布式安装（未完）1.概述Hadoop简介：Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供系统底层细节透明的分布式基础架构。Hadoop的核心是Hadoop分布式文
长弓同学·2022-09-01 07:55

小白想学大数据？

一.大数据领域的从业人员，应该牢牢把握2018年大数据这三个大的技术方向：1、Hadoop大数据开发方向;2、数据挖掘、数据分析和机器学习方向;3、大数据运维和云计算方向。
铁拳虎·2022-08-26 11:06

大数据运维实战第二十九课 Hadoop 跨集群数据迁移应用实践

我们的Hadoop大数据平台已经运行多年，使用的版本是CDH5.8，平台上的各个组件（HDFS、Yarn、Hive、Spark）也都是基于这个版本的，但随着对Hadoop平台的深入使用，部分组件版本过低
办公模板库 素材蛙·2022-08-21 15:30

大数据知识体系

tag/it18%E6%8E%8C/、想成为一名合格的大数据架构师你必须要掌握这些内容https://cloud.tencent.com/developer/news/327486阶段一、大数据、云计算-Hadoop
提莫_·2022-08-18 01:37

数据科学与大数据技术

大数据科学家学习路线数据科学与大数据技术我个人理解，就是两个方向一、分析：大数据分析师走向大数据科学家二、开发：大数据开发工程师走向大数据专家大数据岗位方向Hadoop大数据技原理与应用：VMwareWorkstation
李好秀·2022-08-15 09:34

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_67403240·2022-07-29 19:09

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_54853420·2022-07-28 11:51

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
ArimaMisaki·2022-07-03 13:55

Hadoop大数据从入门到精通-任亮-专题视频课程

Hadoop大数据从入门到精通—48021人已学习课程介绍Hadoop分布式文件系统（HDFS）和MapReduce的工作原理如何优化Hadoop机群所需要的硬件配置搭建Hadoop机群所需要考虑的网络因素如何利用
renlianggee·2022-06-22 08:54

hadoop学习——在HDFS中创建文件夹的两种方法

参考书籍：《Hadoop大数据技术开发实战》shell命令创建文件夹启动hdfs,终端输入：start-dfs.sh在hdfs中创建一个input文件夹：hadoopfs-mkdir/input/使用参数
m0_54853420·2022-06-14 14:13

浅谈Hive

在Hadoop大数据体系中，Hive和HBase事两种基于Hadoop的不同技术，Hive是一类类SQL的引擎，其数据存放在HDFS上，并运用MapReduce进行计算，适合OLAP事务。
yinglish_·2022-04-24 15:53

BigData大数据开发路线详细完整结构知识体系学习大全（2022）

BigData一、基础知识（一）采集：（二）存储：（三）计算：（四）查询：（五）可视化：（六）任务调度：（七）集群监控：（八）元数据管理：（九）数据质量监控：二、开发平台（一）Hadoop大数据处理框架
REMLILI·2022-04-22 20:46

Hadoop大数据入门(1)

Hadoop大数据入门1、大数据导论数据：数据是对客观事物的计量和记录产生数据。
Xiao艾扶·2022-04-04 07:54
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他