HPE大数据学习第7页

学习大数据需要掌握哪些知识？

1、学习大数据首先要学习Java基础怎样进行大数据学习的快速入门？学大数据课程之前要

大数据客栈yi·2023-08-09 18:22

惠普Linux系统启动光驱,HP ProLiant MicroServer Gen8使用Super GRUB2 Disk从TF卡启动光驱位安装的Debian 8.3...

简介MicroServerGen8属于HPE(HewlettPackardEnterprise，惠普企业级产品)而不是HP，MicroServerGen8的支持页面(如驱动下载)在HPE，官网首页是http

曼谷二小姐·2023-08-09 11:30

esxi直通 gen8_HP MicroServer Gen8与ESXI采坑之旅

productId=614&downloadGroup=OEM-ESXI65-HPE据说7.x版本已经支持可视化配置RDM了，但是官方只支持gen9以后。

weixin_39829497·2023-08-09 11:30

大数据学习笔记：Hadoop之HDFS（上）

HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。是根据google发表的论文翻版的。分布式文件系统（DistributedFileSystem）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。[优点]支持超大文件:超大文件在这里指的是几百M，几百GB，甚至几TB大小的文

值得一看的喵·2023-08-09 08:35

大数据学习-配额管理

配额管理（quota）目录配额目录配额计算的是目录下所有文件的总个数。如果配额是1，则表示空白目录hdfsdfsadmin-setQuota1data//设置data的配额为1，那么data下面就不能有目录，这是一个空的目录image.png空间配额hdfsdfs-mkdir-pdata//创建data目录hdfsdfsadmin-setSpaceQuota3data//设置空间的配额为3Bech

smallgrey·2023-08-09 05:36

大数据学习1-linux

day1用户和用户组管理1、用户配置文件位置-》cat/etc/passwd2、root:x:0:0:root:/root:/bin/bash-》root代表用户名-》x密码标识，代表有密码-》0UIDuserid-》0GIDgroupid-》root别名-》/root家目录-》/bin/bash用户使用的shell3、用户组配置文件位置-》cat/etc/group4、添加用户-》useradd

王小禾·2023-08-09 05:35

黑马大数据学习笔记5-案例

目录需求分析背景介绍目标需求数据内容DBeaver连接到Hive建库建表加载数据ETL数据清洗数据问题需求实现查看结果扩展指标计算需求需求指标统计可视化展示BIFineBI的介绍及安装FineBI配置数据源及数据准备可视化展示P73~77https://www.bilibili.com/video/BV1WY4y197g7?p=73需求分析背景介绍聊天平台每天都会有大量的用户在线，会出现大量的聊天

蓝净云·2023-08-07 10:55

黑马大数据学习笔记4-Hive部署和基本操作

目录思考规划安装MySQL数据库修改root用户密码配置Hadoop下载解压Hive提供MySQLDriver包配置Hive初始化元数据库启动Hive（使用Hadoop用户）Hive体验HiveServer2HiveServer2服务启动Beelinep48、51、52https://www.bilibili.com/video/BV1WY4y197g7/?p=48思考Hive是分布式运行的框架还

蓝净云·2023-08-07 10:52

大数据学习笔记

大数据学习笔记一.概念1.传统数据处理架构2.有状态的流处理二.批处理与流处理1.批处理2.流处理三.大数据软件生态1.Hadoop2.Spark3.Flink一.概念大数据（BigData）指无法在一定时间范围内用常规软件工具进行捕捉

smilinggg·2023-08-07 04:59

大数据学习笔记（一）

一、大数据的概念无法再一定时间范围内用软件工具进行管理与处理的数据集合称之为大数据。大数据技术主要解决存储和分析计算问题.1.4V特征-A.Valume 大量 (KB->MB->GB->TB->PB->EB->ZB)-B.Velocity 高速分布式技术(N台计算机同时运算.)-C.Variety 多样 (存储结构化数据与非结构化数据和半结构化数据)-D.Value 低价值密度2.结构化、

加油牛牛·2023-08-07 04:29

大数据学习教程：Linux 高级教程（上）

一、Linux用户与权限1.用户和权限的基本概念1.1、基本概念用户是Linux系统工作中重要的一环,用户管理包括用户与组管理在Linux系统中,不论是由本级或是远程登录系统,每个系统都必须拥有一个账号,并且对于不同的系统资源拥有不同的使用权限对文件/目录的权限包括:权限英文缩写数字序号读readr4写writew2执行executex1无权限-0在Linux中,可以指定每一个用户针对不同的文件或

Blue92120·2023-08-06 19:17

大数据学习教程：Linux高级教程（下）

四、大数据集群服务器搭建1.新增Linux服务器1.1、克隆虚拟机学习环境中，一般使用VMware虚拟机克隆Linux系统，用来进行集群服务器的搭建。VMware支持两种类型的克隆：完整克隆、链接克隆完整克隆是和原始虚拟机完全独立的一个复制，它不和原始虚拟机共享任何资源。可以脱离原始虚拟机独立使用。链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。但采用共享磁盘文件却大大缩

Blue92120·2023-08-03 12:44

大数据学习之Hadoop——09Partitoner分区和Combiner分区

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535Partitioner分区部分转载的是:https://www.cnblogs.com/qingyunzong/p/8584379.html一.Partitioner分区1.Partitioner的作用:进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，我们知道最终的输出数据是来自于Re

Jiang锋时刻·2023-08-02 18:22

大数据开发：Flink API编程初级入门

作为大数据生态圈越来越活跃的框架，Flink的热度持续走高，自然也成为大数据学习阶段必须攻克的一大重难点。

成都加米谷大数据·2023-08-02 00:49

大数据学习笔记-Yarn（二）

YarnWebUI服务1.1yarnwenUI服务，http://RMHOST:8088打开页面，以列表的形式展示处于各种状态的各种程序以下参数指定UI地址UI页面的参数介绍（图片来源黑马程序员教程）1.2JobHistoryServer服务仅存储已经完成的Mapredyce应用程序的作业历史信息，当启用JHS服务时，建议开启日志聚合功能。配置mapreduce.jobhistory.addres

天码村·2023-07-31 07:35

大数据学习笔记-Yarn（一）

1、yarn产生和发展历史背景：数据、程序、运算资源三者组合在一起，才能完成数据的处理，单机不存在问题，但是分布式环境如何协调是一个问题。Hadoop早期用户使用Hadoop与众多主机上运行的桌面程序类似：在少了几个节点上建立一个集群、将数据载入HDFS、运行mapreduceHadoop演进阶段：Adhoc集群以单用户的方式建立，随着私人集群的使用实现了HDFS集群的共享，不同于HDFS，共享m

天码村·2023-07-31 07:05

黑马大数据学习笔记3-MapReduce配置和YARN部署以及基本命令

目录部署说明MapReduce配置文件YARN配置文件分发配置文件集群启动命令开始启动YARN集群查看YARN的WEBUI页面保存快照YARN集群的启停命令一键启动脚本单进程启停提交MapReduce任务到YARN执行提交wordcount示例程序查看运行日志提交求圆周率示例程序p41~43https://www.bilibili.com/video/BV1WY4y197g7/?p=41部署说明H

蓝净云·2023-07-31 07:04

大数据研究报告：Spark最受欢迎，机器学习库MLib采用率持续上涨

大数据学习QQ群：19942721

大数据05·2023-07-30 13:11

《黑马程序员2023新版黑马程序员大数据入门到实战教程，大数据开发必会的Hadoop、Hive，云平台实战项目》学习笔记总目录

学习视频：黑马程序员新版大数据学习时总结的学习笔记以及思维导图会在后续更新，请敬请期待。

放下华子我只抽RuiKe5·2023-07-30 11:47

详解大数据学习路线

随着国家定义了“新型基础设施建设”（新基建），新科技时代已经来临。如果说新基建的目标是构建起新时代科技中国的躯体的话，那么数据就是这个躯体中无处不在的血液，没有这个血液，所有的一切都将没有正常运行的能量来源。“数据”早已有之，但长久以来，除了科技公司和大型企业外，人们对“数据”应用得并不充分。而随着数据渗透到当今几乎每一个行业和业务职能领域，渗透到几乎任何体量的社会组织中，并成为重要的生产因素，人

科技无忧·2023-07-30 06:04

8个好的科研类学习网站，附链接

1、PPV课PPV课-PPV课机构主页-神州培训网sz.szpxe.com国内领先的大数据学习社区，专注大数据培训，人人都是数据咖倡导者，提供SPSS、SAS、R语言、Hadoop/spark、Python

高质量工具·2023-07-30 05:21

【基于MapReduce实现用户基础数据统计】

CSDN话题挑战赛第2期参赛话题：大数据学习成长记录文章目录使用MapReduce实现用户基础数据统计基础数据业务分析点业务开发流程在Hive中创建hive表基于Java开发MR配置pom.xml文件开发

pblh123·2023-07-28 03:07

大数据学习之路-Hive

Hive1.Hive基本概念1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据更新1.4.3执行延迟1.4.4数据规模2.Hive安装2.1Hive安装地址2.2MySql安装2.3Hive安装部署2.4Hive元数据配置到MySql2.4.1拷贝驱动2.4.2配置Metastore到MySql2.

Conviction of Star·2023-07-27 23:01

从安卓主管转型大数据开发，我经历了什么？

当然，我也不会让他们白忙活，我支付赞赏2的稿费(50起步)，所以欢迎大家多多赞赏~*人物介绍许则则(化名)，一位五年安卓经验的开发主管，从去年就在我大数据学习群里，看着我和其他群友慢慢转型大数据，所以于

程序员峰哥·2023-07-25 16:10

大数据学习04-Hbase分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5一、下载HBASE官网cd/home/toolswgethttps://archive.apache.org/dist/hbase/2.2.4/hbase-2.2.4-bin.tar.gz二、解压tar-zxvfhbase-2.2.4-bin.tar.gz-C/home/local/移动目录mvhb

小火柴012·2023-07-25 10:59

大数据学习路线

文章目录一，Hadoop二，MapReduce三，HDFS四，Hive一，Hadoop二，MapReduce三，HDFS四，HiveHive学习

Jucway·2023-07-25 09:47

2021-10-18大数据学习日志——数据埋点+网络爬虫——多任务和网络

课程介绍：数据埋点本质上就是进行数据采集。相对于爬虫的数据采集形式，数据埋点是对自身业务数据进行采集。要进行数据埋点就要了解我们的业务程序的开发流程，知道整个数据的传递过程，这样能更加明确数据分析的业务需求，有利于数据埋点的准确性。在这一阶段前半部部分，学习部分前端：HTML、CSS、JS、Jquery知识，后端：多任务、网络编程及Python高级语法。通过对前端和后端开发业务的了解，方便在数据埋

成长的小狮子·2023-07-25 04:46

大数据学习05-Kafka分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5本次实验使用版本kafka_2.12-3.0.0一、安装Kafka官网将安装包上传至linux服务器上解压tar-zxvfkafka_2.12-3.0.0.tgz-C/home/local/移动目录至kafkamvkafka_2.12-3.0.0/kafka二、部署配置Kafka环境vi/etc/p

小火柴012·2023-07-24 15:11

计算机小白大数据学习线路图

人们常说毕业三五年后就可以看出一个人的未来。工作三五年后有人月收入过万，开始在老家买房;有人零存款，继续每天租房的生活。不是后者不拼搏，只是入错了行而已。现在有一个行业“薪”机炸裂，可以迅速帮你“脱贫”，你会抓住这个机会吗?没错，我们说的就是大数据行业。首先，来看看大数据有多火吧。近几年，大数据不仅被纳入谷歌、阿里巴巴等互联网公司的战略规划中，同时也在我国和其他国家的政府报告中多次被提及，大数据无

千锋大数据·2023-07-19 10:54

大数据学习03-Hive分布式集群部部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5、hive1.1.0一、下载安装下载hive安装包，上传到linux服务器上，解压安装包tar-zxvfapache-hive-1.1.0-bin.tar.gz-C/home/local/重命名文件mvapache-hive-1.1.0-bin/hive二、Hive部署配置Hive环境vi/etc/

小火柴012·2023-07-19 10:03

大数据学习-外部表&内部表详解

外部表和内部表区别和实际运用：前提知识储备：1、hive存储的数据在hdfs上，建表的时候实际上是在hdfs上创建目录而已。2、hive的元数据信息实际上是存在于mysql中（通常的做法）3、访问hive的数据是先访问元数据再根据元数据的地址信息来获取数据外部表和内部表在建表上的区别就是external（代表的外部表），外部表存储的方式是固定的hdfs路径，表是通过映射的方式访问（load数据到表

ZhuangYQ丶·2023-07-18 22:06

Flink从入门到放弃(入门篇1)-Flink是什么

/God-Of-BigData/blob/master/Flink插个广告全网唯一一个从0开始帮助Java开发者转做大数据领域的公众号~公众号大数据技术与架构或者搜索import_bigdata关注，大数据学习路线最新更新

王知无(import_bigdata)·2023-07-18 20:17

大数据学习02-Hadoop分布式集群部署

操作系统：centos7软件环境：jdk8、hadoop-2.8.5一、创建虚拟机1.下载VMware,建议支持正版2.安装到Widows目录下任意位置即可，安装目录自定义。打开VMware，界面如下：3.创建虚拟机创建虚拟机—>选择自定义这一步按照默认的配置就好选择系统，安装程序光盘映像文件iso，这里需要下载cenos镜像文件给虚拟机命名，选择虚拟机安装位置处理器配置内存配置配置虚拟机网络连接

小火柴012·2023-07-18 14:19

全栈之路-前端篇 | 第三讲.基础前置知识【前端标准与研发工具】学习笔记

涉及企业运维、网络安全、应用开发、物联网、人工智能、大数据学习知识“花开堪折直须折，莫待无花空折枝。”

全栈工程师修炼指南·2023-07-18 13:10

大数据学习01-Zookeeper分布式集群部署

二、下载zookeeper官网，本文使用的是zookeeper3.4.8版本三、安装部署将下载好的安装包上传至linux服务器上解压安装包tar-zxvfzookeeper-3.4.8.tar.gz-C/home/localzookeeper目录重命名mvzookeeper-3.4.8zookeeper配置环境vim/etc/profile添加如下配置#zookeeperexportZOOKEEP

小火柴012·2023-07-18 12:01

黑马大数据学习笔记2-HDFS基本操作

目录进程启停管理一键启停脚本单进程启停文件系统操作命令HDFS文件系统基本信息介绍创建文件夹查看指定目录下内容上传文件到HDFS指定目录查看HDFS文件内容下载HDFS文件拷贝HDFS文件追加数据到HDFS文件HDFS数据移动HDFS数据删除其他命令HDFSWEB浏览HDFS权限修改权限https://www.bilibili.com/video/BV1WY4y197g7?p=26切换到hadoo

蓝净云·2023-07-18 09:31

全栈之路-前端篇 | 第二讲.基础前置知识【应用服务端与编程语言】学习笔记

涉及企业运维、网络安全、应用开发、物联网、人工智能、大数据学习知识“花开堪折直须折，莫待无花空折枝。”

全栈工程师修炼指南·2023-07-17 01:51

视频教程-Kafka原理、集群、监控企业实战-大数据

¥158.00立即订阅扫码下载「CSDN程序员学院APP」，1000+技术好课免费看APP订阅课程，领取优惠，最少立减5元↓↓↓订阅后：请点击此处观看视频课程视频教程-Kafka原理、集群、监控企业实战-大数据学习有效期

weixin_34609496·2023-07-16 02:21

大数据学习-hive（三：时间戳转换）

一：俩种时间戳1.十位时间戳十位时间戳代表的是到秒级别。例如：16442067091582.十三位时间戳十三位时间戳代表的是到毫秒级别。例如：1644206709二：时间戳相互转化1.十三位转为十位###selectcast(1644206709158/1000asbigint)froma2.时间戳格式转换2.1十三位转换为日期from_unixtime(cast(1644206709158/10

宇智波云·2023-07-15 16:19

黑马大数据学习笔记0-环境配置

目录设置VMware网络CentOS操作系统三台虚拟机系统配置：主机名、固定IP、SSH免密登录配置主机名映射配置SSH免密登录创建hadoop用户并配置免密登录JDK1.8环境部署防火墙、SELinux、时间同步设置快照视频p3-p5https://www.bilibili.com/video/BV1WY4y197g7?p=3设置VMware网络网段设置为192.168.88.0网关设置为192

蓝净云·2023-07-15 11:09

黑马大数据学习笔记2-HDFS环境部署

目录环境部署hadoop-3.3.4.tar.gz构建软链接配置workers文件夹配置hadoop-env.sh文件配置core-site.xml文件配置hdfs-site.xml文件准备数据目录分发Hadoop文件夹将Hadoop的一些脚本、程序配置到PATH中授权为hadoop用户格式化整个文件系统查看HDFSWEBUI保存快照https://www.bilibili.com/video/B

蓝净云·2023-07-15 11:59

大数据专业学习起来难么

学习难度要因人而异，不能一概而论，如果不确定自己能不能学会，可以找一些视频资源自己先学习下试试Python+大数据学习路线图详细介绍第一阶段大数据开发入门学前导读：从传统关系型数据库入手，掌握数据迁移工具

我想去吃ya·2023-07-14 07:34

1.5.5 HDFS读写解析-hadoop-最全最完整的保姆级的java大数据学习资料

文章目录1.5.5HDFS读写解析1.5.5.1HDFS读数据流程1.5.5.2HDFS写数据流程1.5.5HDFS读写解析1.5.5.1HDFS读数据流程客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。DataNode开始传

假装文艺范儿·2023-06-22 16:33

1.5.6 NN与2NN-hadoop-最全最完整的保姆级的java大数据学习资料

文章目录1.5.6NN与2NN1.5.6.1HDFS元数据管理机制1.5.6.2Fsimage与Edits文件解析1.5.6.2.1Fsimage文件内容1.5.6.2.2Edits文件内容1.5.6.3checkpoint周期1.5.6NN与2NN1.5.6.1HDFS元数据管理机制问题1：NameNode如何管理和存储元数据？计算机中存储数据两种：内存或者是磁盘元数据存储磁盘：存储磁盘无法面对