E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HPE大数据学习
0101前期准备-
大数据学习
文章目录1前言2配置VMware虚拟机2.1设置主机名和固定IP2.2本地系统与Linux系统配置主机名映射2.3配置虚拟机之间用户的SSH免密互通2.4安装JDK环境2.5关闭防火墙和SELinux2.6更新时区和同步时间2.7保存虚拟机快照结语1前言我们从基础的hadoop开始学起,关于学习环境的搭建,可以基于虚拟机也可以选择云平台,这里我们选择vmware虚拟机。2配置VMware虚拟机关于
gaog2zh
·
2023-08-20 11:41
大数据
#
Hadoop
大数据
学习
大数据Flink学习圣经:一本书实现大数据Flink自由
《尼恩大数据面试宝典》面试题集合,将变成
大数据学习
和面试的必读书籍。于是,尼恩架构团队趁热打铁,推出《大数据Flink学习圣经》,《大数据HBASE学习圣经》《大数据Flink学习圣经
40岁资深老架构师尼恩
·
2023-08-19 10:47
技术圣经
面试
大数据
flink
学习
架构
面试
系统架构
java
大数据学习
之Hadoop——06Hadoop序列化
欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop序列化概念1.序列化概述什么是序列化序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输反序列化就是将收到的字节序列(其他数据传输协议)或是磁盘的持久化数据,转换成内存中的对象为什么要序列化一般来说,“活的“对象只生存在内存里,关机断电就没有了。而且
Jiang锋时刻
·
2023-08-18 15:19
大规模机器学习(Large Scale Machine Learning)
大数据学习
的问题:计算问题如果有一亿条训练数
带刺的小花_ea97
·
2023-08-17 02:08
网易云音乐实时数仓治理优化实践
全网最全
大数据学习
面试社区等你来!导读今天分享的主题是实时数仓治理的优化实践。
王知无(import_bigdata)
·
2023-08-16 18:02
大数据面试实际场景类问题怎么准备,实在遭不住了!
全网最全
大数据学习
面试社区等你来!前几天我发了一个面试总结的文章,实际场景类问题在大数据领域面试的占比越来越多。
王知无(import_bigdata)
·
2023-08-16 18:02
大数据
面试
职场和发展
基于Doris实时数据开发的一些注意事项
全网最全
大数据学习
面试社区等你来!最近Doris的发展大家是有目共睹的。例如冷热分离等新特性的持续增加。使得Doris在易用和成本上都有大幅提升。
王知无(import_bigdata)
·
2023-08-16 18:02
Doris2.0时代的一些机遇和挑战!
全网最全
大数据学习
面试社区等你来!上个周五的时候,Doris官宣了2.0版本,除了在性能上的大幅提升,还有一些特性需要大家特别关注。
王知无(import_bigdata)
·
2023-08-16 18:31
全网最全、最详细、最全面的 Hadoop
大数据学习
教程( 2023最新版 )
大家好,我是民工哥!前面给大家介绍了:关系型数据库MySQL、NoSQL数据库Redis、MongoDB、搜索引擎ElasticSearch等知识体系学习的文章。在当今这样的就业大背景下,卷是肯定的,强大自己也是必须的。所以,学习不能停,必须一直卷下去。截止今天,又一个知识体系的学习之旅:大数据Hadoop框架卷完了。希望大家能够从中收获多多!如有帮助,请点在看、转发支持一波!!!大数据概述大数据
·
2023-08-15 18:50
VMware ESXi 8.0U1c macOS Unlocker & OEM BIOS (标准版和厂商定制版) 8月更新
VMwareESXi8.0U1cmacOSUnlocker&OEMBIOS(标准版和厂商定制版)2023年8月更新ESXi8.0U1标准版,Dell(戴尔)、
HPE
(慧与)、Lenovo(联想)、Inspur
·
2023-08-15 16:24
VMware ESXi 7.0 U3n macOS Unlocker & OEM BIOS (标准版和厂商定制版) 8月更新
VMwareESXi7.0U3nmacOSUnlocker&OEMBIOS(标准版和厂商定制版)2023年8月更新ESXi7.0标准版和Dell(戴尔)、
HPE
(慧与)、Lenovo(联想)、Inspur
·
2023-08-15 16:23
esximacosbios
2021-08-20全网疯传的字节跳动 2021 最新
大数据学习
路线(最最最完整详细版)建议收藏
今天不说别的,开门见山。我知道,很多人都会在互联网上寻找一些学习的干货,可是质量不高、讲的不够精华让人总不痛快!很多干货资料看着多么的牛,实际上内容真的很水。数字化这一块,干货资料不应该是讲什么虚头巴脑的概念,而是应该直接从场景切入,把是什么、为什么、怎么做讲的明明白白,这才是真正有价值的。我整理了一些,如果是大数据行业的,这些够你学很久很久,大数据全套学习路线+全集教程。大数据是对海量数据进行存
鱼柒7
·
2023-08-14 22:44
2018-12-01
大数据学习
今天完成这两天完成的不多,主要是调通搭建的那个用于测试的大数据集群,完成了将数据写入hbase的部分。在过程中遇到一个问题,就是hbase的client端可以和zookeeper建立会话,但是会话建立后就一直卡在那里没有继续往下执行。一开始以为是zk集群和hadoop集群的ip地址问题,因为这个集群是部署在阿里云上的,所以会有内部ip和公网ip的转换,以前在旧公司用openstack搭大数据测试集
Bitson
·
2023-08-13 04:38
学习大数据月薪过万的秘密
大数据学习
扣裙:740041381大数据工资高吗?事实上,大
金光闪闪耶
·
2023-08-12 00:50
大数据学习
路线
一、linux基础(基本掌握)二、java多线程、并发包下的队列、JMS、JVM、反射和动态代理学习参考书籍《深入理解Java虚拟机》、《Java高并发实战》三、zookeeper(Zookeeper分布式协调服务介绍、Zookeeper集群的安装部署、Zookeeper数据结构、命令、Zookeeper的原理以及选举机制)四、Hadoop(HDFS:HDFS的概念和特性、HDFS的shell操作
记得_5d12
·
2023-08-11 10:38
HPE
Microserver GEN10升级BIOS
到手的机子BIOS版本还是ZA10A290,非常有必要升级,便从
HPE
官网下载了最新的版本:ZA10A360。选择UEFIShell方式更新。
markul
·
2023-08-11 08:40
NAS
Linux
HPE
Microserver GEN10安装Debian10
使用机械硬盘做系统盘进行安装时,若IOMMU打开会导致检测不到硬盘而无法安装,解决的办法是关闭IOMMU。究其原因是是raid卡(Marvell88SE9230)的bug导致。光驱位置安装的SSD硬盘做系统盘则无此问题,这是因为SSD直接连接到主板SATA接口,而机械硬盘是连接到raid卡的。但若服务器安装虚拟机,又需要打开IOMMU,直接打开会导致系统无法启动,这时需要配置一下grub来解决此问
markul
·
2023-08-11 08:09
NAS
Linux
linux
大数据学习
之Hadoop——02Hadoop集群安装
欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop伪分布式安装:1.自身免秘钥(前提):$ssh-keygen-trsa-P''-f~/.ssh/id_rsa$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keysimage在这里插入图片描述2.安装hadoop:解压hadoop安装包tarxfhadoop-2
Jiang锋时刻
·
2023-08-11 03:28
学习大数据需要掌握哪些知识?
1、学习大数据首先要学习Java基础怎样进行
大数据学习
的快速入门?学大数据课程之前要
大数据客栈yi
·
2023-08-09 18:22
惠普Linux系统启动光驱,HP ProLiant MicroServer Gen8使用Super GRUB2 Disk从TF卡启动光驱位安装的Debian 8.3...
简介MicroServerGen8属于
HPE
(HewlettPackardEnterprise,惠普企业级产品)而不是HP,MicroServerGen8的支持页面(如驱动下载)在
HPE
,官网首页是http
曼谷二小姐
·
2023-08-09 11:30
惠普Linux系统启动光驱
esxi直通 gen8_HP MicroServer Gen8与ESXI采坑之旅
productId=614&downloadGroup=OEM-ESXI65-
HPE
据说7.x版本已经支持可视化配置RDM了,但是官方只支持gen9以后。
weixin_39829497
·
2023-08-09 11:30
esxi直通
gen8
大数据学习
笔记:Hadoop之HDFS(上)
HDFS(HadoopDistributedFileSystem)Hadoop分布式文件系统。是根据google发表的论文翻版的。分布式文件系统(DistributedFileSystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。[优点]支持超大文件:超大文件在这里指的是几百M,几百GB,甚至几TB大小的文
值得一看的喵
·
2023-08-09 08:35
大数据学习
-配额管理
配额管理(quota)目录配额目录配额计算的是目录下所有文件的总个数。如果配额是1,则表示空白目录hdfsdfsadmin-setQuota1data//设置data的配额为1,那么data下面就不能有目录,这是一个空的目录image.png空间配额hdfsdfs-mkdir-pdata//创建data目录hdfsdfsadmin-setSpaceQuota3data//设置空间的配额为3Bech
smallgrey
·
2023-08-09 05:36
大数据学习
1-linux
day1用户和用户组管理1、用户配置文件位置-》cat/etc/passwd2、root:x:0:0:root:/root:/bin/bash-》root代表用户名-》x密码标识,代表有密码-》0UIDuserid-》0GIDgroupid-》root别名-》/root家目录-》/bin/bash用户使用的shell3、用户组配置文件位置-》cat/etc/group4、添加用户-》useradd
王小禾
·
2023-08-09 05:35
黑马
大数据学习
笔记5-案例
目录需求分析背景介绍目标需求数据内容DBeaver连接到Hive建库建表加载数据ETL数据清洗数据问题需求实现查看结果扩展指标计算需求需求指标统计可视化展示BIFineBI的介绍及安装FineBI配置数据源及数据准备可视化展示P73~77https://www.bilibili.com/video/BV1WY4y197g7?p=73需求分析背景介绍聊天平台每天都会有大量的用户在线,会出现大量的聊天
蓝净云
·
2023-08-07 10:55
大数据
大数据
学习
笔记
黑马
大数据学习
笔记4-Hive部署和基本操作
目录思考规划安装MySQL数据库修改root用户密码配置Hadoop下载解压Hive提供MySQLDriver包配置Hive初始化元数据库启动Hive(使用Hadoop用户)Hive体验HiveServer2HiveServer2服务启动Beelinep48、51、52https://www.bilibili.com/video/BV1WY4y197g7/?p=48思考Hive是分布式运行的框架还
蓝净云
·
2023-08-07 10:52
大数据
大数据
学习
笔记
大数据学习
笔记
大数据学习
笔记一.概念1.传统数据处理架构2.有状态的流处理二.批处理与流处理1.批处理2.流处理三.大数据软件生态1.Hadoop2.Spark3.Flink一.概念大数据(BigData)指无法在一定时间范围内用常规软件工具进行捕捉
smilinggg
·
2023-08-07 04:59
大数据
flink
spark
hadoop
大数据学习
笔记(一)
一、大数据的概念无法再一定时间范围内用软件工具进行管理与处理的数据集合称之为大数据。大数据技术主要解决存储和分析计算问题.1.4V特征-A.Valume 大量 (KB->MB->GB->TB->PB->EB->ZB)-B.Velocity 高速 分布式技术(N台计算机同时运算.)-C.Variety 多样 (存储结构化数据与非结构化数据和半结构化数据)-D.Value 低价值密度2.结构化、
加油牛牛
·
2023-08-07 04:29
big
data
学习
大数据
大数据学习
教程:Linux 高级教程(上)
一、Linux用户与权限1.用户和权限的基本概念1.1、基本概念用户是Linux系统工作中重要的一环,用户管理包括用户与组管理在Linux系统中,不论是由本级或是远程登录系统,每个系统都必须拥有一个账号,并且对于不同的系统资源拥有不同的使用权限对文件/目录的权限包括:权限英文缩写数字序号读readr4写writew2执行executex1无权限-0在Linux中,可以指定每一个用户针对不同的文件或
Blue92120
·
2023-08-06 19:17
java
服务器
前端
大数据学习
教程:Linux高级教程(下)
四、大数据集群服务器搭建1.新增Linux服务器1.1、克隆虚拟机学习环境中,一般使用VMware虚拟机克隆Linux系统,用来进行集群服务器的搭建。VMware支持两种类型的克隆:完整克隆、链接克隆完整克隆是和原始虚拟机完全独立的一个复制,它不和原始虚拟机共享任何资源。可以脱离原始虚拟机独立使用。链接克隆需要和原始虚拟机共享同一虚拟磁盘文件,不能脱离原始虚拟机独立运行。但采用共享磁盘文件却大大缩
Blue92120
·
2023-08-03 12:44
大数据
学习
linux
大数据学习
之Hadoop——09Partitoner分区和Combiner分区
欢迎关注我的CSDN:https://blog.csdn.net/bingque6535Partitioner分区部分转载的是:https://www.cnblogs.com/qingyunzong/p/8584379.html一.Partitioner分区1.Partitioner的作用:进行MapReduce计算时,有时候需要把最终的输出数据分到不同的文件中,我们知道最终的输出数据是来自于Re
Jiang锋时刻
·
2023-08-02 18:22
大数据开发:Flink API编程初级入门
作为大数据生态圈越来越活跃的框架,Flink的热度持续走高,自然也成为
大数据学习
阶段必须攻克的一大重难点。
成都加米谷大数据
·
2023-08-02 00:49
大数据学习
笔记-Yarn(二)
YarnWebUI服务1.1yarnwenUI服务,http://RMHOST:8088打开页面,以列表的形式展示处于各种状态的各种程序以下参数指定UI地址UI页面的参数介绍(图片来源黑马程序员教程)1.2JobHistoryServer服务仅存储已经完成的Mapredyce应用程序的作业历史信息,当启用JHS服务时,建议开启日志聚合功能。配置mapreduce.jobhistory.addres
天码村
·
2023-07-31 07:35
大数据
大数据
学习
hadoop
大数据学习
笔记-Yarn(一)
1、yarn产生和发展历史背景:数据、程序、运算资源三者组合在一起,才能完成数据的处理,单机不存在问题,但是分布式环境如何协调是一个问题。Hadoop早期用户使用Hadoop与众多主机上运行的桌面程序类似:在少了几个节点上建立一个集群、将数据载入HDFS、运行mapreduceHadoop演进阶段:Adhoc集群以单用户的方式建立,随着私人集群的使用实现了HDFS集群的共享,不同于HDFS,共享m
天码村
·
2023-07-31 07:05
大数据
大数据
学习
hadoop
yarn
黑马
大数据学习
笔记3-MapReduce配置和YARN部署以及基本命令
目录部署说明MapReduce配置文件YARN配置文件分发配置文件集群启动命令开始启动YARN集群查看YARN的WEBUI页面保存快照YARN集群的启停命令一键启动脚本单进程启停提交MapReduce任务到YARN执行提交wordcount示例程序查看运行日志提交求圆周率示例程序p41~43https://www.bilibili.com/video/BV1WY4y197g7/?p=41部署说明H
蓝净云
·
2023-07-31 07:04
大数据
大数据
学习
笔记
大数据研究报告:Spark最受欢迎,机器学习库MLib采用率持续上涨
大数据学习
QQ群:19942721
大数据05
·
2023-07-30 13:11
《黑马程序员2023新版黑马程序员大数据入门到实战教程,大数据开发必会的Hadoop、Hive,云平台实战项目》学习笔记总目录
学习视频:黑马程序员新版
大数据学习
时总结的学习笔记以及思维导图会在后续更新,请敬请期待。
放下华子我只抽RuiKe5
·
2023-07-30 11:47
大数据学习笔记(自用)
linux
大数据
hadoop
hbase
云计算
详解
大数据学习
路线
随着国家定义了“新型基础设施建设”(新基建),新科技时代已经来临。如果说新基建的目标是构建起新时代科技中国的躯体的话,那么数据就是这个躯体中无处不在的血液,没有这个血液,所有的一切都将没有正常运行的能量来源。“数据”早已有之,但长久以来,除了科技公司和大型企业外,人们对“数据”应用得并不充分。而随着数据渗透到当今几乎每一个行业和业务职能领域,渗透到几乎任何体量的社会组织中,并成为重要的生产因素,人
科技无忧
·
2023-07-30 06:04
8个好的科研类学习网站,附链接
1、PPV课PPV课-PPV课机构主页-神州培训网sz.szpxe.com国内领先的
大数据学习
社区,专注大数据培训,人人都是数据咖倡导者,提供SPSS、SAS、R语言、Hadoop/spark、Python
高质量工具
·
2023-07-30 05:21
【基于MapReduce实现用户基础数据统计】
CSDN话题挑战赛第2期参赛话题:
大数据学习
成长记录文章目录使用MapReduce实现用户基础数据统计基础数据业务分析点业务开发流程在Hive中创建hive表基于Java开发MR配置pom.xml文件开发
pblh123
·
2023-07-28 03:07
Hadoop
mapreduce
hive
大数据
大数据学习
之路-Hive
Hive1.Hive基本概念1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据更新1.4.3执行延迟1.4.4数据规模2.Hive安装2.1Hive安装地址2.2MySql安装2.3Hive安装部署2.4Hive元数据配置到MySql2.4.1拷贝驱动2.4.2配置Metastore到MySql2.
Conviction of Star
·
2023-07-27 23:01
hive
big
data
从安卓主管转型大数据开发,我经历了什么?
当然,我也不会让他们白忙活,我支付赞赏2的稿费(50起步),所以欢迎大家多多赞赏~*人物介绍许则则(化名),一位五年安卓经验的开发主管,从去年就在我
大数据学习
群里,看着我和其他群友慢慢转型大数据,所以于
程序员峰哥
·
2023-07-25 16:10
大数据学习
04-Hbase分布式集群部署
系统环境:centos7软件版本:jdk1.8、zookeeper3.4.8、hadoop2.8.5一、下载HBASE官网cd/home/toolswgethttps://archive.apache.org/dist/hbase/2.2.4/hbase-2.2.4-bin.tar.gz二、解压tar-zxvfhbase-2.2.4-bin.tar.gz-C/home/local/移动目录mvhb
小火柴012
·
2023-07-25 10:59
大数据
分布式
学习
大数据学习
路线
文章目录一,Hadoop二,MapReduce三,HDFS四,Hive一,Hadoop二,MapReduce三,HDFS四,HiveHive学习
Jucway
·
2023-07-25 09:47
大数据
sql
数据仓库
数据库架构
2021-10-18
大数据学习
日志——数据埋点+网络爬虫——多任务和网络
课程介绍:数据埋点本质上就是进行数据采集。相对于爬虫的数据采集形式,数据埋点是对自身业务数据进行采集。要进行数据埋点就要了解我们的业务程序的开发流程,知道整个数据的传递过程,这样能更加明确数据分析的业务需求,有利于数据埋点的准确性。在这一阶段前半部部分,学习部分前端:HTML、CSS、JS、Jquery知识,后端:多任务、网络编程及Python高级语法。通过对前端和后端开发业务的了解,方便在数据埋
成长的小狮子
·
2023-07-25 04:46
数据库
爬虫
python
大数据学习
05-Kafka分布式集群部署
系统环境:centos7软件版本:jdk1.8、zookeeper3.4.8、hadoop2.8.5本次实验使用版本kafka_2.12-3.0.0一、安装Kafka官网将安装包上传至linux服务器上解压tar-zxvfkafka_2.12-3.0.0.tgz-C/home/local/移动目录至kafkamvkafka_2.12-3.0.0/kafka二、部署配置Kafka环境vi/etc/p
小火柴012
·
2023-07-24 15:11
大数据
分布式
大数据
学习
计算机小白
大数据学习
线路图
人们常说毕业三五年后就可以看出一个人的未来。工作三五年后有人月收入过万,开始在老家买房;有人零存款,继续每天租房的生活。不是后者不拼搏,只是入错了行而已。现在有一个行业“薪”机炸裂,可以迅速帮你“脱贫”,你会抓住这个机会吗?没错,我们说的就是大数据行业。首先,来看看大数据有多火吧。近几年,大数据不仅被纳入谷歌、阿里巴巴等互联网公司的战略规划中,同时也在我国和其他国家的政府报告中多次被提及,大数据无
千锋大数据
·
2023-07-19 10:54
大数据学习
03-Hive分布式集群部部署
系统环境:centos7软件版本:jdk1.8、zookeeper3.4.8、hadoop2.8.5、hive1.1.0一、下载安装下载hive安装包,上传到linux服务器上,解压安装包tar-zxvfapache-hive-1.1.0-bin.tar.gz-C/home/local/重命名文件mvapache-hive-1.1.0-bin/hive二、Hive部署配置Hive环境vi/etc/
小火柴012
·
2023-07-19 10:03
大数据
大数据
学习
hive
大数据学习
-外部表&内部表详解
外部表和内部表区别和实际运用:前提知识储备:1、hive存储的数据在hdfs上,建表的时候实际上是在hdfs上创建目录而已。2、hive的元数据信息实际上是存在于mysql中(通常的做法)3、访问hive的数据是先访问元数据再根据元数据的地址信息来获取数据外部表和内部表在建表上的区别就是external(代表的外部表),外部表存储的方式是固定的hdfs路径,表是通过映射的方式访问(load数据到表
ZhuangYQ丶
·
2023-07-18 22:06
大数据学习
Hive学习
Flink从入门到放弃(入门篇1)-Flink是什么
/God-Of-BigData/blob/master/Flink插个广告全网唯一一个从0开始帮助Java开发者转做大数据领域的公众号~公众号大数据技术与架构或者搜索import_bigdata关注,
大数据学习
路线最新更新
王知无(import_bigdata)
·
2023-07-18 20:17
Flink系统性学习专栏
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他