HPE大数据学习

强！大数据之Hadoop伪分布式这样搭建，一次就成功了！

在这里我还是要推荐下我自己建的大数据学习交流裙：532+二一八加上147，裙里都是学大数据开发的，如果
大数据学习05·2023-09-01 13:41

大数据学习：kafkaManager功能详解

kafkaManager功能详解一.添加集群1.1常用参数说明下面已常用的选项作说明1）EnableJMXPolling是否开启JMX轮训，该部分直接影响部分kafkabroker和topic监控指标指标的获取（生效的前提是kafka启动时开启了JMX_PORT。主要影响如下之指标的查看：2)Pollconsumerinformation是否开启获取消费信息，直接影响能够在消费者页面和topic页
zui初的梦想·2023-09-01 12:03

大数据学习：Hive常用函数

Hive常用函数1.Hive的参数传递1.1Hive命令行查看hive命令的参数[hadoop@node03~]$hive-help语法结构:hive[-hiveconfx=y]*[]*[|][-S]说明：-i从文件初始化HQL。-e从命令行执行指定的HQL-f执行HQL脚本-v输出执行的HQL语句到控制台-pconnecttoHiveServeronportnumber-hiveconfx=yU
zui初的梦想·2023-09-01 12:31

0102阿里云配置3台ECS服务器-大数据学习

文章目录1前言1配置VPC和子网2创建安全组3创建云服务器ECS3.1规划配置3.2配置4xshell连接服务器5配置基础环境5.1主机名映射5.2ssh免密登录5.3jdk6问题集6.1Permissiondenied(publickey,gssapi-keyex,gssapi-with-mic).6.2用tar解压文件出现错误Notfoundinarchive结语1前言公司电脑配置想要运行虚拟
gaog2zh·2023-09-01 06:13

0202hdfs的shell操作-hadoop-大数据学习

文章目录1进程启停管理2文件系统操作命令2.1HDFS文件系统基本信息2.2介绍2.3创建文件夹2.4查看指定文件夹下的内容2.5上传文件到HDFS2.6查看HDFS文件内容2.7下载HDFS文件2.8HDFS数据删除操作3HDFS客户端-jetbrians产品插件3.1BigDataTools安装3.2配置windows3.3配置BigDataTools结语以下命令执行默认配置了hadoop的环
gaog2zh·2023-09-01 06:08

大数据学习06-SpringBoot应用部署

环境准备已经安装了Java开发环境和Maven构建工具。创建项目使用Maven创建一个新的SpringBoot项目，你可以使用SpringInitializr（https://start.spring.io/）网站或者使用命令行。选择依赖在SpringInitializr中选择你需要的依赖，如SpringWeb、SpringDataJPA等。这些依赖将会在项目中自动导入。下载项目点击"Genera
小火柴012·2023-09-01 06:56

大数据学习06-Spark分布式集群部署

Spark完全分布式部署前期准备，每台服务器都需要配置安装Scala下载Scala安装包配置环境变量安装spark解压配置环境修改配置前期准备，每台服务器都需要配置配置好IPvim/etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="static
小火柴012·2023-09-01 06:22

完整大数据学习路线，看了就会有所收获

大数据大数据学习路线1.Java基础——主要部分是JavaSE1.1Java初级1.2Java高级1.3其余常见基础......2.Linux基础——主要指的是Linux基本命令操作3.Hadoop生态学习
白振峰·2023-09-01 04:07

大数据学习：impala基础

impala基础1.impala介绍1.1impala概述Impala是Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sq工具。impala是参照谷歌的新三篇论文（Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel
zui初的梦想·2023-09-01 04:05

大数据学习：Hive企业级调优

Hive企业级调优1.Hive表的数据压缩1.1数据的压缩说明压缩模式评价可使用以下三种标准对压缩方式进行评价1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好2、压缩时间：越快越好3、已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个Mapper程序处理，可以更好的并行化常见压缩格式压缩方式压缩比压缩速度解压缩速度是否可分割gzip13.4%21MB/s118MB/s否b
zui初的梦想·2023-09-01 04:05

大数据学习：Hive主流文件存储格式对比

Hive主流文件存储格式对比1.hive的SerDe1.1hive的SerDe是什么Serde是Serializer/Deserializer的简写。hive使用Serde进行行对象的序列与反序列化。最后实现把文件内容映射到hive表中的字段数据类型。为了更好的阐述使用SerDe的场景，我们需要了解一下Hive是如何读数据的(类似于HDFS中数据的读写操作)：HDFSfiles–>InputFil
zui初的梦想·2023-09-01 04:34

大数据学习：haproxy实现impala的负载均衡

HAProxy实现Impala的负载均衡1.HAProxy安装及启停1.1在集群中选择一个节点，使用yum方式安装HAProxy服务[root@data01-dev~]#yum-yinstallhaproxy1.2启动与停止HAProxy服务，并将服务添加到自启动列表[root@data01-dev~]#servicehaproxystart[root@data01-dev~]#serviceha
zui初的梦想·2023-09-01 04:33

大数据学习之路之HBASE

Hadoop之HBASE一、HBASE简介HBase是一个开源的、分布式的，多版本的，面向列的，半结构化的NoSql数据库，提供高性能的随机读写结构化数据的能力。它可以直接使用本地文件系统，也可以使用Hadoop的HDFS文件存储系统。不过，为了提高数据的可靠性和系统的健壮性，并且发挥HBase处理大数据的能力，使用HDFS作为文件存储系统才更为稳妥。HBase存储的数据从逻辑上来看就像一张很大的
王小冬·2023-09-01 00:27

大数据学习：Hive安装部署

Hive的安装部署注意hive就是一个构建数据仓库的工具，只需要在一台服务器上安装就可以了，不需要在多台服务器上安装。此处以安装到node03为例；请大家保持统一使用hadoop普通用户操作1.1先决条件搭建好三节点Hadoop集群；node03上先安装好MySQL服务；1.2准备安装包下载hive的安装包http://archive.cloudera.com/cdh5/cdh/5/hive-1.
zui初的梦想·2023-08-31 20:34

Hive-安装与配置（1）

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Hive环境介绍2.搭建环境准备3.建立Hive元数据库
beixi@·2023-08-31 09:01

Hive-启动与操作（2）

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~上一篇文章写到了Hive的安装与配置，这篇文章接着上篇文章延伸
beixi@·2023-08-31 09:58

大数据学习教程SD版第七篇【Hive】

1.Hive简介数据仓库工具，将结构化数据映射成二维表，并提供类SQL查询，底层把HQL转换成MR程序Hive自带的客户端hiveclientbeelineclient特点HQL用于数据分析，但处理处理粒度粗处理大数据，但延迟高支持自定义函数架构原理Metastore元数据存储Client客户端MapReduce计算引擎HDFS数据源解析器解析HQL映射关系，元数据编译器把HQL转化成MR优化器优
道-闇影·2023-08-30 08:32

大数据学习步骤

我就大致列一下，各种框架的一个学习步骤吧：注意：下面列出来的顺序只是个人建议，可以根据个人实际情况来调整顺序linux基础和javase基础【包含mysql】这些是基本功，刚开始也不可能学的很精通，最起码要对linux中的一些基本的命令混个脸熟，后面学习各种框架的时候都会用到，用多了就熟悉了。javase的话建议主要看面向对象，集合，io，多线程，以及jdbc操作即可。zookeeperzooke
摩羯青春我掌握·2023-08-29 18:27

HBase集群环境搭建与测试

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.HBase集群环境介绍2.搭建环境准备3.搭建步骤
beixi@·2023-08-28 21:22

ZooKeeper集群环境搭建

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.ZooKeeper集群环境介绍2.搭建环境准备3.
beixi@·2023-08-28 21:22

0201hdfs集群部署-hadoop-大数据学习

文章目录1前言2集群规划3hadoop安装包上传与安装3.1上传解压4hadoop配置5从节点同步和环境变量配置6创建用户7集群启动8问题集8.1InvalidURIforNameNodeaddress(checkfs.defaultFS):file:///hasnoauthority.结语1前言下面我们配置下单namenode节点hadoop集群，使用vmware虚拟机环境搭建。vmware虚拟
gaog2zh·2023-08-28 06:31

大数据-----软件开发模型（详细讲解）

大数据学习免费学习资料（免费教程）软件工程中，常用的开了模型有四种：瀑布模型、原型模型、增量模型和螺旋模型。
ItStar·2023-08-28 00:26

Spark Local环境搭建及测试

【大数据学习记录篇】-持续更新中~篇一：Linux系统下配置java环境篇二：hadoop伪分布式搭建（超详细）篇三：hadoop完全分布式集群搭建（超详细）-大数据集群搭建文章目录1.SparkLocal
beixi@·2023-08-27 23:10

Spark on Yarn集群模式搭建及测试

【大数据学习记录篇】-持续更新中~点击传送：大数据学习专栏持续更新中，感谢各位前辈朋友们支持学习~文章目录1.SparkonYarn集群模式介绍2.搭建环境准备3.搭建步骤1.SparkonYarn集群模式介绍
beixi@·2023-08-27 23:10

Spark Standalone环境搭建及测试

【大数据学习记录篇】-持续更新中~篇一：Linux系统下配置java环境篇二：hadoop伪分布式搭建（超详细）篇三：hadoop完全分布式集群搭建（超详细）-大数据集群搭建篇四：SparkLocal环境搭建及测试文章目录
beixi@·2023-08-27 23:08

大数据学习之MapReduce

1.MapReduce定义Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。2.MapReduce优缺点优点MapReduce易于编程。它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量
在远方的你等我·2023-08-27 17:45

大数据学习之路

万字长文，纯干货，建议收藏阅读。大纲：一、开篇致辞二、为什么要学大数据三、学习大数据门槛四、学习路线&独家干货（学生、在职、零基础）五、推荐书单六、Q&A一、开篇致辞我今年大四，大二的时候先后在厦门的两家小公司实习Java，大三的时候在ApcheKylin的贡献团队Kyligence实习，现在在一家西班牙集团就职大数据开发。首先感谢我大二的第一份实习，它是我职场上的启蒙之旅，以致我后面的一个技术视
程序员峰哥·2023-08-26 17:28

StreamingWarehouse的一些思考和未来趋势

全网最全大数据学习面试社区等你来！一篇笔记。以Hudi、Iceberg、Paimon这几个框架为例，它们支持高效的数据流/批读写、数据回溯以及数据更新。
王知无(import_bigdata)·2023-08-25 23:11

大数据资深工程师：阿里搜索技术，在AI路还能走了多远？

，我自己是名大数据程序员，建了一个大数据资源共享群593188212每天分享大数据学习资料和学习方法欢迎初学和进阶中的
阿福大数据·2023-08-24 15:48

单机数万QPS！Apache Doris高并发特性解读

全网最全大数据学习面试社区等你来！
王知无(import_bigdata)·2023-08-23 09:02

大数据学习的必备五大核心技术

大数据系统的技术庞大而复杂。基础技术包括数据采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等技术类别和不同的技术层次。首先，本文给出了一个通用的大数据处理框架，主要分为以下几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。一、数据采集和预处理对于来自不同来源的数据，包括移动互联网数据、社交网络数据等，这些结构化和非结构化的海量数据是分散
AydanLinux·2023-08-23 03:57

HPE服务器常见报错信息以及解决方案

Controllersarenolongerredundant控制器不再冗余HPEDynamicSmartArrayB140idrivesarenotfoundwhenRAIDmodeisdisabled禁用RAID模式时找不到HPE
遇到我又惊又喜·2023-08-22 10:01

0101前期准备-大数据学习

文章目录1前言2配置VMware虚拟机2.1设置主机名和固定IP2.2本地系统与Linux系统配置主机名映射2.3配置虚拟机之间用户的SSH免密互通2.4安装JDK环境2.5关闭防火墙和SELinux2.6更新时区和同步时间2.7保存虚拟机快照结语1前言我们从基础的hadoop开始学起，关于学习环境的搭建，可以基于虚拟机也可以选择云平台，这里我们选择vmware虚拟机。2配置VMware虚拟机关于
gaog2zh·2023-08-20 11:41

大数据Flink学习圣经：一本书实现大数据Flink自由

《尼恩大数据面试宝典》面试题集合，将变成大数据学习和面试的必读书籍。于是，尼恩架构团队趁热打铁，推出《大数据Flink学习圣经》，《大数据HBASE学习圣经》《大数据Flink学习圣经
40岁资深老架构师尼恩·2023-08-19 10:47

大数据学习之Hadoop——06Hadoop序列化

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop序列化概念1.序列化概述什么是序列化序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输反序列化就是将收到的字节序列(其他数据传输协议)或是磁盘的持久化数据,转换成内存中的对象为什么要序列化一般来说，“活的“对象只生存在内存里，关机断电就没有了。而且
Jiang锋时刻·2023-08-18 15:19

大规模机器学习(Large Scale Machine Learning)

大数据学习的问题：计算问题如果有一亿条训练数
带刺的小花_ea97·2023-08-17 02:08

网易云音乐实时数仓治理优化实践

全网最全大数据学习面试社区等你来！导读今天分享的主题是实时数仓治理的优化实践。
王知无(import_bigdata)·2023-08-16 18:02

大数据面试实际场景类问题怎么准备，实在遭不住了！

全网最全大数据学习面试社区等你来！前几天我发了一个面试总结的文章，实际场景类问题在大数据领域面试的占比越来越多。
王知无(import_bigdata)·2023-08-16 18:02

基于Doris实时数据开发的一些注意事项

全网最全大数据学习面试社区等你来！最近Doris的发展大家是有目共睹的。例如冷热分离等新特性的持续增加。使得Doris在易用和成本上都有大幅提升。
王知无(import_bigdata)·2023-08-16 18:02

Doris2.0时代的一些机遇和挑战！

全网最全大数据学习面试社区等你来！上个周五的时候，Doris官宣了2.0版本，除了在性能上的大幅提升，还有一些特性需要大家特别关注。
王知无(import_bigdata)·2023-08-16 18:31

全网最全、最详细、最全面的 Hadoop大数据学习教程（ 2023最新版 ）

大家好，我是民工哥！前面给大家介绍了：关系型数据库MySQL、NoSQL数据库Redis、MongoDB、搜索引擎ElasticSearch等知识体系学习的文章。在当今这样的就业大背景下，卷是肯定的，强大自己也是必须的。所以，学习不能停，必须一直卷下去。截止今天，又一个知识体系的学习之旅：大数据Hadoop框架卷完了。希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！大数据概述大数据
·2023-08-15 18:50

VMware ESXi 8.0U1c macOS Unlocker & OEM BIOS (标准版和厂商定制版) 8月更新

VMwareESXi8.0U1cmacOSUnlocker&OEMBIOS(标准版和厂商定制版)2023年8月更新ESXi8.0U1标准版，Dell(戴尔)、HPE(慧与)、Lenovo(联想)、Inspur
·2023-08-15 16:24

VMware ESXi 7.0 U3n macOS Unlocker & OEM BIOS (标准版和厂商定制版) 8月更新

VMwareESXi7.0U3nmacOSUnlocker&OEMBIOS(标准版和厂商定制版)2023年8月更新ESXi7.0标准版和Dell(戴尔)、HPE(慧与)、Lenovo(联想)、Inspur
·2023-08-15 16:23

2021-08-20全网疯传的字节跳动 2021 最新大数据学习路线（最最最完整详细版）建议收藏

今天不说别的，开门见山。我知道，很多人都会在互联网上寻找一些学习的干货，可是质量不高、讲的不够精华让人总不痛快！很多干货资料看着多么的牛，实际上内容真的很水。数字化这一块，干货资料不应该是讲什么虚头巴脑的概念，而是应该直接从场景切入，把是什么、为什么、怎么做讲的明明白白，这才是真正有价值的。我整理了一些，如果是大数据行业的，这些够你学很久很久，大数据全套学习路线+全集教程。大数据是对海量数据进行存
鱼柒7·2023-08-14 22:44

2018-12-01 大数据学习

今天完成这两天完成的不多，主要是调通搭建的那个用于测试的大数据集群，完成了将数据写入hbase的部分。在过程中遇到一个问题，就是hbase的client端可以和zookeeper建立会话，但是会话建立后就一直卡在那里没有继续往下执行。一开始以为是zk集群和hadoop集群的ip地址问题，因为这个集群是部署在阿里云上的，所以会有内部ip和公网ip的转换，以前在旧公司用openstack搭大数据测试集
Bitson·2023-08-13 04:38

学习大数据月薪过万的秘密

大数据学习扣裙：740041381大数据工资高吗？事实上，大
金光闪闪耶·2023-08-12 00:50

大数据学习路线

一、linux基础（基本掌握）二、java多线程、并发包下的队列、JMS、JVM、反射和动态代理学习参考书籍《深入理解Java虚拟机》、《Java高并发实战》三、zookeeper(Zookeeper分布式协调服务介绍、Zookeeper集群的安装部署、Zookeeper数据结构、命令、Zookeeper的原理以及选举机制)四、Hadoop（HDFS：HDFS的概念和特性、HDFS的shell操作
记得_5d12·2023-08-11 10:38

HPE Microserver GEN10升级BIOS

到手的机子BIOS版本还是ZA10A290，非常有必要升级，便从HPE官网下载了最新的版本：ZA10A360。选择UEFIShell方式更新。
markul·2023-08-11 08:40

HPE Microserver GEN10安装Debian10

使用机械硬盘做系统盘进行安装时，若IOMMU打开会导致检测不到硬盘而无法安装，解决的办法是关闭IOMMU。究其原因是是raid卡（Marvell88SE9230）的bug导致。光驱位置安装的SSD硬盘做系统盘则无此问题，这是因为SSD直接连接到主板SATA接口，而机械硬盘是连接到raid卡的。但若服务器安装虚拟机，又需要打开IOMMU，直接打开会导致系统无法启动，这时需要配置一下grub来解决此问
markul·2023-08-11 08:09

大数据学习之Hadoop——02Hadoop集群安装

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop伪分布式安装：1.自身免秘钥(前提):$ssh-keygen-trsa-P''-f~/.ssh/id_rsa$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keysimage在这里插入图片描述2.安装hadoop：解压hadoop安装包tarxfhadoop-2
Jiang锋时刻·2023-08-11 03:28
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他