Hadoop系统架构

hive tez出现java堆内存溢出进行调优

运行hive任务的时候出现了错误，日志如下：ERROR:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.tez.TezTask.Vertexfailed
旺旺_865f·2023-12-24 17:36

29.Java程序设计-基于Springboot的幼儿园管理系统的设计与实现

3.系统架构设计概述系统架构：前端、后端、数据库等组件的关系。选择SpringB
努力加载中。。。588·2023-12-24 17:30

【Hive_04】分区分桶表以及文件格式

1、分区表1.1分区表基本语法（1）创建分区表（2）分区表读写数据（3）分区表基本操作1.2二级分区1.3动态分区2、分桶表2.1分桶表的基本语法2.2分桶排序表3、文件格式与压缩3.1Hadoop压缩概述
温欣2030·2023-12-24 16:41

大数据开发都要学习什么？什么是大数据平台？

大数据平台知识：是大数据开发的基础，在学习期间，往往以搭建Hadoop、Spark平台为主，一方面Hadoop对机器的硬件要求不高，另一方面Hadoo
金光闪闪耶·2023-12-24 14:49

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.

Hadoop启动时警告，但不影响使用，强迫症的我还是决定寻找解决办法WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER
玖玖1704·2023-12-24 12:59

hdfs.DataStreamer: Exception in createBlockOutputStream XXXXX

java.io.IOException:Goterror,status=ERROR,statusmessage,ackwithfirstBadLinkas192.168.100.13:9866atorg.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus
玖玖1704·2023-12-24 12:28

springboot 注入 restTemplate

restTemplate简介：REST（RepresentationalStateTransfer）是RoyFielding提出的一个描述互联系统架构风格的名词。
黑客和白帽子的故事·2023-12-24 12:51

架构设计内容分享(六十)：480万商品，如何架构商品治理平台？

背景系统架构介绍早期的治理系统治理系统架构升级抽象思维显神威难点问题巧手破业务难点问题技术难点问题治理触达终落地治理业务全景图未来规划总结480万商品，京东如何架构商品治理平台？
之乎者也··2023-12-24 12:41

架构设计内容分享(八)：10Wqps 超高并发 API网关 架构演进之路

目录API网关的业务架构API网关选型常见网关对比基于SpringCloudGateway实现业务网关10Wqps天翼网关系统架构演进历程API网关的业务架构从应用程序架构的变迁过程可以发现，随着业务多变性
之乎者也··2023-12-24 12:10

（免费领源码）c# 社区人员管理系统36303- 计算机毕业设计项目选题推荐

数据增加流程2.2.2数据修改流程52.2.3数据删除流程52.3系统功能分析62.3.1功能性分析62.3.2非功能性分析62.4系统用例分析72.5本章小结103社区人员管理系统总体设计113.1系统架构设计
2301_3224142804·2023-12-24 11:26

【Hadoop篇08】Hadoop数据压缩

简洁而不简单Hadoop数据压缩数据压缩优点和缺点压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。
focusbigdata·2023-12-24 10:00

《PySpark大数据分析实战》-04.了解Spark

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-06.安装环境准备

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-02.了解Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:02

《PySpark大数据分析实战》-01.关于数据

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

《PySpark大数据分析实战》-18.什么是数据分析

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

PMP项目管理 - 进度管理

系列文章目录系统架构设计PMP项目管理-整合管理PMP项目管理-范围管理PMP项目管理-质量管理PMP项目管理-采购管理PMP项目管理-资源管理PMP项目管理-风险管理PMP项目管理-沟通管理现在的一切都是为将来的梦想编织翅膀
Allen.Su·2023-12-24 09:26

PMP项目管理 - 成本管理

系列文章目录系统架构设计PMP项目管理-整合管理PMP项目管理-范围管理PMP项目管理-质量管理PMP项目管理-采购管理PMP项目管理-资源管理PMP项目管理-风险管理PMP项目管理-沟通管理现在的一切都是为将来的梦想编织翅膀
Allen.Su·2023-12-24 09:56

【新版】软考 - 系统架构设计师（总结笔记）

→点击笔者主页，欢迎关注哦（互相学习，共同成长）笔记目录【系统架构设计系列】系统架构设计专业技能计算机组成与结构操作系统信息安全技术网络规划与设计信息系统基础系统工程与系统性能数据库设计软件工程之过程开发模型软件工程之需求工程软件工程之系统分析与设计软件工程之软件测试与维护软件工程之
Allen.Su·2023-12-24 09:52

几种常用关系型数据库介绍

数据库管理系统是用于创建,维护与管理数据库的系统软件，是搭建其他应用环境所必备的软件之一，是软件系统架构的重要组成部分。对于IT人员，不论是开发还是测试人员都是其必须掌握的软件。
川石教育·2023-12-24 09:40

Flink数据类型&&序列化&&序列化器

2、一些RPC框架也提供序列化功能，比如：（1）最初用于Hadoop的【ApacheAvro】（2）Facebook开发
@可能·2023-12-24 08:50

大数据高级开发工程师——Hadoop学习笔记（7）

文章目录Hadoop进阶篇YARN：Hadoop资源调度系统什么是YARNYARN架构剖析1.ResourceManager2.NodeManager3.Container4.ApplicationMaster5
讲文明的喜羊羊拒绝pua·2023-12-24 08:24

Hadoop学习笔记（一）分布式文件存储系统 —— HDFS

概念HDFS（HadoopDistributedFileSystem），Hadoop分布式文件系统，用来存超大文件的。
zhang35·2023-12-24 08:54

大数据高级开发工程师——Hadoop学习笔记（1）

文章目录Hadoop基础篇Hadoop集群安装环境准备服务器准备设置时钟同步三台虚拟机添加普通用户三台虚拟机定义统一目录三台虚拟机hadoop用户设置免密登录三台虚拟机安装jdkhadoop集群安装环境部署规划安装包下载查看
讲文明的喜羊羊拒绝pua·2023-12-24 08:53

Hadoop入门学习笔记——二、在虚拟机里部署HDFS集群

pwd=5ay8Hadoop入门学习笔记（汇总）目录二、在虚拟机里部署HDFS集群2.1.部署node1虚拟机2.2.部署node2和node3虚拟机2.3.初始化并启动Hadoop集群（格
faith瑞诚·2023-12-24 08:23

Hadoop学习笔记(3)——MapReduce入门

一、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。”map"负责分，即把复杂的任务分解为若干简单的任务来处理。前提是这些小任务可以并行计算，彼此间几乎没有依赖关系“Redude”负责合，即对map阶段的结果进行全局汇总1.MapReduce设计构思MapRed
今天有没有写代码·2023-12-24 08:53

hadoop大数据学习笔记

一、Hadoop的作用本质来说hadoop的作用是在多计算机集群环境中营造一个统一而稳定的存储和计算环境，并能为其他分布式应用服务提供平台支持。
驰宇爱吃鱼·2023-12-24 08:53

在虚拟机中执行Hive命令该如何操作呢？

前期准备配置hive环境启动hive#输入用户名密码，登录hadoop⽤户#启动集群[hadoop@node100hadoop]$start-all.sh#进⼊到hive安装⽬录[hadoop@node100ha
纪筱白·2023-12-24 08:53

linux及hadoop入门,Hadoop学习全程记录——Hadoop入门

开始学习Hadoop，从今天起，想把我学习hadoop全过程记录一下。我会记录在学习过程中碰到的问题、困难以及解决方法等等，如果你也是刚学hadoop，我们可以一起讨论。
weixin_39675926·2023-12-24 08:23

Hadoop+Hive学习笔记-4

Hadoop集群搭建配置三台虚拟机之间的免密登录1切换到root用户：crontab-e在第一行写入：*/5****/usr/sbin/ntpdatentp1.aliyun.com三台机器都一同操作，这一步让三台机器的时间服务器一致
fwings260·2023-12-24 08:22

hadoop学习笔记(五)Hive安装部署

Hive安装部署Hive安装及配置配置已经完成,在此处启动hadoop集群Hive常用命令将本地文件导入Hive案例安装MySqlHive元数据配置到MySqlHive安装及配置下载地址:https:/
So.j·2023-12-24 08:22

Hadoop学习之HDFS——小白入门笔记

一、分布式文件系统1.分布式文件系统解决问题：海量数据的高效存储2.分布式文件系统是将文件分布存储到多个计算机节点上。（此处的计算机为普通计算机）3.分布式文件系统的多个节点分为两类：名称节点（主节点）：文件、目录的操作（创建、删除、重命名等），数据节点与文件块的映射关系数据节点（从节点）：数据的读取与存储二、HDFS概念1.名称节点：管理分布式文件的命名空间。包含FsImage，Editlog两
cainiao22222·2023-12-24 08:52

SpringBoot 3 集成Hive 3

前提条件:运行环境：Hadoop3.*+Hive3.
在奋斗的大道·2023-12-24 07:46

Hadoop入门学习笔记——六、连接到Hive

pwd=5ay8Hadoop入门学习笔记（汇总）目录六、连接到Hive6.1.使用Hive的Shell客户端6.2.使用Beeline客户端连接HiveServer2操作Hive6.3.使用
faith瑞诚·2023-12-24 07:10

Hadoop入门学习笔记——五、在虚拟机中部署Hive

pwd=5ay8Hadoop入门学习笔记（汇总）目录五、在虚拟机中部署Hive5.1.在node1虚拟机安装MySQL5.2.配置Hadoop5.3.下载并加压Hive5.4.下载MySQL
faith瑞诚·2023-12-24 07:09

Hadoop入门学习笔记——三、使用HDFS文件系统

pwd=5ay8Hadoop入门学习笔记（汇总）目录三、使用HDFS文件系统3.1.使用命令操作HDFS文件系统3.1.1.HDFS文件系统基本信息3.1.2.HDFS文件系统的2套命令体系
faith瑞诚·2023-12-24 07:39

Hadoop入门学习笔记——四、MapReduce的框架配置和YARN的部署

pwd=5ay8Hadoop入门学习笔记（汇总）目录四、MapReduce的框架配置和YARN的部署4.1.配置MapReduce和YARN4.2.YARN集群启停脚本4.2.1.一键启停脚
faith瑞诚·2023-12-24 07:39

Hadoop入门学习笔记——七、Hive语法

pwd=5ay8Hadoop入门学习笔记（汇总）目录七、Hive语法7.1.数据库相关操作7.1.1.创建数据库7.1.2.选择数据库7.1.3.描述数据库详细信息7.1.4.创建数据库并指
faith瑞诚·2023-12-24 07:37

Hadoop入门学习笔记——一、VMware准备Linux虚拟机

pwd=5ay8Hadoop入门学习笔记（汇总）目录一、VMware准备Linux虚拟机1.1.VMware安装Linux虚拟机1.1.1.修改虚拟机子网IP和网关1.1.2.安装Linux
faith瑞诚·2023-12-24 07:37

【zookeeper特点】

文章目录1.Zookeeper介绍2、ZooKeeper数据结构1.Zookeeper介绍ZooKeeper是一个开源的分布式协调框架，是ApacheHadoop的一个子项目，主要用来解决分布式集群中应用系统的一致性问题
向前再向前·2023-12-24 06:33

centos 安装 Miniconda

确保选择与您的系统架构（例如，64位）相匹配的版本。例如，要下载Miniconda的最新版本，请在终端中运行以下命令
MonkeyKing.sun·2023-12-24 06:00

【kafka】在linux中安装并简单部署使用

消息代理下载本地伪分布式安装配置启动伪分布式集群创建主题消费者生产者简介分布式流处理平台：发布订阅消息队列、具有存储功能、一个流处理框架优势吞吐量好，性能好伸缩性好，支持在线扩展容错性和可靠性（容错性：一个消息存储三份）与大数据生态紧密结合，可无缝对接hadoop
古枫桐·2023-12-24 05:35

Hadoop

一、大数据分布式1.1数据导论1.什么是数据？人类的行为及产生的事件的一种记录称之为数据2.数据有什么价值？对数据的内容进行深入分析，可以更好的帮助了解事和物在现实世界的运行规律比如，购物的订单记录（数据）可以帮助平台更好的了解消费者，从而促进交易。1.2大数据诞生1.大数据的诞生是跟随着互联网的发展的当全球互联网逐步建成（2000年左右），各大企业或政府单位拥有了海量的数据亟待处理。基于这个前提
weixin_50458070·2023-12-24 05:33

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

一、Hadoop1.1.概念就是一个大数据解决方案。它提供了一套分布式系统基础架构。核心内容包含hdfs和mapreduce。
套马杆的程序员·2023-12-24 04:49

数据同步利器之seatunnel篇

前言前面几篇文章分别介绍了hadoop生态圈的一些组件，但都是用来处理和接收消息的，虽然也具备同步数据的能力，但或多或少的都会涉及一些编程相关的知识，对于只是简单快速的数据同步需求来说，可能稍显麻烦，这时候就如果有一个数据同步的工具
以茉萱·2023-12-24 02:48

hadoop 3.3.3集群安装部署

由于之前项目使用的都是成熟的大数据产品CDH或者HDP，里面封装了多个大数据组件，对于企业而言，无论是体验还是维护都比较友好，但对于开发人员来说，太过于集成，反而不太好了解各个组件具体的配置细节，本篇文章就从hadoop
以茉萱·2023-12-24 02:18

zookeeper3.7.1集群部署安装

[在这里插入图片描述](https://img-blog.csdnimg.cn/direct/05315462411f4157ad6f0bd72b288749.png)总结前言上篇内容关于hadoop集
以茉萱·2023-12-24 02:18

千亿级工业大数据的最优方案！智光电气的时序数据库应用

小T导读：此前，智光电气（股票代码：002169）子公司智光研究院在工业项目中使用基于ApacheHadoop的CDH集群来做时序业务数据的处理，但由于数据量级太大，处理占用了大量资源，导致集群有发生崩溃的风险
涛思数据（TDengine）·2023-12-24 01:25

如何进行微服务测试？

以下是进行微服务测试的一般性步骤：1.确定系统架构了解微服务架构对成功测试至关重要。确定每个微服务的职责、接口、依赖项和通信方式。了解这些信息可以帮助您更好地规划测试用例和测试策略。
跟我一起学测试呀·2023-12-23 23:44
上一页 46 47 48 49 50 51 52 53 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他