云原生hadoop

DevOps -分布式追踪与监控

DevOps中的分布式追踪与监控在当今的DevOps环境中，随着微服务架构和云原生应用的广泛采用，系统复杂性显著增加，传统的监控方式已经无法满足现代分布式系统的需求。
Flying_Fish_Xuan·2024-09-13 12:46

分布式离线计算—Spark—基础介绍

原文作者：饥渴的小苹果原文地址：【Spark】Spark基础教程目录Spark特点Spark相对于Hadoop的优势Spark生态系统Spark基本概念Spark结构设计Spark各种概念之间的关系Executor
测试开发abbey·2024-09-13 11:11

spark常用命令

hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
我是浣熊的微笑·2024-09-13 10:38

spark启动命令

hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03
学不会又听不懂·2024-09-13 10:36

编程常用命令总结

编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
Yellow0523·2024-09-13 02:42

Hadoop常见面试题整理及解答

Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。
叶青舟·2024-09-12 19:24

Nacos的应用

Nacos是一个开源的分布式服务发现和配置管理平台，可以帮助开发人员和运维人员更好地管理微服务和云原生应用。本文将详细介绍Nacos的应用，包括其主要功能、使用场景和具体步骤。
chen_xiayu·2024-09-12 13:15

K8s也面向对象？学会这三要素，用K8s就跟编程一样

是的，K8s也面向对象K8s这个体系也是面向对象的，听起来有没有那么一点点那么颤抖，天天上班、回家都得面向"对象”了，到头来学学云原生基建，结果还得面向对象。
技术栈·2024-09-12 10:38

NineData云原生智能数据管理平台新功能发布｜2024年8月版

本月发布10项更新，其中重点发布5项、其他发布5项。重点发布数据库DevOps-敏感数据保护功能大幅升级敏感数据保护全新升级，新增支持敏感数据等级，方便进行分类分级管控，加入数据类型概念，用于智能识别数据源中的敏感字段并支持自动添加。同时加入敏感数据大盘，让系统管理员可轻松了解当前组织下敏感数据的整体状态。另外还新增了多种脱敏算法和识别规则，现已可覆盖大部分用户场景。数据库DevOps-数据库De
NineData·2024-09-11 21:33

2025毕业设计指南：如何用Hadoop构建超市进货推荐系统？大数据分析助力精准采购

⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于hadoop的超市进货推荐系
计算机编程指导师·2024-09-11 18:08

一分钟了解云原生应用实践与未来趋势

一分钟了解云原生应用实践与未来趋势1.什么是云原生云原生既包含技术（微服务，敏捷基础设施），也包含管理（DevOps，持续交付等），是一系列Cloud技术、企业管理方法的集合。
shawn2000·2024-09-11 15:57

Windows下的TCP UDP网络调试工具-NetAssist以及Linux下的nc网络调试工具_tcp网络调试工具(1)

这次整理的面试题，小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。
2401_83947434·2024-09-11 13:36

Hadoop Common 之序列化机制小解

这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。
猫君之上·2024-09-11 08:59

深入理解hadoop(一)----Common的实现----Configuration

一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml
maoxiao_jsd·2024-09-11 08:59

hadoop 0.22.0 部署笔记

hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。
weixin_33701564·2024-09-10 17:41

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4)

org.apache.hadoophadoop-com
2401_84160087·2024-09-10 16:34

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
2401_84160087·2024-09-10 16:04

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney·2024-09-10 12:39

Hadoop的搭建流程

文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量
lzhlizihang·2024-09-10 07:06

hive搭建 -----内嵌模式和本地模式

文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹
lzhlizihang·2024-09-10 07:06

Hadoop之mapreduce -- WrodCount案例以及各种概念

文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
lzhlizihang·2024-09-10 07:06

IAAS: IT公司去IOE-Alibaba系统构架解读

从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现
wishchin·2024-09-10 04:18

软件架构的技术选型应该考虑哪些因素

如果项目是云原生的，那么Kuberne
jlzjtz·2024-09-10 04:14

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
Vez'nan的幸福生活·2024-09-09 23:00

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x
why do not·2024-09-09 23:58

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

Hadoop YARN【一】

YARN概念YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。
冷雨夜下的星空·2024-09-09 22:26

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn
Lansonli·2024-09-09 22:22

starrocks和clickhouse数据库比较

支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
CodeMaster_37714848·2024-09-09 16:12

【云原生】Kubernetes----ETCD数据的备份与恢复

目录引言一、ETCD数据备份（一）确定备份策略（二）使用etcdctl工具进行备份1.安装etcdctl命令2.设置ETCDCTL_API环境变量（三）执行备份二、数据还原（一）创建新资源（二）数据恢复1.停止etcd服务和K8s集群的相关组件2.备份当前数据3.恢复数据4.重启服务三、验证效果引言在Kubernetes集群中，ETCD是一个至关重要的组件，负责存储集群的状态信息和配置数据。从集群
智能运维探索者·2024-09-09 14:00

大数据（Hbase简单示例）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName
BL小二·2024-09-09 13:18

Hbase的简单使用示例

HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。
傲雪凌霜，松柏长青·2024-09-09 11:40

网格化服务 java_准备好使用本机，服务网格化的Java Enterprise Cloud

带有现代应用程序服务器的JavaEE通过使开发人员能够实施精益业务逻辑，可以与云原生技术很好地集成。JavaEE，云原生和服
cunfu6353·2024-09-09 07:43

深智城基于超融合数据库MatrixOne的一站式交通大数据平台改造

然而，在实际生产中会发现数据处理缺陷、管理复杂度高、云原生基础设施兼容性不足等问题。
MatrixOrigin·2024-09-09 07:42

Containerd初体验

该项目最初是由Docker开发团队创建的,并在后来成为一个独立的项目,被纳入了cloudNativeComputingFoundation(云原生计算基金会CNCF)的孵化项目中。
他@·2024-09-09 05:57

Hbase、hive以及ClickHouse的介绍和区别？

一、Hbase介绍：HBase是一个分布式的、面向列的开源数据库，由ApacheSoftwareFoundation开发，是Hadoop生态系统中的一个重要组件。
damokelisijian866·2024-09-08 23:43

华为云发布《云原生2.0架构白皮书》，GaussDB技术再升级

近期，在华为伙伴暨开发者大会2022，华为云CTO张宇昕发布了《云原生2.0架构白皮书》，包括云原生数据库在内，介绍了云原生2.0的关键特征、架构模式，以及优秀实践，为企业数字化升级注入了云原生2.0新动力
是怼怼呀11·2024-09-08 23:13

Flink - CEP

Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。
kikiki1·2024-09-08 21:46

chapter01 Java语言概述 知识点Note

JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker
月下绯烟·2024-09-08 18:42

helm2和helm3的区别及helm2的安装使用

1.从Helm2到Helm3helm是一个k8s应用包管理工具，负责云原生应用的安装部署和生命周期管理2.Helm2两个主要的组件Tiller：helm的服务端，部署在k8s里面的一个pod，通常在kube-system
Rami·2024-09-08 18:13

基于云原生向量数据库 PieCloudVector 的 RAG 实践

近年来，人工智能生成内容（AIGC）已然成为最热门的话题之一。工业界出现了各种内容生成工具，能够跨多种模态产生多样化的内容。这些主流的模型能够取得卓越表现，归功于创新的算法、模型规模的大幅扩展，以及海量的高质量数据集。然而AIGC依然面临一系列挑战，检索增强生成（RAG）技术作为LLM的一项重要补充被提出。本文将结合实例演示，和大家一起探索基于PieCloudVector的RAG实践。AIGC强调
OpenPie｜拓数派·2024-09-08 17:08

Hive和Hbase的区别

Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。
傲雪凌霜，松柏长青·2024-09-08 17:37

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

Hive的优势Hive作为一个构建在Hadoop上的数据仓库工具，具有许多优势，特别是在处理大规模数据分析任务时。
傲雪凌霜，松柏长青·2024-09-08 17:07

大数据技术之Hadoop（一）

Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
pauls·2024-09-08 16:30

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50

使用 ELK Stack 进行云原生日志记录和监控：AWS 中的开发运营方法

使用ELKStack进行云原生日志记录和监控欢迎来到雲闪世界。在当今的云原生世界中，日志记录和监控是强大的DevOps策略的重要组成部分。
数云界·2024-09-08 11:21

一文读懂金融行业如何做云原生

过去两年，金融行业IT人员对“云原生”充满了疑惑甚至误解。
恒生LIGHT云社区·2024-09-08 08:35

金融业务系统云原生技术转型：从传统架构到云原生的跨越

云原生技术以其敏捷性、弹性和可扩展性，为金融业务提供了强大的技术支撑，使得金融机构能够快速响应市场变化，提供更加个性化和高效的服务。
Jeremy_1022·2024-09-08 08:59
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他