云存储大数据云原生

Hive存储系统全面测试报告

引言在大数据时代，数据存储和处理技术的重要性日益凸显。ApacheHive作为一个基于Hadoop的数据仓库工具，因其能够提供类SQL查询功能（HiveQL）而广受欢迎。
蚂蚁质量·2025-01-29 13:27

企业数字化转型AI能力中台（总体架构、系统功能）建设方案

**企业数字化转型AI能力中台建设方案**一、建设背景与目标随着大数据、云计算、人工智能等技术的快速发展，企业正面临着数字化转型的重要机遇。
公众号：优享智库·2025-01-29 13:25

数据挖掘的常用算法

在大数据时代,数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程,也是一种决策支持过程。
北柠陌寒0207·2025-01-29 07:48

大数据生态的Apache RocketMQ5.0

本文作者：李伟-ApacheRocketMQCommitter，RocketMQPython客户端项目Owner，ApacheDorisContributor，腾讯云消息队列资深开发工程师，著有《RocketMQ分布式消息中间件(核心原理与最佳实践)》。一、RocketMqueue101RocketMQ拥有诸多出色的特性：比如多副本机制，RocketMQ支持存储层的多副本Dledger，它是基于R
Apache RocketMQ·2025-01-29 06:09

阿里巴巴超大规模 Kubernetes 基础设施运维体系介绍

作者：仔仁、墨封、光南序言ASI：AlibabaServerlessinfrastructure，阿里巴巴针对云原生应用设计的统一基础设施。ASI基于阿里云
阿里云云栖号·2025-01-29 06:37

ZooKeeper数据模型和节点类型

ZooKeeper数据模型和节点类型ZooKeeper是一个开源的分布式协调服务，用于管理和协调分布式系统中的大数据。
代码指四方·2025-01-29 05:28

DeepSeek：突破传统的AI算法与下载排行分析

DeepSeek，作为一款基于深度学习技术和大数据算法的搜索引擎，以其独特的优势在国内外市场上引起了广泛关注。下面介绍一下针对De
smart_ljh·2025-01-29 04:53

论云原生架构及其应用

一、引言随着云计算技术的发展，企业在应用开发和运维中逐步向云端迁移，从传统单体架构向云原生架构演进。
一休哥助手·2025-01-29 03:47

2000-2021年上市公司数字化转型数据（MD&A报告词频、文本统计）

2000-2021年上市公司数字化转型数据（MD&A报告词频、文本统计）1、时间：2000-2021年2、来源：上市公司NB3、范围：上市公司4、指标：包括人工智能技术、大数据技术、云计算技术、区块链技术
m0_71334485·2025-01-29 01:29

云原生项目纪事系列 — 搞不清情况的小阿辉

如果得不到这个做事情的机会，好多同事包括你自己工作就没了，家里孩子上学补习费交不起了，房贷还不上了，再选哪个？所以还是做富二代，或者财务有些自由的人比较好，他们可以由着自己的性子来。2023年5月6日，搞不清楚情况的小阿辉（“韦昌辉”）给老模发了以上消息。他自己苦过、饿过、穷过，就以为所有人都跟他一样。不是这块料，硬挺着，没戏。想争权，得要有能人，但能人只和能人在一起，不跟没本事的人打交道。做管理
Moehoo猛虎·2025-01-29 00:19

【高级篇】第7章 Elasticsearch 索引生命周期管理(ILM)

引言在大数据时代，有效地管理数据的生命周期是确保系统性能、成本控制和合规性的关键。Elasticsearch的索引生命周期管理（ILM）为此提供了强大的解决方案。
JAVA和人工智能·2025-01-29 00:18

Elasticsearch 索引生命周期管理：优化大数据存储

Elasticsearch索引生命周期管理：优化大数据存储在处理大规模数据时，存储和检索效率是至关重要的。
静谧星光c·2025-01-29 00:15

运维面试常问的100道题（大数据统计）

一、基础知识类1、请解释什么是运维？运维是指对企业的IT系统进行运行维护，包括硬件设备、软件系统、网络等的监控、管理、优化和故障处理，以确保系统的稳定、高效运行，满足业务需求。2、简述运维的主要职责有哪些？服务器的安装、配置、维护和监控。网络设备的管理和维护。数据库的管理和维护。应用系统的部署、升级和维护。故障处理和应急响应。性能优化和容量规划。安全管理和漏洞修复。3、什么是服务器？有哪些类型？服
m0_67403143·2025-01-28 22:00

基于centos6.5安装ElasticSearch

前面我们讲述了solr的安装搭建过程，今天讲讲ElasticSearch，ElasticSearch是另一款作为分词和搜索的服务器，相比solr，ElasticSearch在做大数据方面更有优势，因为其天然支持分布式
小码农叔叔·2025-01-28 21:51

大数据开发的底层逻辑是什么？

大数据开发的底层逻辑主要围绕数据的生命周期进行，包括数据的采集、存储、处理、分析和可视化等环节。
瑰茵·2025-01-28 18:56

AI智能获客工具的意义是什么

1.2精准定位潜在客户利用机器学习和大数据分析技术，AI
雪叶雨林·2025-01-28 17:49

大数据和智能数据应用架构系列教程之：大数据与人工智能

作者：禅与计算机程序设计艺术1.背景介绍概述“大数据”是指海量、高维、多样化的数据集合。随着人类对数据处理和管理的需求越来越复杂，越来越依赖机器学习、人工智能等新兴技术。
AI天才研究院·2025-01-28 14:28

Scala在大数据和分布式计算领域的应用与优势

大数据和分布式计算是当今信息技术领域的热点话题，它们处理着海量数据并需要高效的计算能力。Scala，作为一种多范式编程语言，因其在并发编程和函数式编程方面的优势，成为大数据和分布式计算领域的理想选择。
夜色呦·2025-01-28 14:24

图文详解 MapReduce on YARN

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2025-01-28 13:20

360大数据面试题及参考答案

数据清理有哪些方法？数据清理是指发现并纠正数据文件中可识别的错误，包括检查数据一致性，处理无效值和缺失值等。常见的数据清理方法有以下几种：去重处理：数据中可能存在重复的记录，这不仅会占用存储空间，还可能影响分析结果。通过对比每条记录的关键属性，若所有关键属性值都相同，则判定为重复记录，可保留其中一条，删除其余重复项。例如在客户信息表中，若有两条记录客户姓名、联系方式、地址等关键信息都一样，就可进行
大模型大数据攻城狮·2025-01-28 12:42

【前沿聚焦】机器学习的未来版图：从自动化到隐私保护的技术突破

在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO
网罗开发·2025-01-28 10:04

LeetCode - #195 Swift 实现打印文件中的第十行

在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO
网罗开发·2025-01-28 10:00

大数据小白系列——YARN(1)

这是大数据小白系列，YARN的第一篇，准确的说是介绍YARN的“前身”，即MapReduce第一版(下称MRv1)中的资源管理系统。
weixin_44386638·2025-01-28 07:13

TaskManager的JVM OOM退出配置

在大数据领域中，TaskManager是执行并行任务的关键组件之一。它负责管理任务的执行和资源分配。在处理大规模数据时，内存管理是一个重要的考虑因素。
艾丽丝的爱情·2025-01-28 02:06

JVM垃圾回收器的原理和调优详解！

全文目录：开篇语前言摘要概述垃圾回收器分类及原理1.Serial垃圾回收器2.Parallel垃圾回收器3.CMS垃圾回收器4.G1垃圾回收器源码解析示例代码使用案例分享案例1：Web服务的GC调优案例2：大数据任务的
喵手·2025-01-28 02:34

Prometheus学习笔记

它能够实时地收集、存储和查询时间序列数据，广泛用于监控云原生应用、微服务架构和容器化环境（如Kubernetes）。
柠檬编程工作室·2025-01-28 02:32

EmEditort v24.5.3世界上最快的文本编辑器

支持宏，Unicode，代码段插件，还能处理大数据以及CSV文件，无需Excel，堪称最强CSV编辑器。软件自带简体中文，支持32位和64位版
jiamianAA·2025-01-27 23:39

极氪汽车 APP 系统云原生架构转型实践

前言新能源汽车已经成为我国汽车市场再次崛起的关键支柱，随着新能源汽车市场的快速发展，不同类型的品牌造车厂商呈现出百花齐放的态势。极氪汽车是吉利控股集团旗下高端纯电汽车新品牌，2021年4月极氪发布首款高端智能电动车型–极氪001，大获市场好评，截至2022年12月，001车型累计交付量突破7万台。连续3个月问鼎自主品牌30万以上豪华纯电车型销量冠军。极氪坚持不止于车的服务体验，除了为客户提供卓越产
阿里巴巴中间件·2025-01-27 22:03

Crawl4AI：用几行代码打造强大的网页爬虫

Crawl4AI：用几行代码打造强大的网页爬虫在人工智能和大数据时代，数据的获取和处理变得尤为重要。尤其是在大型语言模型（LLM）的研究和应用中，如何高效地抓取和整理网络数据成为了一个关键的挑战。
海豹工匠·2025-01-27 21:30

【云原生】【适用小白】SpringCloud Alibaba开源Nacos切换到MSE Nacos

参考阿里云官方文档：NacosClient访问鉴权非常简单，我这里代码部分只更换了2个配置字段就实现了！！！前提条件微服务架构：springcloudalibaba，框架版本升级至2.2.1.RELEASE及以上版本开启公网：本地代码注册到阿里云MSENacos是需要MSENacos开启公网弹性IP的一、选定认证方式凭证提供者初始化方式适用场景是否需要提供前置的AK或****STSToken底层实
登云时刻·2025-01-27 21:56

深度学习探索：ChatGPT数据分析精髓 & 梯度下降优化方法深度剖析

在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO
网罗开发·2025-01-27 20:22

大数据技术之MapReduce

一、MapReduce概述1、MapReduce简介MapReduce是一个分布式运算程序的编程框架，是基于Hadoop的数据分析计算的核心框架。MapReduce处理过程分为两个阶段：Map和Reduce。Map负责把一个任务分解成多个任务，Reduce负责把分解后多任务处理的结果汇总。2、MapReduce优缺点MapReduce优点：MapReduce易于编程：它简单的实现一些接口，就可以完
wespten·2025-01-27 20:21

数据存储容量不足，查询性能下降的解决方法

采用云存储：如果本地存储无法满足需求，可以考虑将数据迁移到云存储平台，这样可以灵活扩展存储，并且无需担心硬件维护。二、优化数据存储架构分区表：对大
是小邪邪呀·2025-01-27 19:18

非凸科技荣登脉脉2024“年度职得去雇主”榜单

本届评选依据脉脉独有的“雇主指数”以及专家评审意见综合评选而出，综合考量了企业在脉脉社区广场、同事圈、行业圈等多个频道口碑，并基于职场大数据训练的专属大模型，客观反映企业在职场人心中的口碑。
·2025-01-27 18:39

2024第五届全球数字经济产业大会：前沿技术引领未来

云计算与大数据云计算和大数据技术作为数字经济的基石，一直是大会的焦点。本届大会上，众多企业展示了他们在云计算平台的创新和大数据应用方面的最新进展。通
·2025-01-27 18:36

anaconda中pyspark_自学大数据——9 Anaconda安装与使用pyspark

首先从Anaconda官网上下载Anaconda。一、解压安装包sudobashAnaconda3-2020.07-Linux-x86_64.shchown-Rhadoop:hadoop/opt/anaconda/vi/etc/profileexportANACONDA_HOME=/opt/anacondaexportPATH=$PATH:$ANACONDA_HOME/bin:source/etc
步六孤陆·2025-01-27 17:59

PySpark数据处理过程简析

PySpark可以直接使用Hadoop文件系统、HDFS来存储数据，也可以通过S3、GCS、ADLS等云存储平台保存数据。因此，在不同的数据源之间移动数据时，只需要复制一次数据就可以完成
AI天才研究院·2025-01-27 17:28

2022-02-09大数据学习日志——PySpark——Spark快速入门&Standalone集群

第一部分Spark快速入门01_Spark快速入门【Anaconda软件安装】[掌握]使用Python编写Spark代码，首先需要安装Python语言包，此时安装Anaconda科学数据分析包。Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。Anaconda是跨平台的，有Windows、MacOS、Linux版本。#下载地址：ht
王络不稳定·2025-01-27 17:28

大数据之Spark运行流程

文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方，可以再看看，附上对应文章的链接：Spark的部署模式，本篇文章主要讨论SparkOnYarn两种部署模式的运行流程。（一）SparkOnYarn集群的Client模式运行流程该模式的Dri
「已注销」·2025-01-27 15:17

R语言学习笔记6-数据框

DataFrame)介绍数据框用途创建数据框从矩阵创建数据框索引和切片添加和修改列数据框的预处理数据框的排序数据框的筛选处理缺失值应用函数处理数据重塑数据框使用dplyr进行数据框的管道操作数据框的时间序列操作大数据框的处理数据框的绘图数据框的文本处理数据框的连接与关联按行或列连接数据框按键值关联数据框数据框的条件处理与逻辑操作条件筛选逻辑操作数据框的汇总与统计分析
Colin♛·2025-01-27 15:17

华为OD机试C卷-- 精准核酸检测（Java & JS & Python & C）

现在根据传染病流调以及大数据分析，得到了每个人之间在时间、空间上是否存在轨迹交叉。现在给定一组确诊人员编号（X1,X2,X3,…,Xn），在所有人当中，
飞码创造者·2025-01-27 14:35

matlab大数据计算技巧（持续更新中）

在matlab中，当数据比较大时，运算起来就困难了，有时候还会outofmemory（例如4000*4000的矩阵，要算矩阵乘法都比较吃力）。此文会记录我学到的一些解决办法：1.将数据的存储类型从double转换成single在matlab中double数据类型占8个字节，single类型占4个字节。把数据类型从double类型转换成single类型可以节省一半的空间。单精度浮点数single的取
tina_lulu_21·2025-01-27 14:04

Matlab：读取和处理大数据表格文本文件

Matlab：读取和处理大数据表格文本文件在实际的数据分析应用中，往往需要处理海量数据。针对大型数据文件，Matlab提供了快速高效的读取和处理工具，可以便捷地完成数据处理任务。
追逐程序梦想者·2025-01-27 13:01

赛事 Q＆A × 培训预告：2024 年（第 17 届）中国大学生计算机设计大赛大数据主题赛正式开赛！

大赛下设不同领域的十一个大类，和鲸科技自2021年起，连续四年作为大数据应用大类中大数据主题赛的协办方倾力配合大赛组委会与各承办单位，
ModelWhale·2025-01-27 13:30

大数据StarRocks(六) ：Catalog_starroccks支持oracle外部表了吗(1)

StarRocks自2.3版本起支持Catalog（数据目录）功能，实现在一套系统内同时维护内、外部数据，方便您轻松访问并查询存储在各类外部源的数据。1.基本概念内部数据：指保存在StarRocks中的数据。外部数据：指保存在外部数据源（如ApacheHive™、ApacheIceberg、ApacheHudi、DeltaLake、JDBC）中的数据。2.Catalog当前StarRocks提供两
2401_84181975·2025-01-27 11:51

一站式云原生支持，Alibaba Cloud Linux性能有多强？

随着云计算技术的高速发展，企业对操作系统的需求不再局限于传统的服务器环境，而是更加关注与云原生架构的兼容性、性能优化以及系统的可扩展性。
Anna_Tong·2025-01-27 08:01

基于SpringBoot+Vue码头船只货柜管理系统

期待与各位高校教师、企业讲师以及同行交流合作主要内容：Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能与大数据、单片机开
qq_469603589·2025-01-27 08:28

推荐开源项目：WeDataSphere - 智慧数据服务平台

推荐开源项目：WeDataSphere-智慧数据服务平台去发现同类优质开源项目:https://gitcode.com/是一款由微众银行金融科技团队开发的开源大数据处理和应用框架，旨在简化数据分析流程，
劳泉文Luna·2025-01-27 07:52

Java 大视界 -- Java 大数据中的隐私增强技术全景解析（64）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
青云交·2025-01-27 07:51

RocketMQ优势剖析-集成云原生环境

目录弹性和可扩展性Serverless架构支持容器化和Kubernetes支持多协议支持持久化和可靠性分布式事务支持社区和生态系统结论RocketMQ在集成云原生环境方面的优势主要体现在其设计的灵活性、
Lin_Miao_09·2025-01-27 06:21
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他