云原生数仓技术解析第12页

什么是PolarDB

PolarDB是阿里巴巴自研的新一代云原生关系型数据库，在存储计算分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。

colorfulyan·2025-01-17 20:03

通义灵码 2.0 全新升级，阿里云正式推出繁星计划

在今天上午通义灵码2.0发布会上，阿里云云原生应用平台负责人丁宇宣布，通义灵码2.0全新升级，AI程序员重磅发布。

·2025-01-17 20:19

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

该农商行基于星环科技实时湖仓集一体平台，替代了Teradata数仓、Oracle数据平台和Hadoop数据湖三个平台，一体化架构同时满足数据湖海量汇集、复杂数仓模型

·2025-01-17 20:42

倒计时 4 天！2024年压轴技术盛宴来了！

现在，年度压轴之站即将开启——12月28日（本周六下午），我们将在广州与您相聚，共赴一场精彩纷呈的云原生与AI技术盛会！诚邀您一同探索云原生与AI的最新趋势与实战应用，共享技术交流的巅峰时刻！

·2025-01-17 20:39

云原生周刊：Kubernetes v1.32 正式发布

·2025-01-17 19:37

三个案例，快速了解星环科技如何助力医疗数字化转型

星环科技基于自身的技术优势和产品体系，为医疗行业提供湖仓集一体化医院数据中心、云原生架构的区域医疗中台、医疗数据要素运营流通等解决方案，并在业务应用领域与生态伙伴联合打造端到端的整体解决方案，满足医疗行业专业领域

·2025-01-17 19:06

云原生周刊：Kubernetes 和 Docker 的对比

·2025-01-17 19:33

华为云开源项目Sermant正式成为CNCF官方项目

近日，云原生计算基金会（CNCF）正式接纳由华为云发起的云原生无代理服务网格项目Sermant。Sermant的加入，极大地丰富了云原生微服务治理技术的探索、创新和发展，为CNCF社区注入了新的活力。

·2025-01-17 19:31

openGemini 社区人才培养计划：助力成长，培养新一代云原生数据库人才

一、摘要在技术革新的浪潮中，数据库技术是现代信息技术的基石，openGemini社区携手开发者，启动人才培养计划，旨在培养新一代云原生数据库技术人才，共同推动云原生数据库技术创新。

·2025-01-17 19:00

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。1.架构复杂性2.数据处理性能3.数据同步与更新4.资源利用率与成本6.生态系统与兼容性7.符合信创或国产化要求二、ODS层接入数据接入kafka实时数据踩坑的问题细节三、海豚调度器调度Doris进行报表开发创建带分区的表在doris进行开发调试开发海豚调度器脚本解决shell脚本使用MySQL命令行给

大模型大数据攻城狮·2025-01-17 19:56

Kubeflow：云原生机器学习工作流自动化开源框架详解

Kubeflow是一个开源的机器学习（ML）工作流自动化平台，旨在将机器学习工作流部署到Kubernetes之上，实现从实验到生产的一站式解决方案。它提供了针对容器化机器学习任务的工具链，能够自动化地管理、部署和监控模型的整个生命周期。Kubeflow的核心组件Notebooks（交互式开发环境）支持JupyterNotebooks，通过Kubernetes集群进行计算资源的扩展和管理。Pipel

gs80140·2025-01-17 17:40

数仓数据分层(ODS DWD DWS ADS)

ODSDWDDWSDWS,俗称的数据服务层,也有叫做数据聚合层.不过按照经典数据建模理论,一般称之为前者,也就是数据服务层,为更上层的ADS层或者直接面向需求方服务.DWS建模,一般使用主题建模,维度建模等方式主题建模,顾名思义,围绕某一个业务主体进行数据建模,将相关数据抽离提取出来.如,将流量会话按照天,月进行聚合将每日新用户进行聚合将每日活跃用户进行聚合维度建模,其实也差不多,不过是根据业务需

123 黑曼巴·2025-01-17 16:29

数仓数据分层(ODS DWD DWS ADS)换个角度看

数仓数据分层简介1.背景数仓是什么,其实就是存储数据,体现历史变化的一个数据仓库.因为互联网时代到来,基于数据量的大小,分为了传统数仓和现代数仓.传统数仓,使用传统的关系型数据库进行数据存储,因为关系型数据库本身可以使用

闻香识代码·2025-01-17 16:28

万字详解数仓分层设计架构 ODS-DWD-DWS-ADS

参考：万字详解数仓分层设计架构ODS-DWD-DWS-ADS数据分层的意义1、清晰数据结构2、数据血缘追踪3、数据复用，减少重复开发4、把复杂问题简单化5、屏蔽原始数据的(影响)，屏蔽业务的影响ETL操作

_Jordan·2025-01-17 16:56

数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS

青秋.·2025-01-17 15:17

数仓实践：如何优雅的设计DWS层？

对于数仓的分层，大家最耳熟能详的就是基于OneData方法论的三层数仓划分，分别是：数据引入层（ODS，OperationalDataStore）、数据公共层（CDM，CommonDimenionsModel

云祁·2025-01-17 14:37

技术解析 | 云游戏在未来如何实现？

在刚刚过去的腾讯全球数字生态大会上，腾讯云发布了全新的云游戏解决方案，将云游戏带入了2.0时代。今天的技术解码就由胡小华老师为大家解读云游戏的相关技术细节。云游戏是一种以云计算、渲染及云传输为基础的游戏实现方式，与传统游戏区别在于游戏的运行在云端边缘计算节点上，而非用户本地终端上；用户本地终端通过网络接收云端边缘计算节点发送的数据进行游戏声音与画面的本地呈现，同时用户将对游戏的操作控制指令发送到云

腾讯云音视频·2025-01-17 12:58

多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析

多云架构下JuiceFS实现一致性与低延迟数据分发的深度解析一、JuiceFS在多云架构中的角色与优势1.JuiceFS简介JuiceFS是一个高性能的分布式文件系统，专为云原生环境设计，支持多种公有云和私有云的对象存储服务

GZM888888·2025-01-17 07:37

# 云原生技术的未来：构建灵活高效的下一代应用架构随着企业数字化转型的加速，云原生技术正逐渐成为构建现代化应用程序的关键支柱。通过云原生技术，企业能够利用云计算的强大功能，快速构建、部署和扩展应用

云原生技术的未来：构建灵活高效的下一代应用架构随着企业数字化转型的加速，云原生技术正逐渐成为构建现代化应用程序的关键支柱。

小zzzzzzzz·2025-01-17 06:33

2025年PHP会更加火爆吗？

从高性能应用到云原生架构，甚至serverless领域，PHP早已超越了传统的网页开发，完美契合现代开发的需求。

·2025-01-17 05:28

实时数仓方实际落地如何选型和构建

实时数仓方实际落地如何选型和构建一、为何需要实时数仓架构随着数字化进程的推进，企业产生的数据越来越多，与此同时企业对数据的需求也变得越来越复杂多样。

活在风浪里~·2025-01-17 04:15

AI Prompt 设计指南：从基础构建到高质量生成的全面解析

在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO

网罗开发·2025-01-16 22:20

构建云原生后端服务——以Spring Boot + Kubernetes为例

在当今云计算的浪潮中，云原生技术栈以其高度的灵活性、可扩展性和自动化运维能力，正逐步成为构建现代化应用的首选。

ZhShy23·2025-01-16 19:52

YashanDB完成中国信通院关系型数据库安全能力专项测试

YashanDB产品简介崖山数据库系统是深圳计算科学研究院(简称“深算院”)和深圳崖山科技有限公司(简称“崖山科技”)自主研发设计的新型数据库管理系统，提供包括单机主备、共享集群、空间数据库、分布式实时数仓等系列数据库产品及配套开发

·2025-01-16 18:20

云原生之使用Docker部署Mysql数据库

云原生之使用Docker部署Mysql数据库一、检查本地系统环境1.检查系统版本2.检查docker版本3.检查docker状态二、使用Docker部署mysql1.下载mysql镜像2.创建数据目录3

江湖有缘·2025-01-16 17:04

【云原生之Docker实战】使用docker部署Homebox内网测速工具

【云原生之Docker实战】使用docker部署Homebox内网测速工具一、Homebox介绍1.Homebox简介2.Homebox特点二、检查本地系统环境1.检查系统版本2.检查系统内核版本三、检查

江湖有缘·2025-01-16 17:34

【云原生之Docker实战】使用Docker部署Lsky Pro个人图床平台

【云原生之Docker实战】使用Docker部署LskyPro个人图床平台一、LskyPro介绍1.LskyPro简介2.LskyPro特点二、检查宿主机系统版本三、检查本地docker环境1.检查docker

江湖有缘·2025-01-16 17:34

云原生 CICD 初体验

本文主要记录了如何在k8s上快速部署云原生的工作流引擎ArgoWorkflow。

·2025-01-16 14:19

【Elasticsearch】节点与集群：架构原理与优化实践

__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，

程风破～·2025-01-16 14:05

腾讯云技术深度探索：构建高效云原生微服务架构

腾讯云技术深度探索：构建高效云原生微服务架构在当今快速发展的技术环境中，云原生技术已成为企业数字化转型的关键驱动力。

我的运维人生·2024-09-16 10:23

SpringBoot整合ES搜索引擎实现网站热搜词及热度计算

__c=1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编程，高并发设计，Springboot和微服务，熟悉Linux，ESXI虚拟化以及云原生Docker和K8s，

码踏云端·2024-09-15 18:51

数据仓库介绍

数据仓库数据仓库的概念数据仓库的主要特征数据仓库的主流开发语言-sql结构化数据sql语句数据仓库的概念数据仓库（英语：DataWarehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统

阿龙的代码在报错·2024-09-15 16:08

【有啥问啥】刷爆各大榜单的Reflection 70B模型背后的错误自我纠正（Reflection-Tuning）技术解析：一种革新AI模型的方法

刷爆各大榜单的Reflection70B模型背后的错误自我纠正（Reflection-Tuning）技术解析：一种革新AI模型的方法在快速发展的AI领域，尤其是大型语言模型（LLM）的竞争中，错误自我纠正技术

Chauvin912·2024-09-15 15:32

首次全面解析云原生成熟度模型：解决企业「诊断难、规划难、选型难」问题

从“上云”到“云上”原生，云原生提供了最优用云路径，云原生的技术价值已被广泛认可。当前行业用户全面转型云原生已是大势所趋，用户侧云原生平台建设和应用云原生化改造进程正在加速。

阿里云云栖号·2024-09-15 03:32

一张图详解开源监控夜莺（Nightingale）的架构

夜莺监控是一款开源云原生观测分析工具，采用All-in-One的设计理念，集数据采集、可视化、监控告警、数据分析于一体，与云原生生态紧密集成，提供开箱即用的企业级监控分析和告警能力。

夜莺开源监控·2024-09-14 12:19

探索未来Web开发的精简之道：ASP.NET Core 8.0 Minimal API 示例项目

探索未来Web开发的精简之道：ASP.NETCore8.0MinimalAPI示例项目随着微服务和云原生架构的兴起，轻量级API成为了开发社区的新宠。

尚舰舸Elsie·2024-09-14 05:33

Kafka和Pulsar深入解析

云原生

jasen91·2024-09-14 01:39

go向量数据库

Milvus2.0版本采用云原生架构，具有存储和计算分离的特点，支持水平扩展以处理数十亿的向量数据。Milvus提供了Go语言的SDK，可以轻松集成到Go应用程序中。

leijmdas·2024-09-14 01:07

云原生应用——软件的未来

因此，云原生应用应运而生，它代表了软件开发和运维的新范式，预示着软件的未来。什么是云原生应用？云原生应用是指那些专门为在云环境中运行而量身定制和优化的应用程序。

快乐非自愿·2024-09-14 01:37

深度解析：云原生环境下Docker部署Doris数据库

深度解析：云原生环境下Docker部署Doris数据库目录深度解析：云原生环境下Docker部署Doris数据库引言一、云原生与Docker基础1.云原生概念2.Docker简介二、Doris数据库概述

N201871643·2024-09-13 18:23

【云原生】Prometheus 服务自动发现使用详解

目录一、前言二、Prometheus常规服务监控使用现状2.1Prometheus监控架构图2.2Prometheus服务自动发现的解决方案三、Prometheus服务自动发现介绍3.1什么是Prometheus服务自动发现3.2Prometheus自动服务发现策略3.3Prometheus自动服务发现应用场景3.4Prometheus自动服务发现原理四、Prometheus基于文件的服务发现4.

小码农叔叔·2024-09-13 14:28

dubbo k8s 服务发现_Dubbo 迈出云原生重要一步 - 应用级服务发现解析

作者|刘军(陆龟)ApacheDubboPMC概述社区版本Dubbo从2.7.5版本开始，新引入了一种基于实例(应用)粒度的服务发现机制，这是我们为Dubbo适配云原生基础设施的一步重要探索。

weixin_39775127·2024-09-13 13:54

dubbo k8s 服务发现_Dubbo 迈出云原生重要一步应用级服务发现解析

作者|刘军(陆龟)ApacheDubboPMC概述社区版本Dubbo从2.7.5版本开始，新引入了一种基于实例(应用)粒度的服务发现机制，这是我们为Dubbo适配云原生基础设施的一步重要探索。

倩Sur·2024-09-13 13:54

数仓开发之DWD层完整使用 (第五章)

数仓开发之DWD层完整使用一、流量域未精加工的事务事实表1、主要任务1）数据清洗（ETL）2）新老访客状态标记修复3）分流2、思路1）数据清洗（ETL）2）新老访客状态标记修复（1）前端埋点新老访客状态标记设置规则

小坏讲微服务·2024-09-13 13:22

DevOps -分布式追踪与监控

DevOps中的分布式追踪与监控在当今的DevOps环境中，随着微服务架构和云原生应用的广泛采用，系统复杂性显著增加，传统的监控方式已经无法满足现代分布式系统的需求。

Flying_Fish_Xuan·2024-09-13 12:46

离线数仓VS实时数仓

离线数据仓库（OfflineDataWarehouse）和实时数据仓库（Real-timeDataWarehouse）的实施有一些相似之处，但也存在显著的差异。以下是两者在几个关键方面的对比：相同点：数据集成：都需要从多个数据源提取、转换和加载数据（ETL/ELT）。都需要处理数据清洗、去重和规范化，以保证数据的一致性和准确性。数据建模：都需要进行数据建模，设计数据仓库的星型或雪花模型，定义事实表

james二次元·2024-09-13 03:14

数仓建模之维度表&指标表

在数据仓库中，维度和指标是两个重要的概念。维度（Dimension）：维度是一种描述业务过程中各种属性的方法，用于对业务过程进行分析和归类。维度包括时间、地点、人员、产品、客户等各种业务属性，是数据分析的基础。指标（Measure）：指标是衡量业务过程效果的标准，是数据分析的重要指标。指标包括数量、金额、时间、比率、百分比等，用于衡量业务过程的各种结果。在数据仓库中，通常会使用维度表和指标表来进行

锵锵锵锵~蒋·2024-09-12 20:01

Nacos的应用

Nacos是一个开源的分布式服务发现和配置管理平台，可以帮助开发人员和运维人员更好地管理微服务和云原生应用。本文将详细介绍Nacos的应用，包括其主要功能、使用场景和具体步骤。

chen_xiayu·2024-09-12 13:15

K8s也面向对象？学会这三要素，用K8s就跟编程一样

是的，K8s也面向对象K8s这个体系也是面向对象的，听起来有没有那么一点点那么颤抖，天天上班、回家都得面向"对象”了，到头来学学云原生基建，结果还得面向对象。

技术栈·2024-09-12 10:38

NineData云原生智能数据管理平台新功能发布｜2024年8月版

本月发布10项更新，其中重点发布5项、其他发布5项。重点发布数据库DevOps-敏感数据保护功能大幅升级敏感数据保护全新升级，新增支持敏感数据等级，方便进行分类分级管控，加入数据类型概念，用于智能识别数据源中的敏感字段并支持自动添加。同时加入敏感数据大盘，让系统管理员可轻松了解当前组织下敏感数据的整体状态。另外还新增了多种脱敏算法和识别规则，现已可覆盖大部分用户场景。数据库DevOps-数据库De

NineData·2024-09-11 21:33

推荐频道

云原生数仓技术解析