云原生数仓技术解析

Flink 内容分享(十九)：理想汽车基于Flink on K8s的数据集成实践

目录数据集成的发展与现状数据集成的落地实践1.数据集成平台架构2.设计模型3.典型场景4.异构数据源5.SQL形式的过滤条件数据集成云原生的落地实践1.方案选型2.状态判断及日志采集3.监控告警4.共享存储未来规划数据集成的发展与现状理想汽车数据集成的发展经历了四个阶段
之乎者也··2024-02-06 06:30

理想汽车基于Flink on K8s的数据集成实践

分享分为四个部分：1.理想数据集成的发展与现状2.数据集成的落地实践3.数据集成云原生的落地实践4.未来规划分享嘉宾｜王小静理想汽车高级大数据工程师01数据集成的发展与现状理想汽车数据集成的发展经历了四个阶段
架构师小秘圈·2024-02-06 06:28

华为云GaussDB云原生数据库

近日，由中国信息通信研究院主办的“原生聚力，云数赋能”第四届云原生产业大会顺利召开。
科技云未来·2024-02-06 05:58

分布式文件系统JuiceFS测试总结

前言2021年开始，开源社区出现了一款名为JuiceFS的云原生分布式文件系统。这是一款由国内公司开源的分布式文件系统，2021年1月在GitHub上开源，支持k8s原生适配及多种应用场景。
啊码·2024-02-06 03:34

架构设计特训

一、考点分布软件架构风格（※※※※）层次型软件架构风格（※※※※）面向服务的软件架构风格（※※※※）云原生架构风格（※※※※）质量属性与架构评估（※※※※※）Web架构综合考察（※※※※※）二、软件架构风格三
一心猿·2024-02-05 21:04

云原生可观测洞察及openEuler社区实践

云原生时代的基础设施更复杂，也暴露出可观测性存在一些问题，包括基础设施观测能力不足，缺乏应用视角的基础设施观测数据等，这些都为下一代云原生可观测提供了机会与挑战。
openEuler社区·2024-02-05 18:57

mac 环境 quarkus 配置

简单理解为,在云原生环境下,因为使用了jvm的替代实现,可以得到下面两个优势:启动速度+初次访问响应速度极快-->快速上线新应用占用运行期内存更少-->降低容器成本因此,有必要调研一下0x01开发环境参考
国服最坑开发·2024-02-05 18:25

DolphinScheduler数仓任务管理规范

目录一、DolphinScheduler调度数仓任务现状分析2.1一个任务流构建数仓所有的逻辑节点2.2每个逻辑节点构建一个任务流二、数仓任务管理调度需求分析三、DolphinScheduler数仓开发任务管理规范四
i7杨·2024-02-05 16:09

Nacos最新版安装教程（史上最详细保姆级教程）

Nacos下载安装包修改配置文件端口配置本地数据库配置启动Nacos简介Nacos/nɑ:kəʊs/是DynamicNamingandConfigurationService的首字母简称，一个更易于构建云原生应用的动态服务发现
天马行空的程序猿·2024-02-05 16:45

0.07 秒启动一个 SpringBoot 项目！Spring Native 很强！！

这项技术被spring官方命名为SpringNative，翻译成中文叫Spring云原生，应该有少部分人听说过这个概念，我先带大家
漫走云雾·2024-02-05 07:42

云原生数据库 GaiaDB 的核心技术演进和解析

导读在越来越强调云原生的环境下，存算分离作为一种新的架构理念，已经是大势所趋。
大数据和云计算技术·2024-02-05 06:23

Skywalking 应用笔记

概念Skywalking是一款分布式的系统性能监视工具，专为微服务、云原生架构和基于容器(Docker、K8s、Mesos)架构而设计。
KEEPMA·2024-02-05 05:29

Solo 开发者周刊 （第2期）：一站式解决各类办公绘图问题

好文推荐重新思考云原生应用的开发模式当前云原生应用的开发模式在FaaS环境下存在挑战，本文提出一种开发模式构想：“单体式编程，编译时拆分，分布式执行”，旨在简化云应用开发，提升开发效率和应用性能。
Solo 社区·2024-02-05 05:23

Solo开发者社区-重新思考云原生应用的开发模式

当前云原生应用的开发模式在FaaS环境下存在挑战，本文提出一种开发模式构想：“单体式编程，编译时拆分，分布式执行”，旨在简化云应用开发，提升开发效率和应用性能。
Solo 社区·2024-02-05 05:53

数仓建设规范

数仓建设规范一、数据模型架构原则1.数仓分层原则2.主题域划分原则3.数据模型设计原则二、数仓公共开发规范1.层次调用规范2.数据类型规范3.数据冗余规范4.NULL字段处理规范5.指标口径规范6.数据表处理规范四
长不大的大灰狼·2024-02-05 04:03

云原生-Quarkus上下文依赖注入参考

QuarkusDI方案是基于Java上下文依赖注入2.0标准.但是它不是一个符合TCK的完整CDI实现只实现了CDI一部分功能(可以查看支持及限制列表支持功能清单and限制清单）现有的CDI代码大多能正常工作，但是由于Quarkus架构及目标会有一些小差异。1.Bean发现CDI中的Bean发现是一个复杂的过程，涉及传统的部署结构和底层模块体系结构的可访问性要求。但是，Quarkus使用的是简化的
假程序员樱木·2024-02-05 01:08

观察复杂系统内部情况的秘密武器-可观测性详解

在数字化转型和云原生应用的时代，实现系统的高可观测性对于运维和开发团队来说至关重要，有助于快速识别问题、优化性能并确保服务的稳定性和可靠性。什么是可观测性？在软件系统中，可观测性通常是指系统内部
路多辛·2024-02-04 23:34

26.云原生ArgoCD高级之ApplicationSet

云原生专栏大纲文章目录ApplicationSet介绍ApplicationSet特性ApplicationSet安装ApplicationSet工作原理ApplicationSet生成器列表类型生成器集群生成器基础使用方法
野心与梦·2024-02-04 20:42

【云原生运维问题记录】kubesphere登录不跳转问题

文章目录现象问题排查结论先行：kubesphere-system名称空间下reids宕机重启，会判断是否通过registry-proxy重新拉取镜像，该镜像原本是通过阿里云上拉取，代理上没有出现超时情况，导致失败。解决方案：删除registry-proxy或修改registry-proxy配置现象kubesphere控制台点击登录不跳转问题排查查看kubesphere-system空间情况kube
野心与梦·2024-02-04 20:42

云原生流量治理之kubesphere灰度发布

云原生专栏大纲文章目录灰度发布介绍灰度发布策略KubeSphere中恢复发布策略蓝绿部署金丝雀发布流量镜像灰度发布实战部署自制应用金丝雀发布创建金丝雀发布任务测试金丝雀发布情况蓝绿部署创建蓝绿部署测试蓝绿部署情况流量镜像创建流量进行任务测试流量镜像情况灰度发布真实案例分析灰度发布介绍灰度发布
野心与梦·2024-02-04 20:42

探索微服务治理：从发展到实践构建高效稳定的系统｜容错处理技术解析

二、微服务治理的相关技术微服务治理涉及多个方面，包括服务注册与发现、负载均衡、容错处理、服务配置管理等，这些技术共同确保微服务架构的稳定运行。3、容错处理在微服务架构中，容错处理技术是确保系统高可用性、可靠性和稳定性的关键。超时控制在微服务治理中，超时控制是一种重要的容错处理技术，它能够确保系统在面对慢请求或者不可用服务时，能够及时作出反应，避免资源的无效占用，保证系统的稳定性和可用性。概念超时控
灸哥漫谈·2024-02-04 20:32

云原生工具集 · 彩色输出kubectl内容

背景kubectl命令是k8s的CLI工具，如果你是维护K8s集群的管理员或者是开发可在Kubernetes上运行的应用程序的开发人员，那几乎每天都会使用kubectl，但是尽管kubectl已经很好，它依旧有些地方让人十分的头疼。比如缺少颜色，kubectl的输出有时不容易阅读，由于kubectl有时会输出很长的内容，因此很难找到所需的内容。因此如果有个能高亮颜色显示输出的工具，看起来就相对的更
云原生生态圈·2024-02-04 18:57

基于Flink的实时数仓建设

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓一、实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求
园陌·2024-02-04 12:48

《云原生安全攻防》-- 容器安全风险分析

在本节课程中，我们将提供一个全面的视角，来深入探讨容器环境下的安全风险，帮忙大家建立起容器环境下安全风险的整体认知。在这个课程中，我们将学习以下内容：容器技术概述：什么是容器技术以及它解决了什么问题。探索容器架构：深入了解容器、镜像、镜像仓库等核心概念。安全风险分析：逐层分析容器架构，识别各层面可能存在的安全风险。容器将集装箱思想引入到软件交付中，通过这种方式，来解决本地运行环境与生产运行环境不一
Bypass--·2024-02-04 11:32

【Oracle云】OCI DevOps Services 教程 (2) - 创建自动化构建流水线【CI流水线】

OCIDevOpsServices作为Oracle云原生CI/CD服务，为开发者提供了标准的CI/CD平台，支持构建自动化的流水线，从代码提交到部署全程实现自动化。
炸鸡物料库·2024-02-04 09:38

第七章 主管信息系统和数据仓库

[TOC]第七章主管信息系统和数据仓库7.0前言EIS是数仓之前的概念EIS没有注重基础结构（数据源、数据质量、数据流通等）DSS是现代的EIS，与数仓紧密相连7.1EIS概述EIS典型用途趋势分析关键指标度量和跟踪向下钻取问题监控竞争分析关键性能指标监控
晨磊的微博·2024-02-04 04:53

探索微服务治理：从发展到实践构建高效稳定的系统｜负载均衡技术解析

二、微服务治理的相关技术微服务治理涉及多个方面，包括服务注册与发现、负载均衡、容错处理、服务配置管理等，这些技术共同确保微服务架构的稳定运行。2、负载均衡负载均衡作为服务治理中的核心技术之一，对于提高系统的可用性、性能和扩展性起到了关键作用什么是负载均衡负载均衡（LoadBalancing）是一种讲网络或应用请求分发到多个服务器或服务器实例上，以实现资源最大化利用、提高系统吞吐量、减少响应时间并确
灸哥漫谈·2024-02-04 03:47

探索微服务治理：从发展到实践构建高效稳定的系统｜服务配置管理技术解析

二、微服务治理的相关技术微服务治理涉及多个方面，包括服务注册与发现、负载均衡、容错处理、服务配置管理等，这些技术共同确保微服务架构的稳定运行。4、服务配置管理在微服务架构中，随着服务数量的不断增加和复杂性的提升，服务配置管理成为一项关键挑战。服务配置管理技术旨在提供统一、动态和可扩展的配置管理解决方案，以简化微服务的部署、运维和治理。什么是服务配置管理服务配置管理技术允许开发者和管理员通过中心化的
灸哥漫谈·2024-02-04 03:47

Kubernetes operator（一）client-go篇

云原生学习路线导航页（持续更新中）本文是Kubernetesoperator学习系列第一篇，主要对client-go进行学习，从源码阅读角度，学习client-go各个组件的实现原理、如何协同工作等参考视频
格桑阿sir·2024-02-04 00:08

Kubernetes operator（七） controller-runtime 篇

云原生学习路线导航页（持续更新中）本文是Kubernetesoperator学习系列第七篇，本节会对编写Operator非常重要的controller-runtime库进行学习基于kubernetesv1.24.0
格桑阿sir·2024-02-04 00:08

Kubernetes operator（五）api 和 apimachinery 篇

云原生学习路线导航页（持续更新中）本文是Kubernetesoperator学习系列第五篇，主要对k8s.io/api和k8s.io/apimachinery两个项目进行学习基于kubernetesv1.24.0
格桑阿sir·2024-02-04 00:37

Kubernetes operator（六）CRD控制器 开发实战篇

云原生学习路线导航页（持续更新中）本文是Kubernetesoperator学习系列第六篇，前面5篇的学习，我们已经清楚CRD开发的各个环节，本节就实际设计一个CRD，并为之编写控制器基于kubernetesv1.24.0
格桑阿sir·2024-02-04 00:37

TiDB内核解密：揭秘其底层KV存储引擎如何玩转键值对

一、简介TiDB是开源的分布式数据库，是一款同时支持在线事务处理与在线分析处理的融合型分布式数据库产品，具备水平扩容或缩容、金融级高可用、实时HTAP、云原生分布式数据库、兼容MySQL5.7协议和MySQL
超越不平凡·2024-02-04 00:27

下一代软件架构，如何构建微服务核心能力

随着数字化进程的加速，各种架构设计思想风起云涌，进入百家争鸣时代，微服务架构，云原生架构，Serverless架构，事件驱动架构，中台架构，容灾架构，到底哪种思潮代表未来呢？
阿里巴巴中间件·2024-02-03 23:04

FluxMQ：新一代的高性能MQTT代理服务器

FluxMQ：新一代的高性能MQTT代理服务器前言FLuxMQ是一款基于java开发，支持无限设备连接的云原生分布式物联网接入平台。
程序媛之Lemon·2024-02-03 17:59

数仓建模&维度建模理论知识

0.思维导图第1章数据仓库概述1.1数据仓库概述  数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2数据仓库核心架构第2章数据仓库建模概述2.1数据仓库建模的意义  数据模型就是数据组织和存
韩顺平的小迷弟·2024-02-03 16:02

微服务框架go-zero集成swagger在线接口文档

go-zero（收录于CNCF云原生技术全景图：CNCFLandscape）是一个集成了各种工程实践的web和rpc框架。通过弹性设计保障了大并发服务端的稳定性，经受了充分的实战检验。
0X码上链·2024-02-03 13:26

hadoop使用公平调度器

Stage1（默认调度器）大概在几年前，搭建的数仓集群中。数据量不大，做离线一个晚上就能轻松调度完，那时候使用的hadoop自带的调度器，容量调度器。但默认配置没有改，就会发生什么！
向他一样rap·2024-02-03 13:22

离线数仓-数据治理

目录一、前言1.1数据治理概念1.2数据治理目标1.3数据治理要解决的问题1.3.1合规性元数据合规性数据质量合规性数据安全合规性1.3.2成本存储资源成本计算资源成本二、数据仓库发展阶段2.1初始期2.2扩张期2.3缓慢发展期2.4变革期三、数据治理内容3.1元数据治理3.2数据质量治理3.3数据安全治理3.4计算资源治理3.5存储资源治理四、数据治理总结4.1模型合规治理4.2数据质量合规治理
爱吃辣条byte·2024-02-03 13:51

数仓治理-存储资源治理

存储资源治理的流程及思路三、治理前如何评估3.1无用数据表/临时数据表下线评估3.2表及分区的生命周期评估3.3存储及压缩格式评估3.4根据业务场景实现节省存储评估四、治理后的成效如何评估一、存储资源治理的背景由于早期数仓的存储资源比较充裕
爱吃辣条byte·2024-02-03 13:51

Flink实时数仓同步：拉链表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：[Mysql]业务数据-用户表全量数据：idnamephonegende
Light Gao·2024-02-03 10:15

Flink实时数仓同步：流水表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，大数据分析平台需要能够检索某张业务表的变更记录，并以每天为单位统计每条数据的变更频率。以下是示例：[Mysql]业务数据-用户表全量数据：
Light Gao·2024-02-03 10:15

深入数仓离线数据同步：问题分析与优化措施

一、前言在数据仓库领域，离线数仓和实时数仓是常见的两种架构类型。离线数仓一般通过定时任务在特定时间点（通常是凌晨）将业务数据同步到数据仓库中。
Light Gao·2024-02-03 10:14

数仓日常维护：剖析每日增量同步的内部机制

数仓日常维护：剖析每日增量同步的内部机制一、前言在现代企业中，离线仓库扮演着不可或缺的角色。它充当着一个数据的中心枢纽，存储和管理着海量的信息。
Light Gao·2024-02-03 10:14

Flink实时数仓同步：快照表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：[Mysql]业务数据-用户表全量数据：idnamephonegende
Light Gao·2024-02-03 10:38

云计算时代操作系统Kubernetes之配置管理（上）

容器化部署其实是云原生设计理念的体现，在云原生模式下应用架构和传统应用的架构有很大的不同。
攀师傅·2024-02-03 10:46

KubeBlocks 参展首届 PolarDB 开发者大会，双方发布深度合作

来自全国各地的数据库领域专家和技术开发者相聚一堂，共同交流云原生、分布式技术、一站式数据管理、开源生态等话题。KubeBlocks有幸受邀参展。
小猿姐·2024-02-03 10:21

KubeBlocks 研发轶事之 addon 抽象

目前作者就职于云猿生数据，主要负责云原生数据控制面KubeBlocks和ServerlessMySQL产品。欢迎云计算或数据库行业从业者加微信交流。
小猿姐·2024-02-03 10:21

25.云原生之ArgoCD-app of apps模式

文章目录appofapps模式介绍app如何管理apphelm方式管理kustomize方式管理appofapps模式介绍通过一个app来管理其他app，当有多个项目要发布创建多个app比较麻烦，此时可以创建一个管理app，管理app创建后会创建其他app。比较适合项目环境迁移的场景。AppofApps模式优点：统一管理：通过一个主要的应用程序，你可以统一管理多个应用程序的生命周期。这样可以简化管
野心与梦·2024-02-03 08:36

24.云原生之ArgoCD钩子

云原生专栏大纲文章目录ArgoCD钩子如何定义钩子钩子删除策略ArgoCD钩子ArgoCD是一个用于部署和管理Kubernetes应用程序的工具，它提供了一种声明式的方式来定义和自动化应用程序的部署过程
野心与梦·2024-02-03 08:06
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他