云原生数仓技术解析

JAVA：OFD Reader & Writer 开源库技术解析

1、简述OFDReader&Writer是一个由开源社区推动的OFD文件处理库，它旨在提供对OFD格式文件的读取和写入功能。这一开源项目为开发者提供了强大而灵活的工具，使得在应用程序中处理和生成OFD文件变得更加容易和高效开源地址：https://toscode.mulanos.cn/ofdrw/ofdrwOFD文件读取OFDReader&Writer提供了高效的OFD文件读取功能，能够准确解析O
拾荒的小海螺·2024-01-23 09:28

20.云原生之GitLab CICD实战

云原生专栏大纲文章目录GitLabRunnerGitLabRunner介绍GitlabRunner工作流程Gitlab集成GitlabRunnerGitLabRunner版本选择GitlabRunner
野心与梦·2024-01-23 08:31

虚拟以太网：技术解析与应用前景

虚拟以太网（VirtualEthernet，简称VE）是一种在软件定义网络（Software-DefinedNetworking，简称SDN）架构下实现的以太网仿真技术。通过将底层物理网络抽象化，虚拟以太网提供了一种灵活、可配置的网络环境，使得网络管理员能够以编程方式控制和管理网络流量。一、虚拟以太网的技术原理虚拟以太网的核心思想是将物理以太网帧封装在虚拟化容器中，从而实现以太网帧在虚拟化环境中的
幻风_huanfeng·2024-01-23 07:29

奇点云自研第一代数据云操作系统StartDT SimbaOS发布

会上，奇点云自研的新一代数据云操作系统StartDTSimbaOS正式亮相，具备跨云原生、全域集成、混合调度、高效建模、安全合规、智能运维等特性，帮助客户建立企业级的数据能力，管好、用好全域数据资产。
奇点云·2024-01-23 07:27

Hive 拉链表详解及实例

拉链表版本迭代：hive0.14slowlychangingdimension=>hive2.6.0merge事务管理原来采用分区表，用户分区存储历史增量数据，缺点是重复数据太多定义：数仓用于解决持续增长且存在一定时间时间范围内重复的数据存储
Byyyi耀·2024-01-23 06:45

利用go+grpc+gorm+proto、通过设计好的数据表快速生成curd增删改查代码

微服务、云原生的时代，本项目以go语言为基础，采用grpc面向移动和HTTP/2设计（HTTP2好处很多哦），开发微服务项目。整体技术栈是利
arrayphp·2024-01-23 06:38

Hive 数仓及数仓设计方案

数仓(DataWarehouse)数据仓库存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供一个统一、规范的出口。做数仓就是做方案，是用数据治理企业的方案。
Byyyi耀·2024-01-23 06:34

flume案例

在构建数仓时，经常会用到flume接收日志数据，通常涉及到的组件为kafka，hdfs等。下面以一个flume接收指定topic数据，并存入hdfs的案例，大致了解下flume相关使用规则。
不加班程序员·2024-01-23 06:48

数仓建设 - 维度建模 - DIM维度

文章目录前置：准备数据库一、商品维度表1.1表结构设计1.2建表语句1.3ETL任务脚本二、优惠券维度表2.1表结构设计2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置：准备数据库[[email protected]]$
m0_46218511·2024-01-23 05:14

Databend 开源周报第 128 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-23 03:01

Databend 开源周报第 129 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-23 03:31

阿里云新用户购买阿里云产品可享受的优惠政策最新汇总（2023最新更新）

新用户注册之后，购买阿里云服务器、云数据库、云网络、云原生/安全、视频云/CDN、大数据/AI和企业云服务等阿里云官方产品都是有优惠的，同时还可以领取阿里云送的各种优惠券和代金券，另外通过阿里云平台注册域名和购买企业邮箱等万网产品也是有优惠的
阿里云最新优惠和活动汇总·2024-01-23 03:15

云原生DevOps基础与实战

一、DevOps基础1、DevOps简介DevOps是一系列做法和工具，可以使IT和软件开发团队之间的流程实现自动化。其中，随着敏捷软件开发日趋流行，持续集成(CI)和持续交付(CD)已经成为该领域一个理想的解决方案。在CI/CD工作流中，每次集成都通过自动化构建来验证，包括编码、发布和测试，从而帮助开发者提前发现集成错误，团队也可以快速、安全、可靠地将内部软件交付到生产环境。
小羊的风火轮冒烟啦·2024-01-23 01:58

Spring Boot 4.0：构建云原生Java应用的前沿工具

目录前言SpringBoot简介SpringBoot的新特性1.支持JDK172.集成云原生组件3.响应式编程支持4.更强大的安全性5.更简化的配置SpringBoot的应用场景1.云原生应用开发2.响应式应用程序
懒大王敲代码·2024-01-22 20:50

微服务注册中心Nacos的基础使用

Nacos旨在帮助开发者构建云原生应用的微服务架构，简化微服务的管理过程。主要能做服务发现，配置管理，服务管理等。
杀了小惠·2024-01-22 16:11

基于云原生存储的容器持久化存储方案

【摘要】容器正逐渐成为云上应用的标准部署单元，某保险公司将所有业务系统进行容器化部署，在综合了技术先进性、成熟性、安全性、可扩展性等架构评估要素，并利用现有的物理存储的基础上，最终确认采用以分布式云原生存储
宋罗世家技术屋·2024-01-22 14:48

杉岩：云原生时代，容器持久化存储方案选对了吗？

75%的企业部署容器应用，云原生正加速业务创新互联网的发展、云计算的出现，对传统IT带来冲击和挑战。
杉岩数据·2024-01-22 14:48

如何攻破容器持久化存储挑战？

简介：云原生趋势下，应用容器化比例正在快速增长，Kubernetes也已成为云原生时代新的基础设施。背景云原生趋势下，应用容器化比例正在快速增长，Kubernetes也已成为云原生时代新的基础设施。
阿里开发者·2024-01-22 14:16

云原生时代 容器持久化存储的最佳方式是什么？

云妹导读：在存储专题的上一篇文章《送你4句口诀云存储选型不再犯难》中，云妹为大家的云存储选型提供了几种方法，只需记住4句口诀，就能选到适合自己应用特点的云存储服务。本篇文章我们将深入介绍云存储产品体系中的文件存储服务，并看看它在容器环境下如何提供持久化的共享型存储？首先，我们来看一下云端文件存储具有哪些特点？云文件服务（CloudFileService）是一个全托管的简单、易用、高可靠的文件共享存
京东云开发者·2024-01-22 14:16

【Java万花筒】云端之旅：Java容器化、微服务与云服务之道

Java云航：容器、Kubernetes、AWS、SpringCloud与HttpClient深度探析前言随着云计算的迅猛发展，Java在构建云原生应用和微服务架构方面扮演着关键角色。
friklogff·2024-01-22 09:16

Flink背景

数仓简介在信息爆炸的时代，为了从海量数据中洞察业务价值，驱动运营决策，企业通常会构建用于数据分析的数据仓库。
201001070·2024-01-22 08:31

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

从内核的视角观测容器——SysOM 容器监控

云原生容器化的部署架构，相较于传统IDC部署架构的IT架构方案，已经成为兼具高效运维及成本控制的业界事实标准。但容器化带来的都是好处么？
阿里云云原生·2024-01-22 07:15

阿里云 ACK 云原生 AI 套件中的分布式弹性训练实践

作者：霍智鑫众所周知，随着时间的推移，算力成为了AI行业演进一个不可或缺的因素。在数据量日益庞大、模型体量不断增加的今天，企业对分布式算力和模型训练效率的需求成为了首要的任务。如何更好的、更高效率的以及更具性价比的利用算力，使用更低的成本来训练不断的迭代AI模型，变成了迫切需要解决的问题。而分布式训练的演进很好的体现了AI模型发展的过程。DistributedTraining分布式训练一般分为两种
阿里云云原生·2024-01-22 07:44

MSE Nacos：解决敏感配置的安全隐患

作者：察溯前言Nacos简介Nacos[1]是一个更易于构建云原生应用的配置管理和服务管理平台。
阿里云云原生·2024-01-22 07:44

当 OpenTelemetry 遇上阿里云 Prometheus

作者：逸陵背景在云原生可观测蓬勃发展的当下，想必大家对OpenTelemetry&Prometheus并不是太陌生。
阿里云云原生·2024-01-22 07:14

Nacos 在云原生架构下的演进

作者：之卫背景Nacos提供的最核心能力是动态服务发现与动态配置管理能力，在云原生环境下，借助云产品，如EDAS（企业级分布式应用服务）平台中，我们可以很轻松地使用K8s来托管Nacos体系的微服务应用
阿里云云原生·2024-01-22 07:14

为大模型工程提效，基于阿里云 ACK 的云原生 AI 工程化实践

作者：张凯背景以GPT（GenerativePre-trainedTransformer）和Diffusionmodel为代表的大语言模型（Largelanguagemodel，LLM）和生成式人工智能（Generativeartificialintelligence，GAI）在过往两年，将人们对AI的梦想与期待推向了一个新高峰。这一次，AI带来的“智能”效果和“涌现”能力，吸引着千行百业都在积极
阿里云云原生·2024-01-22 07:13

解密最受欢迎的开源 Serverless 框架：流量篇

Knative是一款基于Kubernetes的开源Serverless应用编排框架，其目标是制定云原生、跨平台的Serv
阿里云云原生·2024-01-22 07:43

从方法论到最佳实践，深度解析企业云原生 DevSecOps 体系构建

随着云原生对云计算基础设施和企业应用架构的重定义，传统的企业安全防护架构已经不能够满足新时期下的安全防护要求。
阿里云云原生·2024-01-22 07:43

调研 7 个开源项目后，这家数据合规平台如何构建高性能网关

当前我们的产品交付主要基于云原生相关的基础设施和开源技术栈，如Kubernetes、Istio、ApacheDubbo、AlibabaNacos等，既支持以SaaS的
阿里云云原生·2024-01-22 07:43

etcd原理01--读写

可以说，etcd已经成为了云原生和分布式系统的存储基石。1.可用性采用Raft算法，只要集群一半以上节点存活就可提供服务，具备良好的可用性。
世界随心而动·2024-01-22 02:46

AWS 专题学习 P7 (FSx、SQS、SNS)

AmazonFSx–概述AmazonFSxforLustreFSxLustre-文件系统部署选项AmazonFSxforNetAppONTAPAmazonFSxforOpenZFSHybridCloud存储AWS存储云原生选项
喵王叭·2024-01-21 11:52

数据仓库简介、数据仓库的发展、数仓理论简介

数仓理论简介数据仓库解决方案诞生至今，也有2、30年的发展历史了，在这个过程中，数仓理论不断被更新和完善，逐步形成了目前大家普通遵守的数仓开发理论（概念）。
yida&yueda·2024-01-21 11:48

数据仓库简介

一、数仓概念数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。
水坚石青·2024-01-21 11:46

3分钟速览｜全日程发布！掘金年度技术演讲蓄势待发

本次「掘金年度技术演讲」将聚焦于过去一年在大前端、AI、大数据、云原生等领域的技术进展，探讨未来一年互联网科技面临的挑战，并展望其发展趋势。
开源社·2024-01-21 10:14

Spring Boot实现统一异常处理的技术解析

引言在软件开发过程中，异常处理是非常重要的一环。一个好的异常处理机制可以帮助我们更好地定位问题，提高代码的可维护性和稳定性。SpringBoot作为一款轻量级的Java开发框架，提供了一种简单而高效的方式来实现统一异常处理。本文将详细介绍如何使用SpringBoot实现统一异常处理。了解异常处理的基本概念在Java中，异常是程序运行过程中出现的问题，可以分为两大类：受检异常（CheckedExce
奇遇少年·2024-01-21 09:24

k3s x GitLab Runner Operator，GitLab CI 云原生构建新体验

GitLabCI是非常常用的一款CI/CD工具，只需要在.gitlab-ci.yml文件中用YAML语法编写CI/CD流水线即可。而GitLabCI能够运行的关键组件是GitLabRunner。GitLabRunner是一个轻量级、高扩展的代理，主要用来执行GitLabCI/CD流水线中的Job，然后将Job的执行结果返回GitLab实例。GitLabRunner的安装方式有很多种，包括安装包、D
DevOps008·2024-01-21 07:42

云原生架构体系和重点概念解读

【摘要】大部分人对云原生的认识仅限于容器、微服务、DevOps等内容，把容器、微服务、DevOps就等同于云原生，这显然是不对的。
知白守黑V·2024-01-21 07:11

通用web自动扩缩容_智能运维引擎CudgX

一、概述CudgX是星汉未来自主研发的面向云原生时代的智能运维引擎，支持根据MetricQPS分段耗时指标进行自动扩缩容。
徒步远方999·2024-01-21 05:30

kubesphere最小化安装

Kubesphere集成了很多套件，集群要求较高https://kubesphere.io/Kuboard也很不错，集群要求不高https://kuboard.cn/support/简介KubeSphere是一款面向云原生设计的开源项目
北996·2024-01-21 02:30

云原生学习-KubeKey安装 Kubesphere3.3.0 快速搭建K8S集群（二）（超详细，修正配置错误）

KubeSphere愿景是打造一个以Kubernetes为内核的云原生分布式操作系统，它的架构可以非常方便地使第三方应用与云原生生态组件进行即插即用（plug-and-play）的集成，支持云原生应用在多云与多集群的统一分发和运维管理
平塘码道·2024-01-21 02:30

【重识云原生】第六章容器基础6.4.9.3节——Service拓扑感知

1拓扑感知1.1使用拓扑键实现拓扑感知的流量路由特性状态Kubernetesv1.21[deprecated]说明：此功能特性，尤其是Alpha阶段的topologyKeysAPI，在Kubernetesv1.21版本中已被废弃。Kubernetesv1.21版本中引入的拓扑感知的提示,提供类似的功能。服务拓扑（ServiceTopology）可以让一个服务基于集群的Node拓扑进行流量路由。例如
江中散人·2024-01-21 02:29

云原生Java架构师（五）Kubernetes上安装KubeSphere

目录一、简介二、安装流程三、安装Docker四、安装Kubernetes4.1准备基础环境4.2安装kubelet、kubeadm、kubectl4.3初始化master节点4.4安装Calico网络插件4.5安装KubeSphere前置环境4.5.1nfs文件系统4.5.2metrics-server集群指标监控组件五、安装KubeSphere5.1下载核心文件5.2修改cluster-conf
Liu_Shihao·2024-01-21 02:29

[云原生专题-61]：Kubesphere云治理-安装(3)-可插拔组件的安装

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/122910292目录第1章概述1.1Kubesphere在系统中的位置1.2可插拔组件的安装概述1.3官网安装步骤：第2章Kubesphere支持的可插拔组件2.1组件类型2.2可插拔功能组件配
文火冰糖的硅基工坊·2024-01-21 02:29

16.云原生之kubesphere组件安装卸载

云原生专栏大纲文章目录KubeSphere组件介绍KubeSphere组件安装卸载配置内容参考安装组件步骤卸载组件步骤KubeSphere组件介绍KubeSphere的全部可插拔组件如下：配置项功能组件描述
野心与梦·2024-01-21 02:28

18.云原生可观测性之kubesphere监控报警系统使用实战

云原生专栏大纲文章目录kubesphere监控报警系统介绍监控功能与使用监控系统介绍集群状态监控物理资源监控集群资源节点资源Kubernetes核心组件监控APIServer监控Scheduler监控应用资源监控集群层级项目与应用资源统计用量排行企业空间层级项目层级工作负载层级容器组层级容器层级基于租户的告警与通知告警功能介绍集群告警内置告警策咯物理资源
野心与梦·2024-01-21 02:47

17.云原生可观测性之kubesphere中的支持

云原生专栏大纲文章目录可观测性介绍kubesphere可观测性支持容器日志查询收集卷上的日志日志查询维度日志搜索案例资源事件查询审计日志查询资源消费统计启用计费查看计费情况可观测性介绍可观测性是指在软件系统中收集
野心与梦·2024-01-21 02:46

19.云原生CICD之ArgoCD入门

云原生专栏大纲文章目录ArgoCDArgoCD简介GitOps介绍ArgoCD的工作流程argocd和jinkens对比kustomize介绍ArgoCD和kustomize关系安装argocdargocd
野心与梦·2024-01-21 02:43

【Quarkus技术系列】「云原生架构体系」配置参考指南相关的功能机制配置介绍分析

回顾Quarkus介绍Quarkus的概念定义Quarkus是一个为Java虚拟机（JVM）和原生编译而设计的全堆栈Kubernetes原生Java框架，用于专门针对容器优化Java，并使其成为无服务器、云和Kubernetes环境的高效平台。Quarkus与框架整合Quarkus可与常用Java标准、框架和库协同工作，例如：EclipseMicroProfile、Spring、ApacheKaf
洛神灬殇·2024-01-20 22:45
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他