云原生数仓技术解析

Walrus 0.5发布：重构交互流程，打造开箱即用的部署体验

Walrus0.4引入了全新应用模型，极大程度减少了重复的配置工作，并为研发团队屏蔽了云原生及基础设施的复杂度。
Seal软件·2024-01-30 12:55

高性能和多级高可用，云原生数据库 GaiaDB 架构设计解析

1云原生数据库和GaiaDB目前，云原生数据库已经被各行各业大规模投入到实际生产中，最终的目标都是「单机+分布式一体化」。但在演进路线上，当前主要有两个略有不同的路径。
百度智能云技术站·2024-01-30 12:22

云原生周刊：K8s 1.26 到 1.29 版本的更新 ｜ 2024.1.29

开源项目推荐SkaffoldSkaffold是一个命令行工具，有助于Kubernetes应用程序的持续开发。您可以在本地迭代应用程序源代码，然后部署到本地或远程Kubernetes集群。Skaffold处理构建、推送和部署应用程序的工作流程。它还提供构建块并描述CI/CD流水线的自定义。JibJib无需Docker守护进程，也无需深入掌握Docker最佳实践，即可为Java应用程序构建优化的Doc
KubeSphere 云原生·2024-01-30 10:38

Prometheus

是一个开源的系统监控以及报警系统，整合zabbix的功能系统，网络，设备Promethues可以兼容网络，设备，容器监控，告警系统，因为它和k8s是一个项目基金开发的产品，天生匹配k8s的原生系统，容器化和云原生服务适配性很高
2301_79410672·2024-01-30 09:51

【Spring实战】32 Spring Boot3 集成 Nacos 服务注册中心 并在 Gateway 网关中应用

下载安装5.服务启动6.使用示例1）服务提供者2）服务消费者3）测试7.代码参考结语1.定义Nacos是DynamicNamingandConfigurationService的首字母简称，一个更易于构建云原生应用的动态服务发现
好久不见的流星·2024-01-30 08:04

数仓工具使用-Datax

前置-解决中文乱码问题解决方案-在mysql中执行usehive;altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;altertableTABLE_PARAMSmodifycolumnPARAM_VALUEvarchar(4000)charactersetutf8;altertablePARTITION_PARA
t_813·2024-01-30 06:07

网络 防御 笔记

计算机、路由器、交换机等）组成的相互依赖的网络我国官方文件定义：网络空间为继海，陆，空，天以外的第五大人类活动领域通信保密阶段---计算机安全阶段---信息系统安全---网络空间安全云计算--分布式计算云原生终极目标
Snow_flake_·2024-01-30 01:09

Nacos 官网重大升级，提供官方发行版下载包，3.0 里程碑版本新特性预告

邢学超（于怀）什么是Nacos以及nacos.ioNacos/nɑ:kəʊs/是DynamicNamingandConfigurationService的首字母简称，Nacos开源产品定位是更易于构建云原生应用的动态服务发现
阿里云云原生·2024-01-29 18:37

让游戏云原生化别再「左右为难」

作者：云原生游戏社区当下，游戏行业正在经历云原生架构转型期，不少游戏厂商纷纷投入游戏服容器化改造。
阿里云云原生·2024-01-29 18:06

申万宏源基于 StarRocks 构建实时数仓

作者：申万宏源证券实时数仓项目组小编导读：申万宏源证券有限公司是由新中国第一家股份制证券公司——申银万国证券股份有限公司与国内资本市场第一家上市证券公司——宏源证券股份有限公司，于2015年1月16日合并组建而成
StarRocks_labs·2024-01-29 18:23

K8s-k8s架构

本文章属个人学习整理的对应笔记，学习内容来尚硅谷的培训课，有兴趣的同学可以跳转下方链接【云原生Java架构师的第一课K8s+Docker+KubeSphere+DevOps】https://www.bilibili.com
是小天才哦·2024-01-29 17:08

美团外卖搜索基于Elasticsearch的优化实践

1.前言最近十年，Elasticsearch已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。
架构未来·2024-01-29 17:07

PE_Loade技术解析

文章目录0x0Pe_Loade0x1Loader技术点技术剖析-2读取NT映像头技术剖析-3读取映像基址技术剖析-4NtUnmapViewOfSection卸载模块技术剖析-5开辟具有RXW权限的堆技术剖析-6复制内存中PE头+节表目录到新堆技术剖析-7将节内容对齐后复制点到新堆技术剖析-8修复IAT总结0x0Pe_LoadePe_Loader后面简称为Loader，实际上就是自己实现pe装载器的
虚构之人·2024-01-29 16:39

超级大像素拍摄有什么技巧，超级大像素图片有什么好处

一、超级大像素拍摄技术解析1.什么是超级大像素拍摄？超级大像素拍摄是指采用具有高像素传感器的相机进行拍摄，从而获得分辨率极高的图片。
蛙色3DVR·2024-01-29 15:11

【华为 ICT & HCIA & eNSP 习题汇总】——题目集11

A、挤掉前一个用户，强制进行NAT转换上网B、将报文同步到其他NAT转换设备上进行NAT转换C、自动把NAT切换成PAT后上网D、后续的内网用户将不能上网考点：①网络层②NAT技术解析：（D）NAT技术的
晚风(●•σ )·2024-01-29 13:58

容器 I/O 性能诊断：到底哪个应用是带宽杀手？

容器和Kubernetes的发展成熟为应用的云原生化提供最基础的支撑，从而使企业最大化利用云上的资源。存储作为应用运行的基石，也在服务云原生化的过程中不断演进。
Java海·2024-01-29 13:19

数据仓库模型设计：从架构到实践的全方位指南

一、数仓模型架构在构建数据仓库时，首先需要明确模型架构，以确保数据仓库的高内聚和低耦合，以及数据的分层管理。
猿来孺词·2024-01-29 10:51

ID Mapping技术解析：从Redis到Spark GraphX的演进与应用

目录一、IDMapping的背景二、IDMapping的重要性三、IDMapping的方案3.1基于Redis的IDMapping(效率不行)
数据与后端架构提升之路·2024-01-29 10:48

了解云原生

一.什么是云原生云原生是一种构建和运行程序的方法。云原生(CloudNative）是一个组合词，Cloud+Native。
孜孜不倦fly·2024-01-29 07:27

引领云计算未来的技术-云原生详解

目录云原生的定义云原生的核心特征云原生的优势云原生最佳实践小结随着云计算技术的不断发展与普及，越来越多的企业和开发者开始关注云原生（CloudNative）这一概念。
路多辛·2024-01-29 07:23

从微服务到云原生

很多文章介绍云原生概念，说它包含微服务，又包含了其它几个方面的东西，还扯到文化层面、组织层面和技术层面，搞技术的人一听到公司文化问题和组织部门问题，就十分地晕眩，不能让我好好地坐下来写写代码、搞搞纯技术吗
鬓戈·2024-01-29 06:30

22.云原生之GitLab CICD实战及解析【干货】

云原生专栏大纲文章目录k8s执行器工作流程注册配置kubernetesrunnerkubernetesrunner配置通过修改Pod规范为每个构建作业创建一个PVC自定义卷装载持久性并发构建卷为容器设置安全策略设置拉取策略配置
野心与梦·2024-01-28 23:38

Nacos(先解释专属名词，然后大白话讲解+安装配置教程+代码实例 信我，看了必会！！点进来吧各位大佬们)

jdk是jdk17，idea是2023.2.4，并且是社区版的idea1.什么是NacosNacos是DyamicNamingandConfigurationService的首字母简称，一个更易于构建云原生应用的动态服务发现
小白不想秃头·2024-01-28 23:21

数仓-数据安全

文章内容参考：数仓建设实践路线-第十一讲-数据安全_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地
爱吃辣条byte·2024-01-28 23:41

数仓治理-小文件治理

注：文章参考:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对hadoop扩展性以及稳定性造成影响,因为要在namenode上存储维护大量元信息.https://
爱吃辣条byte·2024-01-28 23:40

数仓-数据质量

文章内容参考：数仓建设实践路线-第八讲-数据质量_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地。
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据质量治理

注：文章参考：语数-数据质量治理本期语兴从数据质量治理角度出发，与大家一起探讨数据质量治理最佳实践，之前的数据治理文章在网易有数官方公众号，数据治理课程讲解在B站（搜索：语兴呀）https://mp.weixin.qq.com/s/uoHlA64q1K_WHVYLPRucHQ目录一、数据质量治理的背景1.1BUG工单较多1.2DQC（数据质量监控）常触发1.3基线/SLA经常破线二、数据质量治理识
爱吃辣条byte·2024-01-28 23:10

数仓治理-计算资源治理

mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ目录一、计算资源治理的背景二、计算资源问题复盘三、计算资源治理前的思考与行动3.1治理前的思考3.2治理行动四、治理效果五、小结前言业务成熟期，数仓经常会收到集
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据安全治理

一、数据安全治理的背景存在敏感数据泄露、数据安全审批节点过长、风险数据对外暴露、数据使用权限（库、表年、字段）闲置情况。二、数据安全治理前评估2.1数据安全问题评估存在安全隐患的评估角度：审批流程缺少数据使用说明次数、被业务方发现数据安全问题次数等。2.2数据表审批链路评估基于每个节点的审批时间去做整个链路的评估，必要时需要进行链路缩短。数据表的内容一般包括申请人，审批人，节点层级，工单处理内容等
爱吃辣条byte·2024-01-28 23:10

通信行业5G的自智网络

一方面，5G在网络基础设施中引入NFV、SDN、云原生架构等新技术，运营商的网络运营与管理工作的技术对象已经与传统的2/3/4G时代大不相同。
robot_test_boy·2024-01-28 20:51

Kubernetes技术

它最初是由Google工程师设计的，后来捐赠给了云原生计算基金会（CNCF）。Kubernetes通过提供一个平台来自动化部署、管理和
编织幻境的妖·2024-01-28 19:10

数据湖技术之核心特性篇

一.湖仓一体关键技术特性原有的数仓模式为业务解决了很大的业务需求问题，很好的服务于公司的数据分析服务。但是由于本身的一些机制问题，导致一些方面受到了限制，无法更好的去扩展。
风筝Lee·2024-01-28 18:58

云原生和事件驱动架构：实时数据处理和分析的未来

1.背景介绍随着数据的增长和实时性的要求，云原生和事件驱动架构在现代软件系统中发挥着越来越重要的作用。
OpenChat·2024-01-28 16:17

【云原生】Docker私有仓库搭建以及四大容器重启策略

目录一、registry私有仓库步骤一：先拉取registry的镜像步骤二：修改docker的配置文件重启步骤三：基于registry镜像启动一个容器，可以设置为always重启策略步骤四：修改想要上传的镜像的标签并上传验证步骤五：修改另一台主机的docker配置文件重启，然后添加标签，然后上传浏览器验证二、基于Docker--harbor私有仓库部署与管理步骤一：先准备docker-compos
liu_xueyin·2024-01-28 07:23

云原生环境搭建—Docker创建镜像 并推拉Harbor

创建镜像2种方式1、根据Dockerfile【build】2、基于运行的容器修改后【commit】镜像与容器关联一、根据Dockerfile创建镜像1、mkdirdockerfile/lib/centos7base/创建目录2、创建DockerfilevimDockerfile二、构建镜像dockerbuild-tpython.--tag,-t:镜像的名字及标签过程解析我们看一下docker的编译
Coder_Boy_·2024-01-28 06:59

云原生环境搭建—Harbor安装

Harbor安装Docker安装安装一些必要的系统工具：sudoyuminstall-yyum-utilsdevice-mapper-persistent-datalvm2添加软件源信息：sudoyum-config-manager--add-repohttp://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo更新yum缓存：sud
Coder_Boy_·2024-01-28 06:58

Ali云低成本租用ECS安装NOCODB

索引：NOCODB是一个开源的、无服务器的、可扩展的、高性能的云原生数据库，使用JavaScript作为查询语言，支持多种数据模型。
秃秃土狗·2024-01-28 04:29

k8s使用volume将ConfigMap作为文件或目录直接挂载_K8s 应用管理之道 - 有状态服务

随着k8s的普及和云原生架构的兴起，越来越多的人希望把数据库这类有状态服务也通过k8s进行编排。但因为有状态服务的复杂性，这一过程并不容易。本文将以最流行的开源数据库MySQL为例，介
weixin_39609650·2024-01-28 03:34

Kubernetes成本优化

云原生可以帮助团队更精细化利用资源，但如果缺乏工具的帮助，很难采取适当的措施优化资源的使用。
俞凡 DeepNoMind·2024-01-28 03:56

etcd技术解析：构建高可用分布式系统的利器

1.引言随着云原生技术的兴起，分布式系统的构建变得愈发重要。etcd作为一个高可用的分布式键值存储系统，在这个领域发挥着至关重要的作用。
Memory_2020·2024-01-27 20:38

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。
UI设计前端开发一线员工·2024-01-27 19:03

快速上手！使用Docker和Nginx部署Web服务的完美指南

在当今快速发展的技术领域，C/C++、云原生、人
鼠鼠我捏，要死了捏·2024-01-27 19:55

【华为云-云驻共创】多沙箱容器运行时Kuasar开发上手实践

【摘要】在云原生技术发蓬勃发展的时代，底层承载应用的容器很重要，然而，单一容器隔离技术已经无法满足各种场景的要求，不同的场景都需要不同的容器形态来承载，从而产生了不同的沙箱技术。
IT民工金鱼哥·2024-01-27 18:03

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

【摘要】本文讲解GaussDB（DWS）集群通信技术如何在大规模集群中承载高并发业务，如何实现高性能分布式通信系统。主要讲述客户端、CN、DN三类进程间的通信原理和流程，分为CN通信框架和DN间通信框架。数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus
IT民工金鱼哥·2024-01-27 18:29

Apache Pulsar 为滴滴大数据运维带来了哪些收益？

ApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体。
滴滴技术·2024-01-27 17:58

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

1安装部署1.1kafka的分布式kafka是依靠zookeeper来实现分布式的，所以再启动前需要先启动zookeeper，如下图1.2集群部署官方下载地址：ApacheKafka（1）安装和Hadoop等都一样，解压即可[atguigu@hadoop102software]$tar-zxvfkafka_2.12-3.0.0.tgz-C/opt/module/（2）然后修改配置文件[atguig
江中散人·2024-01-27 16:16

【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

1命令操作1.1主题命令操作查看操作主题命令参数：[atguigu@hadoop102kafka]$bin/kafka-topics.sh参数描述--bootstrap-server，连接的KafkaBroker主机名称和端口号。--topic，操作的topic名称。--create，创建主题。--delete，删除主题。--alter，修改主题。--list，查看所有主题。--describe，
江中散人·2024-01-27 16:16

Amazon EKS 集群弹性伸缩和不可变基础设施的最佳实践

资源的弹性伸缩(AmazonAutoScaling)是云计算的本质能力之一，是云上降本增效的重要途径，也是衡量云原生成熟度的关键因素。
亚马逊云开发者·2024-01-27 15:26

Docker 和 Kubernetes：容器化时代的崛起与演变

紧随其后，Kubernetes作为容器编排的领军者，它不仅极大地增强了容器的管理能力，更成为了云原生理念下不可或缺的组成部分。
mntalk·2024-01-27 10:47

2021-03-07

MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop的数仓工具
残月冷无声·2024-01-27 10:39
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他