云原生数仓技术解析

以数仓视角切入学习路线，大数据真正需要学习的内容有哪些？

本期精选问题作为数仓开发，需要学习哪些大数据基础知识？当整个数据链路过长时，如何进行模型优化？
语兴数据·2024-01-30 15:30

数仓建设学习路线（四）-指标体系建设

指标体系建设目的与下游（风控/bi）达成合作，保障指标建设时口径的统一，完成指标覆盖，提升复用性，通过可视化方式提升查询效率指标中心图指标体系建设难点能否与下游达成共识（沟通）指标能否做到数仓收口
语兴数据·2024-01-30 15:00

我在面试时写了这个，面试官对我刮目相看

孟哥介绍前字节跳动高级开发，军工企业数仓某线负责人，曾面试过上百人，看过2000余份简历。
语兴数据·2024-01-30 15:00

数仓建设学习路线（五）-数据质量保障

也使得下游业务方对数据用的放心数据质量的痛点有哪些数据问题该如何上报修复，缺少流程化数据链路缺少卡点保障数据不能及时产出影响到下游用数用户无感知，除了发现的数据问题，隐藏的数据问题仍存在很多人会有一种想法，做了这么久的数仓为什么还存在质量问题
语兴数据·2024-01-30 15:00

数仓建设学习路线（三）元数据管理

什么是元数据？简单来说就是描述数据的数据，更直白来说就是描述表名、表制作者、表字段、表生命周期、表存粗等信息的数据元数据该如何管理工具化开源：可通过atlas获取表依赖及信息做二次开发，或者完成可视化界面平台化：数据血缘数据血缘功能清晰知道表/任务上下游，方便排查问题，知道下游哪个模块在使用，提升开发效率及后期管理维护数据血缘类型活跃血缘：指离线开发线上调度产出的血缘，且调度持续生效静默血缘：指离
语兴数据·2024-01-30 15:59

数据治理实践 | 网易某业务线的计算资源治理

写在前面感谢关注，更多资料可以关注公众号语数，也可关注B站同名：语兴呀，一起学习数仓建设。前言本文从计算资源治理实践出发，带大家清楚认识计算资源治理到底该如何进行，并如何应用到其他项目中。
语兴数据·2024-01-30 15:29

数据治理实践 | 小文件治理

小文件是数仓侧长期头痛问题，它们会占用过多的存储空间，影响查询性能。因此，我们需要采取一些措施来对小文件进行治理，以保证Hive的高效性和稳定性。
语兴数据·2024-01-30 15:29

回响科技二面面试题解答

面试题1、你们的数仓中DWD层为什么要划分数据域？划分数据域之后会对ADS层造成什么影响？是可以提效还是可扩展性强？你们是如何考虑的呢？
语兴数据·2024-01-30 15:58

Prometheus---图形化界面grafana(二进制)

容器化和云原生服务适配性很高。Prometheus是一个服务监控系统和时序数据库，提供了通用的数据模型和快捷采集，存储和接口查询。核心组件：prometheusserver定期从
Lad1129·2024-01-30 15:44

云原生之使用Docker部署homarr个人导航页

云原生之使用Docker部署homarr个人导航页一、homarr介绍1.1homarr简介1.2homarr特点二、本地环境介绍2.1本地环境规划2.2本次实践介绍三、本地环境检查3.1检查Docker
江湖有缘·2024-01-30 14:26

云原生数据库GaiaDB的核心技术演进

导读越来越强调云原生的环境下，存算分离作为一种新的架构理念，已经是大势所趋。
郎岳樟·2024-01-30 14:08

Walrus 0.5发布：重构交互流程，打造开箱即用的部署体验

Walrus0.4引入了全新应用模型，极大程度减少了重复的配置工作，并为研发团队屏蔽了云原生及基础设施的复杂度。
Seal软件·2024-01-30 12:55

高性能和多级高可用，云原生数据库 GaiaDB 架构设计解析

1云原生数据库和GaiaDB目前，云原生数据库已经被各行各业大规模投入到实际生产中，最终的目标都是「单机+分布式一体化」。但在演进路线上，当前主要有两个略有不同的路径。
百度智能云技术站·2024-01-30 12:22

云原生周刊：K8s 1.26 到 1.29 版本的更新 ｜ 2024.1.29

开源项目推荐SkaffoldSkaffold是一个命令行工具，有助于Kubernetes应用程序的持续开发。您可以在本地迭代应用程序源代码，然后部署到本地或远程Kubernetes集群。Skaffold处理构建、推送和部署应用程序的工作流程。它还提供构建块并描述CI/CD流水线的自定义。JibJib无需Docker守护进程，也无需深入掌握Docker最佳实践，即可为Java应用程序构建优化的Doc
KubeSphere 云原生·2024-01-30 10:38

Prometheus

是一个开源的系统监控以及报警系统，整合zabbix的功能系统，网络，设备Promethues可以兼容网络，设备，容器监控，告警系统，因为它和k8s是一个项目基金开发的产品，天生匹配k8s的原生系统，容器化和云原生服务适配性很高
2301_79410672·2024-01-30 09:51

【Spring实战】32 Spring Boot3 集成 Nacos 服务注册中心 并在 Gateway 网关中应用

下载安装5.服务启动6.使用示例1）服务提供者2）服务消费者3）测试7.代码参考结语1.定义Nacos是DynamicNamingandConfigurationService的首字母简称，一个更易于构建云原生应用的动态服务发现
好久不见的流星·2024-01-30 08:04

数仓工具使用-Datax

前置-解决中文乱码问题解决方案-在mysql中执行usehive;altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8;altertableTABLE_PARAMSmodifycolumnPARAM_VALUEvarchar(4000)charactersetutf8;altertablePARTITION_PARA
t_813·2024-01-30 06:07

网络 防御 笔记

计算机、路由器、交换机等）组成的相互依赖的网络我国官方文件定义：网络空间为继海，陆，空，天以外的第五大人类活动领域通信保密阶段---计算机安全阶段---信息系统安全---网络空间安全云计算--分布式计算云原生终极目标
Snow_flake_·2024-01-30 01:09

Nacos 官网重大升级，提供官方发行版下载包，3.0 里程碑版本新特性预告

邢学超（于怀）什么是Nacos以及nacos.ioNacos/nɑ:kəʊs/是DynamicNamingandConfigurationService的首字母简称，Nacos开源产品定位是更易于构建云原生应用的动态服务发现
阿里云云原生·2024-01-29 18:37

让游戏云原生化别再「左右为难」

作者：云原生游戏社区当下，游戏行业正在经历云原生架构转型期，不少游戏厂商纷纷投入游戏服容器化改造。
阿里云云原生·2024-01-29 18:06

申万宏源基于 StarRocks 构建实时数仓

作者：申万宏源证券实时数仓项目组小编导读：申万宏源证券有限公司是由新中国第一家股份制证券公司——申银万国证券股份有限公司与国内资本市场第一家上市证券公司——宏源证券股份有限公司，于2015年1月16日合并组建而成
StarRocks_labs·2024-01-29 18:23

K8s-k8s架构

本文章属个人学习整理的对应笔记，学习内容来尚硅谷的培训课，有兴趣的同学可以跳转下方链接【云原生Java架构师的第一课K8s+Docker+KubeSphere+DevOps】https://www.bilibili.com
是小天才哦·2024-01-29 17:08

美团外卖搜索基于Elasticsearch的优化实践

1.前言最近十年，Elasticsearch已经成为了最受欢迎的开源检索引擎，其作为离线数仓、近线检索、B端检索的经典基建，已沉淀了大量的实践案例及优化总结。
架构未来·2024-01-29 17:07

PE_Loade技术解析

文章目录0x0Pe_Loade0x1Loader技术点技术剖析-2读取NT映像头技术剖析-3读取映像基址技术剖析-4NtUnmapViewOfSection卸载模块技术剖析-5开辟具有RXW权限的堆技术剖析-6复制内存中PE头+节表目录到新堆技术剖析-7将节内容对齐后复制点到新堆技术剖析-8修复IAT总结0x0Pe_LoadePe_Loader后面简称为Loader，实际上就是自己实现pe装载器的
虚构之人·2024-01-29 16:39

超级大像素拍摄有什么技巧，超级大像素图片有什么好处

一、超级大像素拍摄技术解析1.什么是超级大像素拍摄？超级大像素拍摄是指采用具有高像素传感器的相机进行拍摄，从而获得分辨率极高的图片。
蛙色3DVR·2024-01-29 15:11

【华为 ICT & HCIA & eNSP 习题汇总】——题目集11

A、挤掉前一个用户，强制进行NAT转换上网B、将报文同步到其他NAT转换设备上进行NAT转换C、自动把NAT切换成PAT后上网D、后续的内网用户将不能上网考点：①网络层②NAT技术解析：（D）NAT技术的
晚风(●•σ )·2024-01-29 13:58

容器 I/O 性能诊断：到底哪个应用是带宽杀手？

容器和Kubernetes的发展成熟为应用的云原生化提供最基础的支撑，从而使企业最大化利用云上的资源。存储作为应用运行的基石，也在服务云原生化的过程中不断演进。
Java海·2024-01-29 13:19

数据仓库模型设计：从架构到实践的全方位指南

一、数仓模型架构在构建数据仓库时，首先需要明确模型架构，以确保数据仓库的高内聚和低耦合，以及数据的分层管理。
猿来孺词·2024-01-29 10:51

ID Mapping技术解析：从Redis到Spark GraphX的演进与应用

目录一、IDMapping的背景二、IDMapping的重要性三、IDMapping的方案3.1基于Redis的IDMapping(效率不行)
数据与后端架构提升之路·2024-01-29 10:48

了解云原生

一.什么是云原生云原生是一种构建和运行程序的方法。云原生(CloudNative）是一个组合词，Cloud+Native。
孜孜不倦fly·2024-01-29 07:27

引领云计算未来的技术-云原生详解

目录云原生的定义云原生的核心特征云原生的优势云原生最佳实践小结随着云计算技术的不断发展与普及，越来越多的企业和开发者开始关注云原生（CloudNative）这一概念。
路多辛·2024-01-29 07:23

从微服务到云原生

很多文章介绍云原生概念，说它包含微服务，又包含了其它几个方面的东西，还扯到文化层面、组织层面和技术层面，搞技术的人一听到公司文化问题和组织部门问题，就十分地晕眩，不能让我好好地坐下来写写代码、搞搞纯技术吗
鬓戈·2024-01-29 06:30

22.云原生之GitLab CICD实战及解析【干货】

云原生专栏大纲文章目录k8s执行器工作流程注册配置kubernetesrunnerkubernetesrunner配置通过修改Pod规范为每个构建作业创建一个PVC自定义卷装载持久性并发构建卷为容器设置安全策略设置拉取策略配置
野心与梦·2024-01-28 23:38

Nacos(先解释专属名词，然后大白话讲解+安装配置教程+代码实例 信我，看了必会！！点进来吧各位大佬们)

jdk是jdk17，idea是2023.2.4，并且是社区版的idea1.什么是NacosNacos是DyamicNamingandConfigurationService的首字母简称，一个更易于构建云原生应用的动态服务发现
小白不想秃头·2024-01-28 23:21

数仓-数据安全

文章内容参考：数仓建设实践路线-第十一讲-数据安全_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地
爱吃辣条byte·2024-01-28 23:41

数仓治理-小文件治理

注：文章参考:数据治理实践|小文件治理本文中将介绍Hive中小文件治理的方法和技巧，希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对hadoop扩展性以及稳定性造成影响,因为要在namenode上存储维护大量元信息.https://
爱吃辣条byte·2024-01-28 23:40

数仓-数据质量

文章内容参考：数仓建设实践路线-第八讲-数据质量_哔哩哔哩_bilibili经过一段时间打磨开启全新篇章《数仓建设实践路线》，从0-1搭建数据体系，让大家更有体感，并将《数仓建设学习路线》课程内容落地。
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据质量治理

注：文章参考：语数-数据质量治理本期语兴从数据质量治理角度出发，与大家一起探讨数据质量治理最佳实践，之前的数据治理文章在网易有数官方公众号，数据治理课程讲解在B站（搜索：语兴呀）https://mp.weixin.qq.com/s/uoHlA64q1K_WHVYLPRucHQ目录一、数据质量治理的背景1.1BUG工单较多1.2DQC（数据质量监控）常触发1.3基线/SLA经常破线二、数据质量治理识
爱吃辣条byte·2024-01-28 23:10

数仓治理-计算资源治理

mp.weixin.qq.com/s/w6d5zhDaaavNhW_DMEkPsQ目录一、计算资源治理的背景二、计算资源问题复盘三、计算资源治理前的思考与行动3.1治理前的思考3.2治理行动四、治理效果五、小结前言业务成熟期，数仓经常会收到集
爱吃辣条byte·2024-01-28 23:10

数仓治理-数据安全治理

一、数据安全治理的背景存在敏感数据泄露、数据安全审批节点过长、风险数据对外暴露、数据使用权限（库、表年、字段）闲置情况。二、数据安全治理前评估2.1数据安全问题评估存在安全隐患的评估角度：审批流程缺少数据使用说明次数、被业务方发现数据安全问题次数等。2.2数据表审批链路评估基于每个节点的审批时间去做整个链路的评估，必要时需要进行链路缩短。数据表的内容一般包括申请人，审批人，节点层级，工单处理内容等
爱吃辣条byte·2024-01-28 23:10

通信行业5G的自智网络

一方面，5G在网络基础设施中引入NFV、SDN、云原生架构等新技术，运营商的网络运营与管理工作的技术对象已经与传统的2/3/4G时代大不相同。
robot_test_boy·2024-01-28 20:51

Kubernetes技术

它最初是由Google工程师设计的，后来捐赠给了云原生计算基金会（CNCF）。Kubernetes通过提供一个平台来自动化部署、管理和
编织幻境的妖·2024-01-28 19:10

数据湖技术之核心特性篇

一.湖仓一体关键技术特性原有的数仓模式为业务解决了很大的业务需求问题，很好的服务于公司的数据分析服务。但是由于本身的一些机制问题，导致一些方面受到了限制，无法更好的去扩展。
风筝Lee·2024-01-28 18:58

云原生和事件驱动架构：实时数据处理和分析的未来

1.背景介绍随着数据的增长和实时性的要求，云原生和事件驱动架构在现代软件系统中发挥着越来越重要的作用。
OpenChat·2024-01-28 16:17

【云原生】Docker私有仓库搭建以及四大容器重启策略

目录一、registry私有仓库步骤一：先拉取registry的镜像步骤二：修改docker的配置文件重启步骤三：基于registry镜像启动一个容器，可以设置为always重启策略步骤四：修改想要上传的镜像的标签并上传验证步骤五：修改另一台主机的docker配置文件重启，然后添加标签，然后上传浏览器验证二、基于Docker--harbor私有仓库部署与管理步骤一：先准备docker-compos
liu_xueyin·2024-01-28 07:23

云原生环境搭建—Docker创建镜像 并推拉Harbor

创建镜像2种方式1、根据Dockerfile【build】2、基于运行的容器修改后【commit】镜像与容器关联一、根据Dockerfile创建镜像1、mkdirdockerfile/lib/centos7base/创建目录2、创建DockerfilevimDockerfile二、构建镜像dockerbuild-tpython.--tag,-t:镜像的名字及标签过程解析我们看一下docker的编译
Coder_Boy_·2024-01-28 06:59

云原生环境搭建—Harbor安装

Harbor安装Docker安装安装一些必要的系统工具：sudoyuminstall-yyum-utilsdevice-mapper-persistent-datalvm2添加软件源信息：sudoyum-config-manager--add-repohttp://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo更新yum缓存：sud
Coder_Boy_·2024-01-28 06:58

Ali云低成本租用ECS安装NOCODB

索引：NOCODB是一个开源的、无服务器的、可扩展的、高性能的云原生数据库，使用JavaScript作为查询语言，支持多种数据模型。
秃秃土狗·2024-01-28 04:29

k8s使用volume将ConfigMap作为文件或目录直接挂载_K8s 应用管理之道 - 有状态服务

随着k8s的普及和云原生架构的兴起，越来越多的人希望把数据库这类有状态服务也通过k8s进行编排。但因为有状态服务的复杂性，这一过程并不容易。本文将以最流行的开源数据库MySQL为例，介
weixin_39609650·2024-01-28 03:34

Kubernetes成本优化

云原生可以帮助团队更精细化利用资源，但如果缺乏工具的帮助，很难采取适当的措施优化资源的使用。
俞凡 DeepNoMind·2024-01-28 03:56
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他