云原生数仓技术解析

Serverless：微服务架构的终极模式

云原生实验室和电子工业出版社将为大家送出5本《华为Serverless核心技术与实践》。关注本公众号参与抽奖即可获取。大家好，我是米开朗基杨。
米开朗基杨·2024-02-09 09:26

【云原生进阶之PaaS中间件】第三章Kafka-4.3.2-broker网络模型

1kafka网络模型运行原理kafkabroker在启动的时候，会根据你配置的listeners初始化它的网络组件，用来接收外界的请求，这个listeners你可能没配置过，它默认的配置是listeners=PLAINTEXT://:9092就是告诉kafka使用哪个协议，监听哪个端口，如果我们没有特殊的要求的话，使用它默认的配置就可以了，顶多是修改下端口这块。这个listeners是支持配置多套
江中散人·2024-02-09 05:19

【云原生进阶之PaaS中间件】第三章Kafka-4.3.3-broker的leader和follower工作机制

1leader和follower1.1kafka的副本kafka副本的作用就是提高数据的可靠性，系统默认副本数量是1，生产环境一般配置数量是2个，保证数据可靠性；否则副本太多会增加磁盘的存储空间，增加网络上的数据传输，降低效率。kafka的副本分为leader和follower，其中leader数据读写，follower只负责数据同步。关于副本有下面三个概念：ISR：表示和leader保持同步的f
江中散人·2024-02-09 05:19

负载均衡（2）

LVS工作原理LVS集群体系架构LVS功能及组织架构应用于高访问量的业务扩展应用程序消除单点故障同城容灾（多可用区容灾）跨地域容灾LVS应用场景音视频/游戏等大并发流量场景零售/金融/企业等弹性高可靠场景云原生网络应用场景跨地域网络应用场景
Dream visit·2024-02-09 05:35

spring cloud alibaba系列(三)Nacos Config配置中心

概述Nacos是阿里巴巴开源的一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。
codeing_java·2024-02-09 01:54

数据湖的整体思路

当数据湖成为中心，那么就可以围湖而建“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务等等。
zhang菜鸟·2024-02-08 22:19

猫头虎分享已解决Bug || Vue3报错: Failed to fetch dynamically imported module

欢迎大家来踩踩~《IDEA开发秘籍专栏》学会IDEA常用操作，工作效率翻倍~《100天精通Golang(基础入门篇）》学会Golang语言，畅玩云原生，走遍大小厂~希望本文能够给您带来一定的帮助文章粗浅
猫头虎-前端技术·2024-02-08 19:37

已解决 Bug - ReferenceError: process is not defined

欢迎大家来踩踩~《IDEA开发秘籍专栏》学会IDEA常用操作，工作效率翻倍~《100天精通Golang(基础入门篇）》学会Golang语言，畅玩云原生，走遍大小厂~希望本文能够给您带来一定的帮助文章粗浅
猫头虎-前端技术·2024-02-08 19:07

Cilium CNI深度指南

Cilium是基于eBPF的功能强大的CNI插件，为云原生环境提供了强大的网络和安全支持。
俞凡 DeepNoMind·2024-02-08 19:52

云原生微服务的SWOT分析

云原生转型既是机会，也有风险。通过SWOT分析可以相对清晰的了解云原生微服务的优缺点，从而更有把握的做出技术决策。
俞凡 DeepNoMind·2024-02-08 19:22

已解决 Docker: Error response from daemon: network not found 问题

博主猫头虎（）带您GotoNewWorld✨猫头虎建议程序员必备技术栈一览表：云原生技术CloudNative:GolangDocker☸️Kubernetes⛵HelmServerless️AWSLambda
猫头虎-云原生·2024-02-08 15:56

已解决——docker: Error response from daemon: pull access denied问题

博主猫头虎（）带您GotoNewWorld✨猫头虎建议程序员必备技术栈一览表：云原生技术CloudNative:GolangDocker☸️Kubernetes⛵HelmServerless️AWSLambda
猫头虎-云原生·2024-02-08 15:56

已解决 docker: Error response from daemon: OCI runtime create failed: container_linux.go:349

博主猫头虎（）带您GotoNewWorld✨猫头虎建议程序员必备技术栈一览表：云原生技术CloudNative:GolangDocker☸️Kubernetes⛵HelmServerless️AWSLambda
猫头虎-云原生·2024-02-08 15:26

已解决 Error response from daemon: Conflict. The container name is already in use by another container

博主猫头虎（）带您GotoNewWorld✨猫头虎建议程序员必备技术栈一览表：云原生技术CloudNative:GolangDocker☸️Kubernetes⛵HelmServerless️AWSLambda
猫头虎-云原生·2024-02-08 15:25

已解决 Error response from daemon: driver failed programming external connectivity on endpoint

博主猫头虎（）带您GotoNewWorld✨猫头虎建议程序员必备技术栈一览表：云原生技术CloudNative:GolangDocker☸️Kubernetes⛵HelmServerless️AWSLambda
猫头虎-云原生·2024-02-08 15:25

Kubernetes 是什么？

介绍Kubernetes是一个强大的开源系统，最初由谷歌开发，并得到云原生计算基金会（CNCF）的支持，用于在集群环境中管理容器化应用程序。
白如意i·2024-02-08 14:35

小白解说之Prometheus监控入门

今天给大家讲解一下云原生界的监控扛把子普罗米修斯Prometheus。
小白说互联网·2024-02-08 11:43

k8s-存储抽象-PV挂载

本文章属个人学习整理的对应笔记，学习内容来尚硅谷的培训课，有兴趣的同学可以跳转下方链接【云原生Java架构师的第一课K8s+Docker+KubeSphere+DevOps】https://www.bilibili.com
是小天才哦·2024-02-08 10:22

使用 Kubernetes，基础设施层面如何优化？分享一些解决方案

随着云原生技术逐渐成熟，越来越多的用户
志凌海纳SmartX·2024-02-08 07:51

论文阅读-GROUP：一种聚焦于工作负载组行为的端到端多步预测方法

对于云原生应用程序来说，多个容器协同处理用户请求，导致每个容器的工作负载变化受到工作负载组行为的影响。然而，现有方法主要分析每个容器的个体变化，没有明确建模容器工作负载组的演化，导致结果次优。
向来痴_·2024-02-08 06:45

Spring IOC容器底层实现原理

不需要开发者自己去new对象IOC容器底层实现技术反射技术解析xml工厂模式作用：降低代码的耦合度步骤：1.解析xml技术，解析spring.xml配置文件。2.获取类完整路径地址。
only-code·2024-02-08 02:03

微软收购5G边缘计算公司，谷歌发布全球移动边缘云平台GMEC

近日，微软宣布收购初创企业AffirmedNetworks，该初创公司主要为电信运营商提供完全虚拟化的云原生网络解决方案。
边缘计算社区·2024-02-08 00:49

泽攸科技桌面型扫描电子显微镜（SEM）技术解析

台式扫描电子显微镜是一种利用电子束扫描样品表面并检测样品反射或发射的电子信号，从而获得样品表面形貌、结构和成分信息的仪器。它的工作原理是由电子枪发出的电子束经过栅极静电聚焦后成为直径50微米的点光源，然后在加速电压作用下，经两三个透镜组成的电子光学系统，电子束被会聚成几十埃大小聚焦到样品表面。电子束与样品相互作用产生不同类型的信号，如二次电子、背散射电子、X射线、阴极发光等，这些信号被相应的检测器
泽攸科技·2024-02-07 13:57

数仓：用户行为类指标一网打尽

前言用户行为分析是对用户在产品或触点上产生的行为及行为背后的数据进行分析，通过构建用户行为数据分析体系或者用户画像，来改变产品、营销、运营决策，实现精细化运营，指导业务增长。总之，很重要。关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】先来看下用户类行为指标说明，然后下面详解常写的指标。指标名称解释说明新增用户首次联网使用应用的用户，如果一个用户首次打
大数据左右手·2024-02-07 09:35

数仓：事实表设计方法，原则和三种类型选择

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（外键）以及该业务过程的度量。一般设计会遵循以下四个步骤：1.选择业务过程及确定事实表类型通常情况下，一个业务过程对应一张事实表。2.声明粒度精确定义每张事实表的每行数据表示什么,按照业务尽可能选择最
大数据左右手·2024-02-07 09:35

数仓-数据质量体系建设

注：文章参考：数据仓库数据质量体系建设涤生推荐：未来的行业中，数据是企业的重要资产，而数据仓库则是对企业数据进行有效管理和利用的重要手段。在数据仓https://mp.weixin.qq.com/s/elPkpgTm6cfAR-AFuJA16w目录一、数据质量体系建设的原因二、数据质量的重要性决策基础客户满意度业务流程效率成本控制法律合规三、常见的数据质量问题数据缺失数据错误数据不一致数据重复数据
爱吃辣条byte·2024-02-07 08:26

Flink-CDC实时读Postgresql数据

用户可以在如下的场景使用cdc：实时数据同步：比如将Postgresql库中的数据同步到我们的数仓中。数据库的实时物化视图。Postgresql数据库配置Postgresql参数修改#更改wa
pigcoffee·2024-02-07 07:13

解密 ARMS 持续剖析：如何用一个全新视角洞察应用的性能瓶颈？

作者：饶子昊、杨龙应用复杂度提升，根因定位困难重重随着软件技术发展迭代，很多企业软件系统也逐步从单体应用向云原生微服务架构演进，一方面让应用实现高并发、易扩展、开发敏捷度高等效果，但另外一方面也让软件应用链路变得越来越长
阿里云云原生·2024-02-07 06:51

告别 GPU 焦虑，玩转极致性价比的 CPU 文生图

针对文生图模型特性和规模化场景，本文提供了一种新的思路，通过云原生部署方式提供推理服务API，使用CPU矩阵计算能力针对模型进行无侵入优
阿里云云原生·2024-02-07 06:20

「云原生可观测团队」获选「InfoQ 年度技术内容贡献奖」

随着云原生、人工智能逐渐成为各行各业的创新生产力工具。可以预见，我们即将进入全新的智能化时代。随着数据成为新型生产要素，云和AI正走向深度融合。
阿里云云原生·2024-02-07 06:15

【云原生进阶之PaaS中间件】第三章Kafka-4.2-生产者工作原理剖析

1kafka生产者工作模式1.1生产者消息发送流程1.1.1发送原理Producer首先调用send方法进行发送，首先会经过拦截器，可以对数据进行一些加工处理。随后会经过序列化，kafka并没有采用Java提供的序列化器，而是自己实现的序列化器，但是Java提供的序列化器，会在原有数据的基础上，增加很多的用于安全校验的数据，在大数据的场景下，每次传输的数据量很大，如果在此基础上还要加入大量用于安全
江中散人·2024-02-07 02:27

【云原生进阶之PaaS中间件】第三章Kafka-4.3.1-broker 工作流程

1kafkabroker1.1kafkabroker工作流程这一部分大体了解下kafkaBroker的工作流程，看一下zookeeper在kafkabroker工作中发挥的作用，那些重要数据在zookeeper中存储。1.1.1zookeeper存储kafka的信息zookeeper在kafka中扮演了重要的角色，kafka使用zookeeper进行元数据管理，保存broker注册信息，包括主题（
江中散人·2024-02-07 02:56

一文搞懂 Kafka 中的 listeners 和 advertised.listeners 以及其他通信配置

原文地址：【云原生】一文搞懂Kafka中的listeners和advertised.listeners以及其他通信配置参数详解listeners侦听器列表，这里配置的监听器底层调用的是ServerSocketAdaptor.bind
灵泽~·2024-02-07 02:32

云原生 | Kubernetes - kubectl 备忘单

目录Kubectl自动补全BASHZSH关于--all-namespaces的一点说明Kubectl上下文和配置Kubectlapply创建对象查看和查找资源更新资源部分更新资源编辑资源对资源进行伸缩删除资源与运行中的Pod进行交互从容器中复制文件和目录与Deployments和Services进行交互与节点和集群进行交互资源类型格式化输出Kubectl日志输出详细程度和调试Kubectl自动补全
不会调制解调的猫·2024-02-07 01:41

4.东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）

东软跨境电商数仓项目–数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）文章目录东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4
Mmj666·2024-02-07 00:01

「Java核心技术大会 2023」6月重磅启动，邀你共同探讨Java生态 ~文末福利

”PART1特邀启动专场PART2Java语言、平台和趋势专场PART3Java应用开发专场PART4Java应用与系统架构专场PART5Java应用性能优化专场PART6大数据与数据库专场PART7云原生与
几分醉意.·2024-02-07 00:01

StarRocks 1 月社区动态（2024）

StarRocks在2023年不断进化，锤炼核心功能，打磨全新特性，成功实现了从全场景OLAP到云原生湖仓的全面升级，成为湖仓新范式的造浪者。
StarRocks_labs·2024-02-06 22:41

容器走进生产环境，哪些相关技术值得关注？解读 Gartner 容器技术成熟度曲线

文章导览本文详细解读Gartner容器技术成熟度曲线（2023）中评估的9项重要技术，包括云原生架构、Kubernetes、容器管理、容器原生存储、KubeVirt、云原生基础设施等。
志凌海纳SmartX·2024-02-06 21:46

SmartX 在保险（2023）：服务 40+ 客户，聚焦信创转型与高性能数据库场景

新增Nutanix国产化替代、高性能数据库构建与验证、企业云原生转型等场景实践。更多超融合金融核心生产业务场景实践，欢迎阅读文末电子书。
志凌海纳SmartX·2024-02-06 21:16

性能实测：分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何

在《分布式存储支持数据仓库业务系统性能验证》文章中，我们对比了SmartX分布式存储ZBS与全闪集中式存储（EMCPowerStore）执行数仓跑批任务的效率。为了帮助用
志凌海纳SmartX·2024-02-06 18:40

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术·2024-02-06 16:49

Win10安装Nacos_Linux安装Nacos_Macos安装Nacos

Nacos是构建以“服务”为中心的现代应用架构(例如微服务范式、云原生范式)的服务基础设施。Nacos致力于帮助您发现、
Jack_David·2024-02-06 16:31

核心概念：etcd 到底是一款什么样的组件？

近几年，云原生越来越火，你在各种大会或博客的标题里都可以见到“云原生”的字样，我们这次要学习的etcd也是云原生架构中重要的基础组件，因为etcd项目是Kubernetes内部的一大关键组件，目前有很多项目都依赖
富士康质检员张全蛋·2024-02-06 15:15

【 云原生】01-kubeadm部署k8s集群

目录1、环境规划2、主机初始化环境配置3、安装Docker环境3.1为Docker配置镜像加速器4、部署Kubernetes集群4.1配置Kubernetes-yum源4.2安装Kubeadm-1.18.0、Kubelet-1.18.0、Kubectl-1.18.04.3K8S-Master初始化4.4生成永久性Token5、添加Node节点5、部署CNI网络插件（Flannel）6、查看K8S集
gggggg-·2024-02-06 14:08

Kubernetes实战(二十五)-快速下载k8s.gcr.io，gcr.io，quay.io镜像

1背景在云计算和云原生的环境下，不可避免的会使用很多镜像创建容器，其中有些镜像只有谷歌镜像仓库才有，但是国内不可以直接下载谷歌仓库的镜像，下面推荐几种方法，k8s.gcr.io/gcr.io是谷歌的镜像仓库
alden_ygq·2024-02-06 14:55

干货分享 | MatrixOne系统架构

今天的分享将解析新一代超融合异构云原生数据
MatrixOrigin·2024-02-06 13:00

Hive分区表增加字段新增字段为NULL解决方案

背景：数仓开发过程中，经常会有需求变更，添加字段的情况很难免，添加完了字段需要重新写数据，重新将这个字段的数据overwrite进去，但是会出现一个问题，就是加载的数据为NULL。
Lens5935·2024-02-06 10:11

阿里云原生高级架构师独家分享：K8S+Spring Cloud实战指南，让你轻松成为技术领袖

云架构&云原生K8s架构原理K8s核心
手把手教你学Java·2024-02-06 09:06

k8s的Deployment部署策略线上踩坑

线上问题我们有个服务,专门做t-1日的增量数据入仓的.入仓流程:每日0点系统新建个csv文件,通过kafka监听增量数据,实时数据写入该csv文件,供下游数仓次日取数.每日产生数据50G(1.8亿条)左右
吴free·2024-02-06 07:41

SparkSQL on K8s 在网易传媒的落地实践

【作者：鲁成祥易顺】随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。
wangyishufan·2024-02-06 06:02
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他