云原生数仓技术解析第2页

基于Golang的云原生日志采集服务设计与实践

点击上方"编程技术圈"关注,星标或置顶一起成长后台回复“大礼包”有惊喜礼包！每日英文Intheend,it'snottheyearsinyourlifethatcount.It’sthelifeinyouryears.人生到头来，你活了多少岁不算什么，重要的是，你是如何度过这些岁月的。每日掏心话但凡会错过，一定不是最好的。有时候不是不明白，而是明白了也无能为力，于是就保持了沉默。责编：乐乐|来自：

程序员小乐·2024-09-06 01:50

实现多云对象存储支持：Go 语言实践

实现多云对象存储支持：Go语言实践在现代云原生应用开发中，对象存储已成为不可或缺的组件。然而，不同的云服务提供商有各自的对象存储服务和SDK。

microrain·2024-09-05 22:57

【python】python代码打包工具cx_Freeze的介绍、原理、用法及实战案例分析

《博客》：Python全栈，PyQt5和Tkinter桌面开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，云原生K

景天科技苑·2024-09-05 18:34

数据仓库之【商品订单数据数仓】10：数据可视化工具：Zeppelin安装部署、Zeppelin使用

一、数据可视化数据可视化这块不是项目的重点，不过为了让大家能有一个更加直观的感受，我们可以选择一些现成的数据可视化工具实现。咱们前面分析过，想要查询hive中的数据可以使用hue，不过hue无法自动生成图表。所以我们可以考虑使用Zeppelin针对一些复杂的图表，可以选择定制开发，使用echarts、finebi组件实现。二、Zeppelin安装部署注意：不要使用Zeppelin0.8.2版本，这

做一个有趣的人Zz·2024-09-05 15:45

云原生利器 -- SkyWalking

写了一篇关于云原生APM全链路监控SkyWalking在Kubernetes下部署使用的文章，想了解的可以阅读以下：https://mp.weixin.qq.com/s?

miss_夏·2024-09-04 20:12

Prometheus与Grafana入门：从安装到基础监控的完整指南

Prometheus作为一个开源的监控系统和时间序列数据库，以其强大的指标收集和查询能力广泛应用于云原生环境。

勤劳兔码农·2024-09-04 18:58

【GaussDB(DWS)】数仓部署架构与物理结构分析

数仓架构与物理结构分析一、部署架构二、物理结构三、测试验证一、部署架构华为数据仓库服务DWS，集群版本8.1.3.x集群拓扑结构：上述拓扑结构为DWS单AZ高可靠部署架构，为减少硬件故障对系统可用性的影响

若兰幽竹·2024-09-03 20:06

【云原生 Kubernetes 系列】K8s 实战如何给应用注入数据 II 将pod数据传递给容器_pod容器传参

这两种呈现Pod和Container字段的方式统称为DownwardAPI。一、通过环境变量将Pod信息传递给容器在文章开始之前，我们先在目录pods/inject/dapi-envars-pod.yaml中创建一个包含一个容器的Pod。这是该Pod的配置文件：apiVersion:v1kind:Podmetadata:name:dapi-envars-fieldrefspec:container

2301_82243558·2024-09-03 19:31

zabbix和prometheus介绍；云原生

监控Prometheus和Zabbix作为两种流行的监控系统，它们在多个方面存在显著的差异。以下是对两者区别的详细分析：一、数据模型与采集方式Prometheus：数据模型：基于度量指标的模型，支持多维度数据模型，每个时间序列数据都包含多个标签（label），用于描述数据的不同属性。这种模型使得用户可以灵活地对数据进行筛选、聚合和组合。采集方式：采用Pull模式，通过HTTP协议从被监控端主动拉取

张小胡·2024-09-03 19:01

【云原生】Kubernetes中如何通过Pod名称查询Docker容器ID，通过Docker容器ID查询Pod名称？

《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，云原生k8s，linux，she

景天科技苑·2024-09-03 19:59

Higress + Nacos 微服务网关最佳实践

在去年11月的云栖大会上，我们开源了云原生网关Higress，时隔2月，Higress的Github项目已经收获了700+star，以及大量社区小伙伴的关注。

阿里云技术·2024-09-03 17:52

APISIX Ingress 对 Gateway API 的支持和应用

作者@lingsamuel，API7.ai云原生技术专家，ApacheAPISIXCommitter。

API7.ai 技术团队·2024-09-03 17:51

【k8s系列】Kubernetes Service 深度解析：从基础到实战

一、前言在当今的云原生世界中，Kubernetes已经成为容器编排和管理的事实标准。它提供了一种强大的方式来部署、扩展和管理容器化应用。

深情不及里子·2024-09-03 17:20

从零到K8s大师：掌握Kubernetes，玩转容器化部署

Kubernetes，作为领先的开源容器编排平台，正成为云原生生态系统的核心。本博客将带领你踏上一段惊险刺激的旅程，从零开始，逐步掌握Kubernetes的精髓，让你能够轻松玩转容器化部署的艺术。

乔明飞·2024-09-03 16:17

微服务--Nacos

一、Nacos简介Nacos（NamingandConfigurationService）是阿里巴巴开源的一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。

顾以沫·2024-09-03 15:09

【云原生】Docker入门 -- 阿里云服务器Linux环境下安装Docker

输入y确认即可！️配置阿里云加速镜像打开阿里云控制台，弹性计算-->容器与镜像服务打开之后选择镜像工具-->镜像加速器，复制内容即可进入Linux服务器根据步骤配置镜像加速器#创建docker文件夹sudomkdir-p/etc/docker#打开文件并配置内容sudotee/etc/docker/daemon.json<<-'EOF'{"registry-mirrors":["https://p

m0_61067876·2024-09-03 11:39

SkyWalking：⼀款用于分布式系统的应用程序性能监视工具

⼀款用于分布式系统的应用程序性能监视工具，尤其是面向微服务、云原生和基于容器(Kubernetes)架构设计。

学博成·2024-09-02 23:23

医疗数字化转型数据中台架构方案（一）

为推进医疗数字化转型，我们提出构建数据中台架构方案：通过集成医院内外多个数据源，利用大数据、人工智能等技术对数据进行清洗、整合、标准化处理，形成高质量的数据资产；再基于云原生技术构建湖仓一体化大数据平台

智汇优库·2024-09-02 19:32

【云原生】Docker Compose 使用详解

目录一、前言二、DockerCompose介绍2.1DockerCompose概述2.2DockerCompose特点2.3DockerCompose使用场景三、DockerCompose搭建3.1安装docker环境3.2DockerCompose安装方式一3.2.1下载最新版/如果不是最新可替换最新版本3.2.2设置权限3.2.3设置软链接3.2.4查看版本3.3DockerCompose安装

小码农叔叔·2024-09-02 06:44

数仓分层架构：DWS

在数据仓库的分层架构中，"DWS"通常指的是数据仓库的"服务层"或"汇总层"，但这个缩写可能根据不同的上下文有不同的含义。以下是几种可能的解释：1.**数据仓库服务层（DataWarehouseServices）**：-在一些云服务提供商的数据平台中，DWS可能指的是提供数据仓库功能的一组服务，这些服务可能包括数据存储、管理和分析工具。2.**数据仓库星型模式（DataWarehouseStarS

大连赵哥·2024-09-01 16:11

大数据毕业设计hadoop+spark+hive微博舆情情感分析知识图谱微博推荐系统

爬虫工具采集新浪微博评论、热搜、文章等约10万条存入.csv文件作为数据集；（二）使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；（三）使用hive数仓技术建表建库

qq_79856539·2024-09-01 11:16

Sealos安装K8s集群

一、什么是sealosSealos是一个功能强大、简单易用的云操作系统，它基于Kubernetes构建，提供了丰富的功能特性和灵活的应用商店，旨在降低云原生的门槛与成本，使用户能够更加轻松地享受云计算所带来的便利

corkii·2024-09-01 00:37

Linux | 进程池技术解析：利用无名管道实现并发任务处理(含实现代码)

在血海里游泳，一直游到海水变蓝。——何小鹏2024.8.31目录一、进程池二、使用匿名管道实现进程池的核心前置知识：管道的四种情况和五个特征三、代码实现四、实现代码详解main()2、loadTask()3、channelInit()问题：为什么要将子进程的管道读端重定向至标准输入？4、ctrlProcess()5、channelClose()一、进程池多任务处理是提高系统性能和响应速度的关键。进

koi li·2024-08-31 23:02

什么是DevOps？什么是DORA？

1.前言对于搞云原生应用的同学，对于DevOps和DORA应该都不陌生。但对于传统应用程序开发的同学，经常被DevOps,Microservice,CICD,DORA这些新颖的名词搞得晕头转向。

十年铸器·2024-08-31 09:56

KubeSphere 宣布开源 Thanos 的企业级发行版 Whizard

Prometheus已经成为云原生监控领域事实上的标准，但Prometheus并没有解决企业用户对高可用、可扩展、可存储与查询海量监控数据、易运维等方面的需求。

KubeSphere 云原生·2024-08-31 04:49

日志服务之使用Nginx模式采集日志

活动期完成有机会参与100%中奖）：https://developer.aliyun.com/adc/series/activity/sls-1背景知识本场景主要涉及以下云产品和服务：●日志服务：日志服务SLS是云原生观测与分析平台

阿里云天池·2024-08-31 01:00

微服务中间件之Nacos-安装篇

Nacos（DynamicNamingandConfigurationService）是由阿里巴巴开发的一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。

java_heartLake·2024-08-31 01:59

常见的实时数仓方案

常见的实时数仓架构有三种。第一种是Lambda架构，是目前主流的一套实时数仓架构，存在离线和实时两条链路。

北极冰雨·2024-08-30 05:27

Hive 数据模型切换后的数据验证方案

标签系统一般属于ads集市层加工的模型数据，如果上游（数仓/业务）表进行了切换，比如我们项目最近上游从fdl/gdl切换到了dwd/dws，切换完毕后的数据一般都会出现问题，如何进行数据验证是一个需要好好思考的问题

小菜菜1223·2024-08-29 19:16

云原生应用(7)之Docker容器数据持久化存储机制

一、Docker容器数据持久化存储介绍物理机或虚拟机数据持久化存储由于物理机或虚拟机本身就拥有大容量的磁盘，所以可以直接把数据存储在物理机或虚拟机本地文件系统中，亦或者也可以通过使用额外的存储系统（NFS、GlusterFS、Ceph等）来完成数据持久化存储。Docker容器数据持久化存储由于Docker容器是由容器镜像生成的，所以一般容器镜像中包含什么文件或目录，在容器启动后，我们依旧可以看到相

技术路上的苦行僧·2024-08-29 18:10

Linux 属主属组设置和文件类型

我是公众号「想吃西红柿」「云原生运维实战派」作者，对云原生运维感兴趣，也保持时刻学习，后续会分享工作中用到的运维技术，在运维的路上得到支持和共同进步！

尘嫣慕曦·2024-08-29 15:50

【话题】国产游戏崛起：技术驱动下的新机遇

引言方向一：技术解析图形渲染与视觉效果物理引擎AI技术方向二：行业影响对国内游戏开发行业的影响IT人才需求变化方向三：未来展望发展前景技术创新点跨界合作机会后记国产游戏技术能否引领全球？

何遇mirror·2024-08-29 06:52

数仓之TABLESAMPLE采样

数仓中的抽样方法有很多，这里主要介绍一下：随机抽样、块抽样、桶抽样、分组抽样这四种，话不多说，直接上干货。

Luckyforever%-·2024-08-29 00:39

【python】如何通过Python中的http.server搭建文件上传下载服务

《博客》：Python全栈，PyQt5和Tkinter桌面开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，云原生K

景天科技苑·2024-08-28 18:55

Kubernetes (K8s) 监控方案：Prometheus 实战指南

1.引言在当今云原生时代，Kubernetes(K8s)已成为容器编排的标准解决方案。然而，随着K8s集群规模和复杂性的增加，有效的监控变得至关重要。

ivwdcwso·2024-08-28 07:14

【云原生】Kubernetes中常见的Pod故障排查定位与解决方案

《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，云原生k8s，linux，she

景天科技苑·2024-08-27 20:00

在亚马逊云科技上搭建云原生生成式AI教育学习平台

本次介绍的是如何利用亚马逊云科技大模型托管服务AmazonBedrock和云原生容器管理服务，将生成式AI和亚马逊Titan大模型应用到教育和学习场景，利用Titan大模型的向量化、文字和图片生成能力构建云端

佛州小李哥·2024-08-27 18:20

（二十）Flink Paimon

从传统数仓到数据湖、湖仓一体架构，从流批一体计算到基于数据湖的流批一体存储，越来越多的企业基于开源技术，在集成、计算、存储、查询分析等方面不断优化，建设形成适合

springk·2024-08-27 16:38

云原生周刊：KubeSphere 宣布开源 Thanos 的企业级发行版 Whizard

KubeSphere 云原生·2024-08-27 14:59

国产游戏技术能否引领全球？

方向一：技术解析在技术层面，国产游戏技术的全球领导潜力主要体现在以下几个方面：1.引擎技术自研引擎：中国游戏公司，如腾讯的虚幻引擎定制版和网易的Gamebryo引擎，已经在性能和功能上有所突破。自研

敲代码无敌小奶龙·2024-08-27 12:09

SD-WAN降低网络运维难度的关键技术解析

为什么说SD-WAN（软件定义广域网）大大降低了网络运维的复杂性，主要是因为它的智能路径选择、应用识别和链路质量监测这三个核心技术。这几项在SD-WAN中尤为重要的技术，它们共同作用，提升了整体网络性能，为网络管理提供了更为智能、高效的解决方案。智能路径优化：提升网络性能智能路径优化技术是SD-WAN的重要组成部分，它能够动态分析网络流量和链路状态，从而选择最优路径，实现负载均衡并优化网络性能。无

TIANGEKUAJING·2024-08-27 00:32

揭秘Sora：深度学习与自然语言处理驱动的智能视频生成与互动

方向一：技术解析技术架构：Sora的技术架构主要包括视频处理模块和智能生成模块。视频处理模块负责视频内容的

疾风终究没有归途·2024-08-26 22:50

Python爬取静态网页技术解析

内容导读实现HTTP请求解析网页存储数据静态网页爬取实例一、实现HTTP请求1、爬虫场景简介（1）基本功能爬虫的基本功能是读取URL和爬取网页内容，这就需要爬虫具备能够实现HTTP请求的功能。请求过程主要包括生成HTTP请求、请求头处理、超时设置、请求重试、查看状态码等。（2）实例介绍通过Chrome开发者工具直接查看网页“http://www.jd.com”的页面元素、页面源代码和资源详细信息，

天涯幺妹·2024-08-26 22:49

探索《Python设计模式》项目：技术解析与应用指南

探索《Python设计模式》项目：技术解析与应用指南在这个数字化的时代，软件开发不仅仅是编写代码那么简单，良好的设计模式是提升代码质量、可维护性及扩展性的关键。

岑晔含Dora·2024-08-26 17:32

云原生存储解决方案

云原生存储解决方案使用Rook、Ceph等工具进行云原生存储管理云原生存储简介什么是云原生存储云原生存储是指设计用于云原生环境中的存储解决方案，通常在容器化平台如Kubernetes上运行。

爱技术的小伙子·2024-08-26 13:38

【云原生应用的监控与日志管理】使用Prometheus、ELK Stack等工具进行云原生应用的监控与日志管理

云原生应用的监控与日志管理使用Prometheus、ELKStack等工具进行云原生应用的监控与日志管理引言随着云原生技术的普及，应用的复杂性和规模不断增加，传统的监控与日志管理手段已无法满足需求。

爱技术的小伙子·2024-08-26 13:04

微服务与云原生有何关联？

正是在这样的时代背景和业务诉求下，微服务架构成为了解决复杂问题的灵丹妙药。微服务架构在应对需求的变化、容错处理、服务复用及扩展、提升开发效率、简化交互等方面都有明显的优势。同时，敏捷、DevOps、持续集成/持续交付、容器技术、SpringCloud框架、轻量级服务、领域驱动设计等的涌现也为微服务架构的发展奠定了基础。综上所述，持续快速响应市场、高度动态化、应对复杂场景的能力已经成为企业的核心竞争

2401_84023683·2024-08-25 22:04

CC攻击导致服务器卡顿的技术解析

摘要本文将深入探讨CC（ChallengeCollapsar）攻击的工作原理以及它们如何导致服务器性能下降乃至卡顿。我们将通过一个简单的Python脚本模拟客户端行为来说明这一过程，并提供一些基本的缓解策略。1.引言CC攻击是一种特定类型的DDoS攻击，主要针对Web应用程序，尤其是那些需要大量后端处理的动态页面。攻击者通过模拟合法用户的行为，向服务器发送大量请求，从而耗尽服务器资源，导致合法用户

群联云防护小杜·2024-08-25 17:33

SpringBoot 笔记

时代背景：微服务分布式云原生：docker、kubernetes自动配置原理依赖管理父项目负责依赖管理导入starter场景启动器无需关注版本号，自动版本仲裁自动配置自动配好Tomcat自动配好SpringMVC

duanmy0687·2024-08-25 09:17

深度剖析Java内存溢出：从堆到栈的全面解析

本文将深入探讨Java内存溢出的各种类型，包括堆溢出、栈溢出、运行时常量池溢出、元空间溢出、直接内存溢出等，并提供详细的示例代码和技术解析。

九转成圣·2024-08-25 00:49

推荐频道

云原生数仓技术解析