云原生数据仓库第11页

通信行业5G的自智网络

一方面，5G在网络基础设施中引入NFV、SDN、云原生架构等新技术，运营商的网络运营与管理工作的技术对象已经与传统的2/3/4G时代大不相同。

robot_test_boy·2024-01-28 20:51

Kubernetes技术

它最初是由Google工程师设计的，后来捐赠给了云原生计算基金会（CNCF）。Kubernetes通过提供一个平台来自动化部署、管理和

编织幻境的妖·2024-01-28 19:10

云原生和事件驱动架构：实时数据处理和分析的未来

1.背景介绍随着数据的增长和实时性的要求，云原生和事件驱动架构在现代软件系统中发挥着越来越重要的作用。

OpenChat·2024-01-28 16:17

关于hive 的迁移之表结构批量迁移

image.png我们在做数据治理数据仓库的时候，集群数据迁移时必不可少的一项，因为什么呢，比如1刚开始集群搭在亚马逊aws，几十万美金的创业红包用完了，差不多三四个月，2aws的小规模集群也有900TB

Helen_Cat·2024-01-28 16:44

Hive面试题精选！附答案！！！

HIVE面试一、Hive的基本概念1.什么是hiveHive是一款开源的基于hadoop的用于统计海量结构化数据的一个数据仓库，它定义了简单的类似SQL的查询语言，称为HQL，允许熟悉SQL的用户查询数据

yhy_only·2024-01-28 07:36

hive面试题总结（大数据面试）

Hive概述Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成为一张数据库表，并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。

404个问号·2024-01-28 07:02

hive面试题

0.思维导图1.简述Hive♥♥ 我理解的，hive就是一款构建数据仓库的工具，它可以就结构化的数据映射为一张表，并且可以通过SQL语句进行查询分析。

韩顺平的小迷弟·2024-01-28 07:29

【云原生】Docker私有仓库搭建以及四大容器重启策略

目录一、registry私有仓库步骤一：先拉取registry的镜像步骤二：修改docker的配置文件重启步骤三：基于registry镜像启动一个容器，可以设置为always重启策略步骤四：修改想要上传的镜像的标签并上传验证步骤五：修改另一台主机的docker配置文件重启，然后添加标签，然后上传浏览器验证二、基于Docker--harbor私有仓库部署与管理步骤一：先准备docker-compos

liu_xueyin·2024-01-28 07:23

云原生环境搭建—Docker创建镜像并推拉Harbor

创建镜像2种方式1、根据Dockerfile【build】2、基于运行的容器修改后【commit】镜像与容器关联一、根据Dockerfile创建镜像1、mkdirdockerfile/lib/centos7base/创建目录2、创建DockerfilevimDockerfile二、构建镜像dockerbuild-tpython.--tag,-t:镜像的名字及标签过程解析我们看一下docker的编译

Coder_Boy_·2024-01-28 06:59

云原生环境搭建—Harbor安装

Harbor安装Docker安装安装一些必要的系统工具：sudoyuminstall-yyum-utilsdevice-mapper-persistent-datalvm2添加软件源信息：sudoyum-config-manager--add-repohttp://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo更新yum缓存：sud

Coder_Boy_·2024-01-28 06:58

Ali云低成本租用ECS安装NOCODB

索引：NOCODB是一个开源的、无服务器的、可扩展的、高性能的云原生数据库，使用JavaScript作为查询语言，支持多种数据模型。

秃秃土狗·2024-01-28 04:29

k8s使用volume将ConfigMap作为文件或目录直接挂载_K8s 应用管理之道 - 有状态服务

随着k8s的普及和云原生架构的兴起，越来越多的人希望把数据库这类有状态服务也通过k8s进行编排。但因为有状态服务的复杂性，这一过程并不容易。本文将以最流行的开源数据库MySQL为例，介

weixin_39609650·2024-01-28 03:34

Kubernetes成本优化

云原生可以帮助团队更精细化利用资源，但如果缺乏工具的帮助，很难采取适当的措施优化资源的使用。

俞凡 DeepNoMind·2024-01-28 03:56

常见OLAP对比

Olap（On-lineAnalyticalProcessing，联机分析处理）：是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。

不加班程序员·2024-01-28 00:34

etcd技术解析：构建高可用分布式系统的利器

1.引言随着云原生技术的兴起，分布式系统的构建变得愈发重要。etcd作为一个高可用的分布式键值存储系统，在这个领域发挥着至关重要的作用。

Memory_2020·2024-01-27 20:38

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样

总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代，数据仓库、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而，不同职位和背景的人对这些概念的理解可能存在差异。

UI设计前端开发一线员工·2024-01-27 19:03

快速上手！使用Docker和Nginx部署Web服务的完美指南

在当今快速发展的技术领域，C/C++、云原生、人

鼠鼠我捏，要死了捏·2024-01-27 19:55

【华为云-云驻共创】多沙箱容器运行时Kuasar开发上手实践

【摘要】在云原生技术发蓬勃发展的时代，底层承载应用的容器很重要，然而，单一容器隔离技术已经无法满足各种场景的要求，不同的场景都需要不同的容器形态来承载，从而产生了不同的沙箱技术。

IT民工金鱼哥·2024-01-27 18:03

【华为云-云驻共创】数据高速公路—数仓集群通信技术详解

数据仓库服务GaussDB（DWS）是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB（DWS）是基于华为融合数据仓库Gaus

IT民工金鱼哥·2024-01-27 18:29

Apache Pulsar 为滴滴大数据运维带来了哪些收益？

ApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体。

滴滴技术·2024-01-27 17:58

【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署

1安装部署1.1kafka的分布式kafka是依靠zookeeper来实现分布式的，所以再启动前需要先启动zookeeper，如下图1.2集群部署官方下载地址：ApacheKafka（1）安装和Hadoop等都一样，解压即可[atguigu@hadoop102software]$tar-zxvfkafka_2.12-3.0.0.tgz-C/opt/module/（2）然后修改配置文件[atguig

江中散人·2024-01-27 16:16

【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作

1命令操作1.1主题命令操作查看操作主题命令参数：[atguigu@hadoop102kafka]$bin/kafka-topics.sh参数描述--bootstrap-server，连接的KafkaBroker主机名称和端口号。--topic，操作的topic名称。--create，创建主题。--delete，删除主题。--alter，修改主题。--list，查看所有主题。--describe，

江中散人·2024-01-27 16:16

Amazon EKS 集群弹性伸缩和不可变基础设施的最佳实践

资源的弹性伸缩(AmazonAutoScaling)是云计算的本质能力之一，是云上降本增效的重要途径，也是衡量云原生成熟度的关键因素。

亚马逊云开发者·2024-01-27 15:26

Docker 和 Kubernetes：容器化时代的崛起与演变

紧随其后，Kubernetes作为容器编排的领军者，它不仅极大地增强了容器的管理能力，更成为了云原生理念下不可或缺的组成部分。

mntalk·2024-01-27 10:47

nacos 配置动态刷新_springboot2.x整合nacos配置服务实现配置获取及刷新

Nacos是构建以“服务”为中心的现代应用架构(例如微服务范式、云原生范式)

小大和山·2024-01-27 09:53

Spring Cloud官方文档Dalston版本翻译(一)

SpringCloud专注于提供一个可以覆盖其他的开箱即用的典型的可扩展的工具集.分布式/版本化配置服务注册和发现路由服务于服务之间的调用负载均衡断路器分布式消息传递CloudNativeApplications|云原生应用程序

yanzu_coder·2024-01-27 08:52

银行数据仓库体系实践（11）--数据仓库开发管理系统及开发流程

数据仓库管理着整个银行或公司的数据，数据结构复杂，数据量庞大，任何一个数据字段的变化或错误都会引起数据错误，影响数据应用，同时业务的发展也带来系统不断升级，数据需求的不断增加，数据仓库需要不断的升级和维护

南极找南·2024-01-27 08:51

银行数据仓库体系实践（10）--汇总指标层和集市模型设计

建立多层次的数据访问服务体系，有力提升数据仓库的价值。基于指标汇总层、集市层、可以提供面向业务人员的即席数据查询、以及面向应用开发者的数据接口、应用访问接口，满足不同类型应用的需要。

南极找南·2024-01-27 08:21

银行数据仓库体系实践（8）--主数据模型设计

主数据区域中保留了数据仓库的所有基础数据及历史数据，是数据仓库中最重要的数据区域之一，那主数据区域中主要分为近源模型区和整合（主题）模型区。上一节讲到了模型的设计流程如下图所示。

南极找南·2024-01-27 08:36

【云原生】通过docker构建基于LNMP的WordPress项目

目录前言：一：先创建nginx的镜像步骤一：准备好nginx的安装包步骤二：准备nginx的网页目录和wordpress网站目录以及nginx.conf文件步骤三：编写构建nginx应用镜像的Dockerfile文件步骤四：基于Dockerfile构建nginx:centos镜像二：创建mysql镜像步骤一：准备好mysql的安装包步骤二：准备好mysql的配置文件my.cnf步骤三：编写构建my

liu_xueyin·2024-01-27 06:19

【技术预研】StarRocks官方文档浅析（2）

参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析

偏振万花筒·2024-01-27 06:16

【云原生】Docker基于Dockerfile多级构建，实现缩小镜像体积

目录一、基于上次的nginx的Dockerfile做多级构建二、基于上次的php的Dockerfile修改做多级构建三、基于上次的mysql的Dockerfile修改做多级构建基于以上三个镜像构建四、镜像体积是不是越小越好？为什么要缩减镜像体积？五、缩小镜像体积的方法有哪些？一、基于上次的nginx的Dockerfile做多级构建[root@localhostnginx]#cpDockerfile

liu_xueyin·2024-01-27 06:15

docker生命周期管理命令

dockerrun2.1、常用选项2.2、系统2.3、网络2.4、健康检查3、dockerstart/stop/restart4、dockerkill5、dockerrm6、dockerpause/unpause总结前言在云原生时代

路飞H·2024-01-27 06:10

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL

yuyuyuyo·2024-01-27 05:53

企业数据仓库环境

企业数据仓库环境企业数据仓库(EDW)是从普通数据仓库演变而来的，它们已在上篇文章中进行了描述。企业数据仓库试图表示组织的所有业务数据及其业务规则，而不是将重点放在单个主题域进行分析。

DataVault善哉·2024-01-27 00:04

Hive调优策略

Hive调优策略Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。

奋斗的蛐蛐·2024-01-26 23:24

MySQL技术探究（1）「索引技术」体验前所未有的技术探险，看穿索引的本质和技术体系（上篇）

数据库类型OLAP：联机分析处理----对海量历史数据进行分析，产生决策性的策略----数据仓库—HiveOLTP：联机事务处理----要求很短时效内返回对应的结果----数据库—关系型

洛神灬殇·2024-01-26 22:26

多云与混合云场景下的数据同步方案-KAFKA

这里涉及到新开发的业务系统的主动上云（由于是采用云原生技术栈新开发的业务系统，其上云相对顺畅些），也包括历史遗留系统的迁移上云（

明哥的IT随笔·2024-01-26 21:29

数据仓库现代化和迁移解决方案Datametica

Datametica利用自动化将数据/工作负载/ETI/分析迁移到云，从而为企业提供支持。Datametica是一家通过建立数据湖来帮助企业实现数据平台现代化的公司，该数据湖安全地保存结构化和非结构化数据。随着企业数据湖从各种来源收集大量数据，需要利用信息并帮助做出更明智的业务决策。Datametica通过使用大数据技术和独特的自动化技术建立数据湖来帮助企业，这有助于以更快的速度和更低的成本完成该

weixin_30777913·2024-01-26 20:20

数据中台架构原理与开发实战：构建数据中台的步骤与方法

它可以对业务数据进行收集、加工处理、存储、分析，为各个部门提供简单有效的数据服务，包括数据仓库、数据湖、数据应用平台等。

OpenChat·2024-01-26 20:15

成本更低、更可控，云原生可观测新计费模式正式上线

云布道师在上云开始使用云产品过程中，企业一定遇见过两件“讨厌”事：难以理解的复杂计费逻辑，时常冒出“这也能收费”的感叹；某个配置参数调节之后，云产品使用成本不可预估的暴涨。可观测作为企业IT运维必须品，在应对不同可观测场景时提供了非常多产品，以及与之对应的计费模式，供企业灵活选择。但如果产品价格说明不完整且不能有效评估现有业务规模及增长趋势，就会给企业带来非常高的成本规划与选型评估门槛。为解决上述

云布道师·2024-01-26 17:25

ERD-ONLINE 免费在线数据库建模工具

ERD-ONLINE说明功能特点ERD-ONLINE是一款在线协作数据仓库设计软件，无需本地安装应用程序，在线操作数据库，是桌面数据建模工具的一个优秀的替代方案。

ERD Online·2024-01-26 14:02

用户画像项目背景

1,用户画像项目介绍大数据平台简介数据仓库+用户画像+推荐系统（1）数据仓库：加快数据的分析和查询数据仓库分层：ODS层(映射HDFS的数据)—DW(数据仓库层)–APP(层)—BI(层)DW:DWD明细数据层

祈愿lucky·2024-01-26 13:20

引领未来：云原生在产品、架构与商业模式中的创新与应用

文章目录一、云原生产品创新二、云原生架构设计三、云原生商业模式变革《云原生落地产品、架构与商业模式》适读人群编辑推荐内容简介目录随着云计算技术的不断发展，云原生已经成为企业数字化转型的重要方向。

程序边界·2024-01-26 11:04

Apache Pulsar 社区周报｜09-05 ~ 09-11

关于ApachePulsarApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储

StreamNative·2024-01-26 11:06

基于云原生技术栈构建企业统一基础技术平台（总纲）

一、概述本文主要介绍基于云原生技术栈建设企业技术平台的总纲，该技术平台对业务应用全生命周期进行管理和支撑，提供从需求交付、生产运行、稳定保障、资产运营，以及安全生产的体系化解决方案，为企业自建或采购技术平台提供参考

赵文宇（温玉）·2024-01-26 10:14

基于Kubernetes（K8s）构建企业容器云基础运行环境

cncfstack新文章上线：书名：《云原生解决方案》地址：https://zhaowenyu.com/cncf-solution访问：文章底部“阅读原文”或访问域名云原生计算是云计算发展新的里程碑阶段

赵文宇（温玉）·2024-01-26 10:11

简述云原生基础定义及关键技术

云原生是什么云原生是面向“云”而设计的应用，因此技术部分依赖于传统云计算的3层概念，基础设施即服务（IaaS）、平台即服务（PaaS）和软件即服务（SaaS）。

蚊子不吸吸·2024-01-26 08:09

【云原生】Docker的镜像创建

目录1．基于现有镜像创建（1）首先启动一个镜像，在容器里做修改编辑（2）然后将修改后的容器提交为新的镜像，需要使用该容器的ID号创建新镜像实验2．基于本地模板创建3．基于Dockerfile创建镜像加载原理为什么Docker里的centos的大小才200M？DockerfileDocker镜像结构的分层Dockerfile操作常用的指令Dockerfile案例建立工作目录准备执行脚本准备网站页面生

思华年^O^·2024-01-26 08:07

【云原生】Docker的Cgroup资源控制

目录Docker是怎么控制容器使用的资源配额1．CPU资源控制进行CPU压力测试设置50%的比例分配CPU使用时间上限设置CPU资源占用比（设置多个容器时才有效）设置容器绑定指定的CPU2．对内存使用的限制3．对磁盘IO配额控制（blkio）的限制创建容器，并限制写速度Docker是怎么控制容器使用的资源配额Docker通过Cgroup来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面，基本

思华年^O^·2024-01-26 08:04

推荐频道

云原生数据仓库