数仓技术知识

数仓工具—Hive内部表和外部表(5)

内部表和外部表未被external修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；因为默认情况下我们不加external关键字修饰，所以默认情况下是内部表区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehous
不二人生·2024-01-07 07:42

数仓工具—Hive进阶之StorageHandler(23)

另外，Hive作为数仓的核心组件，借助Stora
不二人生·2024-01-07 07:39

java 熔断器模式_微服务架构熔断器机制的概念以及常用组件类型

熔断器机制是我们在学习微服务编程开发的时候需要重点掌握的一个编程技术知识点，而今天我们就通过案例分析来了解一下，熔断器机制的概念以及常用组件类型都有哪些。
weixin_39593961·2024-01-07 06:59

实时数仓模型

为了计算一些实时指标，就在原来离线数仓的基础上增加了一个实时计算的链路，并对数据源做流式改造（即把数据发送到消息队列），实时计算去订阅消息队列，直接完成指标增量的计算，推送到下游的数据服务中去，由数据服务层完成离线
jero_lei·2024-01-06 23:48

Doris 的概述及使用场景

基于此，ApacheDoris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户
一座野山·2024-01-06 16:16

湖仓架构的演进

1.数据仓库架构的历史演进起初，业界数据处理首选方式是数仓架构。通常数据处理的流程是把一些业务数据库，通过ETL的方式加载到DataWarehouse中，再在前端接入一些报表或者BI的工具去展示。
土豆马铃薯·2024-01-06 16:09

4个原创技术文档，从Excel到MySQL到Python

我深信，技术知识应该是开放和共享的，通过分享我的文档，我希望能够帮助更多人进一步拓展他们的技术能力
数据分析与统计学之美·2024-01-06 15:22

Databend使用入门

Databend官网：专注于打造全球最强云数仓，弹性、简单、低成本，支持mysql、clickhouse有线连接协议（白话就是可以直接用它们的客户端连接Databend服务）。
_hys·2024-01-06 14:48

利用 Addax 异构迁移数据到 Databend

这也有了异构数据库的数据同步需求，今天重点给大家介绍两个利器：异构数据迁移：Addax结合云原生数仓Databend实现异构数据库数据合
Databend·2024-01-06 14:17

Migrate your data into databend with DataX

这也有了异构数据库的数据同步需求，今天重点给大家介绍两个利器：异构数据迁移：DataX结合云原生数仓Databend实现异构数据库数据合并及分析。
Databend·2024-01-06 14:17

二蛋赠书十三期：《一书读懂物联网》

在过去的几年里，我一直通过各种渠道与大家分享技术知识和经验。我深知，每一位技术人员都对自己的技能提升和职业发展有着热切的期待。因此，我非常感激大家一直以来对我的关注和支持。
王二蛋！·2024-01-06 11:31

设计模式之装饰者模式【结构型模式】

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、概述二、结构三、案例四
哥的时代·2024-01-06 10:57

设计模式之桥接模式【结构型模式】

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录一、概述二、结构三、案例四、
哥的时代·2024-01-06 10:57

SpringMVC之拦截器和异常处理器

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、拦截器1、拦截器的配置
哥的时代·2024-01-06 10:57

设计模式之外观模式【结构型模式】

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、概述二、结构三、案例四
哥的时代·2024-01-06 10:22

信息系统集成专业技术知识

信息系统建设信息系统生命周期产生阶段两个过程：提出建设想法和形成需求报告开发阶段五个子阶段：总体规划、系统分析、系统设计、系统实施、系统验收运行阶段消亡阶段信息系统的开发方法有：结构化方法、快速原型法、企业系统规划方法、战略数据规划方法、信息工程方法、面向对象方法。BSP：企业系统规划方法是战略数据规划方法和信息工程方法的基础。BSP与战略数据规划方法是一种交叉关系。这两种方法是信息工程方法的基础
就这样吧嘞·2024-01-06 01:41

兴成长，新成长！心成长！

干活满满，特别贴近我们的教学实际，帮助我们真真切切的学习到了信息技术知识。让我们在知识与技术的海洋里，快乐的过暑假！时刻保持学习的乐趣，不忘初心，与时俱进！一、一份耕耘一份收获在课堂教学中，常常
兴国334曾扬华·2024-01-06 00:12

DLL混淆问题

1）DLL混淆问题2）Unity主程如何做项目管理3）将ASTC格式转换为png格式4）iOS14在iPhone正常，但在iPad上会卡住这是第276篇UWA技术知识分享的推送。
侑虎科技UWA·2024-01-05 19:49

CentOS 7.6下的HTTP隧道代理配置详解

在CentOS7.6操作系统中，配置HTTP隧道代理需要一定的技术知识和经验。下面我们将详细介绍如何配置HTTP隧道代理，以确保网络通信的安全性和稳定性。首先，我们需要了解HTTP隧道代理的基本原理。
华科℡云·2024-01-05 17:17

2022年第十三届中国数据库技术大会（DTCC2022）-核心PPT资料下载

一、峰会简介本届大会以“数据智能价值创新”为主题，设置2大主会场，20+技术专场，邀请超百位行业专家，重点围绕时序数据库、图数据技术、实时数仓技术与应用实践、云原生数据库、大数据平台与数据安全等内容展开分享和探讨
百家峰会·2024-01-05 14:25

python requests elasticsearch auth reindex alias 通过requests用户名密码验证实现es异步重建并指定别名

在使用elasticsearch7.x的过程中,发现elasticsearch默认的副本数和分片数都为1,随着数据量不断增多，一个分片导致写入索引的效率越来越低，之后决定对业务层和数仓的索引进行重建#-
Cocktail_py·2024-01-05 08:02

Flink实时电商数仓之旁路缓存

撤回流的处理撤回流是指流式处理过程中，两表join过程中的数据是一条一条跑过来的，即原本可以join到一起的数据在刚开始可能并没有join上。撤回流的格式：解决方案定时器：使用定时器定时10s（数据最大的时间差值），定时器触发时将状态中的数据发送过来如果重复计算这些数据，如何保持结果正确即可；通过每次度量值修改为当次度量值-上次度量值即可异步IO减少等待的时间，充分利用已有的资源使用异步IO时，必
十七✧ᐦ̤·2024-01-05 07:47

Screen.SetResolution和URP的RenderScale有什么区别

Screen.SetResolution和URP的RenderScale有什么区别2）相同压缩格式相同面积不同数量资源加载速度3）新增Tag再生成AssetBundle并热更新之后，代码获取到的是undefined这是第367篇UWA技术知识分享的推送
UWA·2024-01-05 06:13

UseContentHash选项能否在打包AssetBundle时计算可靠的Hash

NativeReserved部分的内存3）Addressables资源完整性校验4）通过Image.color和CanvasRenderer.SetColor修改UI组件颜色的区别这是第368篇UWA技术知识分享的推送
UWA·2024-01-05 06:39

Databend 开源周报第 125 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-05 05:25

Databend 开源周报第 126 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-05 05:25

数据库工程师—面试

2.数仓每层做了什么事说的层次感不清晰，3.写过最复杂的SQL,如路径分析，流失，回流用户
劝学-大数据·2024-01-05 00:59

物流实时数仓：数仓搭建（DWD）二

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）物流实时数仓：数仓搭建（DWD）一物流实时数仓：数仓搭建（DWD）二文章目录系列文章目录前言一、代码编写1.文件创建
超哥--·2024-01-04 22:27

物流实时数仓：数仓搭建（DWS）一

系列文章目录物流实时数仓：采集通道搭建物流实时数仓：数仓搭建物流实时数仓：数仓搭建（DIM）物流实时数仓：数仓搭建（DWD）一物流实时数仓：数仓搭建（DWD）二物流实时数仓：数仓搭建（DWS）一文章目录系列文章目录前言一
超哥--·2024-01-04 22:56

微信基于StarRocks的湖仓一体实践

作者：StarRocksActiveContributer、微信OLAP内核研发工程师微信作为国内活跃用户最多的社交软件，其数据平台建设经历了从Hadoop到ClickHouse亚秒级实时数仓的阶段，但仍旧面临着数据体验割裂
StarRocks_labs·2024-01-04 20:38

数据湖和传统数仓区别及湖仓一体

1.数据仓库早期系统采用关系型数据库来存放管理数据，但是随着大数据技术的兴起，人们对于多方面数据进行分析的需求愈加强烈，这就要求建立一个能够面向分析、集成保存大量历史数据的新型管理机制，这一机制就是数据仓库。数据仓库通常存储来自不同源的数据，集成源数据以提供统一的视图。这些资源可以包括事务系统、应用程序日志文件、关系数据库等等。数据仓库特性：面向主题：与传统数据库面向应用进行数据组织的特点相对应，
土豆马铃薯·2024-01-04 20:04

流式湖仓增强，Hologres + Flink构建企业级实时数仓

2023年12月，由阿里云主办的实时计算闭门会在北京举行，阿里云实时数仓Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时数仓，实现全链路的数据实时计算、实时写入、实时更新
阿里云大数据AI技术·2024-01-04 16:07

数仓工作中的常见问题及解决方案

数据仓库系列文章数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓—IDMapping
大数据技术派·2024-01-04 16:34

实时数仓投放主备链路Diff测试工具落地实践

一、背景目前实时数仓提供的投放实时指标优先级别越来越重要，特别下游为规则引擎提供的数仓数据，直接对投放运营的广告投放产生直接影响，数据延迟或者异常均可能产生直接或者间接的资产损失；从投放管理平台的链路全景图投放全景图来看
得物技术·2024-01-04 08:02

设计模式之工厂设计模式【创造者模式】

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、概述二、简单工厂模式
哥的时代·2024-01-04 07:58

设计模式之建造者模式【创造者模式】

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、概述二、结构三、实例四
哥的时代·2024-01-04 07:58

设计模式之单例设计模式【创造者模式】

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、单例模式的结构二、单例模式的实现
哥的时代·2024-01-04 07:28

设计模式之原型模式【创造者模式】

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、概述二、结构三、实现四
哥的时代·2024-01-04 07:55

某人寿保险公司基础架构云化与小机数仓下移实践

随着数据中心IT基础架构的不断演进，云计算、大数据、移动互联的需求日益高涨，快速敏捷、易于维护以及扩展性，逐渐成为金融机构在升级数据中心时重点考虑的方面。某人寿保险公司（以下简称“客户”）过往采用传统三层架构，即IBMPower/x86+FCSAN+集中式存储的组合，在使用多年后面临设备老旧、灵活性与性能无法及时满足业务变化等问题。另外，传统架构也存在使用专用硬件及网络、存储控制器集中、架构及运维
志凌海纳SmartX·2024-01-04 03:09

以太坊的36个基础概念

想知道更多关于区块链技术知识，请百度【链客区块链技术问答社区】链客，有问必答！！1.以太币（Ether）产生规则和比特币有哪些区别？出块时间。比特币出块时间是平均10分钟，而以太坊约是15秒。
链客区块链技术问答社区·2024-01-04 00:20

Doris 数仓使用规范（经验版）

第一部分：字符集规范【强制】数据库字符集指定utf-8，并且只支持utf-8。命令规范【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使用小写方式，中间用下划线（_）分割，长度64字节内第二部分：建表规范【强制】确保每个tablet大小为1-3G之间。举例：假设表内单分区数据量在100G，按天分区,bucket数量100个。【强烈建议】不要使用Au
hf200012·2024-01-03 19:30

电商数仓可视化1--数据导入

1、数据来源介绍以及数据文件下载1、业务数据业务数据往往产生于事务型过程处理，所以一般存储在关系型数据库中，如mysql、oracle业务数据源：用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求，一般以日志形式存储于日志文件中，随后通过采集落地分布式存储介质中如hdfs、hbase用户行为日志：用户
bigdata从入门到放弃·2024-01-03 18:53

我的大数据之路：2023年度总结

2023年度最值得骄傲的事从0到1搭建了离线数仓体系，针对Hadoop生态组件的原理和特性有了深入的理解。
话数Science·2024-01-03 18:07

【大数据】Doris 数仓使用规范原则

第一部分：字符集规范【强制】数据库字符集指定utf-8，并且只支持utf-8。命令规范【建议】库名统一使用小写方式，中间用下划线（_）分割，长度62字节内【建议】表名称大小写敏感，统一使用小写方式，中间用下划线（_）分割，长度64字节内第二部分：建表规范【强制】确保每个tablet大小为1-3G之间。举例：假设表内单分区数据量在100G，按天分区,bucket数量100个。【强烈建议】不要使用Au
奔向理想的星辰大海·2024-01-03 16:48

易会档助力客服系统：无代码集成提升用户运营

通过易会档API，企业可将营销、客服、电商等多个系统高效地整合在一起，无需深入的技术知识，即可构建一个智能化的营销网络。这种方式不仅显著提升了工作效率，还大大缩
集简云-软件连接神器·2024-01-03 13:38

数睿通2.0：高效的数据处理，主数据与数据表功能全面升级

引言八天很短，七天很长，数睿通2.0数据中台也随之迎来了新一轮的版本迭代，本次更新主要包括：主数据模型（可视化建模）主数据派发（支持派发主数据到下游数据表，rabbitMq，kafka，接口）数据表（数仓分层表信息展示
小螺旋丸·2024-01-03 10:51

Flink实时电商数仓（十）

common模块回顾appBaseApp:作为其他子模块中使用Flink-StreamAPI的父类，实现了StreamAPI中的通用逻辑，在其他子模块中只需编写关于数据处理的核心逻辑。BaseSQLApp:作为其他子模块中使用Flink-SQLAPI的父类。在里面设置了使用SQLAPI的环境、并行度、检查点等固定逻辑。bean：存放其他子模块中使用到的javaBean对象，因为如果一直使用json
十七✧ᐦ̤·2024-01-03 09:50

Hive自定义函数支持国密SM4解密

当前项目背景需要使用到国密SM4对加密后的数据进行解密，Hive是不支持的，尝试了华为DWS数仓，华为只支持在DWS中的SM4加密解密，不支持外部加密数据DWS解密新建Maven工程只需要将引用的第三方依赖打到
4935同学·2024-01-03 08:03

计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计

mapreduce对mysql中的医生数据进行数据分析，使用高德地图解析地理位置，并将结果转入.csv文件同时上传到hdfs文件系统；3.使用hive建库建表，导入.csv数据集；4.一半指标使用离线数仓
计算机毕业设计大神·2024-01-03 07:53

数据仓库命名规范详解

一、数仓中为什么要在数据开发过程中强调遵守数仓开发命名规范呢？
孤城暮雨@·2024-01-03 04:17
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他