数仓技术知识第5页

Hive 数仓及数仓设计方案

数仓(DataWarehouse)数据仓库存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供一个统一、规范的出口。做数仓就是做方案，是用数据治理企业的方案。

Byyyi耀·2024-01-23 06:34

在没有前端Web HTML，CSS，JavaScript技术知识情况下使用Delphi / C ++ Builder快速开发构建Web前端B/S应用

对标题感到惊讶？是的，如果您不了解HTML，CSS，JavaScript，则可以使用某些Client/Server（FullStack）或Client-Focused第三方Web框架从Delphi/C++Builder构建Web前端。想知道这些框架是如何做到的？这篇文章将帮助您理解。Delphiintraweb结合Cesium开发WEBGIS前端Web前端框架的功能是什么：视觉布局在IDE中设计，

xyzhan·2024-01-23 06:33

flume案例

在构建数仓时，经常会用到flume接收日志数据，通常涉及到的组件为kafka，hdfs等。下面以一个flume接收指定topic数据，并存入hdfs的案例，大致了解下flume相关使用规则。

不加班程序员·2024-01-23 06:48

数仓建设 - 维度建模 - DIM维度

文章目录前置：准备数据库一、商品维度表1.1表结构设计1.2建表语句1.3ETL任务脚本二、优惠券维度表2.1表结构设计2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置：准备数据库[[email protected]]$

m0_46218511·2024-01-23 05:14

Databend 开源周报第 128 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。

Databend·2024-01-23 03:01

Databend 开源周报第 129 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。

Databend·2024-01-23 03:31

0基础转行做软件测试？一文教小白拿到初级岗位offer？

我认为入门软件测试需要四个方面的知识or技能，它们是：业务知识、职业素养、基础知识、技术知识。职业素养是一切的根基，因为人在职场就必须拥有必要的职业素养，软件测试工程师也不例外。

程序员老鹰·2024-01-22 23:20

高通芯片GPU是否有类似于HSR功能

这是第279篇UWA技术知识分享的推送。今天我们继续为大家精选了若干和开发、优化相关的问题，建议阅读时间10分钟，认真读完必有收获。

侑虎科技UWA·2024-01-22 10:00

ToLua或XLua中的虚拟机是否独立于Unity的主线程

的主线程2）Timeline技能编辑器提取关键帧信息3）CanvasAdditionalShaderChannels设置无效4）SDK返回的时候取Time.deltaTime比较大这是第291篇UWA技术知识分享的推送

侑虎科技UWA·2024-01-22 09:22

Flink背景

数仓简介在信息爆炸的时代，为了从海量数据中洞察业务价值，驱动运营决策，企业通常会构建用于数据分析的数据仓库。

201001070·2024-01-22 08:31

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库

Key-Key·2024-01-22 07:29

2020-05-20

第九章多传感器融合技术知识表示-模糊集-粗集神经网络-机器学习最重要的是搜索--智能算法：遗传、免疫、蚁群算法。

bokli_dw·2024-01-22 02:58

警惕勒索病毒的最新变种babyk，您需要知道的预防和恢复方法。

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类

wx_shuju315·2024-01-21 23:23

提高学习效率的方法(更新1)

我个人觉得自己在学习新技术知识中，并不是一个效率高的人。但最近的学习，发现提高学习效率是有方法的。

Action熊猫·2024-01-21 18:20

数据仓库简介、数据仓库的发展、数仓理论简介

数仓理论简介数据仓库解决方案诞生至今，也有2、30年的发展历史了，在这个过程中，数仓理论不断被更新和完善，逐步形成了目前大家普通遵守的数仓开发理论（概念）。

yida&yueda·2024-01-21 11:48

数据仓库简介

一、数仓概念数据仓库，英文名称为DataWarehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。

水坚石青·2024-01-21 11:46

技术分享 | MySQL：timestamp 时区转换导致 CPU %sy 高的问题

作者：高鹏文章末尾有他著作的《深入理解MySQL主从原理32讲》，深入透彻理解MySQL主从，GTID相关技术知识。本文为学习记录，可能有误请谅解。

爱可生开源社区·2024-01-21 00:53

Hologres V2.1版本发布，新增计算组实例构建高可用实时数仓

Highlight产品介绍Hologres是阿里云自研一站式实时数仓，统一数据平台架构，将OLAP查询、即席分析、在线服务、向量计算多个数据应用构建在统一存储之上，实现一份数据，多种计算场景。

阿里云大数据AI技术·2024-01-20 21:07

巴别时代基于 Apache Paimon 的 Streaming Lakehouse 的探索与实践

我们基于ApachePaimon(Incubating)构建StreamingLakehouse的落地实践主要分为三期：第一期是在调研验证的基础上进行数仓分层，并且上线一些简单的业务验证效果；第二期是实现流式数仓的基础设施建设

Apache Flink·2024-01-20 12:21

程序员必备的面试技巧——大数据工程师面试必备技能

目录前言一、不同工程师的职责和技能要求1、数仓开发工程师2、算法挖掘工程师3、大数据平台开发工程师4、大数据前端开发工程师二、大数据技术架构图三、大数据相关的技术内容四、大数据面试经验1、大数据开发岗位

Francek Chen·2024-01-20 11:22

从零开始创建自己的区块链应用（JAVA版）

要求阅读者具备一定的“区块链”基础知识、概念和以及相关的技术知识。

doc_wei·2024-01-20 10:15

超融合之道：亚信安慧AntDB 8.0版本引领数据库创新

在当今多变的数据应用场景中，AntDB作为行业领先的超融合流式实时数仓，秉承着“融合+实时”的研发理念，全面应对企业日益复杂的数据处理需求。

亚信安慧AntDB数据库·2024-01-20 01:00

微信小程序之组件和API

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、组件1、小程序中组件的分类

哥的时代·2024-01-20 00:43

华为外包数据库面试问题分享20211225

数仓的东西了解多少。数据库开发支持这方面你做过哪些。你现在的工作中的SQL开发，具体是作了哪些。你的工作意愿是哪个方向（这么问是因为知道了我没做过DBA）在数仓的设

钦䲹·2024-01-19 16:05

某小外包公司线上面试-大数据开发

1.数仓和数据库的区别2.数仓建模3.hive用到的函数4.rank,dense_rank,row_number的区别5.hive数据倾斜的原因有哪些7.如何理解数据质量？

劝学-大数据·2024-01-19 16:03

# Jenkins：一键部署与备份的终极解决方案

但是，部署和维护Jenkins服务往往需要一定的技术知识和时间。这里介绍一个强大的工具——Awesome-Jenkins，它旨在简化Jenkins的部署和任务备份过程。

名字还没想好☜·2024-01-19 13:56

基于 Hologres+Flink 的曹操出行实时数仓建设

本文整理自曹操出行实时计算负责人林震基于Hologres+Flink的曹操出行实时数仓建设的分享，内容主要分为以下六部分：曹操出行业务背景介绍曹操出行业务痛点分析Hologres+Flink构建企业级实时数仓曹操出行实时数仓实践曹操出行业务成果分析未来展望一

Apache Flink·2024-01-19 08:54

数通简答（部分）

01数通技术知识要点TCP/IP模型及OSI七层模型结构、名字、对应关系应用层为应用程序提供服务表示层数据格式转化、数据加密会话层建立、管理和维护会话传输层建立、管理和维护端到端的连接网络层IP选址和路由选择数据链路层提供介质访问和链路传输物理层在物理介质上传输比特流

重生之在河北师大碎大石·2024-01-19 03:07

黄帝内经针灸治疗偏瘫临床经验学习体会

黄帝内经针灸治疗偏瘫临床经验学习体会西方视其知识产权如生命，西方出卖给中国的技术知识产权金额，动辄百万、千万、亿万美元计算。从医学角度来说：西方近百年花费在药物方面的研究经费已经成天文数字之巨。

haoying3018·2024-01-19 03:23

FineBI实战项目一（25）：实战项目一总结

实在项目使用mysql做数仓库的ODS层，这仅仅是带领大家入门，用mysql做数仓存在很多问题。

不死鸟.亚历山大.狼崽子·2024-01-19 02:39

数仓架构图

阿里巴巴的数据团队把表数据模型分为三层：操作数据层（ODS）、公共维度模型层（DM）和应用数据层（DS），其中公共维度模型层包括明细数据层（DWD）和汇总数据层（DWS）。模型层次关系如9.9所示。image.png公共维度模型层（CDM）：存放明细事实数据、维表数据及公共指标汇总数据其中明细事实数据、维表数一般根据ODS层数据加工生成：公共指标汇总数据般根据维表数据和明细事实数据加工生成。CDM

liuxiaolin·2024-01-19 01:27

Hologres + Flink 流式湖仓建设

Flink流式湖仓建设1Flink+Hologres特性1.2实时维表Lookup1.3高性能实时写入与更新1.4多流合并1.5Hologres作为Flink的数据源1.6元数据自动发现与更新2传统实时数仓分层方案

Direction_Wind·2024-01-18 21:56

《Java Web程序设计任务教程》重点知识总结（Java高级开发技术知识点总结）

本文目录前言第一章网页开发技术HTML技术CSS技术JavaScript基础第二章JavaWeb概述XML基础HTTP协议TomcatServlet基础Servlet体系结构图Servlet开发入门Servlet虚拟路径映射Servlet通配符ServletConfig接口常用方法使用步骤ServletContextWeb应用的初始化参数多个Servlet对象共享数据请求和响应发送响应消息体解决中

RonaldDong存档旧号，不再更新·2024-01-18 18:54

白山云基于StarRocks数据库构建湖仓一体数仓的实践

背景随着每天万亿级别的业务数据流向数据湖，数据湖的弊端也逐渐凸显出来，例如：数据入湖时效性差：数据湖主要依赖于离线批量计算，通常不支持实时数据更新，因此无法保证数据的强一致性，造成数据不及时、不准确；查询性能差：在传统架构下，数据湖的查询速度较差，小时粒度的数据查询往往需要数分钟才能得到响应，在多个业务方同时执行数据湖查询任务时，查询响应慢的劣势更加明显；查询体验差：数据存储在多个地方，在进行联邦

StarRocks_labs·2024-01-18 17:04

感染了后缀为.mallox勒索病毒如何应对？数据能够恢复吗？

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类数据恢复技术，能够应对各种数据加密情况。.mallox勒索病毒的高度隐蔽性.mallox勒索病毒的高度隐蔽性是其成

wx_shuju315·2024-01-18 15:54

360勒索病毒：了解最新变种.360，以及如何保护您的数据

在面对被勒索病毒攻击导致的数据文件加密问题时，技术支持显得尤为重要，您可添加我们技术服务号（shuju315），我们的专业团队拥有丰富的数据恢复经验和技术知识，能够迅速定位问题并提供最佳解决方案

wx_shuju315·2024-01-18 15:15

全栈开发圈·2024-01-18 13:35

技术选型｜开源大数据OLAP引擎最佳实践

一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、StarRocks介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样，不同种类的引擎满足了我们不同的需求

浪尖聊大数据-浪尖·2024-01-18 08:14

数仓项目6.0配置大全（hadoop/Flume/zk/kafka/mysql配置）

配置背景我使用的root用户，懒得加sudo所有文件夹在/opt/module所有安装包在/opt/software所有脚本文件在/root/bin三台虚拟机：hadoop102-103-104分发脚本fenfa，放在~/bin下,chmod777fenfa给权限#!/bin/bash#1.判断参数个数if[$#-lt1]thenechoXXXXXXXXXNoArguementXXXXXXXXX!

Int mian[]·2024-01-18 06:57

如何设计实时数据平台（设计篇）

在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问

longLiveData·2024-01-18 05:11

人性的弱点：如何交友并影响他人

在工程界，个人事业的成功约有15%由技术知识决定，而另外85%则由人际交往、个人性格和管理能力决定；获取最大效益的九条建议一种持久不断的学习欲望，一种提高人际交往能力的强烈决心先把前一章读两遍，再往下看后一章在阅读时应经常停下

lgcgkCQ·2024-01-18 05:29

离线数仓二

数据仓库维度模型设计维度建模基本概念维度模型是数据仓库领域大师RalphKimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。

pauls·2024-01-18 00:26

计算机语言怎么学,教你如何学习计算机编程语言

任何技术知识的学习，只要长期的坚持都能够获得收获，我们熟知的的一万小时定律就是如此，只要付出精力时间才会有收获，区别在于不同的人收获多少不同而已。

歡瑜·2024-01-17 22:55

尚硅谷离线数仓之采集平台

1.用户行为日志数据流向流程图如下，其中红框表示用户行为日志数据的流向图。1.1行为日志内容行为日志主要包括以下几个内容页面浏览记录动作记录曝光记录启动记录错误记录页面浏览记录动作记录曝光记录启动记录1.2用户行为日志格式页面日志启动日志页面日志，以页面浏览为单位，即一个页面浏览记录，生成一条页面埋点日志。一条完整的页面日志包含，一个页面浏览记录，用户在该页面所做的若干个动作记录，若干个该页面的曝

韩顺平的小迷弟·2024-01-17 21:56

数据仓库面试题

1思维导图&数仓常见面试题2题目1.数据仓库是什么？

韩顺平的小迷弟·2024-01-17 21:53

2024.1.16 用户画像day01 - 项目介绍

技术选型:技术架构:项目架构:二.名词解释一.项目介绍整体流程:项目介绍-elasticSearch-业务数据源导入-离线指标开发-Flume实时采集-Nginx日志埋点数据-结构化流实时指标-制作报表数仓开发用户画像实时开发

白白的wj·2024-01-17 15:40

关于CarbonData+Spark SQL的一些应用实践和调优经验分享

行业亟需一个高效、统一的融合数仓，从海量数据中快速获取有效信息，从而洞察机遇、规避风险。

weixin_34075551·2024-01-17 15:31

数仓数据含有特殊字符，如何更方便的导出成excel文件

如果遇到数据中含有特殊字符,"\n","\r","\t",或者其他的特殊分隔符在数据导出时造成错位，都用sql替换，但是需求是导出的数据要保持原有内容格式，就不能替换剔除这些特殊字符，这种情况下使用json方式1，在hive数仓建一个临时的

第一次看海·2024-01-17 15:00

spark sql实践开发后端引擎

-------------“何以解忧，唯有暴富”需求开发一个系统，主要是将数仓中治理完用于检索的数据灌入Elasticsearch中，一般情况，开源的一些系

第一次看海·2024-01-17 14:28

探索 ChatGPT 中文版：开启自然语言处理新纪元

它的出现为我们提供了一个全新的交互式学习和探索工具，让我们能够更便捷地获取技术知识和资源。除了技术领域，ChatGPT中文版

菜鸟一记·2024-01-17 06:57

推荐频道

数仓技术知识