数仓技术知识

#抬抬小手学Python# 列表推导式与字典推导式

列表推导式与字典推导式在Python中推导式是一种非常Pythonic的知识，本篇博客将为你详细解答列表推导式与字典推导式相关的技术知识。
查理不是猹·2024-01-16 22:40

架构05- 理解架构的演进

这本书内容丰富，阅读起来很迅速，对于建立自己的技术知识体系非常有帮助。本文的内容就是参考了该书，并在此基础上进行了扩展和解释。
我还是个少年·2024-01-16 09:37

Hive使用shell调用命令行特殊字符处理

1.场景分析数据处理常用hive-e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等，现将特殊字符用法总结使用如下，可直接引用，避免自行测试的繁琐。
tuoluzhe8521·2024-01-16 07:17

每日课堂笔记day10

4、对老师留的课后拓展作业要能够完成5、对学习的内容要深度总结，（通过画思维导图总结）等6、课后遇到不会的不要轻易问别人，要学会自己解决问题7、提升阅读外语的能力（通过计算机技术知识反向学习外语）a、学过的单词记录单词对应意思的英文
Ambitionx丶·2024-01-16 06:33

一周总结

一点点的积累把要准备的和我之前了解的技术知识整理了下，就开始到应用阶段。我用了一天的时间把最基本的脚手架搞定（你可
Zero_376f·2024-01-16 05:50

教资高中信息技术知识点复习

嘉师行教资笔试学科资料中学信息技术第一部分目录【考点1】信息的概念和主要特征…1【考点2】信息技术及其发展简史…1【考点3】前端技术…1【考点4】搜索引擎及其类型…2【考点5】计算机的特点…3【考点6】第一台电子计算机…3【考点7】电子计算机之父…4【考点8】计算机应用领域…4【考点9】计算机硬件5大部分的功能…4【考点10】存储器…5【考点11】计算机编码和进制…5【考点12】鼠标操作…6【考点
想要打 Acm 的小周同学呀·2024-01-16 03:22

ClickHouse - 01

批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark、Flink技术对数据进行ETL清洗处理，也可以直接将数据抽取到Hive数仓中
ArthurHC·2024-01-16 02:17

数据库, 数据仓库, 数据集市，数据湖，数据中台

数据仓库和数据库的区别作者：南宫蓉出处：简书第一篇：数据仓库概述第二篇：数据库关系建模作者：穆晨出处：CNBLOS数据仓库、数据湖、数据集市、和数据中台的故事作者：Murkey学习之旅出处：csdn数据中台和数仓的关系作者
cxzhq2002·2024-01-16 01:26

mysql/oracle 数据库delete操作太慢（where ... in ...），不加索引，一招让性能提升百倍

比如在数仓项目中，软删虽然更快更安全，但是缺点也很多：1、软删造成数据冗余，甚至快速膨胀的后果。比如一些中间表，只是作为中转站，过两天数据就分配其他表了，不硬删的话就会造成数据快速膨胀。
大壮001·2024-01-15 23:30

2021最新Java高频精选面试题讲解

于是，我开始调整状态，着重于深耕技术知识，似乎一切开始了好转，最后斩获p7岗offer。于是乎，我想把我的学习经历以及面试几十家互联网企业总结下来的面试经历分享给
Java二叉树·2024-01-15 16:10

亚信安慧AntDB-S流式数据库实现企业数智化转型

AntDB-S流式数据库是一项针对实时数仓等场景的创新技术，旨在取代传统的流式处理引擎，从而简化开发和测试过程。该流式数据库具备强大的ACID特性和高可用性，为企业降低了流式业务开发和维护的成本。
亚信安慧AntDB数据库·2024-01-15 14:11

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）

概述背景ApacheDoris官方地址https://doris.apache.org/ApacheDorisGitHub源码地址https://github.com/apache/incubator-dorisApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁，易于运维，并且可以支持1
IT小神·2024-01-15 13:45

数仓选型必列入考虑的OLAP列式数据库ClickHouse(中)

实战案例使用背景ELK作为老一代日志分析技术栈非常成熟，可以说是最为流行的大数据日志和搜索解决方案；主要设计组件及架构如下：而新一代日志监控选型如ClickHouse、StarRocks特别是近年来对ELK地位发起较大的挑战，不乏有许多的大公司如携程，快手已开始把自己的日志解决方案从ES迁移到了Clickhouse，将日志从ES迁移到ClickHouse可以节省更多的服务器资源，总体运维成本更低，
IT小神·2024-01-15 13:45

国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（中）

概述背景ApacheDoris官方地址ApacheDorisApacheDorisGitHub源码地址GitHub-apache/incubator-doris:ApacheDoris(Incubating)isanMPP-basedinteractiveSQLdatawarehousingforreportingandanalysis.ApacheDoris是一个现代化的MPP分析型数据库产品。
Firstlucky77·2024-01-15 13:42

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。
Key-Key·2024-01-15 12:04

大数据开发之Hive（详细版，最后有实战训练）

但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。
Key-Key·2024-01-15 12:29

项目实战-知行教育大数据分析平台-01

目录一、业务流程二、项目架构流程三、clouderamanager（CM）基本介绍四、项目环境搭建五、维度分析六、数仓建模1、维度建模2、什么是事实表与维度表3、事实表与维度表的分类4、维度建模的三种模型
吆喝的翅膀·2024-01-15 04:22

大一认知实习总结

项目经理、UI设计师、程序编写员，测试……，对我来说，毕业后找工作极大的可能属于最基本的程序员，做最基本的工作，虽然最苦最累，但有很大的提升区间，不过这需要极为全面的技术知识与各项综合能
你这个年纪睡得着么·2024-01-15 03:18

clickhouse常规的优化方法

一、建表优化1.1日期字段避免使用String存储建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
运维仙人·2024-01-15 01:08

统一OLAP查询平台之语义层

产品和应用讨论分析指标，并拉上数仓和业务一起确认指标。数仓理解指标，并开始数据加工。首先，从ODS层开
XianMing的博客·2024-01-14 11:27

数据仓库（1）-总览

整体大纲如下，分为8个部分，包括认识数仓，数仓模型建设，元数据管理，指标体系，数据质量，数据安全，数据治理，实时技术。
XianMing的博客·2024-01-14 11:27

数据仓库（2）-认识数仓

1、数据仓库是什么数据仓库，由数据仓库之父比尔·恩门（BillInmon）于1990年提出，主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，做有系统的分析整理，以利各种分析方法如联机分析处理(OLAP)、数据挖掘(DataMining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有
XianMing的博客·2024-01-14 10:53

长龙航空HTAP实践：统一技术栈，高效构建在线服务与轻量实时数仓

浙江长龙航空有限公司（以下简称“长龙航空”）是浙江省唯一的本土总部型客货综合公共运输航空公司，拥有国内国际、客运货运全牌照航空运输资质，属于中大型航空公司，居民营航空公司前列，自2011年成立至今，累计开通国内外客货运航线近600条，覆盖全国并通达日韩、港澳、东南亚、中亚等“一带一路”沿线国家和地区的170余个城市。在现代航空业运营中，高效的数据管理和可靠的数据库系统是成功运营的关键要素之一。长龙
OceanBase数据库官方博客·2024-01-14 07:30

数仓搭建——DWD层

1DWD层（用户行为日志）1.1日志解析思路页面埋点日志启动日志思路1.2get_json_object函数使用数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]取出第一个json对象hive(gmall)>selectget_json_object('[{"name":"大郎","sex":"男",
丝丝呀·2024-01-14 06:10

数据仓库-离线数仓（基于物流数仓）

1、数据仓库概述1.1、数据仓库概念数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2、数据仓库核心架构2、数据仓库建模概述2.1、数据仓库建模的意义如果把数据看作图书馆里的书，我们希望看到它
小鱼干换酒钱·2024-01-14 06:39

数仓学习笔记(5)——数仓搭建(DWD层)

目录一、数仓搭建——DWD层1、DWD层(用户行为日志)1.1日志解析思路1.2get_json_object函数使用1.3启动日志表1.4页面日志表1.5动作日志表1.6曝光日志表1.7错误日志表1.8DWD
默萧756·2024-01-14 06:35

数仓笔记（五）-DWD层，DWS层

数仓搭建DWD层1）对用户行为数据解析2）对业务数据采用维度模型重新建模6.1DWD层（用户行为日志）1）日志结构回顾（1）页面埋点日志（2）启动日志2）日志解析思路6.1.2get_json_object
芝士雪豹.·2024-01-14 06:33

离线数仓 (十三) --------- DWD 层搭建

目录前言一、DWD层(用户行为日志)1.日志解析思路2.get_json_object函数使用3.启动日志表4.页面日志表5.动作日志表6.曝光日志表7.错误日志表8.DWD层用户行为数据加载脚本二、DWD层(业务数据)1.评价事实表(事务型事实表)2.订单明细事实表(事务型事实表)3.退单事实表(事务型事实表)4.加购事实表(周期型快照事实表，每日快照)5.收藏事实表(周期型快照事实表，每日快照
在森林中麋了鹿·2024-01-14 06:02

企业级大数据项目【4】数仓-业务域ODS-DWD-ADS开发篇

1概要说明业务域的数据来自业务系统的数据库通过sqoop（或datax）抽取到数仓的ods层在ods层对有需要的表进行增量合并，字段选择，反范式话，形成dwd明细层表在明细层基础上，进行各类主题的数据统计
江湖人称涛哥·2024-01-14 06:32

物流实时数仓ODS层——Mysql到Kafka

目录1.采集流程2.项目架构3.resources目录下的log4j.properties文件4.依赖5.ODS层——OdsApp6.环境入口类——CreateEnvUtil7.kafka工具类——KafkaUtil8.启动集群项目这一层要从Mysql读取数据，分为事实数据和维度数据，将不同类型的数据进行不同的ETL处理，发送到kakfa中。代码1.采集流程2.项目架构3.resources目录下
雷神乐乐·2024-01-14 06:01

物流实时数仓DWD层——1.准备工作

目录1.创建主程序——DwdOrderRelevantApp类2.创建DWD层的事实表——来源于订单表和订单明细表(1)创建订单表实体类(2)创建订单明细表实体类(3)创建交易域：下单事务事实表实体类，并整合(1)与(2)，采用下单时间(4)创建交易域：支付成功事务事实表实体类，并整合(1)与(2)，采用支付时间和支付状态(5)创建物流域：揽收（接单）事务事实表实体类，并整合(1)与(2)，采用揽
雷神乐乐·2024-01-14 06:57

Hive命令行运行SQL将数据保存到本地如何去除日志信息

1.场景分析先有需求需要查询hive数仓数据并将结果保存到本地，但是在操作过程中总会有日志信息和表头信息一起保存到本地，不符合业务需要，那如何才能解决该问题呢？
tuoluzhe8521·2024-01-14 05:01

Python接口自动化测试的局限性，该如何破局？

**初始投入成本高**：-编写自动化测试脚本需要时间和技术知识，包括对Python语言的掌握以及接口测试框架（如unittest、pytest或requests等）的使用。
划水不带桨·2024-01-14 03:35

美团点评实时数仓平台演进与实践

1.摘要数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战，而Flink实时数仓在数据链路中扮演着极为重要的角色。
笔名辉哥·2024-01-14 02:50

数仓建模—埋点设计与管理

数据仓库系列文章(部分已出，持续更新)数仓架构发展史数仓建模方法论数仓建模分层理论数仓建模—宽表的设计数仓建模—指标体系数据仓库之拉链表数仓—数据集成数仓—数据集市数仓—商业智能系统数仓—埋点设计与管理数仓
大数据技术派·2024-01-14 01:22

技术知识点：Treeshaking是什么？

‍♂️诸位好，吾乃诸葛妙计，编程界之翘楚，代码之大师。算法如流水，逻辑如棋局。吾之笔记，内含诸般技术之秘诀。吾欲以此笔记，传授编程之道，助汝解技术难题。吾之文章，不以繁复之言，惑汝耳目；但以浅显之语，引汝入胜。若此文对阁下有所裨益，敬请-点赞⭐-收藏-关注，不胜感激。“Treeshaking”是一个术语，通常用在现代前端开发和模块打包工具（如Webpack、Rollup等）的上下文中。它指的是一种
诸葛妙计·2024-01-14 00:12

hiveSQL任务执行时间过长

从业务或者其他方面优化4、从接口层取数前期的数仓设计不合理或者临时性
amberwest·2024-01-13 22:16

.mallox勒索病毒数据恢复|金蝶、用友、管家婆、OA、速达、ERP等软件数据库恢复

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类数据恢复技术，能够应对各种数据加密
wx_shuju315·2024-01-13 22:38

恢复你的数据：对.360、.halo抗勒索病毒的恢复策略

我们的专业团队（技术服务号shuju315）具备丰富的经验和技术知识，精通各类数据恢复技术，能够应对各
wx_shuju315·2024-01-13 22:30

设计模式之迭代器模式【行为型模式】

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、概述二、结构三、案例实现四
哥的时代·2024-01-13 16:16

设计模式之访问者模式【行为型模式】

各位小伙伴，如果您：想系统/深入学习某技术知识点…一个人摸索学习很难坚持，想组团高效学习…想写博客但无从下手，急需写作干货注入能量…热爱写作，愿意让自己成为更好的人…文章目录前言一、概述二、结构三、案例实现四
哥的时代·2024-01-13 16:38

一文搞懂MySQL体系架构！！

写在前面很多小伙伴工作很长时间了，对于MySQL的掌握程度却仅仅停留在表面的CRUD，对于MySQL深层次的原理和技术知识了解的少之又少，随着工作年限的不断增长，职场竞争力却是不断降低的。
冰河团队·2024-01-13 15:09

[分章：技术知识]Halcon单相机标定和畸变矫正程序

[20240109]一、为什么要进行单相机标定？广义：畸变矫正和一维和二维测量畸变矫正在几何光学和阴极射线管(CRT)显示中。畸变是对直线投影的一种偏移。简单来说直线投影是场景内的一条直线投影到图片上也保持为一条直线。那畸变简单来说就是一条直线投影到图片上不能保持为一条直线了。这是一种光学畸变（opticalaberration）。畸变是一种相差，可能由于摄像机镜头导致，会对拍摄的物体的形状产生变
学者Miles·2024-01-13 10:09

数据仓库Apache Hive

为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意：这里要解决一个核心的误区：数仓绝不是大型数据库。
江枫渔火R·2024-01-13 09:29

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识
王络不稳定·2024-01-13 09:28

数据仓库 & Apache Hive

一、数据分析1、数据仓库数据仓库（英语：DataWarehouse，简称数仓、DW），是一个用于存储、分析、报告的数据系统。
杀神lwz·2024-01-13 09:52

Timeline技能编辑器如何提取关键帧信息

技能编辑器如何提取关键帧信息2）Mesh资源开启R/W内存的翻倍问题3）UI的Animator动画对Canvas.SendWillRenderCanvas()耗时影响4）对Shader变体的理解这是第281篇UWA技术知识分享的推送
侑虎科技UWA·2024-01-13 07:07

数仓建设指南

数仓建设指南数据模型架构规范数据层次的划分ODS：OperationalDataStore，操作数据层，在结构上其与源系统的增量或者全量数据基本保持一致。
左美美 ￣　　·2024-01-13 06:04

大数据开发工程师需要具备哪些技能？

在回答这个问题之前，需要充分了解一下当前大数据的几个就业方向，可以参考下主流互联网行业的部门架构、职责和JD，大数据开发工程师，总体来说有这么几类，不同的公司叫法不一样：1、数仓开发工程师2、算法挖掘工程师
郑小柒是西索啊·2024-01-12 21:58

Databend 开源周报第 127 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2024-01-12 20:45
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他