数仓项目学习

百度AI人脸识别与检测七：学生人脸识别打卡签到系统之学生人脸信息的添加

主要用到的技术有百度开放平台中的人脸检测、人脸识别、Python图形界面开发PyQt5、线程的管理、以及通过python调用百度接口实现人脸检测、百度开放平台中人脸检测技术文档的理解等，由浅入深、由局部到整体的一个项目学习过程
陈一月的编程岁月·2024-02-14 04:03

ClickHouse常用表引擎

有点像数仓中的缓慢变化维度。创建TinyLog引擎表只需要在
寒 暄·2024-02-11 22:23

clickhouse 21.x生产实践优化

clickhouse1时间字段类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive(hbase)为中心的数仓建设中常见，但ClickHouse环境不应受此影响。
架构师老狼·2024-02-11 18:28

Databend 开源周报第 131 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
·2024-02-11 18:59

离线数仓（一）【数仓概念、需求架构】

前言今天开始学习数仓的内容，之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会·2024-02-11 11:58

web基础阶段的小兔鲜儿项目学习

小兔鲜儿1.所用素材2.项目文件介绍3.index页面的基本骨架4.思路：先写外面大盒子和版心，由外往内写5.源码：6.代码的一些命名1.所用素材素材链接，点我跳转：https://download.csdn.net/download/angrynouse/872281512.项目文件介绍favicon.ico图标直接放在项目根目录下images文件夹：项目中固定的图片，即logo样式修饰图片up
况几·2024-02-11 06:50

计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计

selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集；2.使用pandas+numpy或MapReduce对数据进行数据清洗，生成最终的.csv文件并上传到hdfs；3.使用hive数仓技术建表建库
计算机毕业设计大神·2024-02-10 10:56

实时计算框架 Flink 在教育行业的应用实践

若想实现大规模数据的“即席查询”，就须用实时计算框架构建实时数仓来实现。本文通过一个教育行业的应用案例，剖析业务系统对实时计
Java架构师CAT·2024-02-10 09:20

HiveSQL——用户中两人一定认识的组合数

注：参考文章：SQL之用户中两人一定认识的组合数--HQL面试题36【快手数仓面试题】_sql面试题-快手-CSDN博客文章浏览阅读1.2k次，点赞3次，收藏12次。
爱吃辣条byte·2024-02-10 01:52

SpringSecurity个人学习笔记

SpringSecurity个人学习笔记**`项目学习地址`[springsecurity-demo](https://gitee.com/guzhuangzhuang/springsecuity-demo
Gunalaer·2024-02-09 13:19

项目学习记录

项目开发创建项目环境配置关联git新增模块项目启动打印地址日志使用httpclient进行idea内部控制台测试使用AOP拦截器打印日志创建项目创建一个空项目，并勾选下面选项然后进入pom.xml中修改项目配置根据这个链接选则，修改项目的支持版本链接：https://github.com/alibaba/spring-cloud-alibaba/wiki/%E7%89%88%E6%9C%AC%E8
自学cs的小菜鸡·2024-02-09 06:48

数据湖的整体思路

当数据湖成为中心，那么就可以围湖而建“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务等等。
zhang菜鸟·2024-02-08 22:19

SSR项目学习和使用

今天开会，同事突然说，我们的项目首屏渲染时间太久，引起客诉了。怎么办呢，需要把项目从客户端渲染转为服务端渲染，也就是SSR，大家一起想想研究一下怎么改才好。我：啊？于是，打开Google，郑重地打出了三个字母+三个汉字：什么是SSR把学习笔记记录在这。————————最后我们使用了next框架改。——————————什么是SSR先看：https://juejin.cn/post/684490401
sasaraku.·2024-02-08 07:56

主题：创客教育与STEM教育、科学教育的异同（七组）

[1]创客的“元宵定义”指出，创客教育是创客文化与教育的结合，基于学生兴趣，以项目学习的方式，使用数字化工具，倡导造物，鼓励分享，培养跨学科解决问题能力、团队协作能力和创新能力的一种素质教育。二
氟氯溴碘砹·2024-02-07 21:51

数仓：用户行为类指标一网打尽

前言用户行为分析是对用户在产品或触点上产生的行为及行为背后的数据进行分析，通过构建用户行为数据分析体系或者用户画像，来改变产品、营销、运营决策，实现精细化运营，指导业务增长。总之，很重要。关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】先来看下用户类行为指标说明，然后下面详解常写的指标。指标名称解释说明新增用户首次联网使用应用的用户，如果一个用户首次打
大数据左右手·2024-02-07 09:35

数仓：事实表设计方法，原则和三种类型选择

关注公众号，回复关键字【资料】，获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用（外键）以及该业务过程的度量。一般设计会遵循以下四个步骤：1.选择业务过程及确定事实表类型通常情况下，一个业务过程对应一张事实表。2.声明粒度精确定义每张事实表的每行数据表示什么,按照业务尽可能选择最
大数据左右手·2024-02-07 09:35

数仓-数据质量体系建设

注：文章参考：数据仓库数据质量体系建设涤生推荐：未来的行业中，数据是企业的重要资产，而数据仓库则是对企业数据进行有效管理和利用的重要手段。在数据仓https://mp.weixin.qq.com/s/elPkpgTm6cfAR-AFuJA16w目录一、数据质量体系建设的原因二、数据质量的重要性决策基础客户满意度业务流程效率成本控制法律合规三、常见的数据质量问题数据缺失数据错误数据不一致数据重复数据
爱吃辣条byte·2024-02-07 08:26

Flink-CDC实时读Postgresql数据

用户可以在如下的场景使用cdc：实时数据同步：比如将Postgresql库中的数据同步到我们的数仓中。数据库的实时物化视图。Postgresql数据库配置Postgresql参数修改#更改wa
pigcoffee·2024-02-07 07:13

4.东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）

东软跨境电商数仓项目–数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4）文章目录东软跨境电商数仓项目--数据采集通道搭建之用户行为数据采集通道搭建（2022.6.1-2022.6.4
Mmj666·2024-02-07 00:01

性能实测：分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何

在《分布式存储支持数据仓库业务系统性能验证》文章中，我们对比了SmartX分布式存储ZBS与全闪集中式存储（EMCPowerStore）执行数仓跑批任务的效率。为了帮助用
志凌海纳SmartX·2024-02-06 18:40

R10-进击之树组第四次作业@20180607by栩辰

图片发自App栩辰的作业：A1.No1.提炼主题：不适合的项目学习方法让你学了和没学一样No2.联想场景：想学简笔画现在都无法下笔No3.加工故事：去年六月15日16日在北京参加一次学习，课间有练习关于世界咖啡的练习
栩辰·2024-02-06 17:03

揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术·2024-02-06 16:49

《基于区块链与IPFS的数据共享系统》专栏简介

订阅《Fabric项目学习笔记》的用户可以免费在群内获
TrueTechLabs·2024-02-06 16:07

Hive分区表增加字段新增字段为NULL解决方案

背景：数仓开发过程中，经常会有需求变更，添加字段的情况很难免，添加完了字段需要重新写数据，重新将这个字段的数据overwrite进去，但是会出现一个问题，就是加载的数据为NULL。
Lens5935·2024-02-06 10:11

k8s的Deployment部署策略线上踩坑

线上问题我们有个服务,专门做t-1日的增量数据入仓的.入仓流程:每日0点系统新建个csv文件,通过kafka监听增量数据,实时数据写入该csv文件,供下游数仓次日取数.每日产生数据50G(1.8亿条)左右
吴free·2024-02-06 07:41

SpringCloud+Mybatis实现微服务电商系统

1前言在毕业论文答辩完成后，我开始学习微服务这一块的内容，加上工作中也接触到了实际应用的微服务项目，因此想从零搭建一套项目学习这方面的内容，于是就把之前毕设的电商拿来改造重构，从去年7月至今，由于工作繁忙
hhf的博客·2024-02-05 21:05

DolphinScheduler数仓任务管理规范

目录一、DolphinScheduler调度数仓任务现状分析2.1一个任务流构建数仓所有的逻辑节点2.2每个逻辑节点构建一个任务流二、数仓任务管理调度需求分析三、DolphinScheduler数仓开发任务管理规范四
i7杨·2024-02-05 16:09

数仓建设规范

数仓建设规范一、数据模型架构原则1.数仓分层原则2.主题域划分原则3.数据模型设计原则二、数仓公共开发规范1.层次调用规范2.数据类型规范3.数据冗余规范4.NULL字段处理规范5.指标口径规范6.数据表处理规范四
长不大的大灰狼·2024-02-05 04:03

基于Flink的实时数仓建设

目录：一.实时计算初期二.实时数仓建设三.Lambda架构的实时数仓四.Kappa架构的实时数仓五.流批结合的实时数仓一、实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求
园陌·2024-02-04 12:48

第七章 主管信息系统和数据仓库

[TOC]第七章主管信息系统和数据仓库7.0前言EIS是数仓之前的概念EIS没有注重基础结构（数据源、数据质量、数据流通等）DSS是现代的EIS，与数仓紧密相连7.1EIS概述EIS典型用途趋势分析关键指标度量和跟踪向下钻取问题监控竞争分析关键性能指标监控
晨磊的微博·2024-02-04 04:53

盘点那些硬件+项目学习套件：STM32MP157 Linux开发板及入门常见问题解答

华清远见20岁了~过去3年里，华清远见研发中心针对个人开发板业务，打造了多款硬件+项目学习套件，涉及STM32单片机、嵌入式、物联网、人工智能、鸿蒙、ESP32、阿里云IoT等多技术方向。
华清远见IT开放实验室·2024-02-03 17:34

盘点那些硬件+项目学习套件：Hi3861鸿蒙开发板及入门常见问题解答

华清远见20岁了~过去3年里，华清远见研发中心针对个人开发板业务，打造了多款硬件+项目学习套件，涉及STM32单片机、嵌入式、物联网、人工智能、鸿蒙、ESP32、阿里云IoT等多技术方向。
华清远见IT开放实验室·2024-02-03 17:34

盘点那些硬件+项目学习套件：STM32U5单片机开发板及入门常见问题解答

华清远见20岁了~过去3年里，华清远见研发中心针对个人开发板业务，打造了多款硬件+项目学习套件，涉及STM32单片机、嵌入式、物联网、人工智能、鸿蒙、ESP32、阿里云IoT等多技术方向。
华清远见IT开放实验室·2024-02-03 17:32

数仓建模&维度建模理论知识

0.思维导图第1章数据仓库概述1.1数据仓库概述  数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，企业可从数据中获得宝贵的信息进而改进决策。同时，随着时间的推移，数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2数据仓库核心架构第2章数据仓库建模概述2.1数据仓库建模的意义  数据模型就是数据组织和存
韩顺平的小迷弟·2024-02-03 16:02

hadoop使用公平调度器

Stage1（默认调度器）大概在几年前，搭建的数仓集群中。数据量不大，做离线一个晚上就能轻松调度完，那时候使用的hadoop自带的调度器，容量调度器。但默认配置没有改，就会发生什么！
向他一样rap·2024-02-03 13:22

离线数仓-数据治理

目录一、前言1.1数据治理概念1.2数据治理目标1.3数据治理要解决的问题1.3.1合规性元数据合规性数据质量合规性数据安全合规性1.3.2成本存储资源成本计算资源成本二、数据仓库发展阶段2.1初始期2.2扩张期2.3缓慢发展期2.4变革期三、数据治理内容3.1元数据治理3.2数据质量治理3.3数据安全治理3.4计算资源治理3.5存储资源治理四、数据治理总结4.1模型合规治理4.2数据质量合规治理
爱吃辣条byte·2024-02-03 13:51

数仓治理-存储资源治理

存储资源治理的流程及思路三、治理前如何评估3.1无用数据表/临时数据表下线评估3.2表及分区的生命周期评估3.3存储及压缩格式评估3.4根据业务场景实现节省存储评估四、治理后的成效如何评估一、存储资源治理的背景由于早期数仓的存储资源比较充裕
爱吃辣条byte·2024-02-03 13:51

Flink实时数仓同步：拉链表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：[Mysql]业务数据-用户表全量数据：idnamephonegende
Light Gao·2024-02-03 10:15

Flink实时数仓同步：流水表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，大数据分析平台需要能够检索某张业务表的变更记录，并以每天为单位统计每条数据的变更频率。以下是示例：[Mysql]业务数据-用户表全量数据：
Light Gao·2024-02-03 10:15

深入数仓离线数据同步：问题分析与优化措施

一、前言在数据仓库领域，离线数仓和实时数仓是常见的两种架构类型。离线数仓一般通过定时任务在特定时间点（通常是凌晨）将业务数据同步到数据仓库中。
Light Gao·2024-02-03 10:14

数仓日常维护：剖析每日增量同步的内部机制

数仓日常维护：剖析每日增量同步的内部机制一、前言在现代企业中，离线仓库扮演着不可或缺的角色。它充当着一个数据的中心枢纽，存储和管理着海量的信息。
Light Gao·2024-02-03 10:14

Flink实时数仓同步：快照表实战详解

一、背景在大数据领域，初始阶段业务数据通常被存储于关系型数据库，如MySQL。然而，为满足日常分析和报表等需求，大数据平台采用多种同步方式，以适应这些业务数据的不同存储需求。这些同步存储方式包括离线仓库和实时仓库等，选择取决于业务需求和数据特性。一项常见需求是，业务使用人员需要大数据分析平台中查看历史某一天的表数据，示例如下：[Mysql]业务数据-用户表全量数据：idnamephonegende
Light Gao·2024-02-03 10:38

项目学习——canvas标签

canvas在本次项目中是重难点，经过这次项目我对canvas也有了部分认识，学习中没有查canvas标签的名字，因此，我将他称为画布标签。首先，canvas的宽高与其他标签不同，他的宽高是标签内属性，在我使用的过程中发现，只有设置标签内宽高才可以拖动框的大小。然后在HTML5中，元素通过getContext方法获取一个上下文对象，通过这个上下文对象，你可以在上进行绘图操作。主要的上下文类型有"2
Zrf2191318455·2024-02-03 08:26

实时数仓到底是什么呢？与传统数仓有什么区别？如何建设实时数仓呢？

在本地生活服务领域的两大巨头，滴滴在自己的业务如顺风车、美团在自己的业务如团购外卖中进行实时数仓的建设，为消费者提供更好的服务，如我们在滴滴上可以更快的打到更便宜的车、在美团上可以更快的取到最想要吃的餐
盐城qn·2024-02-02 18:50

Flink CDC 详述实时数据湖

在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖ApacheIceberg两种技术，来解决业务数据实时入湖相关的问题。
000X000·2024-02-02 12:01

如何推动埋点管理项目的落地

一埋点管理常见痛点分析埋点数据作为三大数据来源之一，具有应用场景多、数据量级大等特点，上能影响数据分析、推荐、AB实验的准确性，下能影响数仓结构设计和维护成本，其重要性不言而喻。
一个数据人的自留地·2024-02-02 06:01

数据仓库表级血缘应用

数仓血缘应用（一）：表血缘热度文章目录数仓血缘应用（一）：表血缘热度前言一、价值衡量指标——应用层二、血缘节点应用——热度1、指标透传（应用层——>数仓）2、指标应用（热度）2.1、数仓血缘节点关系2.2
零壹Ture·2024-02-02 02:24

[含文档+PPT+源码等]精品微信小程序ssm培训机构管理系统+后台管理系统|前后分离VUE[包运行成功]

Eclipse运行教学：Idea运行项目教学：Pycharm调试项目教学：MySQL安装教学：Navicat数据库操作教学：Hbuilderx运行及打包教学：微信小程序运行及真机调试教学：常见答辩问题：二、本项目学习内容涉及以下部分
千里码aicood·2024-02-02 00:55

[含文档+PPT+源码等]精品微信小程序ssm家教服务系统小程序+后台管理系统|前后分离VUE[包运行成功]

Eclipse运行教学：Idea运行项目教学：Pycharm调试项目教学：MySQL安装教学：Navicat数据库操作教学：Hbuilderx运行及打包教学：微信小程序运行及真机调试教学：常见答辩问题：二、本项目学习内容涉及以下部分
千里码aicood·2024-02-02 00:25

[含文档+PPT+源码等]精品微信小程序ssm家校通系统+后台管理系统|前后分离VUE[包运行成功]

Eclipse运行教学：Idea运行项目教学：Pycharm调试项目教学：MySQL安装教学：Navicat数据库操作教学：Hbuilderx运行及打包教学：微信小程序运行及真机调试教学：常见答辩问题：二、本项目学习内容涉及以下部分
千里码aicood·2024-02-02 00:25
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他