数仓模型设计

数仓总结

数仓总结数据开发的本质是理解业务，设计合适的数仓结构，数据模型问题往往是一环扣一环的，需要有足够的技术深度，将知识由点连接成面，而不是停留在相互孤立的知识点上。
Miracle_Data·2023-09-09 00:12

卷积神经网络实现好莱坞明星识别 - P6

同学的学习圈子目录环境步骤环境设置包引用定义一个全局的设备对象数据准备定义数据保存的目录遍历出图片列表随机选择几个图片打印一下大小随机选择20个图片展示一下创建数据预处理器提取数据集中的分类划分训练集和验证集分批模型设计模型训练编写训练函数编写评估函数创建
好名让狗申请了·2023-09-08 17:59

DTCC 2023 丨云原生环境下，需要什么样的 ETL 方案？

2023年8月16日～18日，第14届中国数据库技术大会（DTCC2023）于北京隆重召开，拓数派受邀参与本次大会，PieCloudDB技术专家邱培峰在大会做了《云原生虚拟数仓PieCloudDBETL
·2023-09-08 16:00

尚硅谷大数据项目《在线教育之离线数仓》笔记007

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第12章报表数据导出P11201、创建数据表02、修改datax的jar包03、ads_traffic_stats_by_source.json
upward337·2023-09-08 15:27

祝贺！Databend Cloud 入驻 AWS 云市场

关于DatabendCloudDatabendCloud是基于开源云原生数仓项目Databend打造的一款易用、低成本、高性能的新一代大数据分析平台，提供一站式SaaS服务，免运维、开箱即用。
Databend·2023-09-08 13:38

从“13天”到“0天”延时，揭秘幸福里离线SLA保障最佳实践

随着幸福里业务发展，为了满足业务对于数据使用、指标观测等需求，团队快速落地了数仓建设。但由于早期“先建后治”，导致现阶段数据治理难题频发。其中，异常突出的是离线数仓SLA延迟大，高达13天。
·2023-09-08 11:08

2020-06-10-深度学习推荐系统 0-2章

序言本书的目的是“从技术创造的视角，以具体的技术诞生场景为蓝图，试图引导读者学习和掌握工业界模型设计背后真正“银弹”-目的是解决什么样的问题”深度学习打破之前原有的学术界模型复杂条件苛刻的情况，它具有以下特点
logi·2023-09-08 10:17

复盘财富自由17

而风险投资的模型设计，也是为了避险，而不是冒险，目标有两个：尽可能获得最大化收益；尽可能降低系统化风险。3.专家轻易不冒险——虽然电影、小说里经常大肆渲染他们如何在关键时刻“冒险”。因为
清扬先生·2023-09-08 07:43

数仓|Hive性能调优指北

在企业中使用Hive构建离线数仓是一种十分普遍的方案。尽管Hive的使用场景是通过批处理的方式处理大数据，通常对处理时间不敏感。
大数据技术与数仓·2023-09-08 06:40

线上问诊：可视化展示

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步线上问诊：数仓开发(一)线上问诊：数仓开发(二)线上问诊：数仓开发(三)线上问诊：可视化展示文章目录系列文章目录前言一、全流程调度1.生产新数据2
超哥--·2023-09-08 05:39

拉链表的原理及简单实现

2拉链表的使用场景在数据仓库的数据模型设计过程中，经常会遇到
数新网络·2023-09-08 04:36

简单明了，介绍数据仓库

顾名思义，存放数据的仓库，它集合了各个业务系统的数据，以金融业为例，数仓包含了贷款业务、CRM、存款业务等数据。用于企业做数据分析、出报告、做决策；在有些公司也作为各业务系统的数据来源。
派可数据BI可视化·2023-09-08 02:44

数据建模和设计for CDGP第五章——如何绘制鸭掌图

CDGP中第五章必考一个数据模型设计题，分值10分。
大数据食铁兽·2023-09-08 01:56

时序数据库插入性能评测：MatrixDB是InfluxDB的78倍，TDEngine的38倍

TDengine不能确保数据不错不重不丢MatrixDB在各种规模数据写入时，内存消耗小而且平稳；InfluxDB占用内存较多；TDengine占用内存最多MatrixDB支持冷热分级存背景在物联网和实时数仓场景中
YMatrix 官方技术社区·2023-09-07 20:25

CCKS2023：基于企业数仓和大语言模型构建面向场景的智能应用

8月24日-27日，第十七届全国知识图谱与语义计算大会（CCKS2023）在沈阳召开。大会以“知识图谱赋能通用AI”为主题，探讨知识图谱对通用AI技术的支撑能力，探索知识图谱在跨平台、跨领域等AI任务中的作用和应用途径。作为国内知识图谱、语义技术、自然语言理解与知识获取等领域的核心学术会议，每年的CCKS都会邀请相关技术领域顶尖专家学者参会，探讨AI前沿技术。今年以来，大语言模型掀起的新一轮AI浪
·2023-09-07 18:56

酷克数据推出AI开发工具箱HashML 加速企业级AI应用落地投产

近日，业界领先的国产企业级云数仓厂商酷克数据发布了下一代In-Database高级分析和数据科学工具箱HashML，在业内率先实现为企业提供随数仓部署一步到位、开箱即用的AI能力。
·2023-09-07 15:41

BI分析工具 Apache Superset 安装部署

superset能够对接常用的大数据分析工具，如Hive、Kylin、Durid等，支持自定义仪表盘，可作为数仓的可视化工具。2Supers
BoomLee·2023-09-07 07:52

DataX(MySQL同步数据到Doris)

1.场景这里演示介绍的使用Doris的Datax扩展DorisWriter实现从Mysql数据定时抽取数据导入到Doris数仓表里2.编译DorisWriter这个的扩展的编译可以不在doris的docker
jerry-89·2023-09-07 06:03

使用 OAT 工具替换 OceanBase 云平台节点

作者：张瑞远上海某公司DBA，曾经从事银行、证券数仓设计、开发、优化类工作，现主要从事电信级IT系统及数据库工作。有三年以上OceanBase工作经验。
·2023-09-06 14:34

使用 ANTMAN 工具替换 OceanBase 云平台节点

作者：张瑞远上海某公司DBA，曾经从事银行、证券数仓设计、开发、优化类工作，现主要从事电信级IT系统及数据库工作。有三年以上OceanBase工作经验。
·2023-09-06 14:34

数仓数据建模中的概念总结（数据域、主题域、总线矩阵、指标...）

概念归纳业务分类：业务板块是某一大类业务的指标和维度的集合，如电商，文娱。数据域：面向业务分析，将业务过程或者维度进行抽象的集合，如交易域，日志域。将零散的需求分类，后续一一展开，这个过程叫数据域划分。数据域需要抽象提炼、并且长期维护和更新的，但不轻易变动。在划分数据域时，既能涵盖当前所有的业务需求，又能在新业务进入时无影响地被包含进已有的数据域或者扩展新的数据域。事实表为了更好地进行分析，往往会
锵锵锵锵~蒋·2023-09-06 01:57

数仓中的维度、度量、指标、事实、属性几个概念如何区分？有何异同？

文章目录维度VS属性维度横比纵比定性维度、定量维度维度VS度量度量VS指标维度VS指标维度VS属性维度是说明数据，是业务中对象的描述性属性或特征，用于对业务过程进行分析归类。属性是刻画某个实体对象维度的数据形态。通过事物发展的数量、质量两大方面，从横比、纵比角度进行全方位的比较，我们才能够全面的了解事物发展的好坏。维度横比纵比如用户数环比上月增长10%、同比去年同期增长20%，这就是时间上的对比，
锵锵锵锵~蒋·2023-09-06 01:57

线上问诊：数仓开发(二)

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步线上问诊：数仓开发(一)线上问诊：数仓开发(二)文章目录系列文章目录前言一、DWS1.最近1日汇总表1.交易域医院患者性别年龄段粒度问诊最近1日汇总表
超哥--·2023-09-05 21:06

线上问诊：数仓开发(三)

系列文章目录线上问诊：业务数据采集线上问诊：数仓数据同步线上问诊：数仓开发(一)线上问诊：数仓开发(二)线上问诊：数仓开发(三)文章目录系列文章目录前言一、ADS1.交易主题1.交易综合统计2.各医院交易统计
超哥--·2023-09-05 21:04

离线数仓同步数据_用户行为表数据同步

离线数仓同步数据_用户行为表数据同步2.1.4日志消费Flume测试[gpb@hadoop104~]$cd/opt/module/flume/[gpb@hadoop104flume]$cdjob/[gpb
program chef·2023-09-05 21:16

腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台

在内容数仓搭建的过程中，我们的工作始终围绕降本增效为主要目的进行优化与迭代，希望在数据服务方面不断提升产品工具的开发与分析效率，同时在数仓架构方面能够有效减少架构成本与资源开销。
·2023-09-05 17:37

数据仓库的流程

需求量非常大,如果每个需求都采用独立c代码开发方式,重复计算会很多.提高性能的方法:1.减少数据量2.减少重复计算例如RDDcache可以减少重复计算,但是不安全,都在缓存中,persist都放内存中,但是慢而数仓是通过表来保存数据
叫我莫言鸭·2023-09-05 14:48

CCKS2023：基于企业数仓和大语言模型构建面向场景的智能应用

8月24日-27日，第十七届全国知识图谱与语义计算大会（CCKS2023）在沈阳召开。大会以“知识图谱赋能通用AI”为主题，探讨知识图谱对通用AI技术的支撑能力，探索知识图谱在跨平台、跨领域等AI任务中的作用和应用途径。作为国内知识图谱、语义技术、自然语言理解与知识获取等领域的核心学术会议，每年的CCKS都会邀请相关技术领域顶尖专家学者参会，探讨AI前沿技术。今年以来，大语言模型掀起的新一轮AI浪
·2023-09-05 11:30

MongoDB 数据库性能优化技巧

本文将介绍一些MongoDB性能优化的关键点，包括索引的使用、查询优化、数据模型设计和硬件优化等。1.合理使用索引索引是MongoDB查询性能优化的关键。我们应该根据查询的特点和频率来选择合适的索引。
xiaocxyczh·2023-09-05 10:20

CCKS2023：基于企业数仓和大语言模型构建面向场景的智能应用

8月24日-27日，第十七届全国知识图谱与语义计算大会（CCKS2023）在沈阳召开。大会以“知识图谱赋能通用AI”为主题，探讨知识图谱对通用AI技术的支撑能力，探索知识图谱在跨平台、跨领域等AI任务中的作用和应用途径。作为国内知识图谱、语义技术、自然语言理解与知识获取等领域的核心学术会议，每年的CCKS都会邀请相关技术领域顶尖专家学者参会，探讨AI前沿技术。今年以来，大语言模型掀起的新一轮AI浪
HashData酷克数据·2023-09-05 10:14

阿里云大数据实战记录7：如何处理生产环境表单的重复数据

目录一、前言二、删除重复数据2.1调度任务中新增去重逻辑2.2查询窗口中一次性去重2.3手动处理局部重复数据2.4数据备份问题三、总结一、前言今天发现数仓有一个表单，表里的数据出现了重复，每一列的数据都一模一样
Xin学数据·2023-09-05 09:33

机器学习-波士顿房价预测

目录一.数据处理读入数据数据形状变换数据集划分数据归一化处理将上面封装成loaddata函数二.模型设计完整封装运行代码：根据loss值进行梯度计算控制部分变量的变化图像：一.数据处理读入数据#导入需要用到的
Che_Che_·2023-09-05 05:14

数仓开发:更新变动数据

数仓一、数据更新检查二、更新目标表三、更新中间表在数仓建设过程中,经常会遇到上游数据变动,进而更新下游目标表的情况,这个时候只需要根据主键update/insert即可,但也会遇到某些特殊情况,比如说下游
我爱夜来香A·2023-09-04 23:00

基于 Kafka、Flink 构建实时数据湖的最佳实践

数仓技术应对关系型结构化数据游刃有余，但对于多元异构数据，却爱莫能助。最近行业大佬都在聊怎么部署数据湖，这波操作未来走向如何？数据湖技术能够实现全量数据的单一存储，通常存储原始格式的对象块或者文件。
浪尖聊大数据-浪尖·2023-09-04 22:15

文献阅读：Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agent

InvestigatingLargeLanguageModelsasRe-RankingAgent1.文章摘要2.方法介绍1.QueryGeneration2.RelevanceGeneration3.PermutationGeneration3.实验考察1.实验数据&模型设计
Espresso Macchiato·2023-09-04 18:02

【超级详细论文解说与代码实现】mit 6.824 分布式系统实现 Spring 2023—lab1

MapReduce的模型设计很容易进行水平横向扩展以加强系统的能力，基本分
【阿冰】·2023-09-04 18:39

数仓分层理论和应用

2.数仓：ODS经过按照主题建立各种数据模型，细分如下：1）数据明细层：DWD（DataWarehouseDetail），按照业务处理方式将各个专业数据进行集中，保证数据完整性和质量。
意林飞笑·2023-09-04 02:22

pytorch模块和基础实践

2.1神经网络学习机制数据预处理模型设计损失函数和优化方案设计前向传播反向传播更新参数2.2深度学习特殊性样本量很大，需要batch加载模块化搭建网络多样化损失函数和优化器设计GPU的使用：并行计算2.3
fof920·2023-09-04 02:18

【数仓基础（一）】基础概念：数据仓库【用于决策的数据集合】的概念、建立数据仓库的原因与好处

文章目录一.数据仓库的概念1.面向主题2.集成3.随时间变化4.非易失粒度二.建立数据仓库的原因三.使用数据仓库的好处一.数据仓库的概念数据仓库的主要作用：数据仓库概念主要是解决多重数据复制带来的高成本问题。在没有数据仓库的时代，需要大量的冗余数据来支撑多个决策支持环境。尽管每个环境服务于不同的用户，但这些环境经常需要大量相同的数据。数据仓库的概念:数据仓库描述为一个面向主题的、集成的、随时间变化
roman_日积跬步-终至千里·2023-09-04 00:11

行业测试数据

例如在数仓开发中，会遇到需要在已构建的数仓模型（各种表）中，导入一些测试数据，方便逻辑开发完之前进行开发和测试。亦或是自己有一些SQL逻辑需要测试，需要批量造一
袋鼠云金融交付团队·2023-09-03 19:33

HTML+CSS+JavaScript实现原神登录框

登录界面样图成品图登录界面过程去找一张登录框做样图，用PS模拟出盒模型的样子（不同的人有不同的盒模型设计方案）。1.先写一个大盒子，再把他一分为二，上半部分20%，下半部分80%。
予我心安A3·2023-09-03 14:27

superset部署安装及使用介绍

Superset应用场景由于Superset能够对接常用的大数据分析工具，如Hive、Kylin、Druid等，且支持自定义仪表盘，故可作为数仓的可视化工具。Superset安装及使
王亭_666·2023-09-03 11:13

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
HashData酷克数据·2023-09-03 08:45

丢弃法(dropout)

1对于丢弃法的一点小思考(1)对于模型设计我们可以把隐藏层设计的稍微大一点然后用dropout控制隐藏层大小这样的设计可能比隐藏层设计的小一点的效果更好，防止过拟合，dropout其实就是一个正则项。
苏小贤·2023-09-03 01:36

使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift

现状ApacheHue是一个基于Web的交互式SQL助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行SQL交互。在AmazonEMR集群启动时，通过勾选Hue进行安装。
·2023-09-02 23:50

使用 Hue 玩转 Amazon EMR(SparkSQL, Phoenix) 和 Amazon Redshift

现状ApacheHue是一个基于Web的交互式SQL助手，通过它可以帮助大数据从业人员（数仓工程师，数据分析师等）与数据仓库进行SQL交互。在AmazonEMR集群启动时，通过勾选Hue进行安装。
亚马逊云开发者·2023-09-02 23:52

酷克数据与华为合作更进一步 携手推出云数仓联合解决方案

酷克数据作为国内云原生数据仓库的代表企业，也是华为重要的生态合作伙伴，受邀参与本次论坛，并展示了云数仓领域最新前沿技术以及联合华为打造的云数仓联合解决方案。
·2023-09-02 18:43

卷积神经网络实现猴痘疾病图像分类 - P4

天深度学习训练营中的学习记录博客参考文章：Pytorch实战|第P4周：猴痘病识别原作者：K同学啊|接辅导、项目定制文章来源：K同学的学习圈子目录环境步骤环境设置包引用全局对象数据准备数据集准备迭代对象准备模型设计模型训练训练函数评估函数模型训练保存最佳模型结果展示训练过程图示加载最佳模型随机选择一张图片进行预测总结与心得体会环境系统
好名让狗申请了·2023-09-02 05:50

卷积神经网络实现运动鞋识别 - P5

运动鞋识别原作者：K同学啊|接辅导、项目定制文章来源：K同学的学习圈子目录环境步骤环境设置包引用训练设备数据准备图像解压后的路径打印图像的参数展示图像图像的预处理创建数据集获取数据集的分类打乱数据的顺序，生成批次模型设计模型训练训练函数评估函数循环迭代部分模型效果展示训练过程图表展示载入最佳模式
好名让狗申请了·2023-09-02 05:16

漫谈大数据 - 数据湖认知篇

目录数据湖定义WikipediaAWS微软定义概括数据湖基本特征数据方面保真灵活可管理可追溯计算方面计算引擎存储引擎数据湖基本架构数据湖架构图数据湖建设的基本过程数仓建设过程数据摸底模型抽象数据
昊昊该干饭了·2023-09-01 22:20
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他