数仓模型设计

YOLOv8改进实战 | 更换主干网络Backbone（三）之轻量化模型ShuffleNetV2

前言轻量化网络设计是一种针对移动设备等资源受限环境的深度学习模型设计方法。下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-21 06:23

技术揭秘：从双11看实时数仓Hologres高可用设计与实践

在这场大考中，一站式实时数仓Hologres以每秒11.2亿条的高速写入，和每秒1.1亿次的查询峰值（包含点查和OLAP查询），交出了满意的答卷，稳定高效地支撑了阿里巴巴双11核心应用场景。
阿里云Hologres·2023-10-21 05:45

YOLOv8改进实战 | 更换主干网络Backbone（二）之轻量化模型GhostnetV2

前言轻量化网络设计是一种针对移动设备等资源受限环境的深度学习模型设计方法。下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-20 16:09

hive拉链表

什么是拉链表拉链表是数据仓库中用来记录一个事务从开始，一直到当前状态的所有变化的信息表如下是一张拉链表这张拉链表中存储的是用户的基本信息以及每条记录的生命周期我们可以使用这张表拿到当天的最新数据以及之前的历史数据拉链表使用场景在数据仓库的数据模型设计过程中
微亮之海·2023-10-20 15:08

YOLOv8改进实战 | 更换主干网络Backbone（一）之轻量化模型Ghostnet

前言轻量化网络设计是一种针对移动设备等资源受限环境的深度学习模型设计方法。下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-20 14:55

分布式存储 vs. 全闪集中式存储：金融数据仓库场景下的性能对比

例如，不少金融机构使用数仓业务系统，为公司高层提供日常经营报表，同时支持监管报送等应用。该业务系统通常是I/O密集型应用，对IT基础架构的性能有极高的要求。
志凌海纳SmartX·2023-10-20 14:34

YOLOv8改进实战 | 更换主干网络Backbone之轻量化模型Efficientvit

前言轻量化网络设计是一种针对移动设备等资源受限环境的深度学习模型设计方法。下面是一些常见的轻量化网络设计方法：网络剪枝：移除神经网络中冗余的连接和参数，以达到模型压缩和加速的目的。
w94ghz·2023-10-20 11:03

超大型纸业品牌“清风”也用上 Apache SeaTunnel 啦！

在那时，我们用的是Oracle视图来做数仓。如果一个视图不
SeaTunnel·2023-10-20 07:33

Hive3.x数仓开发

文章目录一、数仓仓库概念二、数据仓库分层架构ODS\DW\DA(ADS)ETL\ELT三、ApacheHive概述为什么使用HiveHive和Hadoop关系四、ApacheHive架构、组件组件五、ApacheHive
_七七·2023-10-20 01:24

Apache Flink X Apache Doris 构建极速易用的实时数仓架构

本篇内容主要分为四个部分：实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上
Apache Flink·2023-10-20 00:33

数仓系列 | Flink 窗口的应用与实现

主要内容如下：1.整体思路与学习路径2.应用场景与编程模型3.工作流程与实现机制Tips：点击「阅读原文」可查看更多数仓系列直播视频～整体思路与学习路径当我们碰到一项新的技术时，我们应该
Apache Flink·2023-10-20 00:33

【转】数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

这套架构，以数据湖为中心，把数据湖作为中央存储库，再围绕数据湖建立专用“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务
万州客·2023-10-19 22:56

物流仓储晋级智能可视化远程遥控，和低效管理说再见

通过了解得知当前多数仓储管理仍旧存在很多困惑：企业如何减少纸张作业，实现无纸化高效办公？如何处理多帐数据对接？解决数据实时性？叉车司机如何定位？如何防止人员原因造成的仓库发货、领料失误？
图扑可视化·2023-10-19 13:50

【数据仓库】hadoop生态圈与数据仓库

TDS5.2.抽取过程5.3.转换与装载过程5.4.过程管理和自动化调度5.5．数据目录（或者称为元数据管理）5.6．查询引擎和SQL层5.7．用户界面本文主要讨论：关系型数据库拓展的瓶颈cap理论想了解数仓需要哪些能力以及这些能力靠哪些大数据技术实现
roman_日积跬步-终至千里·2023-10-19 11:12

sylar高性能服务器-日志(P7-P8)代码解析

文章目录p71.TabFormatItem2.init函数，对于{}内容的解析3.Util.h4.CmakeLists5.优化日志输出-流式输出p81.优化日志输出-格式化输出2.日志管理器3.单例模型设计测试
madkeyboard·2023-10-19 00:32

Activiti工作流开发指南（springboot 2.x iview admin vue 前后端分离 模型设计器 动态数据权限 权限按钮显示 spring security）

宣传官网http://xb.exrick.cn在线Demohttp://xboot.exrick.cn开源版Github地址https://github.com/Exrick/x-boot开发文档https://www.kancloud.cn/exrick/xboot/1009234获取完整版http://xpay.exrick.cn/pay?xboot集成Activiti5.22，考虑到文档资料
Exrick·2023-10-18 23:16

大数据数仓搭建-大数据用户画像推荐系统搭建

一确定需求我把需求主要分为三大类一离线数据报表需求二实时观查数据走向需求三算法需求二确定系统架构根据需求我们目前有几种大数据架构可以供参考流式架构流式架构非常激进，直接拔掉了批处理，数据全程以流的形式处理，所以在数据接入端没有了ETL，转而替换为数据通道。经过流处理加工后的数据，以消息的形式直接推送给了消费者。虽然有一个存储部分，但是该存储更多的以窗口的形式进行存储，所以该存储并非发生在数据湖，而
老姜的数据江湖·2023-10-18 21:10

Flink SQL 时区

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料95篇原创内容公众号TIMESTAMPvsTIMESTAMP_LTZTIMESTAMP类型TIMESTAMP
hyunbar·2023-10-18 17:38

Databend 开源周报第 115 期

Databend是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn。
Databend·2023-10-18 13:59

数仓建模分层理论

数仓的建模或者分层，其实都是为了更好的去组织、管理、维护数据,所以当你站在更高的维度去看的话，所有的划分都是为了更好的管理。小到JVM内存区域的划分，JVM中堆空间的
陈二狗想吃肉·2023-10-18 13:49

精彩回顾 | Apache Flink Meetup · 北京站（附PPT下载）

9月21日下午，2019年度最后一场Meetup在帝都圆满落幕，来自阿里巴巴、小米、贝壳找房的资深专家们现场分享了小米的Flink应用实践、贝壳找房的实时数仓建设、Flink资源管理机制以及FlinkPythonAPI
Apache Flink·2023-10-18 11:46

深度学习——深度卷积神经网络（AlexNet)

深度学习——深度卷积神经网络（AlexNet)文章目录前言一、学习表征二、AlexNet实现2.1.模型设计2.2.激活函数2.3.容量控制与预处理2.4.训练模型总结前言在前面学习了卷积神经网络的基本原理
星石传说·2023-10-18 07:35

数仓建设（三）

4)累积快照事实表多个业务过程联合分析而构建的事实表，如采购单的流转环节。用于分析事件时间和时间之间的间隔周期。少量的且当前事务型不支持的，如关闭、发货等相关的统计。4.DWS公共汇总层设计规范数据仓库的性能是数据仓库建设是否成功的重要标准之一。聚集主要是通过汇总明细粒度数据来获得改进查询性能的效果。通过访问聚集数据，可以减少数据库在响应查询时必须执行的工作量，能够快速响应用户的查询，同时有利于减
未来在这儿·2023-10-18 06:10

数仓建设（一）

想了想，我们的数仓的建设是基于大数据平台进行的，中间也经历了比较曲折的过程。每个行业都有自身的业务区别，不过很多还是比较相通的。
未来在这儿·2023-10-18 06:39

数仓建设（二）

1)指标梳理指标口径的不一致使得数据使用的成本极高，经常出现口径打架、反复核对数据的问题。在数据治理中，我们将需求梳理到的所有指标进行进一步梳理，明确其口径，如果存在两个指标名称相同，但口径不一致，先判断是否是进行合并，如需要同时存在，那么在命名上必须能够区分开。2)指标管理指标管理分为原子指标维护和派生指标维护。原子指标：选择原子指标的归属产线、业务板块、数据域、业务过程选择原子指标的统计数据来
未来在这儿·2023-10-18 06:32

百度飞桨架构师手把手带你零基础实践深度学习——目标检测

打卡计划总目录目标检测目标检测发展历程目标检测基础概念边界框（boundingbox）锚框（Anchorbox）交并比林业病虫害数据集和数据预处理方法介绍读取AI识虫数据集标注信息数据读取和预处理数据读取单阶段目标检测模型YOLO-V3YOLO-V3模型设计思想产生候选区域生成锚框生成预测框标注锚框是否包含物体标注预测框的位置坐标标签标注锚框包含物体类
only one °·2023-10-17 21:13

BI工具-DataEase(2) 基础使用

先讲下工具栏,分别是仪表盘,数据集,数据源,模板市场等等.和大多数的BI工具一样,首先配置的就是数据源1.数据源:支持OLTP,OLAP,数仓/数据湖,我们这边还是使用的mysql新建mysql数据源,
大曲·蜗牛·2023-10-17 18:53

基于大模型的数据血缘异常归因分析

本期黑客松共吸引了近50位选手参赛，有的在实时数仓领域显神通，有的则再次请出了大模型。这些小组都有个共同点——基于数据云平台DataSimba的元数据域“搞事情”。
奇点云·2023-10-17 13:49

2023年-数仓-【时间维度表】-年、周、节假日

建表语句，如下：DROPTABLEIFEXISTSdim_date_info;CREATEEXTERNALTABLEdim_date_info(`date_id`STRINGCOMMENT'日',`week_id`STRINGCOMMENT'周ID',`week_day`STRINGCOMMENT'周几',`day`STRINGCOMMENT'每月的第几天',`month`STRINGCOMMEN
IT小强哥·2023-10-17 05:25

IRC/ML：金融智能风控—信贷风控场景简介、两大场景(贷款场景+信用卡场景)、信用卡评分模型设计、反欺诈检测技术的简介、案例应用之详细攻略

IRC/ML：金融智能风控—信贷风控场景简介、两大场景(贷款场景+信用卡场景)、信用卡评分模型设计、反欺诈检测技术的简介、案例应用之详细攻略目录信贷风控简介信贷风控两大场景
一个处女座的程序猿·2023-10-17 03:20

solidwork软件安装显示失败问题处理

solidworks正版软件是由美国达索系统公司推出的一款集3DCAD设计软件、分析软件和产品数据管理等功能于一身的系统，由于功能过于丰富和好用，经常被人们用于工业设备零件、钣金与焊接设计、工程制图建模、机械模型设计等行业领域
solidworks_A·2023-10-16 20:03

scala项目创建

答：实时数仓却不了spark,spark离不开scala、也就是你也是不学习spark也就不用学习scala，因为有其他编程语言可以代替它。2、特点答：1）是一门多范式语言，支持面向对象和函数式编程。
鱼得三金·2023-10-16 20:02

数仓建设规范说明书

通过数仓架构设计、数仓模型设计、数仓开发规范、数据质量规范这四个⽅⾯对整体数仓建设做好规范化的指导。⾯向数据开发团队、数据产品团队、前后端团队等与数仓数据有关⼈员。
贾斯汀玛尔斯·2023-10-16 18:39

DDD(Domain Driven Design) 领域驱动设计从理论到实践 七

在开始之前，我们明确一下领域驱动设计的主要产出：领域通用语言战略设计：子域划分到界限上下文再到上下文映射图(contextmapper)战术设计：每一个界限上下文的模型设计，即类图首先，我们给出这个实践的需求
Magic Ktwc37·2023-10-16 15:33

「数仓建设」主题域划分

大家好，本篇聊一下数仓建设，讲一下面试常遇到的主题域与主题划分，更多精彩文章优先从微信公众号《大数据阶梯之路》首发，欢迎关注，公众号回复：大数据数仓资料，可以获取大数据数仓相关学习资料。
大数据阶梯之路·2023-10-16 12:38

java spark 消费kafka_spark streaming消费kafka数据写入hdfs避免文件覆盖方案(java版)

1.写在前面在sparkstreaming+kafka对流式数据处理过程中，往往是sparkstreaming消费kafka的数据写入hdfs中，再进行hive映射形成数仓，当然也可以利用sparkSQL
吴羽舒·2023-10-16 11:40

使用Python创建faker实例生成csv大数据测试文件并导入Hive数仓

文章目录一、Python生成数据1.1代码说明1.2代码参考二、数据迁移2.1从本机上传至服务器2.2检查源数据格式2.3检查大小并上传至HDFS三、beeline建表3.1创建测试表并导入测试数据3.2建表显示内容四、csv文件首行列名的处理4.1创建新的表4.2将旧表过滤首行插入新表一、Python生成数据1.1代码说明这段Python代码用于生成模拟的个人信息数据，并将数据保存为CSV文件。
程序终结者·2023-10-16 06:56

模型微调

它复制了源模型上除了输出层外的所有模型设计及其参数，假设这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集，还假设源模型的输出层跟源数据集的标签紧密相关，因此在目标模型中不予采用为目标模型添加一个输出大小为目标数据集类别个数的输出层
Yif18·2023-10-15 23:13

notepad++正则匹配使用笔记

主要是在对Mysql的ddl语句进行建立数仓表的时候，一些正则替换操作的记录；1、正则匹配既有数字，又有字母：结果：如果要对括号进行匹配，就需要一个反斜杠进行转译；2、对非逗号的字符进行替换（目的是不要
靓仔写sql·2023-10-15 22:29

一步一步理解大模型：模型量化技术3 - GPTQ

本文介绍专门为生成式预训练模型设计的量化技术GPTQGPTQ是一种一次性权重量化方法，专为生成预训练Transformer（GPT）模型设计。该方法基于近似二阶信息，旨在实现高度准确和高效。
chattyfish·2023-10-15 18:07

【大数据】Apache Hive数仓（学习笔记）

一、数据仓库基础概念1、数仓概述数据仓库（数仓、DW）：一个用于存储、分析、报告的数据系统。OLAP（联机分析处理）系统：面向分析、支持分析的系统。
rexhao_wmh·2023-10-15 15:36

【论文理解】FedSky: An Efficient and Privacy-Preserving Scheme for Federated Mobile Crowdsensing

目录论文背景群智感知（CrowdSensing）F-MCS本文的主要贡献模型与设计目标系统模型安全模型设计目标PRELIMINARIESA.FedAvgAlgorithmB.DifferentVariantsofSkylineQueriesC.BilinearPairin
卷卷卷不动·2023-10-15 12:20

STM32F1编写简单的五路黑白循迹

STM32F1编写简单的五路黑白循迹一、小车模型设计1）硬件搭配：四轮小车底盘、五路红外循迹传感器、L298N两路电机驱动模块、STM32F103RC最小系统板、电源、降压模块。
我是东山啊_·2023-10-15 01:58

新一代大数据技术：构建PB级云端数仓实践

在数据大爆炸时代，随着企业的业务数据体量的不断发展，半结构化以及无结构化数据越来越多，传统的数据仓库面临重大挑战。通过以Hadoop,Spark为代表的大数据技术来构建新型数据仓库，已经成为越来越多的企业应对数据挑战的方式。本期极客说邀请了来自腾讯云大数据基础团队负责人，大数据技术专家堵俊平来为我们分享介绍大数据领域最近的技术趋势，包含介绍Hadoop与Spark技术的最新进展。通过一些实际的应用
腾讯云开发者·2023-10-14 23:07

Flink1.11.0 SQL与hive整合

一、前言此次flinksql整合hive主要是能在flinksql中读写hive数据,为flink实时写数据进入hive构建实时数仓做准备工作。
天涯到处跑·2023-10-14 17:58

数仓开发:相似表结构通用更新函数

数仓一、需求描述二、Oracle代码实现三、Mysql代码实现一、需求描述在数仓开发中,可能会遇到这样的需求:数仓多层之前要进行merge操作,有多少张表进行多少次merge,针对这种通用的merge操作
我爱夜来香A·2023-10-14 15:14

数据仓库DW-理论知识储备

数仓分层数据仓库中的数据一般经过一下几层处理：参考来自1.ODSODS主要完成：（1）保持数据原貌不做任何修
躺着听Jay·2023-10-14 09:37

目标检测算法(二)OverFeat精细分析和讲解并附源码地址

目录目录背景:OverFeat的网络结构和技术创新计算机视觉领域的基本任务OverFeat的网络结构全卷积网络多尺度滑窗检测器模型设计和训练过程设计部分具体参数FeatureE
Snu77·2023-10-14 02:46

数仓面试题（1）

1.数据库的三范式是什么？答：第一范式（1NF）强调的是列的原子性，即列不能够再分成其他几列。第二范式（2NF）第二范式在第一范式的基础之上更进一层。第二范式需要确保数据库表中的每一列都和主键相关，而不能只与主键的某一部分相关（主要针对联合主键而言）。也就是说在一个数据库表中，一个表中只能保存一种数据，不可以把多种数据保存在同一张数据库表中。第三范式（3NF）第三范式需要确保数据表中的每一列数据都
Young_IT·2023-10-13 14:16

OLAP数仓入门：进阶篇

文章作者：温正湖网易易数内容来源：数据库内核@知乎专栏导读：前一篇文章从OLTP出发，通过对比引出OLAP，进一步介绍了数仓的基本概念，包括多维数据模型、数据立方体及其典型操作等。
浪尖聊大数据-浪尖·2023-10-13 06:34
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他