E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓命名规范
【数据仓库设计基础(四)】数据仓库实施步骤
文章目录1.定义范围2.确定需求3.逻辑设计1)建立需要的数据列表2)识别数据源3)制作实体关系图4.物理设计1)性能优化2)
数仓
的拓展性5.装载数据6.访问数据7.管理维护实施一个数据仓库项目的主要步骤是
roman_日积跬步-终至千里
·
2023-09-29 09:56
数据仓库
数据仓库
spark
大数据
vs2022修改字段默认样式
自动生成的字段样式为驼峰命名法,如下classMyClass{privatereadonlystringname;publicMyClass(stringname){this.name=name;}}在有的
命名规范
中
港港胡说
·
2023-09-29 09:25
ide
visual
studio
Scala最基础入门教程
文章目录一、简介1、概述2、Idea环境二、变量和数据类型1、注释2、变量和常量(重点)3、标识符的
命名规范
4、关键字(39)5、字符串输出6、数据类型6.1整数类型(Byte、Short、Int、Long
ha_lydms
·
2023-09-29 07:39
大数据
scala
开发语言
后端
大数据学习笔记2:现代数据湖之Iceberg
数据湖的定义就不说了,不了解的小伙伴可以看我之前做的笔记大数据学习笔记1:
数仓
、数据湖、数据中台。1.数据湖发展现状从广义上来说数据湖系统主要包括数据湖村处和数据湖分析现有数据湖技术主要
泊浮目
·
2023-09-29 02:17
如何用中台思路治理指标——数据指标中心
作者介绍@小风数据中台产品负责人;UBDC全域大数据峰会“灯塔人物”;擅长埋点模型、指标治理,
数仓
架构等;《大数据实践之路:数据中台+数据分析+产品应用》作者;“数据人创作者联盟”成员。
一个数据人的自留地
·
2023-09-28 23:33
数仓
概念 | 逻辑 | 物理模型
ConceptualDataModelADatawarehouseconceptualdatamodelisnothingbutahighest-levelrelationshipsbetweenthedifferententities(inotherworddifferenttable)inthedatamodel.thefeaturesofconceptualdatamodelFollowin
胖胖胖胖胖虎
·
2023-09-28 13:15
数据仓库
数据库
sql
Flink Batch SQL Improvements on Lakehouse
内容主要分为三个部分:FlinkBatchonPaimon挑战FlinkBatch核心优化后续规划点击查看原文视频&演讲PPT一、FlinkBatchonPaimon挑战众所周知,Paimon在创立之初就是为了解决流式
数仓
场景的问题
Apache Flink
·
2023-09-28 12:55
Flink
大数据
实时计算
flink
batch
sql
大数据
开发语言
实时
数仓
Hologres:推出计算组实例/支持JSON数据/向量计算+大模型等新能力
阿里云ODPS系列产品以MaxCompute、DataWorks、Hologres为核心,致力于解决用户多元化数据的计算需求问题,实现存储、调度、元数据管理上的一体化架构融合,支撑交通、金融、科研、等多场景数据的高效处理,是目前国内最早自研、应用最为广泛的一体化大数据平台。本期将重点介绍Hologres推出计算组实例Hologres支持JSON数据Hologres向量计算+大模型能力Hologre
阿里云云栖号
·
2023-09-28 10:34
云栖号技术分享
json
云计算
阿里云
大数据
small插件
3、以指定的规范来插件插件化,遵守
命名规范
,模块名需要以app开头,包名中需要包含app。因为Small会根据包名对插件进行归类。
Android_Developer_M
·
2023-09-28 08:17
Android
Java基础——标识符及
命名规范
标识符
命名规范
:由26个英文字母大小写,0-9,_或$组成。数字不可以开头。不可以使用关键字和保留字,但能包含关键字和保留字。Java中严格区分大小写,长度无限制。标识符不能包含空格。
少爷晚安。
·
2023-09-28 04:39
Java基础
java
开发语言
评判一个产品方案及格的基本方法是什么
我:“我承认交互很舒服,但是他这么设计不符合数据指标
命名规范
,很trick。”他:“我们回到问题上,这个解决方案是不是可以解决问题的?
88d45b859862
·
2023-09-28 04:36
python语法基础知识第四关第二题_第2章:变量和赋值-0高级介绍(附练习)| Python基本语法,第二,关,与,入门,到,进阶,练习题,基础...
1.变量的
命名规范
1.1知识点(1)只能是一个词;(2)只能包含字母、数字和下划线;(3)不能以数字开头;(4)尽量描述包含的数据内容;(5)不要使用Python函数名或关键字。
weixin_39804335
·
2023-09-28 01:59
大数据架构师——音乐数据中心平台离线
数仓
综合项目(三)
文章目录音乐数据中心平台离线
数仓
综合项目第二个业务:机器详细信息统计需求模型设计数据处理流程1.将数据导入MySQL业务库2.使用Sqoop工具抽取数据到HiveODS层3.使用SparkSQL对ODS
讲文明的喜羊羊拒绝pua
·
2023-09-27 23:11
大数据
大数据
hive
hadoop
Azkaban
Superset
离线
数仓
搭建_09_ODS层数据导入
文章目录11.0
数仓
搭建ODS层11.1ODS层(用户行为数据11.1.1创建日志表ods_log11.1.2Shell中单引号和双引号区别11.1.3ODS层日志表加载数据脚本11.2ODS层(业务数据
Fang GL
·
2023-09-27 23:39
离线数仓项目
hadoop
hive
大数据
数据仓库
1——Hive
数仓
项目完整流程(在线教育)
目录前言一、项目架构二、软件相关作用1.大数据相关软件2.
数仓
2.1数据仓库与数据库2.2数据仓库和数据集市2.3维度分析2.4指标3.
数仓
建模3.1建模理论3.2维度建模3.3维度建模的三种模型3.4
@—笨小孩—@
·
2023-09-27 23:39
python大数据
数仓实战
大数据
数据仓库
python
Hive+Spark离线
数仓
工业项目--ODS层及DWD层构建(1)
目标:自动化的ODS层与DWD层构建实现-掌握Hive以及Spark中建表的语法规则-实现项目开发环境的构建-自己要实现所有代码注释-ODS层与DWD层整体运行测试成功
数仓
分层回顾目标:回顾一站制造项目分层设计实施
骨灰级收藏家
·
2023-09-27 23:38
hive
大数据
Spark
hive
spark
hadoop
数仓工业项目
DWD层构建
一百八十三、大数据离线
数仓
完整流程——步骤二、在Hive的ODS层建外部表并加载HDFS中的数据
一、目的经过6个月的奋斗,项目的离线
数仓
部分终于可以上线了,因此整理一下离线
数仓
的整个流程,既是大家提供一个案例经验,也是对自己近半年的工作进行一个总结。
天地风雷水火山泽
·
2023-09-27 23:07
Hadoop
大数据
hive
hdfs
储存过程之拉链表
很多做
数仓
的朋友在面试的时候都会被问到,你写过的最难的存储过程是什么,这时候我们都会想到拉链表,拉链表真的那么难吗,下面我简单介绍一下拉链表作用,以及制作思路,希望可以帮到你。
yuxiu_1191610370
·
2023-09-27 20:47
etl
etl
数据仓库
链表
数仓
_Hive全部基础知识点
文章目录1Hive入门1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库的比较1.4.1查询语言1.4.2数据存储位置1.4.3数据更新1.4.4索引1.4.5执行1.4.6执行延迟1.4.7可扩展性1.4.8数据规模2Hive安装2.1Hive安装地址2.2Hive安装部署3Hive数据类型3.1基本数据类型3.2集合数据类型3.3
oifengo
·
2023-09-27 20:45
#
爬梯
Hive
数仓
项目之
数仓
分层、
数仓
工具的使用
往期内容:Hive
数仓
项目架构说明、环境搭建及数据仓库基础知识今日内容:1)教育项目
数仓
分层(知道,明确每一层的作用)2)
数仓
工具的相关的使用(操作)2.1HUE相关的使用(操作HDFSHIVE,OOZIE
黑马程序员官方
·
2023-09-27 20:14
数据仓库
大数据
python
Hive电商
数仓
实战
项目描述以电商数据为基础,详细介绍数据处理流程,结合hive
数仓
、spark开发采用多种方式实现大数据分析。
GoAI
·
2023-09-27 20:14
数据仓库
大数据
python
hive
电子商务
数仓
开发常用hive命令
在做
数仓
开发或指标开发时,是一个系统工程,要处理的问题非常多,经常使用到下面这些hive命令:内部表转外部表altertable${tablename}settblproperties('EXTERNAL
大模型大数据攻城狮
·
2023-09-27 20:41
hive
hadoop
数据仓库
JAVA、C、Python各编程语言
命名规范
(最全、持续补充)
JAVA、C、Python语言
命名规范
(最全、持续补充)该篇文章参照链接处内容,并将其整合在一起一、先了解一下命名的分类Java
命名规范
类名:需要使用大驼峰命名法(UpperCamelCase)风格。
王小河
·
2023-09-27 17:23
java
python
c++
c语言
python
命名规范
一、概述以前写python代码没有个代码,写出的代码一点也不规范二、
命名规范
2.1类的
命名规范
总是使用首字母大写单词串。如MyClass、ClassName。内部类可以使用额外的前导下划线。
xidaoliang123
·
2023-09-27 17:22
python
实时
数仓
混沌演练实践
一、背景介绍目前实时
数仓
提供的投放实时指标优先级别越来越重要,不再是单独的报表展示等功能,特别是提供给下游规则引擎的相关数据,直接对投放运营的广告投放产生直接影响,数据延迟或者异常均可能产生直接或者间接的资产损失
得物技术
·
2023-09-27 17:12
后端
odps
kafka
详解flink中Look up维表的使用
维表是一个很常见的概念,一般用于sql的join中,对流式数据进行数据补全,比如我们的sourcestream是来自日志的订单数据,但是日志中我们只是记录了订单商品的id,并没有其他的信息,但是我们把数据存入
数仓
进行数据分析的时候
大数据技术与应用实战
·
2023-09-27 17:19
实时
数仓
入门训练营:实时计算 Flink 版 SQL 实践
简介:《实时
数仓
入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算Flink版和Hologres的多名技术/产品一线专家齐上阵,合力搭建此次训练营的课程体系,精心打磨课程内容,直击当下同学们所遇到的痛点问题
阿里开发者
·
2023-09-27 16:14
SQL
存储
数据采集
自动驾驶
关系型数据库
MySQL
测试技术
数据处理
Apache
流计算
初识C语言
本篇博客主要讲解C语言一些最基础和零散的知识点,为以后C语言学习打下初步基础目录一、main函数二、库函数三、数据类型四、计算机单位五、变量···变量
命名规范
:···变量分类···变量作用域···变量的生命周期六
编程之路,妙趣横生
·
2023-09-27 14:34
c语言
开发语言
python中装饰器的介绍以及使用
文章目录前言——“装饰器”的解释一、装饰器应用的场景二、装饰器的种类三、使用装饰器的一般步骤:四、装饰器在Python中具有以下作用:五、装饰器
命名规范
装饰器名字可以随便取吗?
Cpdr
·
2023-09-27 12:04
python
前端
开发语言
利用idea编写第一个java程序:HelloWorld
一、准备工作1.jdk:1.82.使用工具:idea二、.新建一个java项目:三、创建java包和类1.创建包:右击src-->new--Package包名单词小写,注意
命名规范
!
快乐百分百a
·
2023-09-27 11:55
java
idea
大数据Flink(九十):Lookup Join(维表 Join)
文章目录LookupJoin(维表Join)LookupJoin(维表Join)LookupJoin定义(支持Batch\Streaming):LookupJoin其实就是维表Join,比如拿离线
数仓
来说
Lansonli
·
2023-09-27 09:42
大数据入门核心技术
#
Flink
大数据
flink
Databend 开源周报第112期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-09-27 09:20
开源
数据库
【Android】代码规范参考指南
包
命名规范
包(packages):采用反域名命名规则,全部使用小写字母。一级包名为com,二级包名为xxx(可以是公司域名或者个人命名),三级包名根据应用进行命名,四级包名为模块名或层级名。
lalalal123456
·
2023-09-26 23:51
Android
Android代码规范
Android
命名规范
如果就是我一个人开发,一个人维护的话还好,可是如果一个项目是团队分工合作,这样让你的同事去看你的代码就更加吃力了,因为大家之间的编程方式不一样,所以,在开发过程中,
命名规范
统一尤为重要,最好是团队中统一好大家命名方法
Globalizationa
·
2023-09-26 23:51
技术
Java语言基础
image.png代码
命名规范
:(1)类名:通常使用名词,第一个单词首字母必须大写,后续单词首字母大写。(2)方法名:通常使用动词,第一个单词首字母小写,后续单词首字母大写。
山有木兮兮_29cf
·
2023-09-26 23:34
java方法
命名规范
(持续更新)
业界目前没有强制的
命名规范
,但是用过了JPA之类的人,自己新建DAO层的方法的时候,也有一个参考,所以,用hibernate那一套,其实挺好的,维护起来也是很方便。
穿越23小时
·
2023-09-26 22:39
java基础
web
springboot
java
hibernate
数据库
JAVA基础学习_
命名规范
和注释
一、
命名规范
1、项目名全部小写2、包名统一使用小写,点分隔符之间有且仅有一个自然语义的英语单词,包名统一使用单数形式。如果类名有复数含义,类名可以使用复数形式。
龙_4e65
·
2023-09-26 22:44
基于 DTS 同步 MySQL 全增量数据至 CKafka,构建实时
数仓
的最佳实践
背景介绍随着IT技术与大数据的不断发展,越来越多的企业开始意识到数据的价值,通过大数据分析,可以帮助企业更深入地了解用户需求、更好地洞察市场趋势。目前大数据分析在每个业务运营中都发挥着重要作用,成为企业提升市场竞争力的关键举措之一。通常企业会构建数据湖仓,将多个数据源通过数据集成技术,汇集一起进行数据分析。由此,数据集成成为了构建数据湖仓的必经之路,然而企业在数据集成过程中却面临很多棘手问题。全量
·
2023-09-26 21:29
kafka腾讯云数据库
腾讯音乐基于 Apache Doris + 大模型构建全新智能数据服务平台
在内容
数仓
搭建的过程中,我们的工作始终围绕降本增效为主要目的进行优化与迭代,希望在数据服务方面不断提升产品工具的开发与分析效率,同时在
数仓
架构方面能够有效减少架构成本与资源开销。
·
2023-09-26 19:55
Spark或Hive
数仓
生命周期管理
在做
数仓
开发过程中,遇到一个问题就是随着数据量增大,存储空间增加惊人:hdfs的文件要存3份(可以修改副本份数),ods、dwd、dws、ads等各层都需要存储空间,指标计算过程如果内存不够又会缓冲在硬盘
大模型大数据攻城狮
·
2023-09-26 06:50
spark
hive
大数据
J1元器件的功能与应用 | 百能云芯
J1并不代表某一特定型号的元器件,而是一种通用的
命名规范
,用于标识连接器的
百能云芯
·
2023-09-26 02:40
百能云芯知识库
嵌入式硬件
桥接模式
CC00055.pbpositions——|Hadoop&PB级
数仓
.V13|——|PB
数仓
.v13|核心交易分析|DWS层建表|加载数据|
一、DWS层建表及数据加载说明###---DIM、DWD=>数据仓库分层、数据仓库理论~~~#需求:计算当天~~~全国所有订单信息~~~全国、一级商品分类订单信息~~~全国、二级商品分类订单信息~~~大区所有订单信息~~~大区、一级商品分类订单信息~~~大区、二级商品分类订单信息~~~城市所有订单信息~~~城市、一级商品分类订单信息~~~城市、二级商品分类订单信息###---需要的信息:订单表、订
yanqi_vip
·
2023-09-25 21:38
数据仓库
大数据
hive
数据分析
人工智能
大数据-案例-离线
数仓
-在线教育:MySQL(业务数据)-ETL(Sqoop)->Hive
数仓
【ODS层-数据清洗->DW层(DWD-统计分析->DWS)】-导出(Sqoop)->MySQL->可视化
一、商业BI系统概述商业智能系统,通常简称为商业智能系统,是商业智能软件的简称,是为提高企业经营绩效而采用的一系列方法、技术和软件的总和。通常被理解为将企业中的现有数据转换为知识并帮助企业做出明智的业务决策的工具。BI系统中的数据来自企业的其他业务系统。例如,一个面向业务的企业,其业务智能系统数据包括业务系统订单、库存、交易账户、客户和供应商信息,以及企业所属行业和竞争对手的数据,以及其他外部环境
u013250861
·
2023-09-25 21:37
#
大数据/离线数仓(Hive)
大数据
数据仓库
【离线
数仓
-9-数据仓库开发DWS层设计要点-1d/nd/td表设计】
离线
数仓
-9-数据仓库开发DWS层设计要点-1d/nd/td表设计离线
数仓
-9-数据仓库开发DWS层设计要点-1d/nd/td表设计一、DWS层设计要点二、DWS层设计分析-1d/nd1.DWS层设计一
Apache Minor Trend
·
2023-09-25 21:37
数据仓库
大数据
数据治理
数据仓库
数据库
数据挖掘
一百八十五、大数据离线
数仓
完整流程——步骤四、在Hive的DWD层建动态分区表并动态加载数据
一、目的经过6个月的奋斗,项目的离线
数仓
部分终于可以上线了,因此整理一下离线
数仓
的整个流程,既是大家提供一个案例经验,也是对自己近半年的工作进行一个总结。
天地风雷水火山泽
·
2023-09-25 21:07
Hadoop
大数据
hive
hadoop
一百八十七、大数据离线
数仓
完整流程——步骤六、在ClickHouse的ADS层建表并用Kettle同步Hive中DWS层的结果数据
一、目的经过6个月的奋斗,项目的离线
数仓
部分终于可以上线了,因此整理一下离线
数仓
的整个流程,既是大家提供一个案例经验,也是对自己近半年的工作进行一个总结。
天地风雷水火山泽
·
2023-09-25 21:07
Hadoop
大数据
clickhouse
hive
一百八十四、大数据离线
数仓
完整流程——步骤三、在Hive中建基础库维度表并加载MySQL中的维度表数据
一、目的经过6个月的奋斗,项目的离线
数仓
部分终于可以上线了,因此整理一下离线
数仓
的整个流程,既是大家提供一个案例经验,也是对自己近半年的工作进行一个总结。
天地风雷水火山泽
·
2023-09-25 21:06
Hadoop
大数据
hive
hadoop
离线
数仓
问题总结
一、采集1.1maxwell中的默认JDBC驱动包其版本不适用于MySQL5.7版本二、
数仓
2.1关于hive如何支持json类型的字段主要在建表语句上指定上DROPTABLEIFEXISTSods_log_inc
落花雨时
·
2023-09-25 20:36
大数据
大数据
数据仓库
hive
spark
离线
数仓
——(活跃用户ODS层建表及加载数据,活跃用户DWD层建表及加载数据,活跃用户DWS层建表及加载数据,活跃用户ADS层建表及加载数据)
文章目录活跃用户ODS层建表及数据加载活跃用户DWD层建表及加载数据活跃用户活跃用户DWS层建表及加载数据活跃用户ADS层建表及加载数据活跃用户ODS层建表及数据加载离线
数仓
架构如下图所示:详细概念参考数据仓库
想做CTO的任同学...
·
2023-09-25 20:36
离线数仓
hive
大数据
数据仓库
数据库
java
2——Hive
数仓
项目完整流程(在线教育)
在线教育(二)在线教育(二)在线教育(二)一、教育项目
数仓
分层1.1原有基础分层1.2教育项目分层二、
数仓
工具的使用2.1HUE的使用2.2Sqoop的使用三、全部流程3.1全量数据流程3.1.1需求分析
@—笨小孩—@
·
2023-09-25 20:06
python大数据
数仓实战
hive
大数据
数据仓库
上一页
22
23
24
25
26
27
28
29
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他