E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓命名规范
Java中的包机制、final和super关键字
—package只能编写一个语句—语法结构:package包名;3.包名的
命名规范
:公司域名倒序+项目
玖 萬
·
2024-01-14 18:58
java
开发语言
统一OLAP查询平台之语义层
产品和应用讨论分析指标,并拉上
数仓
和业务一起确认指标。
数仓
理解指标,并开始数据加工。首先,从ODS层开
XianMing的博客
·
2024-01-14 11:27
olap
数据仓库
语义分析
数据仓库(1)-总览
整体大纲如下,分为8个部分,包括认识
数仓
,
数仓
模型建设,元数据管理,指标体系,数据质量,数据安全,数据治理,实时技术。
XianMing的博客
·
2024-01-14 11:27
数据仓库
数据仓库
数据仓库(2)-认识
数仓
1、数据仓库是什么数据仓库,由数据仓库之父比尔·恩门(BillInmon)于1990年提出,主要功能仍是将组织透过资讯系统之联机事务处理(OLTP)经年累月所累积的大量资料,透过数据仓库理论所特有的资料储存架构,做有系统的分析整理,以利各种分析方法如联机分析处理(OLAP)、数据挖掘(DataMining)之进行,并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建,帮助决策者能快速有
XianMing的博客
·
2024-01-14 10:53
数据仓库
数据仓库
spark
大数据
golang
命名规范
可读性是评判好代码的一个标准,好的命名对可读性很重要,现在开始让自己的go代码有一个良好的
命名规范
吧好的命名一般具备下面几个特征容易理解和猜测他的含义精简、编写容易不要一大串的命名能准确的表达他的含义命名使用
化蝶飞618
·
2024-01-14 09:17
iOS 开发规范
命名规范
代码中的命名严禁使用拼音与英文混合的方式,更不允许直接使用中文的方式。正确的英文拼写和语法可以让阅读者易于理解,避免歧义。大驼峰规则:每个单词的首字母大写。例:NameTextField。
osnail
·
2024-01-14 08:39
长龙航空HTAP实践:统一技术栈,高效构建在线服务与轻量实时
数仓
浙江长龙航空有限公司(以下简称“长龙航空”)是浙江省唯一的本土总部型客货综合公共运输航空公司,拥有国内国际、客运货运全牌照航空运输资质,属于中大型航空公司,居民营航空公司前列,自2011年成立至今,累计开通国内外客货运航线近600条,覆盖全国并通达日韩、港澳、东南亚、中亚等“一带一路”沿线国家和地区的170余个城市。在现代航空业运营中,高效的数据管理和可靠的数据库系统是成功运营的关键要素之一。长龙
OceanBase数据库官方博客
·
2024-01-14 07:30
oceanbase
数据库
数仓
搭建——DWD层
1DWD层(用户行为日志)1.1日志解析思路页面埋点日志启动日志思路1.2get_json_object函数使用数据[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]取出第一个json对象hive(gmall)>selectget_json_object('[{"name":"大郎","sex":"男",
丝丝呀
·
2024-01-14 06:10
java
json
开发语言
数据仓库-离线
数仓
(基于物流
数仓
)
1、数据仓库概述1.1、数据仓库概念数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据,借助数据仓库的分析能力,企业可从数据中获得宝贵的信息进而改进决策。同时,随着时间的推移,数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2、数据仓库核心架构2、数据仓库建模概述2.1、数据仓库建模的意义如果把数据看作图书馆里的书,我们希望看到它
小鱼干换酒钱
·
2024-01-14 06:39
#
物流数仓
数据仓库
hive
数仓
学习笔记(5)——
数仓
搭建(DWD层)
目录一、
数仓
搭建——DWD层1、DWD层(用户行为日志)1.1日志解析思路1.2get_json_object函数使用1.3启动日志表1.4页面日志表1.5动作日志表1.6曝光日志表1.7错误日志表1.8DWD
默萧756
·
2024-01-14 06:35
学习
大数据
数仓
数仓
笔记(五)-DWD层,DWS层
数仓
搭建DWD层1)对用户行为数据解析2)对业务数据采用维度模型重新建模6.1DWD层(用户行为日志)1)日志结构回顾(1)页面埋点日志(2)启动日志2)日志解析思路6.1.2get_json_object
芝士雪豹.
·
2024-01-14 06:33
java
开发语言
hive
大数据
离线
数仓
(十三) --------- DWD 层搭建
目录前言一、DWD层(用户行为日志)1.日志解析思路2.get_json_object函数使用3.启动日志表4.页面日志表5.动作日志表6.曝光日志表7.错误日志表8.DWD层用户行为数据加载脚本二、DWD层(业务数据)1.评价事实表(事务型事实表)2.订单明细事实表(事务型事实表)3.退单事实表(事务型事实表)4.加购事实表(周期型快照事实表,每日快照)5.收藏事实表(周期型快照事实表,每日快照
在森林中麋了鹿
·
2024-01-14 06:02
大数据项目
java
json
数据库
企业级大数据项目【4】
数仓
-业务域ODS-DWD-ADS开发篇
1概要说明业务域的数据来自业务系统的数据库通过sqoop(或datax)抽取到
数仓
的ods层在ods层对有需要的表进行增量合并,字段选择,反范式话,形成dwd明细层表在明细层基础上,进行各类主题的数据统计
江湖人称涛哥
·
2024-01-14 06:32
物流实时
数仓
ODS层——Mysql到Kafka
目录1.采集流程2.项目架构3.resources目录下的log4j.properties文件4.依赖5.ODS层——OdsApp6.环境入口类——CreateEnvUtil7.kafka工具类——KafkaUtil8.启动集群项目这一层要从Mysql读取数据,分为事实数据和维度数据,将不同类型的数据进行不同的ETL处理,发送到kakfa中。代码1.采集流程2.项目架构3.resources目录下
雷神乐乐
·
2024-01-14 06:01
#
实时数仓项目
大数据
数据仓库
flink
kafka
物流实时
数仓
DWD层——1.准备工作
目录1.创建主程序——DwdOrderRelevantApp类2.创建DWD层的事实表——来源于订单表和订单明细表(1)创建订单表实体类(2)创建订单明细表实体类(3)创建交易域:下单事务事实表实体类,并整合(1)与(2),采用下单时间(4)创建交易域:支付成功事务事实表实体类,并整合(1)与(2),采用支付时间和支付状态(5)创建物流域:揽收(接单)事务事实表实体类,并整合(1)与(2),采用揽
雷神乐乐
·
2024-01-14 06:57
#
实时数仓项目
大数据
flink
java
数据仓库
交通物流
Hive命令行运行SQL将数据保存到本地如何去除日志信息
1.场景分析先有需求需要查询hive
数仓
数据并将结果保存到本地,但是在操作过程中总会有日志信息和表头信息一起保存到本地,不符合业务需要,那如何才能解决该问题呢?
tuoluzhe8521
·
2024-01-14 05:01
Hive相关
hive
sql
hadoop
美团点评实时
数仓
平台演进与实践
1.摘要数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而Flink实时
数仓
在数据链路中扮演着极为重要的角色。
笔名辉哥
·
2024-01-14 02:50
数仓
建模—埋点设计与管理
数据仓库系列文章(部分已出,持续更新)
数仓
架构发展史
数仓
建模方法论
数仓
建模分层理论
数仓
建模—宽表的设计
数仓
建模—指标体系数据仓库之拉链表
数仓
—数据集成
数仓
—数据集市
数仓
—商业智能系统
数仓
—埋点设计与管理
数仓
大数据技术派
·
2024-01-14 01:22
Java基础知识:注释、关键字、标识符、数据类型、常量、变量、数据类型转换
中注释有三种形式单行注释://多行注释:/**/文档注释:/***/2.java中的关键词(不需要记忆)关键词的特点:均由小写字母组成,代码编辑器会给颜色提示在这里插入图片描述在这里插入图片描述3.标识符的
命名规范
廖111
·
2024-01-14 01:15
hiveSQL任务执行时间过长
从业务或者其他方面优化4、从接口层取数前期的
数仓
设计不合理或者临时性
amberwest
·
2024-01-13 22:16
big
data
数据仓库
hive
数据库
命名规范
--通用
分段式的1.1基本命名原则以下基本原则适用于所有数据库对象命名,如无特别说明则为强制规范。Ø规范:遵循行业规范当有相关国家/行业强制性数据结构标准规范存在时,用于存储某业务数据的业务表在表名命名上原则上应该遵从标准规定,其表中相关字段的中文名称(即数据项名称)若标准规范上有规定的应遵循规定。此外,若标准规范上对数据项的类型、长度有规定的,原则上也应当遵循或保证能直接兼容保存和访问。Ø规范:字母全部
elileo
·
2024-01-13 20:27
01.阿里Java开发手册——
命名规范
遵循开发手册中制定的规则是为了代码开发更为规范,在大项目或者多人协作开发的项目中大家遵循同一套开发规范,可以让彼此之间编写的代码更加易懂,从而提升开发效率。即使在自己的个人项目中,遵循代码规范也能让自己维护和开发更加方便。【强制】代码中的命名均不能以下划线或美元符号开始,也不能以下划线或美元符号结束。【强制】所有编程相关的命名严禁使用拼音与英文混合的方式,更不允许直接使用中文的方式。注意,纯拼音命
清梦压星河_Ciao
·
2024-01-13 14:39
开发手册
java
开发规范
数据仓库Apache Hive
为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意:这里要解决一个核心的误区:
数仓
绝不是大型数据库。
江枫渔火R
·
2024-01-13 09:29
数据仓库
apache
hive
大数据
2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive
学习目标理解
数仓
概念、起源由来理解
数仓
(OLAP)与数据库(OLTP)区别掌握
数仓
分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识
王络不稳定
·
2024-01-13 09:28
数据仓库
big
data
hive
数据仓库 & Apache Hive
一、数据分析1、数据仓库数据仓库(英语:DataWarehouse,简称
数仓
、DW),是一个用于存储、分析、报告的数据系统。
杀神lwz
·
2024-01-13 09:52
大数据
数据分析
数据仓库
apache
hive
数仓
建设指南
数仓
建设指南数据模型架构规范数据层次的划分ODS:OperationalDataStore,操作数据层,在结构上其与源系统的增量或者全量数据基本保持一致。
左美美  ̄
·
2024-01-13 06:04
java
大数据
数据仓库
档案数字化怎样快速整理资料
确保扫描仪设置正确,例如分辨率适中、文件格式选择合适、文件
命名规范
等。4.命名和整
信创档案管理系统
·
2024-01-13 02:33
档案数字化
档案
档案数字化
大数据开发工程师需要具备哪些技能?
在回答这个问题之前,需要充分了解一下当前大数据的几个就业方向,可以参考下主流互联网行业的部门架构、职责和JD,大数据开发工程师,总体来说有这么几类,不同的公司叫法不一样:1、
数仓
开发工程师2、算法挖掘工程师
郑小柒是西索啊
·
2024-01-12 21:58
大数据
Databend 开源周报第 127 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2024-01-12 20:45
数据库
开源
初识QT。
命名规范
和快捷键Qt助手2、button按钮3、对象树4、信号和槽5、自定义信号和槽函数拓展6、Lambda表达式7、练习二、QMainWindow1、菜单栏和菜单项2、工具栏3、状态栏4、铆接部件(浮动窗口
dong132697
·
2024-01-12 19:45
linux笔记
qt
笔记
数据交付变革:研发到产运自助化的转型之路
作者|Chris导读本文讲述为了提升产运侧数据观察、分析、决策的效率,支持业务的快速迭代,移动生态数据研发部对
数仓
建模与BI工具完成升级,采用宽表建模与TDA平台相结合的方案,一站式自助解决数据应用需求
百度Geek说
·
2024-01-12 16:14
信息可视化
数据分析
数据挖掘
数仓建模
BI工具
GBASE南大通用 GBase 8a 产品构建
数仓
系统架构
lGBASE南大通用GBase8a产品构建
数仓
应用的系统架构:架构技术实现特点适用场景独立数据仓库(集市)系统架构一套GBase8a物理集群适用于数据规模较小的业务场景适用于各业务之间数据互访较频繁的业务场景适用于单一独立的业务场景企业级
数仓
系统架构多套
GBASE数据库
·
2024-01-12 12:04
数据库
GBASE南大通用
GBASE
【DolphinScheduler】datax读取hive分区表时,空分区、分区无数据任务报错问题解决
问题背景:最近在使用海豚调度DolphinScheduler的Datax组件时,遇到这么一个问题:之前给客户使用海豚做的离线
数仓
的分层搭建,一直都运行好好的,过了个元旦,这几天突然在
数仓
做任务时报错,具体报错信息如下
Alex_81D
·
2024-01-12 08:49
部署项目相关
大数据基础
数据治理
hive
hadoop
数据仓库
【大数据面试】常见
数仓
建模面试题附答案
数仓
架构为什么要分层?事实表的类型?维度建模步骤?维度建模的三种模式?
数仓
架构进化?数据仓库如何保证数据质量?开发流程/你们是怎么测试的?维度建模过程?维度建模的三种模式?事实表都有哪几种?
话数Science
·
2024-01-12 07:28
面试
大数据
大数据
Hive解析json数组
在使用Hive搭建数据仓库,处理数据时,同传统
数仓
的结构化数据不同,我们经常会遇到一些非结构化的数据,json格式的字符串就是常见的一种类型。
风筝flying
·
2024-01-12 03:47
【自学笔记】01Java基础-07面向对象基础-03常量、枚举类、抽象类、多态详解
常量名的
命名规范
:英文单词全部大写,多个单词下划线连接起来。
BreezeDove
·
2024-01-12 01:10
自学笔记
java
笔记
开发语言
使用Python进行数据清洗,以及一些常见的数据清洗技巧和最佳实践
数据一致性:不同数据源的数据格式和
命名规范
可能不同,需要进行标准化和一致性处理。数据可用性:缺失的数据可能导致无法完成分析或建模任务
m0_57781768
·
2024-01-11 23:31
python
开发语言
H5
命名规范
css
命名规范
需要重用的css规则尽量面向属性命名,尽量不掺杂语义.tr{text-align:right;}.pb8{padding-bottom:8px;}选择器尽量不包含层级(#test.test
手指乐
·
2024-01-11 20:16
【Databend】数据类型
文章目录数据类型列表转换数据类型数据类型扩展整数类型布尔类型浮点数类型字符串类型日期时间类型其它数据类型总结数据类型列表Databend作为一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式
数仓
有请小发菜
·
2024-01-11 17:08
Databend
数据库
mysql
python
rust
二、java基础语法
基础语法1.注释2.字面量3.变量3.1定义格式3.2注意事项4.数据类型4.1基本数据4.2引用数据类型4.3自定义数据类型5.标识符5.1命名规则5.2小驼峰命名法5.3大驼峰命名法5.4阿里巴巴
命名规范
细节
酷小洋
·
2024-01-11 14:03
Java
java
开发语言
Python学习之路-常量与变量
Python学习之路-常量与变量程序就是用来处理数据的,而常量和变量就是最简单用来存储数据的常量定义声明在文件的顶部
命名规范
全部大写单词间用下划线分隔变量定义变量在使用前都必须要要进行赋值,只有被赋值后变量才会被创建
命名规范
一般情况当变量名需要由二个或多个单词组成时
geobuins
·
2024-01-11 13:46
python
学习
开发语言
Apache Flink 和 Paimon 在自如数据集成场景中的使用
业务背景自如目前线上有基于Hive的离线
数仓
和基于Flink、Kafka的实时
数仓
,随着业务发展,我们也在探索引入湖仓一体的架构更好的支持业务,我们对比了Iceberg、Hudi、Paimon后,最终选择
Apache Flink
·
2024-01-11 13:09
apache
flink
大数据
亚信安慧AntDB团队引领数据库创新浪潮
该数据库经过多次迭代,形成了完整的“超融合流式实时
数仓
”体系,为通信运营商和各行业提供卓越的服务
亚信安慧AntDB数据库
·
2024-01-11 12:48
数据库
人工智能
大数据
antdb
antdb数据库
代码
命名规范
,就该这么写
你是否曾有过一种想法,看着代码就想口吐芬芳,这是哪位"大佬"写的,看半天不知道这个类是做啥的,这个方法又是干啥的,用搜狗搜一下方法名,随着ctrl拉进了方法,像是在遨游的大海里,辽无边界;一个方法走天下。代码写得规范,不仅看起来爽,用起来更爽;下面整理了一下,最基本的代码规范。一、命名风格1、代码中的命名均不能以下划线或美元符号开始,也不能以下划线或美元符号结束。反例:_name/__name/$
Achieving阿六
·
2024-01-11 12:43
开发规范
java
intellij
idea
idea
intellij-idea
开发语言
基于Hologres+Flink的曹操出行实时
数仓
建设作者:林震|曹操出行实时计算负责人
作者:林震|曹操出行实时计算负责人曹操出行业务背景介绍曹操出行创立于2015年5月21日,是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务,以“科技重塑绿色共享出行”为使命,将全球领先的互联网、车联网、自动驾驶技术以及新能源科技,创新应用于共享出行领域,以“用心服务国民出行”为品牌主张,致力于打造服务口碑最好的出行品牌。作为一家互联网出行平台,主要提供了网约车、顺风车、专车等一些出行服务。
阿里云大数据AI技术
·
2024-01-11 09:40
flink
大数据
Qt 中的 QSettings:配置文件的读写和应用场景
写入配置信息2.2读取配置信息2.3删除配置信息3.QSettings的应用场景3.1存储应用程序的用户设置3.2状态保存和恢复3.3动态配置调整4.QSettings的注意事项和最佳实践4.1键名的
命名规范
LewGarben
·
2024-01-11 00:45
c
qt
开发语言
离线
数仓
构建案例一
数据采集日志数据(文件)到Kafka自己写个程序模拟一些用户的行为数据,这些数据存在一个文件夹中。接着使用flume监控采集这些文件,然后发送给kafka中待消费。1、flume采集配置文件监控文件将数据发给kafka的flume配置文件:#定义组件a1.sources=r1a1.channels=c1#配置sourcea1.sources.r1.type=TAILDIRa1.sources.r1
躺着听Jay
·
2024-01-10 22:06
大数据
big
data
大数据
数仓
规范
目录:一、数据模型架构原则
数仓
分层原则主题域划分原则数据
听雪10
·
2024-01-10 15:37
Vue 前端代码风格参考
一、
命名规范
市面上常用的
命名规范
:camelCase(小驼峰式命名法——首字母小写)PascalCase(大驼峰式命名法——首字母大写)kebab-case(短横线连接式)Snake(下划线连接式)1.1
J小五
·
2024-01-10 03:45
前端
vue.js
javascript
代码规范
js
严格区分大小写console.log("");Comsole.log("");//错误变量的命名1、var变量名2、赋值变量名=值;变量的
命名规范
:1可以包含字母、数字、下划线、$、不能以数字开头js的数据类型数字类型
李彦玉
·
2024-01-09 19:10
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他