E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓命名规范
企业级大数据项目【4】
数仓
-业务域ODS-DWD-ADS开发篇
1概要说明业务域的数据来自业务系统的数据库通过sqoop(或datax)抽取到
数仓
的ods层在ods层对有需要的表进行增量合并,字段选择,反范式话,形成dwd明细层表在明细层基础上,进行各类主题的数据统计
江湖人称涛哥
·
2024-01-14 06:32
物流实时
数仓
ODS层——Mysql到Kafka
目录1.采集流程2.项目架构3.resources目录下的log4j.properties文件4.依赖5.ODS层——OdsApp6.环境入口类——CreateEnvUtil7.kafka工具类——KafkaUtil8.启动集群项目这一层要从Mysql读取数据,分为事实数据和维度数据,将不同类型的数据进行不同的ETL处理,发送到kakfa中。代码1.采集流程2.项目架构3.resources目录下
雷神乐乐
·
2024-01-14 06:01
#
实时数仓项目
大数据
数据仓库
flink
kafka
物流实时
数仓
DWD层——1.准备工作
目录1.创建主程序——DwdOrderRelevantApp类2.创建DWD层的事实表——来源于订单表和订单明细表(1)创建订单表实体类(2)创建订单明细表实体类(3)创建交易域:下单事务事实表实体类,并整合(1)与(2),采用下单时间(4)创建交易域:支付成功事务事实表实体类,并整合(1)与(2),采用支付时间和支付状态(5)创建物流域:揽收(接单)事务事实表实体类,并整合(1)与(2),采用揽
雷神乐乐
·
2024-01-14 06:57
#
实时数仓项目
大数据
flink
java
数据仓库
交通物流
Hive命令行运行SQL将数据保存到本地如何去除日志信息
1.场景分析先有需求需要查询hive
数仓
数据并将结果保存到本地,但是在操作过程中总会有日志信息和表头信息一起保存到本地,不符合业务需要,那如何才能解决该问题呢?
tuoluzhe8521
·
2024-01-14 05:01
Hive相关
hive
sql
hadoop
美团点评实时
数仓
平台演进与实践
1.摘要数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而Flink实时
数仓
在数据链路中扮演着极为重要的角色。
笔名辉哥
·
2024-01-14 02:50
数仓
建模—埋点设计与管理
数据仓库系列文章(部分已出,持续更新)
数仓
架构发展史
数仓
建模方法论
数仓
建模分层理论
数仓
建模—宽表的设计
数仓
建模—指标体系数据仓库之拉链表
数仓
—数据集成
数仓
—数据集市
数仓
—商业智能系统
数仓
—埋点设计与管理
数仓
大数据技术派
·
2024-01-14 01:22
Java基础知识:注释、关键字、标识符、数据类型、常量、变量、数据类型转换
中注释有三种形式单行注释://多行注释:/**/文档注释:/***/2.java中的关键词(不需要记忆)关键词的特点:均由小写字母组成,代码编辑器会给颜色提示在这里插入图片描述在这里插入图片描述3.标识符的
命名规范
廖111
·
2024-01-14 01:15
hiveSQL任务执行时间过长
从业务或者其他方面优化4、从接口层取数前期的
数仓
设计不合理或者临时性
amberwest
·
2024-01-13 22:16
big
data
数据仓库
hive
数据库
命名规范
--通用
分段式的1.1基本命名原则以下基本原则适用于所有数据库对象命名,如无特别说明则为强制规范。Ø规范:遵循行业规范当有相关国家/行业强制性数据结构标准规范存在时,用于存储某业务数据的业务表在表名命名上原则上应该遵从标准规定,其表中相关字段的中文名称(即数据项名称)若标准规范上有规定的应遵循规定。此外,若标准规范上对数据项的类型、长度有规定的,原则上也应当遵循或保证能直接兼容保存和访问。Ø规范:字母全部
elileo
·
2024-01-13 20:27
01.阿里Java开发手册——
命名规范
遵循开发手册中制定的规则是为了代码开发更为规范,在大项目或者多人协作开发的项目中大家遵循同一套开发规范,可以让彼此之间编写的代码更加易懂,从而提升开发效率。即使在自己的个人项目中,遵循代码规范也能让自己维护和开发更加方便。【强制】代码中的命名均不能以下划线或美元符号开始,也不能以下划线或美元符号结束。【强制】所有编程相关的命名严禁使用拼音与英文混合的方式,更不允许直接使用中文的方式。注意,纯拼音命
清梦压星河_Ciao
·
2024-01-13 14:39
开发手册
java
开发规范
数据仓库Apache Hive
为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意:这里要解决一个核心的误区:
数仓
绝不是大型数据库。
江枫渔火R
·
2024-01-13 09:29
数据仓库
apache
hive
大数据
2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive
学习目标理解
数仓
概念、起源由来理解
数仓
(OLAP)与数据库(OLTP)区别掌握
数仓
分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识
王络不稳定
·
2024-01-13 09:28
数据仓库
big
data
hive
数据仓库 & Apache Hive
一、数据分析1、数据仓库数据仓库(英语:DataWarehouse,简称
数仓
、DW),是一个用于存储、分析、报告的数据系统。
杀神lwz
·
2024-01-13 09:52
大数据
数据分析
数据仓库
apache
hive
数仓
建设指南
数仓
建设指南数据模型架构规范数据层次的划分ODS:OperationalDataStore,操作数据层,在结构上其与源系统的增量或者全量数据基本保持一致。
左美美  ̄
·
2024-01-13 06:04
java
大数据
数据仓库
档案数字化怎样快速整理资料
确保扫描仪设置正确,例如分辨率适中、文件格式选择合适、文件
命名规范
等。4.命名和整
信创档案管理系统
·
2024-01-13 02:33
档案数字化
档案
档案数字化
大数据开发工程师需要具备哪些技能?
在回答这个问题之前,需要充分了解一下当前大数据的几个就业方向,可以参考下主流互联网行业的部门架构、职责和JD,大数据开发工程师,总体来说有这么几类,不同的公司叫法不一样:1、
数仓
开发工程师2、算法挖掘工程师
郑小柒是西索啊
·
2024-01-12 21:58
大数据
Databend 开源周报第 127 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2024-01-12 20:45
数据库
开源
初识QT。
命名规范
和快捷键Qt助手2、button按钮3、对象树4、信号和槽5、自定义信号和槽函数拓展6、Lambda表达式7、练习二、QMainWindow1、菜单栏和菜单项2、工具栏3、状态栏4、铆接部件(浮动窗口
dong132697
·
2024-01-12 19:45
linux笔记
qt
笔记
数据交付变革:研发到产运自助化的转型之路
作者|Chris导读本文讲述为了提升产运侧数据观察、分析、决策的效率,支持业务的快速迭代,移动生态数据研发部对
数仓
建模与BI工具完成升级,采用宽表建模与TDA平台相结合的方案,一站式自助解决数据应用需求
百度Geek说
·
2024-01-12 16:14
信息可视化
数据分析
数据挖掘
数仓建模
BI工具
GBASE南大通用 GBase 8a 产品构建
数仓
系统架构
lGBASE南大通用GBase8a产品构建
数仓
应用的系统架构:架构技术实现特点适用场景独立数据仓库(集市)系统架构一套GBase8a物理集群适用于数据规模较小的业务场景适用于各业务之间数据互访较频繁的业务场景适用于单一独立的业务场景企业级
数仓
系统架构多套
GBASE数据库
·
2024-01-12 12:04
数据库
GBASE南大通用
GBASE
【DolphinScheduler】datax读取hive分区表时,空分区、分区无数据任务报错问题解决
问题背景:最近在使用海豚调度DolphinScheduler的Datax组件时,遇到这么一个问题:之前给客户使用海豚做的离线
数仓
的分层搭建,一直都运行好好的,过了个元旦,这几天突然在
数仓
做任务时报错,具体报错信息如下
Alex_81D
·
2024-01-12 08:49
部署项目相关
大数据基础
数据治理
hive
hadoop
数据仓库
【大数据面试】常见
数仓
建模面试题附答案
数仓
架构为什么要分层?事实表的类型?维度建模步骤?维度建模的三种模式?
数仓
架构进化?数据仓库如何保证数据质量?开发流程/你们是怎么测试的?维度建模过程?维度建模的三种模式?事实表都有哪几种?
话数Science
·
2024-01-12 07:28
面试
大数据
大数据
Hive解析json数组
在使用Hive搭建数据仓库,处理数据时,同传统
数仓
的结构化数据不同,我们经常会遇到一些非结构化的数据,json格式的字符串就是常见的一种类型。
风筝flying
·
2024-01-12 03:47
【自学笔记】01Java基础-07面向对象基础-03常量、枚举类、抽象类、多态详解
常量名的
命名规范
:英文单词全部大写,多个单词下划线连接起来。
BreezeDove
·
2024-01-12 01:10
自学笔记
java
笔记
开发语言
使用Python进行数据清洗,以及一些常见的数据清洗技巧和最佳实践
数据一致性:不同数据源的数据格式和
命名规范
可能不同,需要进行标准化和一致性处理。数据可用性:缺失的数据可能导致无法完成分析或建模任务
m0_57781768
·
2024-01-11 23:31
python
开发语言
H5
命名规范
css
命名规范
需要重用的css规则尽量面向属性命名,尽量不掺杂语义.tr{text-align:right;}.pb8{padding-bottom:8px;}选择器尽量不包含层级(#test.test
手指乐
·
2024-01-11 20:16
【Databend】数据类型
文章目录数据类型列表转换数据类型数据类型扩展整数类型布尔类型浮点数类型字符串类型日期时间类型其它数据类型总结数据类型列表Databend作为一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式
数仓
有请小发菜
·
2024-01-11 17:08
Databend
数据库
mysql
python
rust
二、java基础语法
基础语法1.注释2.字面量3.变量3.1定义格式3.2注意事项4.数据类型4.1基本数据4.2引用数据类型4.3自定义数据类型5.标识符5.1命名规则5.2小驼峰命名法5.3大驼峰命名法5.4阿里巴巴
命名规范
细节
酷小洋
·
2024-01-11 14:03
Java
java
开发语言
Python学习之路-常量与变量
Python学习之路-常量与变量程序就是用来处理数据的,而常量和变量就是最简单用来存储数据的常量定义声明在文件的顶部
命名规范
全部大写单词间用下划线分隔变量定义变量在使用前都必须要要进行赋值,只有被赋值后变量才会被创建
命名规范
一般情况当变量名需要由二个或多个单词组成时
geobuins
·
2024-01-11 13:46
python
学习
开发语言
Apache Flink 和 Paimon 在自如数据集成场景中的使用
业务背景自如目前线上有基于Hive的离线
数仓
和基于Flink、Kafka的实时
数仓
,随着业务发展,我们也在探索引入湖仓一体的架构更好的支持业务,我们对比了Iceberg、Hudi、Paimon后,最终选择
Apache Flink
·
2024-01-11 13:09
apache
flink
大数据
亚信安慧AntDB团队引领数据库创新浪潮
该数据库经过多次迭代,形成了完整的“超融合流式实时
数仓
”体系,为通信运营商和各行业提供卓越的服务
亚信安慧AntDB数据库
·
2024-01-11 12:48
数据库
人工智能
大数据
antdb
antdb数据库
代码
命名规范
,就该这么写
你是否曾有过一种想法,看着代码就想口吐芬芳,这是哪位"大佬"写的,看半天不知道这个类是做啥的,这个方法又是干啥的,用搜狗搜一下方法名,随着ctrl拉进了方法,像是在遨游的大海里,辽无边界;一个方法走天下。代码写得规范,不仅看起来爽,用起来更爽;下面整理了一下,最基本的代码规范。一、命名风格1、代码中的命名均不能以下划线或美元符号开始,也不能以下划线或美元符号结束。反例:_name/__name/$
Achieving阿六
·
2024-01-11 12:43
开发规范
java
intellij
idea
idea
intellij-idea
开发语言
基于Hologres+Flink的曹操出行实时
数仓
建设作者:林震|曹操出行实时计算负责人
作者:林震|曹操出行实时计算负责人曹操出行业务背景介绍曹操出行创立于2015年5月21日,是吉利控股集团布局“新能源汽车共享生态”的战略性投资业务,以“科技重塑绿色共享出行”为使命,将全球领先的互联网、车联网、自动驾驶技术以及新能源科技,创新应用于共享出行领域,以“用心服务国民出行”为品牌主张,致力于打造服务口碑最好的出行品牌。作为一家互联网出行平台,主要提供了网约车、顺风车、专车等一些出行服务。
阿里云大数据AI技术
·
2024-01-11 09:40
flink
大数据
Qt 中的 QSettings:配置文件的读写和应用场景
写入配置信息2.2读取配置信息2.3删除配置信息3.QSettings的应用场景3.1存储应用程序的用户设置3.2状态保存和恢复3.3动态配置调整4.QSettings的注意事项和最佳实践4.1键名的
命名规范
LewGarben
·
2024-01-11 00:45
c
qt
开发语言
离线
数仓
构建案例一
数据采集日志数据(文件)到Kafka自己写个程序模拟一些用户的行为数据,这些数据存在一个文件夹中。接着使用flume监控采集这些文件,然后发送给kafka中待消费。1、flume采集配置文件监控文件将数据发给kafka的flume配置文件:#定义组件a1.sources=r1a1.channels=c1#配置sourcea1.sources.r1.type=TAILDIRa1.sources.r1
躺着听Jay
·
2024-01-10 22:06
大数据
big
data
大数据
数仓
规范
目录:一、数据模型架构原则
数仓
分层原则主题域划分原则数据
听雪10
·
2024-01-10 15:37
Vue 前端代码风格参考
一、
命名规范
市面上常用的
命名规范
:camelCase(小驼峰式命名法——首字母小写)PascalCase(大驼峰式命名法——首字母大写)kebab-case(短横线连接式)Snake(下划线连接式)1.1
J小五
·
2024-01-10 03:45
前端
vue.js
javascript
代码规范
js
严格区分大小写console.log("");Comsole.log("");//错误变量的命名1、var变量名2、赋值变量名=值;变量的
命名规范
:1可以包含字母、数字、下划线、$、不能以数字开头js的数据类型数字类型
李彦玉
·
2024-01-09 19:10
【第六节】java 语言标识符
必须遵守的硬性规定)1.由26个英文字母大小写、0-9、_或$组成2.数字不可以开头3.不可以使用关键字和保留字,但能包含关键字和保留字4.java中严格区分大小写、长度无限制5.标识符不能包含空格标识符的
命名规范
弓弧名家_玄真君
·
2024-01-09 19:51
java专栏笔记
java
hive基础知识大全
一、Hive基本概念1.1hive是什么hive是基于hadoop的一个
数仓
分析工具,hive可以将hdfs上存储的结构化的数据,映射成一张表,然后让用户写HQL(类SQL)来分析数据telupdown138383843813451567138383843953451567138383844012411657713838384413453157571383838434353551567567
不爱吃鱼的馋猫
·
2024-01-09 13:23
hive
数据仓库
软件测试/测试开发/全日制|Pytest都有哪些命名规则?
前言在使用Pytest进行测试时,良好的
命名规范
是编写清晰、易读和可维护的测试用例的重要组成部分。规范的命名使得测试用例的意图更加明确,便于团队成员理解和维护。
霍格沃兹测试开发学社
·
2024-01-09 11:38
Pytest测试框架
pytest
单元测试
功能测试
数仓
分层结构
--图片来源尚硅谷ODS层:数据存储格式:JSON/TSV+gzip压缩(默认)OperateDataStore--存储从mysql业务数据库和日志服务器的日志文件中采集到的数据--日志数据--格式:JSON--业务数据--历史数据--格式:--全量--Datax:TSV--增量--Maxwell:JSON--汇总数据--希望用最少的资源存储最多的数据--压缩:--gzip:Hadoop默认支持的
Young_IT
·
2024-01-09 06:40
大数据开发
大数据技术
大数据
数据仓库
某大厂大数据开发-外包面试
4.spark用过吗,用到的开发工具5.数据量多少,服务器台数6.
数仓
每层做了什么事,为什么这样做?
劝学-大数据
·
2024-01-09 06:42
面试
职场和发展
大数据
JavaScrip-变量&数据类型-知识点
变量&数据类型变量什么是变量变量的使用
命名规范
关键字&保留字关键字保留字数据类型简介简单类型复杂类型获取变量的数据类型数据类型转换变量什么是变量在代数中,我们经常使用字母来保存值,例如:a=2b=3c=
编程在手天下我有
·
2024-01-09 02:49
javascript
前端
流式湖仓增强,Hologres + Flink 构建企业级实时
数仓
流式湖仓增强,Hologres+Flink构建企业级实时
数仓
一、Hologres+Flink,阿里云上众多客户实时
数仓
的首选随着大数据从规模化走向实时化,实时数据的需求覆盖互联网、交通、传媒、金融、政府等各个领域
Elivis Hu
·
2024-01-08 22:52
数仓
flink
大数据
数仓
建设学习路线(二)模型建设(1)
OLTPVSOLAPOLTP概念全称OnLineTransactionProcessing,中文名联机事务处理系统,主要是执行基本日常的事务处理,比如数据库记录的增删查改,例如mysql、oracle。OLAP概念全称OnLineAnalyticalProcessing,中文名联机分析处理系统,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果,例如、ClickHouse、Doris、K
语兴数据
·
2024-01-08 18:58
数仓建设-学习路线
大数据
数据仓库
人工智能
数仓
建设学习路线(一)
前言
数仓
建设实践路线是语兴发布在B站的系列课程,搜索语兴呀即可学习完整的
数仓
建设理论。大数据相关岗位大数据常见的岗位主要包括实时开发、数据治理、数据安全、数据资产等。
语兴数据
·
2024-01-08 18:57
数仓建设-学习路线
大数据
数据仓库
人工智能
数仓
建设学习路线(二)模型建设(2)
写在最前面本节内容主要讲解模型的具体设计过程,也是我们平常
数仓
工作中的重中之重。更多精彩课程关注B站语兴呀,或关注gzh:语数,获取全部课件资料。
语兴数据
·
2024-01-08 18:52
数仓建设-学习路线
大数据
数据仓库
大数据技术架构
整表同步数据量大,一般是
数仓
T+1方式同步,保证数据一条不丢;还
乘风踏羽
·
2024-01-08 17:47
数据平台
大数据
MySql
命名规范
数据库环境dev:开发环境,开发可读写,可修改表结构。开发人员可以修改表结构,可以随意修改其中的数据但是需要保证不影响其他开发同事。qa:测试环境,开发可读写,开发人员可以通过工具修改表结构。sim:模拟环境,开发可读写,发起上线请求时,会先在这个环境上进行预执行,这个环境也可供部署上线演练或压力测试使用。real:生产数据库从库(准实时同步),只读环境,不允许修改数据,不允许修改表结构,供线上问
阿里高级软件架构师
·
2024-01-08 13:23
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他