E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓分层架构
智慧图书管理系统架构设计与实现
一种常见的架构设计是采用
分层架构
,包括展示层、业务逻辑层和数据访问
007php007
·
2024-02-19 11:03
后端
架构
API
微服务
架构
系统架构
运维
devops
第二章 大型网站架构模式
网站
分层架构
通过分层,可以更好地将一个庞大的软件系统切分为不同部分。便于分工合作和维护;各层之间有一定
JarvisTH
·
2024-02-19 11:33
数据系统架构-10.
数仓
开发平台
数仓
开发平台1.背景数据仓库是存储各种数据的仓库,形同于现实当中存储货物的仓库,不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。
·
2024-02-19 11:45
大数据系统架构数据仓库
揭秘JVS-智能BI数据集管理:让你的数据处理更高效!
数据集管理与界面介绍在整体的
数仓
架构中,数据集是在线加工的标准数据形态,数据集配置的过程就似对数据进行加工、清晰、关联、建模的过程,建模完成后,可通过手动数据执行或者周期性的
·
2024-02-19 11:41
数据集etl数据可视化大数据
Apache Pulsar--简单介绍
ApachePulsar采用计算与存储分离的
分层架构
设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐以及低延时的高可扩展流
陈永佳
·
2024-02-19 10:32
Apache
Pulsar
Apache
Pulsar
Hive调优——count distinct替换
离线
数仓
开发过程中经常会对数据去重后聚合统计,而对于大数据量来说,count(distinct)操作消耗资源且查询性能很慢,以下是调优的方式。
爱吃辣条byte
·
2024-02-15 10:58
#
Hive
hive
数据仓库
【带你了解软件系统架构的演变——详细讲解】
带你了解软件系统架构的演变1.介绍2.传统的单体架构(MonolithicArchitecture)3.
分层架构
(LayeredArchitecture)4.客户端-服务器架构(Client-ServerArchitecture
程序员不想YY啊
·
2024-02-15 04:46
系统架构
数仓
面试
0.自我介绍答:1).简单的自我介绍,突出自己优势2).项目介绍3).项目中承担的工作和模块。4).长的帅或漂亮,前四条都可以忽略1.什么是数据仓库?如何构建数据仓库?可参考:漫谈|大牛带你从0到1构建数据仓库实战(如果这个问题回答的好,后面很多问题都不需要再问)答:数据仓库是一个面向主题的(SubjectOriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反
China_mr001
·
2024-02-14 21:46
DDD领域驱动设计 -
分层架构
而DDD
分层架构
的出现,使微服务的架构边界变得越来越清晰。DDD
分层架构
包含四层,从上到下依次是:用户接口层、应用层、领域层和基础层。
DreamsonMa
·
2024-02-14 13:25
Springboot为什么采用分层思想?
在软件开发中,采用
分层架构
(如控制层(Controller)、服务层(Service)、持久层(Persistence)等)的设计模式,主要是为了提高代码的可维护性、可扩展性和复用性。
Persistence is gold
·
2024-02-13 19:23
spring
boot
后端
java
带你了解软件系统架构的演变
分层架构
(Lay
Y T
·
2024-02-13 08:30
架构
DDD & CQRS & Event Sourcing
一、DDD
分层架构
Evans在它的《领域驱动设计:软件核心复杂性应对之道》书中推荐采用
分层架构
去实现领域驱动设计:DDD是近年软件设计的热门。
Crespo_Curry
·
2024-02-12 14:56
ClickHouse常用表引擎
有点像
数仓
中的缓慢变化维度。创建TinyLog引擎表只需要在
寒 暄
·
2024-02-11 22:23
#
---ClickHouse
数据库
大数据
ClickHouse
clickhouse 21.x生产实践优化
clickhouse1时间字段类型建表时能用数值型或日期时间型表示的字段就不要用字符串,全String类型在以Hive(hbase)为中心的
数仓
建设中常见,但ClickHouse环境不应受此影响。
架构师老狼
·
2024-02-11 18:28
Databend 开源周报第 131 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
·
2024-02-11 18:59
数据库
【DDD】学习笔记-领域驱动
分层架构
与对象模型
领域驱动设计中
分层架构
的演化,最终得到了如下图所示的领域驱动
分层架构
:如果采用对象范式,那么,
分层架构
每一层的对象模型应该如何设计呢?
码农丁丁
·
2024-02-11 17:18
软件工程
#
领域驱动设计
DDD
微服务
领域驱动设计
对象模型
离线
数仓
(一)【
数仓
概念、需求架构】
前言今天开始学习
数仓
的内容,之前花费一年半的时间已经学完了Hadoop、Hive、Zookeeper、Spark、HBase、Flume、Sqoop、Kafka、Flink等基础组件。
让线程再跑一会
·
2024-02-11 11:58
离线数仓
大数据
基于微软企业库的分层代码框架
一般我们都采用
分层架构
,先思考业务,要解决什么样的业务问题,再去思考技术实现。
管理大亨
·
2024-02-11 10:53
技术
微软
string
radiobutton
null
exception
dataset
计算机毕业设计PyFlink+Hadoop+Hive民宿数据分析可视化大屏 民宿推荐系统 民宿爬虫 民宿大数据 知识图谱 机器学习 大数据毕业设计
selenium自动化爬虫框架采集民宿数据约10万条存入.csv文件作为数据集;2.使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;3.使用hive
数仓
技术建表建库
计算机毕业设计大神
·
2024-02-10 10:56
实时计算框架 Flink 在教育行业的应用实践
若想实现大规模数据的“即席查询”,就须用实时计算框架构建实时
数仓
来实现。本文通过一个教育行业的应用案例,剖析业务系统对实时计
Java架构师CAT
·
2024-02-10 09:20
HiveSQL——用户中两人一定认识的组合数
注:参考文章:SQL之用户中两人一定认识的组合数--HQL面试题36【快手
数仓
面试题】_sql面试题-快手-CSDN博客文章浏览阅读1.2k次,点赞3次,收藏12次。
爱吃辣条byte
·
2024-02-10 01:52
#
HIve
SQL
大数据
数据仓库
DDD垂直分片架构
普通的架构
分层架构
垂直分片架构每个业务请求->业务逻辑->数据库访问,(日志,缓存,容错,验证)都是一个个Feature,更加集中于业务逻辑的实现分离,低耦合高内聚,不再是一堆屎山。
Forty-Two~
·
2024-02-09 20:18
架构
【DDD】学习笔记-领域实现模型
这条边界线应由设计模型明确给出,其中的关键是遵循整洁架构、六边形架构与
分层架构
,做好基础设施层实现机制的抽象,即我在[《领域驱动设计实践(战略篇)》]中提到的“南向网关”的内容。
码农丁丁
·
2024-02-09 08:29
软件工程
#
领域驱动设计
DDD
微服务
领域驱动设计
领域实现模型
【DDD】学习笔记-服务设计模型
服务契约相当于是面向外部调用者的一个门面(Facade),基于
分层架构
的单一职责原则与关注点分离原则,我们应该尽量保证服务契约的职责单一,即接收调用者发送的请求,并在处理完业务逻辑之后返回响应消息。
码农丁丁
·
2024-02-09 08:28
软件工程
#
领域驱动设计
DDD
微服务
领域驱动设计
服务设计模型
数据湖的整体思路
当数据湖成为中心,那么就可以围湖而建“数据服务环”,环上的服务包括了
数仓
、机器学习、大数据处理、日志分析,甚至RDS和NOSQL服务等等。
zhang菜鸟
·
2024-02-08 22:19
大数据
数据仓库
数仓
:用户行为类指标一网打尽
前言用户行为分析是对用户在产品或触点上产生的行为及行为背后的数据进行分析,通过构建用户行为数据分析体系或者用户画像,来改变产品、营销、运营决策,实现精细化运营,指导业务增长。总之,很重要。关注公众号,回复关键字【资料】,获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】先来看下用户类行为指标说明,然后下面详解常写的指标。指标名称解释说明新增用户首次联网使用应用的用户,如果一个用户首次打
大数据左右手
·
2024-02-07 09:35
大数据
大数据
数仓
:事实表设计方法,原则和三种类型选择
关注公众号,回复关键字【资料】,获取【10万字大数据框架面试知识点】与【大数据开发的命令手册】事实表设计方法事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用(外键)以及该业务过程的度量。一般设计会遵循以下四个步骤:1.选择业务过程及确定事实表类型通常情况下,一个业务过程对应一张事实表。2.声明粒度精确定义每张事实表的每行数据表示什么,按照业务尽可能选择最
大数据左右手
·
2024-02-07 09:35
大数据
数据仓库
数据挖掘
数据分析
数仓
-数据质量体系建设
注:文章参考:数据仓库数据质量体系建设涤生推荐:未来的行业中,数据是企业的重要资产,而数据仓库则是对企业数据进行有效管理和利用的重要手段。在数据仓https://mp.weixin.qq.com/s/elPkpgTm6cfAR-AFuJA16w目录一、数据质量体系建设的原因二、数据质量的重要性决策基础客户满意度业务流程效率成本控制法律合规三、常见的数据质量问题数据缺失数据错误数据不一致数据重复数据
爱吃辣条byte
·
2024-02-07 08:26
数仓建设
大数据
数据仓库
Flink-CDC实时读Postgresql数据
用户可以在如下的场景使用cdc:实时数据同步:比如将Postgresql库中的数据同步到我们的
数仓
中。数据库的实时物化视图。Postgresql数据库配置Postgresql参数修改#更改wa
pigcoffee
·
2024-02-07 07:13
flink
postgresql
数据库
【DDD】学习笔记-服务资源模型
我们在这里探讨服务模型,指的是面向当前应用外部客户的远程服务,在
分层架构
中,属于扮演了“北向网关”角色的基础设施层。由于客户位于当前应用之外,意味着通信模式需
码农丁丁
·
2024-02-07 00:15
软件工程
#
领域驱动设计
DDD
微服务
领域驱动设计
数据模型
服务模型
DDD学习笔记---如何实现服务和数据在微服务各层的协作?
服务的协作1.服务的类型按照
分层架构
设计出来的微服务,其内部有Facade服务、应用服务、领域服务和基础服务。各层服务的主要功能和职责如下。Facade服务:位于用户接口层,包括接口和实现两部分。
激流勇进_
·
2024-02-07 00:14
领域驱动设计
学习
4.东软跨境电商
数仓
项目--数据采集通道搭建之用户行为数据采集通道搭建(2022.6.1-2022.6.4)
东软跨境电商
数仓
项目–数据采集通道搭建之用户行为数据采集通道搭建(2022.6.1-2022.6.4)文章目录东软跨境电商
数仓
项目--数据采集通道搭建之用户行为数据采集通道搭建(2022.6.1-2022.6.4
Mmj666
·
2024-02-07 00:01
东软睿购跨境电商数仓项目
hadoop
hive
性能实测:分布式存储 ZBS 与集中式存储 HDS 在 Oracle 数据库场景表现如何
在《分布式存储支持数据仓库业务系统性能验证》文章中,我们对比了SmartX分布式存储ZBS与全闪集中式存储(EMCPowerStore)执行
数仓
跑批任务的效率。为了帮助用
志凌海纳SmartX
·
2024-02-06 18:40
数据库
分布式
oracle
揭秘阿里云Flink智能诊断利器——Fllink Job Advisor
丰富而复杂的上下游系统让它能够支撑实时
数仓
、实时风控、实时机器学习等多样化的应用场景。
阿里云大数据AI技术
·
2024-02-06 16:49
Hive分区表增加字段新增字段为NULL解决方案
背景:
数仓
开发过程中,经常会有需求变更,添加字段的情况很难免,添加完了字段需要重新写数据,重新将这个字段的数据overwrite进去,但是会出现一个问题,就是加载的数据为NULL。
Lens5935
·
2024-02-06 10:11
Hive
hive
hadoop
big
data
k8s的Deployment部署策略线上踩坑
线上问题我们有个服务,专门做t-1日的增量数据入仓的.入仓流程:每日0点系统新建个csv文件,通过kafka监听增量数据,实时数据写入该csv文件,供下游
数仓
次日取数.每日产生数据50G(1.8亿条)左右
吴free
·
2024-02-06 07:41
kubernetes
容器
云原生
Kubernetes 简介
/xmind/35457682/1707117691869-1ea2805d-7218-4223-a0a9-877147ca84b2.xmind目录1、概念介绍应用部署的演变Kubernetes架构图
分层架构
HuaLuLemon
·
2024-02-06 01:39
Kubernetes
kubernetes
容器
云原生
docker核心技术
一.从系统架构谈起传统
分层架构
vs微服务微服务改造分离微服务的方法建议:审视并发现可以分离的业务逻辑业务逻辑,在对业务领域不是特别熟悉的时候,按照部门职能进行划分,例如账号、财务等寻找天生隔离的代码模块
海哥python
·
2024-02-05 17:52
云原生
运维
docker
容器
运维
DolphinScheduler
数仓
任务管理规范
目录一、DolphinScheduler调度
数仓
任务现状分析2.1一个任务流构建
数仓
所有的逻辑节点2.2每个逻辑节点构建一个任务流二、
数仓
任务管理调度需求分析三、DolphinScheduler
数仓
开发任务管理规范四
i7杨
·
2024-02-05 16:09
大数据
设计规范
软件架构风格:您的系统设计指南
1.
分层架构
(n层架构)
分层架构
将应用程序划分为互相隔离的几个层级,每个层级负责不同的职责。这种结构简化了依赖管理,也便于维护。C#示例//表示层publi
金士顿
·
2024-02-05 11:19
笔记
c#设计模式学习
学习
经验分享
架构篇33:传统的可扩展架构模式-
分层架构
和SOA
文章目录
分层架构
SOA小结相比于高性能、高可用架构模式在最近几十年的迅猛发展来说,可扩展架构模式的发展可以说是步履蹒跚,最近几年火热的微服务模式算是可扩展模式发展历史中为数不多的亮点,但这也导致了现在谈可扩展的时候必谈微服务
星猿杂谈
·
2024-02-05 10:32
软件架构
架构
云计算关键技术
2.5.1多租户技术下SaaS特征2.5.2多租户技术面临的技术难题2.5.2.1数据隔离2.5.2.2客户化配置2.5.2.3架构扩展2.5.2.4性能定制一、云计算关键技术概述1.1概述云计算的实现采用
分层架构
夜夜流光相皎洁_小宁
·
2024-02-05 06:51
网络安全
#
云计算安全
云计算
云计算安全
网络安全
数仓
建设规范
数仓
建设规范一、数据模型架构原则1.
数仓
分层原则2.主题域划分原则3.数据模型设计原则二、
数仓
公共开发规范1.层次调用规范2.数据类型规范3.数据冗余规范4.NULL字段处理规范5.指标口径规范6.数据表处理规范四
长不大的大灰狼
·
2024-02-05 04:03
大数据
数据仓库
大数据
一文正确理解
分层架构
系统 的接入层设计,以及接入层设计常见的问题和解决方案(雪崩、降级、限流、熔断)
分层架构
系统之接入层分布式架构设计之接入层1、定义2、优势3、技术方案3.1、考虑的问题(负载均衡和高可用)3.2、设计方式3.2.1、单个IP地址接入3.2.2、多个IP地址随机接入3.2.2、单IP
JMW1407
·
2024-02-05 04:16
分布式架构
服务加购
接入层
Java有几个阶段学习?
第二阶段是javaWeb的学习:Web前端开发基础和框架、Servlet和JSP在Web后端的应用、Web后端开发相关专题、MVC和
分层架构
以及项目开发流程及CASE工具的使用等第三阶段java框架。
长沙一度IT学校
·
2024-02-04 19:34
基于Flink的实时
数仓
建设
目录:一.实时计算初期二.实时
数仓
建设三.Lambda架构的实时
数仓
四.Kappa架构的实时
数仓
五.流批结合的实时
数仓
一、实时计算初期虽然实时计算在最近几年才火起来,但是在早期也有部分公司有实时计算的需求
园陌
·
2024-02-04 12:48
第七章 主管信息系统和数据仓库
[TOC]第七章主管信息系统和数据仓库7.0前言EIS是
数仓
之前的概念EIS没有注重基础结构(数据源、数据质量、数据流通等)DSS是现代的EIS,与
数仓
紧密相连7.1EIS概述EIS典型用途趋势分析关键指标度量和跟踪向下钻取问题监控竞争分析关键性能指标监控
晨磊的微博
·
2024-02-04 04:53
学习笔记(狂神Spring5 P1-P13)
官网:http://spring.io/Spring框架是一个
分层架构
,由7个定义良好的模块组成。
广而不精zhu小白
·
2024-02-03 17:26
Spring
spring
java
java-ee
数仓
建模&维度建模理论知识
0.思维导图第1章数据仓库概述1.1数据仓库概述 数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据,借助数据仓库的分析能力,企业可从数据中获得宝贵的信息进而改进决策。同时,随着时间的推移,数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。1.2数据仓库核心架构第2章数据仓库建模概述2.1数据仓库建模的意义 数据模型就是数据组织和存
韩顺平的小迷弟
·
2024-02-03 16:02
#
大数据开发
spark
大数据
数据仓库
hadoop
hive
hadoop使用公平调度器
Stage1(默认调度器)大概在几年前,搭建的
数仓
集群中。数据量不大,做离线一个晚上就能轻松调度完,那时候使用的hadoop自带的调度器,容量调度器。但默认配置没有改,就会发生什么!
向他一样rap
·
2024-02-03 13:22
kylin
hadoop
hadoop
大数据
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他