E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据建模数据仓库
程序人生系列1-2021年通过私活累积收益1.5w
博主在B站更新了接私活的视频,感兴趣的可以移步到我的B站:博主私活记录一.个人介绍 2011年毕业,计算机专业科班出身,10年及以上金融信贷、通信行业数据库运维管理、
数据仓库
及大数据相关工作经验,持有
只是甲
·
2024-01-30 15:51
程序人生
程序员接单
私活
留学生课程作业
我是职场小白,如何能够平稳度过试用期?
背景2022整年可能大家在各个信息平台都有看到应届、试用期毕业(cy)情况,收集不少信息后发现数据这边毕业的也不少,尤其是数据分析/
数据仓库
侧(由于业务线被砍,人员使用成本太高),本节课针对于试用期该如何卷赢其他人
语兴数据
·
2024-01-30 15:32
大数据
校招
面试
职场
试用期
职业发展
数仓建设学习路线(五)-数据质量保障
数据质量,意如其名,就是数据的准确性,他是
数据仓库
的基石,控制好数据质量,是做
数据仓库
基本要求,也使得下游业务方对数据用的放心数据质量的痛点有哪些数据问题该如何上报修复,缺少流程化数据链路缺少卡点保障
语兴数据
·
2024-01-30 15:00
程序人生
Hive原理
下表描述每个单元:单元名称操作用户接口/界面Hive是一个
数据仓库
基础工具软件,
姚兴泉
·
2024-01-30 09:03
银行
数据仓库
体系实践(12)--数据管理及治理
数据仓库
作为全行数据中心能高效支持全行或全公司的统计、数据分析工作,除了稳定的ETL架构、高效的数据处理能力,流畅的开发管理流程,还需要有全面的数据管理体系,确保提供的数据准确性和高质量。
南极找南
·
2024-01-30 06:56
银行数据仓库
数据仓库
大数据
spark
ClickHouse基础介绍
而在采集数据过程中,一次页面click,会产生一个event——基于页面点击事件流,面向
数据仓库
oldba.cn
·
2024-01-30 05:06
数据库
1.ClickHouse的基础介绍
一、ClickHouse基础介绍1.1介绍ClickStream,DataWarehouse点击流
数据仓库
在采集数据过程中,一次页面click,会产生一个event。
oldba.cn
·
2024-01-30 05:35
数据库
5000多张数据表,如何用SQL迁移到
数据仓库
?
来自公众号:SQL数据库开发作者丶平凡世界需求背景最近公司打算集中梳理几大业务系统的数据,希望将各个业务系统中的数据集中到
数据仓库
中。
码农小光
·
2024-01-29 15:33
数据仓库
(Data Warehouse,DW)
目录1、基本概念2、
数据仓库
特点2.1面向主题SubjectOriented2.2集成Integrated2.3非易失Non-Volatile2.4反应历史变化TimeVariant3、
数据仓库
VS数据库
猿来孺词
·
2024-01-29 10:25
离线数仓
数据仓库
大数据
数据库
分布式
数据分析
数据仓库
模型设计:从架构到实践的全方位指南
数据仓库
作为组织中管理和分析数据的关键平台,其建设规范对于确保数据的准确性和完整性至关重要。一、数仓模型架构在构建
数据仓库
时,首先需要明确模型架构,以确保
数据仓库
的高内聚和低耦合,以及数据的分层管理。
猿来孺词
·
2024-01-29 10:51
数据仓库
架构
大数据
2024年1月19日Arxiv最热论文推荐:伯克利提出加速3D
数据建模
新方法、ICLR 2024论文让AI不再遗忘、谷歌新模型让一切皆可分割、北大多模态大模型用语言操控视频修复
本文整理了今日发表在ArXiv上的AI论文中最热门的TOP5。论文解读、论文热度排序、论文标签、中文标题、推荐理由和论文摘要均由赛博马良平台(saibomaliang.com)上的智能体「AI论文解读达人」提供。如需查看其他热门论文,欢迎移步saibomaliang.com^_^Top1EnablingEfficientEquivariantOperationsintheFourierBasisv
夕小瑶
·
2024-01-29 08:12
人工智能
nlp
语言模型
深度学习
大模型
【美团】交易系统平台-
数据仓库
研发工程师
更新时间:2024/01/28|工作地点:北京市|事业群:到家事业群|工作经验:3年部门介绍到家研发平台秉承“零售+科技”战略,致力于推动餐饮、零售需求侧和供给侧数字化升级,构建了超大规模的在线交易平台和实时调度系统,保障了百万商家和亿级用户的高效安全交易,实现了对百万骑手所在物理世界全链路的数字化。随着万物到家业务战略推进,我们在需求侧致力于通过大数据与大算力深度融合,建设强大的LBS零售电商系
探小虎
·
2024-01-29 08:53
大厂工作机会
数据仓库
java
spring
kafka
[架构之路-255]:目标系统 - 设计方法 - 软件工程 - 软件设计 - 架构设计 - 软件架构风格:串行-数据流风格、同步调用返回风格、并行异步分发与接收风格、虚拟机风格、
数据仓库
风格
目录前言:一、建筑风格1.1什么是建筑风格1.2常见的建筑风格1.3如何区分不同的建筑风格二、软件架构风格概述2.1什么是软件架构风格2.2如何区分不同的软件架构风格2.3软件架构风格的发展阶段2.4软件架构风格与软件架构的区别2.5常见的软件架构风格的种类1.8复杂软件系统可以组合多种架构风格二、常见的软件架构风格详解2.1A-串行-数据流风格:适合数据面业务处理(数据面)(1)A-串行-数据流
文火冰糖的硅基工坊
·
2024-01-29 00:25
架构之路
架构
软件工程
风格
关于hive 的迁移 之 表结构批量迁移
image.png我们在做数据治理
数据仓库
的时候,集群数据迁移时必不可少的一项,因为什么呢,比如1刚开始集群搭在亚马逊aws,几十万美金的创业红包用完了,差不多三四个月,2aws的小规模集群也有900TB
Helen_Cat
·
2024-01-28 16:44
工厂生产管理MES系统,开源代码+维护
系统包括系统管理,车间基础
数据建模
,计划管理,物料控制,生产执行,质量管理,库存管理,看板管理,数据
万界星空科技
·
2024-01-28 15:58
开源
开源mes
MES
制造
科技
经验分享
能源
运维
开源软件
开源
Hive面试题*精选*!附答案!!!
HIVE面试一、Hive的基本概念1.什么是hiveHive是一款开源的基于hadoop的用于统计海量结构化数据的一个
数据仓库
,它定义了简单的类似SQL的查询语言,称为HQL,允许熟悉SQL的用户查询数据
yhy_only
·
2024-01-28 07:36
hive
学习
大数据
hive面试题总结(大数据面试)
Hive概述Hive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射成为一张数据库表,并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。
404个问号
·
2024-01-28 07:02
大数据
大数据
hive
java
hive面试题
0.思维导图1.简述Hive♥♥ 我理解的,hive就是一款构建
数据仓库
的工具,它可以就结构化的数据映射为一张表,并且可以通过SQL语句进行查询分析。
韩顺平的小迷弟
·
2024-01-28 07:29
大数据面试题
hive
hadoop
数据仓库
常见OLAP对比
Olap(On-lineAnalyticalProcessing,联机分析处理):是在基于
数据仓库
多维模型的基础上实现的面向分析的各类操作的集合。
不加班程序员
·
2024-01-28 00:34
Hadoop相关
数据库
大数据
数据分析
总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样
总监眼里的数仓和中台、报表平台的概念及意义和你认为的不一样在大数据时代,
数据仓库
、中台和报表平台等概念逐渐成为企业数字化转型的热门话题。然而,不同职位和背景的人对这些概念的理解可能存在差异。
UI设计前端开发一线员工
·
2024-01-27 19:03
electron
javascript
前端
信息可视化
低代码
【华为云-云驻共创】数据高速公路—数仓集群通信技术详解
数据仓库
服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。GaussDB(DWS)是基于华为融合
数据仓库
Gaus
IT民工金鱼哥
·
2024-01-27 18:29
在华为云社区的故事
华为云
GaussDB
LeetCode算法之----动态规划
目录【一】前言【二】打家劫舍【三】不同路径【四】最小路径和【五】零钱兑换【二】总结【一】前言算法编程里面动态规划可谓是一个必须要掌握的一大算法题型了,它充分考察一个人的
数据建模
与分析能力、抽象思维以及边界
程序大视界
·
2024-01-27 13:16
《算法/数据结构篇》
面试
职场和发展
动态规划
算法
leetcode
银行
数据仓库
体系实践(11)--
数据仓库
开发管理系统及开发流程
数据仓库
管理着整个银行或公司的数据,数据结构复杂,数据量庞大,任何一个数据字段的变化或错误都会引起数据错误,影响数据应用,同时业务的发展也带来系统不断升级,数据需求的不断增加,
数据仓库
需要不断的升级和维护
南极找南
·
2024-01-27 08:51
银行数据仓库
数据仓库
银行
数据仓库
体系实践(10)--汇总指标层和集市模型设计
建立多层次的数据访问服务体系,有力提升
数据仓库
的价值。基于指标汇总层、集市层、可以提供面向业务人员的即席数据查询、以及面向应用开发者的数据接口、应用访问接口,满足不同类型应用的需要。
南极找南
·
2024-01-27 08:21
银行数据仓库
数据仓库
银行
数据仓库
体系实践(8)--主数据模型设计
主数据区域中保留了
数据仓库
的所有基础数据及历史数据,是
数据仓库
中最重要的数据区域之一,那主数据区域中主要分为近源模型区和整合(主题)模型区。上一节讲到了模型的设计流程如下图所示。
南极找南
·
2024-01-27 08:36
银行数据仓库
数据仓库
【技术预研】StarRocks官方文档浅析(2)
参考文档产品简介|StarRocksStarRocksStarRocks是一款高性能分析型
数据仓库
,使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析
偏振万花筒
·
2024-01-27 06:16
大数据
starRocks
数据库
1分钟了解基于Hadoop的
数据仓库
工具Hive(附超实用示例)
Hive功能Hive是基于Hadoop构建的一套
数据仓库
分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据:可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL
yuyuyuyo
·
2024-01-27 05:53
企业
数据仓库
环境
企业
数据仓库
环境企业
数据仓库
(EDW)是从普通
数据仓库
演变而来的,它们已在上篇文章中进行了描述。企业
数据仓库
试图表示组织的所有业务数据及其业务规则,而不是将重点放在单个主题域进行分析。
DataVault善哉
·
2024-01-27 00:04
Hive调优策略
Hive调优策略Hive作为大数据领域常用的
数据仓库
组件,在设计和开发阶段需要注意效率。
奋斗的蛐蛐
·
2024-01-26 23:24
MySQL技术探究(1)「索引技术」体验前所未有的技术探险,看穿索引的本质和技术体系(上篇)
数据库类型OLAP:联机分析处理----对海量历史数据进行分析,产生决策性的策略----
数据仓库
—HiveOLTP:联机事务处理----要求很短时效内返回对应的结果----数据库—关系型
洛神灬殇
·
2024-01-26 22:26
数据仓库
现代化和迁移解决方案Datametica
Datametica利用自动化将数据/工作负载/ETI/分析迁移到云,从而为企业提供支持。Datametica是一家通过建立数据湖来帮助企业实现数据平台现代化的公司,该数据湖安全地保存结构化和非结构化数据。随着企业数据湖从各种来源收集大量数据,需要利用信息并帮助做出更明智的业务决策。Datametica通过使用大数据技术和独特的自动化技术建立数据湖来帮助企业,这有助于以更快的速度和更低的成本完成该
weixin_30777913
·
2024-01-26 20:20
数据仓库
数据中台架构原理与开发实战:构建数据中台的步骤与方法
它可以对业务数据进行收集、加工处理、存储、分析,为各个部门提供简单有效的数据服务,包括
数据仓库
、数据湖、数据应用平台等。
OpenChat
·
2024-01-26 20:15
AI实战
大数据AI人工智能
Python实战
大数据
人工智能
语言模型
Java
Python
架构设计
135.如何进行离线计算-1
应用场景用户流失预警系统基于用户购买的挽回系统用户特征和规则提取系统数据分析系统用户画像系统流程数据采集数据预处理
数据建模
ETL数据导出工作流调度135.1数据采集Flume收集服务器日志到hdfstype
大勇任卷舒
·
2024-01-26 15:03
ERD Online 4.0.0新版本震撼来袭,超强国产免费在线
数据建模
系统
ERDOnline可以帮你做…开箱即用,将注意力集中在数据结构设计上快速复制已有表结构、json生成表在线管理表结构,支持正向向数据库执行将已有的数据库结构解析到软件中管理支持多种数据库连接在线管理(Mysql、Oracle、DB2、SqlServer、PostGreSql)每个需求与变动,都可以生成版本,每个版本之间可以比对差异可将所有表结构,自动生成word、html、md文档,便于线下流动。
ERD Online
·
2024-01-26 14:03
ERD-ONLINE
数据库
建模
在线
元数据
血缘
ERD-ONLINE 免费在线数据库建模工具
ERD-ONLINE说明功能特点ERD-ONLINE是一款在线协作
数据仓库
设计软件,无需本地安装应用程序,在线操作数据库,是桌面
数据建模
工具的一个优秀的替代方案。
ERD Online
·
2024-01-26 14:02
ERD-ONLINE
数据建模
在线
web
ERD
ERD Online:
数据建模
的未来已来!
ERDOnline:
数据建模
的未来已来!在数字化时代,数据是新的石油。但是,没有合适的工具,我们就无法有效地开采这种资源。
ERD Online
·
2024-01-26 13:38
后端
数字经济时代的数据管理利器:ERD Online
数字经济时代的数据管理利器:ERDOnline在这个数据驱动的数字经济时代,
数据建模
和元数据管理已经成为企业获取竞争优势的关键。
ERD Online
·
2024-01-26 13:38
后端
ERD Online:打造
数据建模
的未来(文末送微信红包封面) ✨
ERDOnline:打造
数据建模
的未来(文末送微信红包封面)✨在数据驱动的今天,数据库设计和管理的重要性不言而喻。但是,传统的
数据建模
工具往往局限于桌面软件,缺乏灵活性和协作性。
ERD Online
·
2024-01-26 13:07
后端
用户画像项目背景
1,用户画像项目介绍大数据平台简介
数据仓库
+用户画像+推荐系统(1)
数据仓库
:加快数据的分析和查询
数据仓库
分层:ODS层(映射HDFS的数据)—DW(
数据仓库
层)–APP(层)—BI(层)DW:DWD明细数据层
祈愿lucky
·
2024-01-26 13:20
大数据
spark
kafka
第2章 信息技术发展——2.1 信息技术及其发展
软件定义网络3.第五代移动通信技术2.1.3存储和数据库1.存储技术2.数据结构模型1)层次模型2)网状模型3)关系模型3.常用数据库类型1)关系型数据库2)非关系型数据库3)不同存储方式数据库的优缺点4.
数据仓库
Mrlibai
·
2024-01-26 07:06
信息系统项目管理
网络
信息与通信
笔记
学习
深度干货|谈谈阿里云AnalyticDB Spark如何构建低成本数据湖分析
文/李少锋阿里云瑶池旗下的云原生
数据仓库
AnalyticDBMySQL版是基于湖仓一体架构打造的实时湖仓。本文将分享AnalyticDBMySQLSpark助力构建低成本数据湖分析的最佳实践。
阿里云瑶池数据库
·
2024-01-26 06:57
阿里云
spark
云计算
Docker安装Clickhouse详细教程
简介ClickHouse是一种列式数据库管理系统,专门用于高性能数据分析和
数据仓库
应用。它是一个开源的数据库系统,最初由俄罗斯搜索引擎公司Yandex开发,用于满足大规模数据分析和报告的需求。
AscendKing
·
2024-01-26 01:13
clickhouse
大数据|Spark介绍
前文回顾:Hive和
数据仓库
目录为什么会有SparkSpark的基本架构和组件主要体系结构和组件Spark集群的基本结构Spark系统的基本结构Spark应用程序的基本结构Spark程序运行机制⭐️Spark
啦啦右一
·
2024-01-25 21:08
大数据与数据分析
#
大数据管理与分析笔记
大数据
spark
sqoop之hive
数据仓库
和oracle数据库数据转换
1sqoop简介1.1什么是sqoop?sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递,可以将一个关系型数据库(例如:MySQL,Oracle,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于2009年,最早是作为Hadoop的一个
Summer_1981
·
2024-01-25 20:37
三层架构到DDD分层架构的演变
数据访问层业务接口层:主要是API的定义,包括资源路径定义、请求报文接受、响应报文返回、请求编码等定义的内容;业务逻辑层:主要做业务逻辑处理,这一层包括数据映射DTO转VO,业务核心逻辑编写,组合不同
数据仓库
rickJinzhu
·
2024-01-25 19:59
银行
数据仓库
体系实践(7)--数据模型设计及流程
数据仓库
作为全行或全公司的数据中心和总线,汇集了全行各系统以及外部数据,通过良好的系统架构可以保证系统稳定性和处理高效性,那如何保障系统数据的完备性、规范性和统一性呢?
南极找南
·
2024-01-25 17:51
银行数据仓库
数据仓库
大数据
银行
数据仓库
体系实践(5)--数据转换
数据转换作业主要是指在
数据仓库
内的结构化数据批量加工,对于非结构化数据以及在线查询接口、数据流的开发主要是遵循代码开发规范以及各中间件的开发规范,如使用java来开发遵守java开发规范,使用Kafka
南极找南
·
2024-01-25 17:21
银行数据仓库
数据仓库
银行
数据仓库
体系实践(6)--调度系统
调度系统是
数据仓库
的重要组成部分,也是每个银行或公司一个基础软件或服务,需要在全行或全公司层面进行规划,在全行层面统一调度工具和规范,由于数据类系统调度作业较多,交易类系统批量优先级高,为不互相影响可以和交易类系统独立分开
南极找南
·
2024-01-25 17:19
银行数据仓库
数据仓库
白话文讲
数据仓库
系统
标准的
数据仓库
系统一般包含四层:ETL层、
数据仓库
层、数据集市层、应用展现层。数据其实本质上就是一种虚拟商品。
数据仓库
系统实现的就是将虚拟的商品(数据)从原材料到成品售卖的过程。
江边蚊子
·
2024-01-25 15:23
大数据分析组件Hive-集合数据结构
Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的
数据仓库
基础设施,用于处理大规模分布式数据集。
Aimyon_36
·
2024-01-25 15:15
Hive
数据分析
hive
数据结构
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他