E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
clickhouse数据仓库
ETL详解--
数据仓库
技术
一、ETL简介ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,是
数据仓库
的生命线
小菠萝Mm
·
2024-01-13 07:45
数据仓库
etl
学习
数据库
年终总结各类表格模板Excel,大屏可视化,PPT总结等
AIGCChatGPT职场案例AI绘画与短视频制作PowerBI商业智能68集数据库Mysql8.054集数据库Oracle21C142集Office2021实战应用Python数据分析实战,ETLInformatica
数据仓库
案例实战
阿里数据专家
·
2024-01-13 06:15
ChatGPT实战案例
ChatGPT
与
Python
ChatGPT
excel
powerpoint
prompt
chatgpt
AIGC
oracle
PostgreSQL使用
clickhouse
db_fdw访问
ClickHouse
作者:杨杰简介PostgreSQLFDW是一种外部访问接口,它可以被用来访问存储在外部的数据,这些数据可以是外部的PG数据库,也可以mysql、
ClickHouse
等数据库。
PostgreSQLChina
·
2024-01-13 06:53
数据仓库
研发规范
数据仓库
研发规范本文将介绍
数据仓库
研发规范的阶段规划、角色职责和整体流程。在大数据时代,规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。
左美美  ̄
·
2024-01-13 06:55
数据仓库
基于大数据与时间序列预测的的书籍数据分析(内含spark+hive+mysql+kettle+echart+tensorflow)
tensorflow简介(二)前端相关技术1.HTML简介2.echarts简介(三)相关数据库1.Mysql简介2.hive简介三.需求分析三.系统设计项目框架:系统目的:数据库设计:四.系统实现1.预处理:
数据仓库
左岸2420
·
2024-01-13 05:59
数据库
大数据
深度学习
大数据
spark
hive
mysql
tensorflow
echarts
Hive学习笔记(Hive数据的定义与操作)
管理表外部表修改表删除表分区表静态分区动态分区HiveQL数据操作向管理表中装载数据经查询语句向表中插入数据单个查询语句中创建表并加载数据导入数据导出数据Hive数据定义与操作HiveQL数据定义语言Hive
数据仓库
中的
ジ時光不老
·
2024-01-13 04:22
Hive学习
java
开发语言
后端
Hive数据定义(1)
hive数据定义是hive的基础知识,所包含的知识点有:
数据仓库
的创建、
数据仓库
的查询、
数据仓库
的修改、
数据仓库
的删除、表的创建、表的删除、表的修改、内部表、外部表、分区表、桶表、表的修改、视图。
冬瓜的编程笔记
·
2024-01-13 04:47
大数据
hive
hadoop
数据仓库
2022字节跳动【
数据仓库
工程师】日常实习面经-----一面
文章目录一,自我介绍二,问答阶段三,代码阶段四,反问五,总结背景:今年金三银四,看着大家都在疯狂找实习offer,不甘落后的我也信心满满(毫无把握)的去字节面试(现在想想真是胆大,都还没学扎实)一,自我介绍二,问答阶段shuffle阶段详细介绍回答环形缓冲区,分区排序,溢写磁盘,reduce再抽取归并等等计算单元和实际block存储单元不在一个机器节点上,这样会带来大量的IO操作,Hadoop如何
dyson不只是吹风机
·
2024-01-13 03:34
面试
数据仓库
大数据
第三阶段、
数据仓库
一、
数据仓库
的基本定义:1.
数据仓库
:简称DW或DWH,是数据库的一种概念上的升级,是为企业所有级别的决策制定过程,出于分析性报告和决策支持目的而创建。
ATPX4869l
·
2024-01-13 01:14
如何解决NAND系统性能问题?--NAND分类
一、故事引言想象一下,你正在管理一座神奇的
数据仓库
,这个仓库没有沉重的门、旋转的磁盘和机械手臂,而是由一群训练有素的“数据小飞侠”组成。
古猫先生
·
2024-01-13 01:15
NAND
大数据
linux
性能优化
服务器
【数据库学习】
ClickHouse
(ck)
1,
ClickHouse
(CK)是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。
兔兔西
·
2024-01-13 01:39
数据库
学习
clickhouse
ClickHouse
(21)
ClickHouse
集成Kafka表引擎详细解析
文章目录Kafka表集成引擎配置Kerberos支持虚拟列资料分享参考文章Kafka表集成引擎此引擎与ApacheKafka结合使用。Kafka特性:发布或者订阅数据流。容错存储机制。处理流数据。老版Kafka集成表引擎参数格式:Kafka(kafka_broker_list,kafka_topic_list,kafka_group_name,kafka_format[,kafka_row_del
张飞的猪大数据
·
2024-01-13 01:39
ClickHouse入门与实战
clickhouse
kafka
大数据
数据库
数据仓库
etl
在Ubuntu主机上使用USB无线网卡
前言上个月冲动消费攒了一台华擎DeskMiniX300小主机,装了Ubuntu22.04,用来解决M1芯片MacBookPro上无法编译x86_64架构的StarRocks和
ClickHouse
的问题。
LittleMagic
·
2024-01-13 00:16
从 AutoMQ Kafka 导出数据到 Databend
作者:韩山杰DatabendCloud研发工程师https://github.com/hantmacDatabend是使用Rust研发、开源的、完全面向云架构、基于对象存储构建的新一代云原生
数据仓库
,为企业提供湖仓一体化
Databend
·
2024-01-12 20:44
开源
数据库
云原生组件笔记 --
ClickHouse
文章目录一、入门1.1简介1.2单机部署1.3高可用集群1.4分布式集群1.5数据类型二、表引擎2.1Log2.2Integration2.3Special2.4MergeTree2.4.1MergeTree2.4.2ReplacingMergeTree2.4.3SummingMergeTree三、SQL操作3.1DML3.2DQL3.3DDL四、优化4.1建表优化4.1.1数据类型4.1.2分区
L小Ray想有腮
·
2024-01-12 15:46
ClickHouse
介绍
ClickHouse
官方文档地址OLAP场景的关键特征
ClickHouse
的特点接口引擎数据库引擎延时引擎LazyAtomicMySQL数据库引擎表引擎合并树家族VersionedCollapsingMergeTree
“孤酒”
·
2024-01-12 15:46
ClickHouse
大数据
nosql
clickhouse
的SQL参考——(一)select
参考资料https://
clickhouse
.tech/docs/en/sql-reference/statements/select/版本:v20.11目录参考资料总览语法select字句COLUMNS
Aiky哇
·
2024-01-12 15:45
clickhouse
数据仓库
clickhouse
配置项system.settings详解
调研学习
clickhouse
,上一章介绍了
clickhouse
的配置项users.xml,这一章介绍另一大项config.xml从
clickhouse
的官网看,
clickhouse
的配置参数主要分了两大方面
Aiky哇
·
2024-01-12 15:15
clickhouse
测试调研
数据仓库
ClickHouse
中JOIN算法选择逻辑以及auto选项
ClickHouse
中JOIN算法选择逻辑以及auto选项
ClickHouse
中的JOIN的算法有6种:Direct;Partialmerge;Hash;Gracehash;Fullsortingmerge
Ahxing1985
·
2024-01-12 15:11
Clickhouse
大数据
技术
算法
clickhouse
join
连接
GBASE南大通用 GBase 8a 产品构建数仓系统架构
lGBASE南大通用GBase8a产品构建数仓应用的系统架构:架构技术实现特点适用场景独立
数据仓库
(集市)系统架构一套GBase8a物理集群适用于数据规模较小的业务场景适用于各业务之间数据互访较频繁的业务场景适用于单一独立的业务场景企业级数仓系统架构多套
GBASE数据库
·
2024-01-12 12:04
数据库
GBASE南大通用
GBASE
clickhouse
优化实践,万级别QPS数据毫秒写入和亿级别数据秒级返回 | 京东云技术团队
目前采用
ClickHouse
来存储数据,可以在秒级别内处理数十亿条数据,能够达到50MB-200MB/s的写入吞吐能力,按照每行100Byte估算
京东云技术团队
·
2024-01-12 12:29
clickhouse
京东云
【技术选型】Doris vs starRocks
目标诉求并发性不能太低——相比于
clickhouse
不到100的QPS支持大表关联——降低数据清洗的压力,因为oneId有可能实时变化集群化——需要有一定扩展能力,以针对不同量级客户可维护——C++底层代码背景说明
偏振万花筒
·
2024-01-12 08:41
大数据
大数据
分布式
【数据库学习】hive
1,HIVEHadoop的
数据仓库
处理工具,数据存储在Hadoop兼容的文件系统(例如,AmazonS3、HDFS)中。
兔兔西
·
2024-01-12 08:50
数据库
学习
hive
【大数据面试】常见数仓建模面试题附答案
常见面试题
数据仓库
面试题-理论相关什么是
数据仓库
?如何构建
数据仓库
?概念模型、逻辑模型、物理模型分别介绍一下?SCD常用的处理方式有哪些?模型设计的思路?业务驱动?数据驱动?数仓架构为什么要分层?
话数Science
·
2024-01-12 07:28
面试
大数据
大数据
Hive解析json数组
在使用Hive搭建
数据仓库
,处理数据时,同传统数仓的结构化数据不同,我们经常会遇到一些非结构化的数据,json格式的字符串就是常见的一种类型。
风筝flying
·
2024-01-12 03:47
java导出+多sheet
java导出+多sheet/***导出三个sheet*@paramcheckAnalysisVo*@paramresponse*/@DS("
clickhouse
")@OverridepublicvoiddownloadModeMore
魏万燚
·
2024-01-11 23:36
java
开发语言
Hive数据库:嵌入、本地、远程全攻略(上)
Hive分布式
数据仓库
工具关系型数据库建立在关系模型之上的数据库称为关系型数据库(关系模型是由埃德加·科德于1970年提出的),关系型数据库借助集合代数等数学概念处理数据库中的数据。
小伍_Five
·
2024-01-11 22:03
hive
数据库
分析型数据库产品的排头兵GBase 8a
它是在GBase8a列存储数据库基础上开发的一款SharedNothing架构的分布式并行数据库集群,具备高性能、高可用、高扩展等特性,可以为各种规模数据管理提供高性价比的通用计算平台,并广泛用于支撑各类
数据仓库
系统
any_2311
·
2024-01-11 14:53
数据库
database
big
data
在docker中搭建部署
clickhouse
因需要给网关日志拉取并存储供数据分析师分析,由于几十个项目的网关请求数量很大,放在mysql不合适,MongoDB不适合分析,于是准备存放在
clickhouse
,
clickhouse
对于读写支持也比较友好
oNuoyi
·
2024-01-11 14:59
docker
docker
clickhouse
容器
在springboot中集成
clickhouse
进行读写操作
上篇文章讲了如何在docker中搭建
clickhouse
,本篇记录一下在springboot中如何集成
clickhouse
并进行读写1、引入依赖com.baomidoumybatis-plus-boot-starter3.4.3.4mysqlmysql-connector-javacom.alibabadruid-spring-boot-starter1.1.132
oNuoyi
·
2024-01-11 14:59
springboot
spring
boot
clickhouse
后端
压测
clickhouse
性能相关参数
背景:压测ck性能一直上不去,但是ck负载不大。尝试调整参数,验证是否有性能提升1、background_common_pool_sizeSetsthenumberofthreadsperformingbackgroundnon-specializedoperationslikecleaningthefilesystemetc.fortableswithMergeTreeengines.Could
qq_35640866
·
2024-01-11 09:56
clickhouse
clickhouse
clickhouse
使用springboot,lz4报错
1、pomorg.lz4lz4-java1.8.0com.
clickhouse
clickhouse
-jdbc0.4.6
xixiyuguang
·
2024-01-11 07:20
clickhouse
spring
boot
java
麒麟系统安装docker、mysql、
clickhouse
1、查看麒麟系统版本信息cat/etc/os-release麒麟系统版本V1064位操作系统#uname-px86_64#uname-paarch64内核版本#uname-r4.19.90-24.4.v2101.ky10.x86_64本操作为麒麟系统版本V10,x86_64操作系统一,安装docker文件:docker-compose-linux-x86_64docker-19.03.0.tgza
重逢是最好的邂逅
·
2024-01-11 05:34
docker
clickhouse
容器
【大数据架构】OLAP实时分析引擎选型
OLAP分析场景中,一般认为QPS达到1000+就算高并发,而不是像电商、抢红包等业务场景中,10W以上才算高并发,毕竟数据分析场景,数据海量,计算复杂,QPS能够达到1000已经非常不容易原理优势劣势
Clickhouse
Clickhouse
话数Science
·
2024-01-11 04:33
大数据
大数据
架构
【大数据OLAP引擎】StarRocks为什么快?
StarRocks的优势StarRocks最初主要的优势是性能,当时在单表查询方面与性能标杆
ClickHouse
不相上下,而join优化特性使其在多表关联查询场景下的性能表现要远远优于
ClickHouse
话数Science
·
2024-01-11 04:33
StarRocks
大数据
大数据
架构
Hive(总)看完这篇,别说你不会Hive!
2.2HiveJDBC访问2.2.1启动hiveserver2服务2.2.2连接hiveserver2服务2.2.3注意2.3Hive常用交互命令2.4Hive其他命令操作2.5Hive常见属性配置2.5.1
数据仓库
位置配置
Archie_java
·
2024-01-11 03:22
大数据
hive
hadoop
数据仓库
【大数据进阶第三阶段之
ClickHouse
学习笔记】
ClickHouse
的简介和使用
1、
ClickHouse
简介
ClickHouse
是一种列式数据库管理系统(DBMS),专门用于高性能数据分析和
数据仓库
应用。
Allen_lixl
·
2024-01-10 20:41
大数据
ClickHouse
大数据
clickhouse
学习
数仓规范
转自:https://mp.weixin.qq.com/s/mGkYRj8iV5_QvNMjS7bpIQ
数据仓库
是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
听雪10
·
2024-01-10 15:37
【技术选型】
clickhouse
vs starRocks
比对结论如果只能单机部署的话,
clickhouse
基本无敌。
偏振万花筒
·
2024-01-10 10:12
clickhouse
starRocks
大数据
系分笔记数据库技术之分布式数据库和
数据仓库
文章目录1、概要2、分布式数据库3、
数据仓库
4、总结1、概要 数据库设计是考试重点,常考和必考内容,本篇主要记录了知识点:分布式数据库和
数据仓库
。
说来世事不如闲~
·
2024-01-10 08:07
笔记
数据库
分布式
外包-某行大数据开发-一面
估计是因为见到过我这种简历太多了,然后面试官直接问了问题1.
clickhouse
熟悉吗?2.shell熟悉吗,问了两个问题。1.如何获取文件的第一行?2.shell中怎么拼接两个字符串?
劝学-大数据
·
2024-01-10 07:47
个人面试真题记录
大数据
mysql-存储引擎
MyISAMmylsam是基于isam存储引擎,并对其扩展,它是web,
数据仓库
和其它应用环境下最常用的储存
一个喜欢烧砖的人
·
2024-01-10 06:17
ShardingSphere-JDBC初探
切换产品指的是换成es、
clickhouse
、hbase这种支持大数据,试想一下切换产品对整个项目的改动有多恐怖注意:分库分表并不是为了提升性能!!!
有梦想的年轻人6174
·
2024-01-10 03:25
java
分布式
ClickHouse
(07)
ClickHouse
数据库引擎解析
这里会介绍
ClickHouse
几种数据库引擎,已经对应的特点和应用的场景。数据库引擎允许您处理数据表。默认情况下,
ClickHouse
使用Atomic数据库引擎。
张飞的猪大数据
·
2024-01-10 02:41
大数据OLAP引擎发展原因及特性分析
在大数据高速发展时期,多个技术团队基于OLAP的应用需求,开发出多种OLAP技术,如Hive、SparkSql、FlinkSql、Impala、Kylin、
ClickHouse
、Doris等,或者在实现其他应用需求的时候
i7杨
·
2024-01-10 01:31
大数据技术分析
大数据
2021-06-08 clichouse 相关使用
mysql,
clickhouse
语法对比选择查询[WITHexpr_list|(subquery)]SELECT[DISTINCT]expr_list[FROM[db.]table|(subquery)
5A风景区
·
2024-01-09 18:43
git入门使用
git介绍git是一个分布式版本管理控制系统,而SVN不是分布式的,git没有一个全局的版本号,而SVN有一个确定的全局版本号;git与SVN的结构如下图:git工作区、暂存区和版本库(
数据仓库
Repository
xiaofeilongyu
·
2024-01-09 18:49
工具
git
基于springboot的停车场管理系统-计算机毕业设计源码82061
摘要由于数据库和
数据仓库
技术的快速发展,停车场管理系统建设越来越向模块化、智能化、自我服务和管理科学化的方向发展。
vx_cxsj813
·
2024-01-09 16:01
spring
boot
课程设计
后端
java
php
开发语言
python
【读书笔记】《 Hadoop构建
数据仓库
实践》第1章
02-《Hadoop构建
数据仓库
实践》.jpg第1章
数据仓库
简介1.1什么是
数据仓库
Inmon将
数据仓库
描述为一个面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持管理者的决策过程。
笔名辉哥
·
2024-01-09 15:01
Hive基础知识(一):Hive入门与Hive架构原理
Hive是基于Hadoop的一个
数据仓库
工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
依晴无旧
·
2024-01-09 13:25
大数据
hive
架构
hadoop
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他