数据湖（Delta

夯实数据“底座”，AWS完整云存储阵容吹响“集结号”

回顾企业数据的演进史，从早期的数据报表，到实时互动的仪表盘，到数据仓库，到今天的数据湖。企业拥有生产经营各个环节产生的、产品和服务相关环节背后隐藏的，以及企业利益相关者等方方面面的数据。
云智时代·2023-09-28 23:58

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖
KaiwuDB 数据库·2023-09-28 21:17

禾观科技采用亚马逊云科技的数据湖，实现数据化驱动运营的核心

如今，随着本土业务发展渐趋成熟，越来越多的中国企业开始依托跨境电商实现产品出口外销，大力拓展海外布局。在这一背景下，众多潜在机遇涌现，成为跨境电商“蓝海”的必争之地。杭州禾观科技有限公司是面向全球新兴快时尚的时尚品牌，是一家科技驱动的B2C电商，坚信人机结合的数据科学理念。应用亚马逊云科技广泛而深入的全球化基础设施、以及全托管的机器学习解决方案，禾观科技业务稳定性、可扩展性得到保障，智能搜索技术得
前沿商业·2023-09-28 14:34

产品解读 | 数据服务平台：KDP

以一体多模的大数据基础平台作为基座，提供OLTP、OLAP、HTAP、时序、图、全文检索、宽表等多种数据存储和计算服务；此外，还提供上层数据集成、数据开发、数据治理、数据共享、数据可视化、智能BI等功能，致力于满足企事业单位数据湖
·2023-09-27 16:55

现代数据架构-湖仓一体

当前的数据架构已经从数据库、数据仓库，发展到了数据湖、湖仓一体架构，本篇文章从头梳理了一下数据行业发展的脉络。
ladofwind·2023-09-27 14:59

【自学记录】深度学习入门——基于Python的理论与实现（第4章 神经网络的学习）

损失函数#损失函数#均方误差defmean_squared_error(y,t):return0.5*np.sum((y-t)**2)#交叉熵误差def_cross_entropy_error(y,t):delta
__0077·2023-09-27 08:22

基于 DTS 同步 MySQL 全增量数据至 CKafka，构建实时数仓的最佳实践

通常企业会构建数据湖仓，将多个数据源通过数据集成技术，汇集一起进行数据分析。由此，数据集成成为了构建数据湖仓的必经之路，然而企业在数据集成过程中却面临很多棘手问题。全量
·2023-09-26 21:29

Σ-Δ ADC的高精度数模转化，是如何实现的？

我们在了解Delta-Sigma(Σ-Δ)ADC原理之前，先明确几个概念：1.量化噪声下图中，蓝色斜线是连续的模拟信号，阶梯状波形是经过ADC转换后的离散信号。
xiebingsuccess·2023-09-26 10:17

有一种风险让期权交易员如坐针毡——谨慎管理 “大头针风险”

专业的期权交易员，尤其是期权做市商，在交易过程中通常都会追求投资组合的Delta保持中性，以回避标的物价格波动的风险。
qmhedging·2023-09-26 08:41

Mina中的delta_transition_chain_proof/delta_block_chain_proof

1.引言Mina区块中的delta_transition_chain_proof/delta_block_chain_proof字段的主要目的是：Proofthattheblockwasproducedwithintheallottedslottime
mutourend·2023-09-26 07:23

Hudi数据湖技术引领大数据新风口(四)核心概念

文章目录第3章核心概念3.1基本概念3.1.1时间轴（TimeLine）3.1.2文件布局（FileLayout）3.1.3索引（Index）后记第3章核心概念3.1基本概念3.1.1时间轴（TimeLine）Hudi的核心是维护表上在不同的即时时间（instants）\执行的所有操作的时间轴（timeline）\，这有助于提供表的即时视图，同时还有效地支持按到达顺序检索数据。一个instant由
Maynor996·2023-09-25 06:27

【Phoenix】phoenix实现每个Primarykey主键保留N版本数据，CDC数据记录为Changelog格式

另外数据湖Hudi(0.13.1)是不支持保存所有Changelog其Compaction机制会清除所有旧版本的内容。
lisacumt·2023-09-25 04:12

Zoom 在数据湖上的流批一体架构实践！

1.背景OnZoom是Zoom新产品，是基于ZoomMeeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸，OnZoom是一个综合性解决方案，为付费的Zoom用户提供创建、主持和盈利的活动，如健身课、音乐会、站立表演或即兴表演，以及Zoom会议平台上的音乐课程。在OnZoomdataplatform中，source数据主要分为MySQLDB数据和Log数据。其中Kafka
程序员的隐秘角落·2023-09-25 02:25

PDM（熔融沉积型）工艺系统

运动系统：主流FDM成型设备主要采用两种运动系统结构，一是笛卡尔型，又称XYZ型或Cartesian型；二是并联臂型，又称Delta型或三角洲型。
锋笑·2023-09-24 19:47

数据湖在爱奇艺数据中台的应用

01我们眼中的数据湖作为爱奇艺的数据中台团队，我们的核心任务是管理和服务公司内的大量数据资产。在实施数据治理的过程中，我们不断吸收新的理念，引入尖端的工具，以精细化我们的数据体系管理。
爱奇艺技术产品团队·2023-09-24 18:31

大数据杂谈

架构师如何在面试中说服面试官根据课程项目做一些改动（变成自己熟悉的东西），形成一个新的项目，去增强面试的能力学习建议勤动手，执行范例多思考结合实际业务，深入思考会排错查看日志学会查阅官方文档定目标做分享所学知识运用到实际项目中番外数据湖是数仓的增强版本格式管理数据管理时间旅行
February13·2023-09-24 08:26

大数据的崭露头角：数据湖与数据仓库的融合之道

文章目录数据湖与数据仓库的基本概念数据湖（DataLake）数据仓库（DataWarehouse）数据湖和数据仓库的优势和劣势数据湖的优势数据湖的劣势数据仓库的优势数据仓库的劣势数据湖与数据仓库的融合之道
IT·陈寒·2023-09-24 04:31

华为云 FusionInsight 大数据技术普惠创新，释放千行百业数据价值

主题，从金融、运营商等行业在大数据创新的实践，顶级高校的大数据顶尖人才培养和科学研究，以及华为云FusionInsight智能数据湖系列大数据产品的技术创新等方面，以产学研深度融合的方式展开分享和探讨。
数据湖洞见·2023-09-23 10:37

使用 Databend 加速 Hive 查询

许多企业的数仓/数据湖中都有PB级的数据，其中绝大多数都属于旧有系统中的
Databend·2023-09-23 03:27

git强制提交本地分支覆盖掉远程分支

语法比较简单，命令如下：gitpushorigin分支名--force举个栗子：gitpushoriginV2.2.3--force运行结果:Total0(delta0),reused0(delta0)
泡在网上的蜘蛛·2023-09-23 00:45

uniap 使用 uni.navigateBack 返回上一页 刷新数据方法

/前一个页面if(this.res_id){postEditResLog(this.form).then(res=>{if(res.data.status==1){uni.navigateBack({delta
码农竟在我身边·2023-09-22 16:14

OveruseEstimator

Update(int64_tt_delta,doublets_delta,intsize_delta,BandwidthUsagecurrent_hypothesis)；根据InterArrival模块计算获得的
MinorUncle·2023-09-22 03:07

git 推送本地分支到远程 并添加分支关联跟踪

gitpushorigin本地分支：远程分支比如吧1.0.2推送到远程gitpushorigin1.0.2:1.0.2warning:redirectingtohttps://........api.git/Total0(delta0
天下皆白_唯我独黑·2023-09-21 21:29

疫情.怡情(之六百五十五)

研究发现：Omicron变体感染者与Delta变体感染者的高烧、干咳、呼吸急促、胸痛和感冒症状相比，Omicron变体感染者的五个共同症状如下：喉咙发炎（感觉与喉咙痛不太一样）、干咳、疲倦、轻度肌肉疼痛
飞扬的雪ing·2023-09-21 20:50

《合成孔径雷达成像算法与实现》Figure5.4

clcclearcloseall%%参数设置Ta=128;%脉冲持续时间Ka=-0.085;%方位向调频率alpha_OS=[5,0.25];%过采样因子Delta_f_dop=abs(Ka*Ta);%
76岁拄拐敲代码·2023-09-21 16:39

《合成孔径雷达成像算法与实现》Figure5.3

clcclearcloseall%%参数设置Ta=128;%脉冲持续时间ka=-0.085;%方位向调频率alpha_OS=[5,0.25];%过采样因子Delta_f_dop=abs(ka*Ta);%
76岁拄拐敲代码·2023-09-21 16:37

Tapdata Connector 实用指南：云原生数仓场景之数据实时同步到 Databend

典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用ETL处理等。引用随着TapdataConnector的不断增长，我们最新推
·2023-09-21 14:28

Doris-05-集成Spark、Flink、Datax，以及数据湖分析(JDBC、ODBC、ES、Hive、多源数据目录Catalog)

Doris准备Spark环境使用SparkDorisConnectorFlinkDorisConnector准备Flink环境使用FlinkDorisConnectorDataXdoriswriter数据湖分析
迷雾总会解·2023-09-21 12:33

R语言风险价值：ARIMA，GARCH，Delta-normal法滚动估计VaR（Value at Risk）和回测分析股票数据...

全文链接：http://tecdat.cn/?p=24492此分析的目的是构建一个过程，以在给定时变波动性的情况下正确估计风险价值。风险价值被广泛用于衡量金融机构的市场风险。我们的时间序列数据包括1258天的股票收益（点击文末“阅读原文”获取完整代码数据）。介绍为了解释每日收益率方差的一小部分，我们使用Box-Jenkins方法来拟合自回归综合移动平均(ARIMA)模型，并测试带下划线的假设。稍后
拓端研究室TRL·2023-09-21 05:09

基于matlab实现的卡尔曼滤波匀加速直线运动仿真

完整程序：clearclc%%初始化参数delta_t=0.1;%采样时间T=8;%总运行时长t=0:delta_t:T;%时间序列N=length(t);%序列的长度x0=0;%初始位置u0=0;%初速度
学习不好的电气仔·2023-09-20 11:48

ETL数据加载性能优化

这些实践指南可以帮助您加快数据处理速度，提升数据仓库或数据湖的效率。随着数据量的不断增长，ETL过程中的数据加载性能成为企业面临的一个重要挑战。
ETLCloud数据集成社区·2023-09-20 08:11

大数据之数据湖---flink 整合hudi

1.hudi简介Huid支持流式的读写操作，流数据可以通过Huid的增量来进行数据追加，精准的保存Index位置，如果一旦写入或者读出的时候出现问题，可以进行索引回滚数据，因为在Hudi写入和写出的时候他是要记录元数据信息的。Hudi最大的特点就是会进行预写日志功能，也就是把所有的操作都先预写，然后一旦发生问题就会先找预写日志Log，进行回滚或者其他操作，所以你会发现在Hudi中，它会写很多Log
wudl·2023-09-20 07:06

【hudi】数据湖客户端运维工具Hudi-Cli实战

数据湖客户端运维工具Hudi-Cli实战helphudi:student_mysql_cdc_hudi_fl->helpAVAILABLECOMMANDSArchivedCommitsCommandtriggerarchival
lisacumt·2023-09-20 07:50

R语言风险价值：ARIMA，GARCH模型，Delta-normal法滚动估计，预测VaR|附代码数据

原文链接：http://tecdat.cn/?p=24492原文出处：拓端数据部落公众号介绍此分析的目的是帮助客户构建一个过程，以在给定时变波动性的情况下正确估计风险价值。风险价值被广泛用于衡量金融机构的市场风险。我们的时间序列数据包括1258天的股票收益。为了解释每日收益率方差的一小部分，我们使用Box-Jenkins方法来拟合自回归综合移动平均(ARIMA)模型，并测试带下划线的假设。稍后，当
·2023-09-20 00:57

x265码控分析

D和R的关系高分辨率量化均匀量化：量化区间‘Δk=yk−yk−1‘`\Delta_k=y_k-y_{k-1}`‘Δk=yk−yk−1‘，近似为常数；p(x)为信源概率密度函数，且‘Δk‘`\Delta_k
shakingWaves·2023-09-19 22:06

ByConity 0.2.0 版本发布

重要新特性：冷读优化，包括IOScheduler和Preload能力数据湖支持，包括Hive，Hudi，Multi-Catalog等支持ELT长时任务支持，包括异步执行，队列，算子Spill等RBAC欢迎大家使用体验
·2023-09-19 18:07

SmartNews 基于 Flink 的 Iceberg 实时数据湖实践

本篇内容主要分为五个部分：SmartNews数据湖介绍基于Icebergv1格式的数据湖实践基于Flink实时更新的数据湖（Icebergv2）解决方案实时更新小文件问题的优化总结与展望点击查看原文视频
Apache Flink·2023-09-19 07:52

量化投资，动量策略的一点实践

算法上的难点是怎么估计alpha和delta由于羊群效应的局部性，短期可以用线性回归得到局部的alpha；然后用alpha的差分，再回归一次（线性）得到delta选择alp
zhyuli·2023-09-19 05:57

【直播预约中】 腾讯大数据 x StarRocks｜构建新一代实时湖仓

随着信息时代的兴起，数据已成为推动业务决策和创新的核心要素；结构化、半结构化等多种类型的数据呈现爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse
StarRocks_labs·2023-09-19 04:34

数据湖调研

数据湖调研1什么是数据湖2数据湖能解决什么问题3数据湖与数仓的区别4数据湖生态5当前常见的数据湖实现方案5.1基于Hudi5.2基于Iceberg5.2.1Iceberg应用场景：5.3数据湖基本实现：
Direction_Wind·2023-09-19 00:30

关于数据仓库、数据湖、数据平台和数据中台的概念和区别

我们谈论数据中台之前，我们也听到过数据平台、数据仓库、数据湖的相关概念，它们都与数据有关系，但他们和数据中台有什么样的区别，下面我们将分别介绍数据平台数据仓库数据湖和数据中台。
weixin_42073629·2023-09-18 23:36

数据湖与数据仓库

大家好，本期Jesse想跳脱开TSDB领域，来聊一聊数据湖与数据仓库的话题，Jesse作为局外人也想大体介绍一下二者的情况。
CnosDB·2023-09-18 23:06

数据仓库，数据湖

1.数据仓库早期系统采用数据库来管理和存放数据，但随着大数据技术的兴起，大家想要通过大数据技术来找到数据之间可能存在的关系，所以大家设计了一套新的数据存储管理系统，把所有的数据全部存储到数据仓库，然后统一对数据处理，这个系统叫做数据仓库。数据仓库是来自一个或者多个不同源的集成数据中央存储库。数据仓库将当前和历史数据存储在一起，以利于各种分析方法如在线分析处理（OLAP），数据挖掘（datamini
乐十九·2023-09-18 23:06

【数据湖仓架构】数据湖和仓库：Databricks 和 Snowflake

我们比较了Databricks和Snowflake，以评估基于数据湖和基于数据仓库的解决方案之间的差异。在这篇文章中，我们将介绍基于数据仓库和基于数据湖的云大数据解决方案之间的区别。
架构师酒馆·2023-09-18 23:35

美赛整理之Matlab的工程数学计算学习笔记（高等数学）

：2.定义法（1）先画图：（2）分析：3.蒙特卡洛法1.极限的定义和判别：由极限的定义可知：对于给定的f(x)f(x)f(x),∀ϵ>0,∃δ>0，\forall\epsilon>0,\exists\delta
赛亚茂·2023-09-18 22:10

【直播预约中】 腾讯大数据 x StarRocks｜构建新一代实时湖仓

随着信息时代的兴起，数据已成为推动业务决策和创新的核心要素；结构化、半结构化等多种类型的数据呈现爆炸式增长，如何高效处理和分析海量数据已经成为关键挑战，结合传统数仓与数据湖优势的湖仓一体（Lakehouse
·2023-09-18 21:54

SmartNews 基于 Flink 的 Iceberg 实时数据湖实践

本篇内容主要分为五个部分：SmartNews数据湖介绍基于Icebergv1格式的数据湖实践基于Flink实时更新的数据湖（Icebergv2）解决方案实时更新小文件问题的优化总结与展望点击查看原文视频
·2023-09-18 18:37

Flink CDC 2.0 详解

CDC技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集：面向数据仓库/数据湖的ETL数据集成，是非常重要的数据源。CDC的技术方案非常
000X000·2023-09-17 15:43

关于ADC量化

通常假设n~N(0,delta2)，且r~N(aver
lzhengp1986·2023-09-16 22:58

Data Lakehouse的未来-开放

Cloudera客户运行着地球上一些最大的数据湖。这些数据湖为关键任务大规模数据分析、商业智能(BI)和机器学习用例（包括企业数据仓库）提供动力。
大数据杂货铺·2023-09-16 09:22
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他