数据湖仓

揭秘 Fluss 架构组件

Fluss部署，带领大家部署Fluss环境，体验一下Fluss的功能Fluss整合数据湖的操作，体验Fluss与数据湖的结合讲解了Fluss、Kafka、Paimon之间的区别和联系前面三篇文章可以让大家上手玩起来
大圣数据星球·2025-02-03 20:13

Apache Iceberg数据湖技术在海量实时数据处理、实时特征工程和模型训练的应用技术方案和具体实施步骤及代码

Iceberg作为数据湖，以支持其机器学习平台中的特征存储。Iceberg的分层结构、快照机制、并发读写能力以及模式演进等特性，使得它能够高效地处理海量数据，并且保证数据的一致性和可用性。
weixin_30777913·2025-02-03 15:07

Go语言实现SSE中转demo

本文内容来自：谷流仓AI-ai.guliucang.com前提已安装Go语言环境（参考这篇文章:Macbook安装Go以及镜像设置）创建项目创建项目目录mkdirgo-app&&cdgo-app初始化项目
GL_C·2025-02-03 02:20

nginx配置ssl支持https的详细步骤

本文内容来自：谷流仓AI-ai.guliucang.com一、修改nginx配置文件打开nginx.conf配置文件，修改需要添加支持s
GL_C·2025-02-03 02:50

git如何忽略指定文件以及gitignore相关知识

本文内容来自：谷流仓AI-ai.guliucang.com在平常写代码使用git的过程中，我们项目有些文件是不适合提交到仓库的，因此需要让git忽略这些文件，解除对这些文件的跟踪。
GL_C·2025-02-03 02:50

MacBook 安装多版本Python和版本切换详解

本文内容来自：谷流仓AI-ai.guliucang.com前提条件使用电脑：苹果电脑MacOS需要安装好homebrew并设置好镜像源(具体如何安装homebrew参考这篇文章,安装过程中会提示选择什
GL_C·2025-02-03 02:47

100.3 AI量化面试题：解释配对交易(Pairs Trading)的原理，并说明如何选择配对股票以及设计交易信号

什么是配对交易1.2基本假设2.配对选择方法2.1相关性分析2.2协整性检验3.价差计算方法3.1简单价格比率3.2回归系数法4.交易信号设计4.1标准差方法4.2动态阈值方法5.风险管理5.1止损设计5.2仓位管理
AI量金术师·2025-02-02 23:54

Apache Doris 3.0核心特性和生产实践解读

上周Doris社区发布了Doris3.0版本，3.0版本被定位成湖仓一体演化路线上的重要里程碑版本。同时Doris官方社区已经更新了3.0版本的文档。
王知无(import_bigdata)·2025-01-31 10:36

趋势交易的经典模型有哪些？

均线斜率策略原理：均线向上倾斜时持多仓，向下倾斜时持空仓。关键
人大博士的交易之路·2025-01-31 10:58

DB2-Db2StreamingChangeEventSource

在大数据和实时数据处理场景中，CDC可以用来同步数据到其他系统，比如数据仓库、数据湖或者流处理平台如ApacheKafka。文章目录前言一、核心功能
DataLu·2025-01-31 09:15

Apache Airflow 全面解析

其核心设计理念是“WorkflowsasCode”，通过编程方式定义、调度和监控复杂的数据流水线（Pipeline），适用于ETL、机器学习模型训练、数据湖管理、报表生成等场景。
由数入道·2025-01-30 18:20

自定义穿梭框 vue穿梭框

安装npminstalltransfer-table代码仓链接link.简介
不停留·2025-01-30 07:45

华为OD机试 - 机器人仓库搬砖 - 二分查找（Python/JS/C/C++ 2024 D卷 100分）

一、题目描述机器人搬砖，一共有N堆砖存放在N个不同的仓
哪 吒·2025-01-29 12:42

影视仓—2025年最新源接口，最强大便捷的影视盒子工具

影视仓配置教程与使用小技巧！影视仓最新接口,2025免费API接口,TVBox源,影视仓源,4K配置接口,免费数据调用,绛州速寄,五折快递,寄大件物流,TV盒子配
SunnyRun！·2025-01-28 21:49

Linux（7）软件包管理

产看软件是否安装3.卸载软件包4.查看关于软件包信息yum构建本地仓库（基于本地镜像）配置网络源（阿里源）1.备份2.下载3.清缓存`yumcleanall`4.运行`yummakecache`生成缓存5.查看仓
梨涡~陌然·2025-01-27 15:15

破解数据模型相似度计算难题：为数据应用清障

引言在数字化浪潮下，数据仓库和数据湖已成为企业数据管理的核心基础设施。
秉寒·2025-01-27 10:44

大数据平台建设整体架构设计方案

《大数据平台建设整体架构设计方案》关键词：大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink
AI天才研究院·2025-01-27 02:55

企业信息化5：后勤管理系统

前言：随着企业各业务板块在信息化的浪潮中积极转型升级，后勤板块往往成为了一个企业信息化的短板，后勤业务大数据无法融入企业信息化数据湖，进而影响企业整体运营的效率和质量。
mosquito_lover1·2025-01-27 02:52

套利策略常见风控措施

今天讲一些在套利策略中常见的风控条件，欢迎一起交流讨论~币种亏损异常在进行多币种套利时，累积亏损超过阈值，自动ban掉这个币资金费率异常当发现资金费率异常会导致亏损，自动减仓账户余额整体下降这个是个策略都需要做的
·2025-01-26 16:34

2024 年 MathorCup 数学应用挑战赛——大数据竞赛 赛道 B：电商品类货量预测及品类分仓规划 思路和代码 持续更新中

年所有数学建模类比赛的个人思路和代码都会发布到专栏内,会结合最新的chatgpt发布思路,开赛一天后恢复原价99,不代写论文,不回复私信.没有群,只需订阅一次目录问题分析与解决思路问题1：货量预测模型问题2：一品一仓分仓规划问题
2025年数学建模美赛·2025-01-25 20:28

Apache Doris 2.1.8 版本正式发布

该版本持续在湖仓一体、异步物化视图、查询优化器与执行引擎、存储管理等方面进行改进提升与问题修复，进一步加强系统的性能和稳定性，欢迎大家下载体验。
SelectDB技术团队·2025-01-25 17:01

服务行业的数据管理实践：TapData Cloud 如何助力连锁酒店物业的全球化运营优化

使用TapData，化繁为简，摆脱手动搭建、维护数据管道的诸多烦扰，轻量替代OGG,Kettle等同步工具，以及基于Kafka的ETL解决方案，「CDC+流处理+数据集成」组合拳，加速仓内数据流转，帮助企业将真正具有业务价值的数据作用到实处
·2025-01-25 10:01

如何使用 StarRocks 管理和优化数据湖中的数据？

数据湖已成为企业存储、处理和分析海量数据的核心基础设施。然而，随着数据量的爆炸性增长，如何高效地管理和优化数据湖中的大规模数据成为了一个亟待解决的问题。
·2025-01-24 11:51

【Flink 实战系列】Flink CDC 实时同步 Mysql 全量加增量数据到 Hudi

FlinkCDC实时同步Mysql全量加增量数据到Hudi前言FlinkCDC是基于Flink开发的变化数据获取组件（Changedatacapture），简单的说就是来捕获变更的数据，ApacheHudi是一个数据湖平台
JasonLee实时计算·2025-01-24 09:31

信创、湖仓一体化、AI+DB，2024年数据库&湖仓发展总结与展望

作者：吴炳锡时光荏苒，转眼间2025年已然来临，这又是我从传统OLTP数据库领域转向云原生湖仓Databend的第三个年头，这段转变恰如一场快速的旅程，让我深感这一年如飞箭般迅速。
·2025-01-23 22:05

使用Airbyte实现数据集成的详细指南

Airbyte是一个功能强大的数据集成平台，专门用于从API、数据库和文件构建到仓库和数据湖的ELT（Extract,Load,Transform）管道。
dagGAIYD·2025-01-23 06:11

基于MRS-Hudi构建数据湖的典型应用场景介绍

一、传统数据湖存在的问题与挑战传统数据湖解决方案中，常用Hive来构建T+1级别的数据仓库，通过HDFS存储实现海量数据的存储与水平扩容，通过Hive实现元数据的管理以及数据操作的SQL化。
华为云技术精粹·2025-01-23 04:50

湖仓进化，极速统一｜StarRocks 2024 社区年度报告

延伸阅读：Lakehouse白皮书|从理论到落地的现代数据架构升级指南StarRocks开源三周年：初心不忘，征程不止！StarRocksAwards2024年度贡献人物StarRocks培训课程重磅上线！专家出品，助你升级打怪不走弯路！更多交流，联系我们：https://wx.focussend.com/weComLink/mobileQrCodeLink/33412/515d5
·2025-01-21 17:07

Yii对接人大金仓

人大金仓官方地址：https://www.kingbase.com.cn/一：composer包安装composerrequirehuaweichenai/kingbase二：php扩展要求需要安装pgsql
·2025-01-21 17:32

火山引擎数据飞轮2.0：聚焦Data+AI，驱动企业数智化转型

近期，火山引擎数智平台技术和产品专家受邀出席DataFun首届“数据与人工智能解决方案大会”，围绕数据飞轮2.0模式，及Data+AI领域热门话题ChatBI、多模态数据湖展开分享。
·2025-01-21 11:43

StarRocks Lakehouse 快速入门——Apache Iceberg

导读：StarRocksLakehouse快速入门旨在帮助大家快速了解湖仓相关技术，内容涵盖关键特性介绍、独特的优势、使用场景和如何与StarRocks快速构建一套解决方案。
·2025-01-20 22:13

递归算法实践--到仓合单助力京东物流提效增收

作者：京东物流李硕#一、背景京东物流到仓业务「对商家」为了减少商家按照京东采购单分货备货过程，对齐行业直接按照流向交接，提升商家满意度；「对京东」揽收操作APP提效；到仓合单功能应运而生；二、问题一次批量采购单
·2025-01-20 13:33

大数据湖仓一体架构未来思考

湖仓一体架构是最近1-2年时间开始频繁出现在数据开发领域的新名词。也是各大公司竞相投入的对象。网络上关于湖仓一体架构的实践文章很多，看得也很眼花缭乱。
王知无(import_bigdata)·2025-01-20 09:27

Fluss 与数据湖的深度解析（二）

上一篇文章中我们说了Fluss与Paimon数据湖的三个相关问题：如何查询Paimon数据湖中的数据？如何查询Fluss和Paimon数据的“联合视图”？如何只查询Fluss中的数据？
大圣数据星球·2025-01-20 06:29

Fluss 与数据湖的深度解析（二）

上一篇文章中我们说了Fluss与Paimon数据湖的三个相关问题：如何查询Paimon数据湖中的数据？如何查询Fluss和Paimon数据的“联合视图”？如何只查询Fluss中的数据？
·2025-01-19 19:58

揭秘 Fluss 架构组件

Fluss部署，带领大家部署Fluss环境，体验一下Fluss的功能Fluss整合数据湖的操作，体验Fluss与数据湖的结合讲解了Fluss、Kafka、Paimon之间的区别和联系前面三篇文章可以让大家上手玩起来
·2025-01-19 19:57

openai的代理框架中国版swarmforchinese，又简单又实用而且是趋势

国内是用不了的，那么swarmforchinese这个仓
Ai君臣·2025-01-19 14:07

全面解读 Databricks：从架构、引擎到优化策略

导语：Databricks是一家由ApacheSpark创始团队成员创立的公司，同时也是一个统一分析平台，帮助企业构建数据湖与数据仓库一体化（Lakehouse）的架构。
克里斯蒂亚诺罗纳尔多阿维罗·2025-01-19 09:27

大数据新视界 --大数据大厂之 Hudi 数据湖框架性能提升：高效处理大数据变更

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:49

产品解读 | 构建数智融合时代下的一站式大数据平台

一站式大数据平台，旨在通过一个平台即可满足各类业务需求，成为数智融合时代下数据基础设施的发展趋势，并从四个维度向四个“一体化”方向演进：数据架构-湖仓集一
·2025-01-18 09:50

传统数据湖和数据仓库的“中心化瓶颈”

传统数据湖和数据仓库的**“中心化瓶颈”**，主要是由于其架构设计和治理模式的局限性，无法有效应对现代企业中数据规模的快速增长和组织复杂性。
PersistDZ·2025-01-18 00:45

数据入湖的前提条件：数据标准 之 元数据注册

原理：在数据湖中，没有元数据
goTsHgo·2025-01-17 20:04

案例分享｜快速了解实时湖仓集一体技术如何助力企业降本增效

1.替代TD仓、Hadoop湖，助力农商行构建一体化数据平台某农商行最初构建了Teradata数据仓库、Oracle小数据平台以及Hadoop数据湖。
·2025-01-17 20:42

三个案例，快速了解星环科技如何助力医疗数字化转型

星环科技基于自身的技术优势和产品体系，为医疗行业提供湖仓集一体化医院数据中心、云原生架构的区域医疗中台、医疗数据要素运营流通等解决方案，并在业务应用领域与生态伙伴联合打造端到端的整体解决方案，满足医疗行业专业领域
·2025-01-17 19:06

数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS

往期推荐数仓入门：数据分析模型、数仓建模、离线实时数仓、Lambda、Kappa、湖仓一体-CSDN博客数仓常见名词解析和名词之间的关系-CSDN博客数据仓库及数仓架构概述-CSDN博客大数据HBase
青秋.·2025-01-17 15:17

白鲸开源即将在Doris Summit Asia 2024展示新议题！

此次峰会，将对实时极速、存算分离、湖仓一体、半结构化数据分析、向量索引、异步物化视图等诸多特性进行全方位解读，为现场观众带来一场技术与思维碰撞的盛宴。
·2025-01-17 05:01

mindspeed-llm源码解析（一）preprocess_data

mindspeed-llm是昇腾模型套件代码仓，原来叫"modelLink"。
·2025-01-17 01:48

Apache PAIMON 学习

参考：ApachePAIMON：实时数据湖技术框架及其实践数据湖不仅仅是一个存储不同类数据的技术手段，更是提高数据分析效率、支持数据驱动决策、加速AI发展的基础设施。
潇锐killer·2025-01-16 22:54

软考信安20~数据库系统安全

国外主流的数据库系统有MSSQL、MySQL、Oracle、DB2等，国产数据库系统主要有人大金仓、达梦等。1.2、数据库安全威胁授权的误用(MisusesofAuthority)。
jnprlxc·2025-01-16 19:51

大数据新视界 -- Hive 数据湖集成与数据治理（下）（26 / 30）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-16 16:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他