lake

深入剖析 Delta Lake：Schema Enforcement & Evolution

编译：辰山，阿里巴巴计算平台事业部EMR高级开发工程师，目前从事大数据存储方面的开发和优化工作在实践经验中，我们知道数据总是在不断演变和增长，我们对于这个世界的心智模型必须要适应新的数据，甚至要应对我们从前未知的知识维度。表的schema其实和这种心智模型并没什么不同，需要定义如何对新的信息进行分类和处理。这就涉及到schema管理的问题，随着业务问题和需求的不断演进，数据结构也会不断发生变化。通
weixin_45906054·2020-07-28 23:24

Delta Lake 平台化实践（离线篇)

原文链接：https://blog.csdn.net/lsshlsw/article/details/103553289博客主：breeze_lsw“本文是在DeltaLake0.4与Spark2.4集成、平台化过程中的一些实践与思考。”01SQL支持1.1DML背景deltalake0.4只支持以api的方式使用Delete/Update/MergeInto等DML，对习惯了使用sql的终端用户
weixin_45906054·2020-07-28 23:24

【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍

编译：刘佳毅，花名佳易，阿里巴巴计算平台事业部EMR团队开发工程师，目前从事大数据安全相关方面工作。摘要：本文主要对Databricks如何使用SparkStreaming和DeltaLake对流式数据进行数据质量监控的方法和架构进行了介绍，本文探讨了一种数据管理架构，该架构可以在数据到达时，通过主动监控和分析来检测流式数据中损坏或不良的数据，并且不会造成瓶颈。原文链接：https://datab
weixin_45906054·2020-07-28 23:54

使用 Jupiter Notebook 运行 Delta Lake 入门教程

作者：吴威，花名无谓，阿里巴巴高级技术专家，2008年加入阿里巴巴集团，先后在B2B和阿里云工作，一直从事大数据和分布式计算相关研究，作为主要开发和运维。人员经历了阿里内部大数据集群的上线和发展壮大，现在阿里云EMR团队，负责Spark、Hadoop等计算引擎研发。本文的例子来自DeltaLake官方教程。因为官方教程是基于商业软件DatabricksCommunityEdition构建，虽然教程
weixin_45906054·2020-07-28 23:53

Delta Lake 安装

DeltaLake安装下载并安装spark2.4.5版本https://mirror.bit.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz这里我用于测试，随便选了一个版本，你可以去官网选择你自己的版本。第二步：spark-shell使用Delta0.5导入了jar包，就能运行了，必须注意版本问题bin/spark-she
大数据AIRDE·2020-07-28 21:23

重磅｜Spark Delta Lake 现在由Linux基金会托管，将成为数据湖的开放标准

基金会共同宣布DeltaLake和将成为一个Linux基金会项目（参考：https://www.linuxfoundation.org/press-release/2019/10/the-delta-lake-project-turns-to-linux-fou
过往记忆·2020-07-28 15:44

Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析

作者：辛庸，阿里巴巴计算平台事业部EMR技术专家。ApacheHadoop，ApacheSparkcontributor。对Hadoop、Spark、Hive、Druid等大数据组件有深入研究。目前从事大数据云化相关工作，专注于计算引擎、存储结构、数据库事务等内容。本文来自ApacheSpark技术交流社区。共同点定性上讲，三者均为DataLake的数据存储中间层，其数据管理的功能均是基于一系列的
大数据技术架构·2020-07-28 13:16

Lake Tyrrell Vic

天空之镜很久之前都听说sealake小镇有一面扑捉群星的镜子！于是，一行7人花了两天来寻找湖中岁月！图片发自到了小镇以是下午6点了，由于是在八月中下旬，天还是暗得很早！小镇晚上空无一人，于是只有计划明早的日出！图片发自App一点一点看着天空泛起红晕！图片发自App图片发自App图片发自App水天一色，除了风声，全世界都静下来了！图片发自App图片发自App初生的太阳！图片发自App水上漂，哈哈！因
Richmood·2020-07-28 05:32

Delta Lake - 走进 Databricks

今天笔者带大家走进Databricks，基于DatabricksCloud社区版本进行实验，并在DatabricksNotebook中对DeltaLake商业版本进行实战操作。Databricks版图关于Databricks的故事，使用过ApacheSpark的读者应该都比较了解，这里略作补充。Databricks是ApacheSpark的商业化公司，致力于提供基于Spark的云服务，用于数据集成
DataFlow范式·2020-07-28 00:04

【推仔说新闻】Intel再玩加法 12代酷睿Alder Lake将采用10nm++

褰éèèè°èè·¤§èè°±¨èèéIntel¤è·±é°·èéé·è7nm·è°¤éèè§Intelè·é¤§è·è¤¤§é7nmé訨¤èèéIntel°è·±§·è·è10nm·èè±è¨°§è¤§10nmèèééIntel·è¤¨é·AlderLake°é¨10nm++·è¨è¤§14nm·èé褷Intelè¤è14nm·è§14nm14nm+14nm++訤Intel·10
笔吧评测室·2020-07-28 00:00

Delta Lake 为 Apache Spark 数据集提供了新的功能

由ApacheSpark的原始开发人员创建的Databricks公司已经发布了DeltaLake，它是Spark的开源存储层，可提供ACID事务和其他数据管理功能，用于机器学习和其他大数据工作。许多类型的数据工作需要以下功能：ACID事务或用于一致性的模式实施，用于安全性的元数据管理以及使用离散版本的数据的功能。诸如此类的功能并不是所有数据源都具备的标准功能，因此DeltaLake可以为任何Spa
cxq8989·2020-07-27 21:36

Delta Lake 数据湖简单介绍

DeltaLake介绍一DeltaLake概念DeltaLake是一个存储层，为ApacheSpark和大数据workloads提供ACID事务能力，其通过写和快照隔离之间的乐观并发控制（optimisticconcurrencycontrol），在写入数据期间提供一致性的读取，从而为构建在HDFS和云存储上的数据湖（datalakes）带来可靠性。DeltaLake还提供内置数据版本控制，以便轻
发咪·2020-07-27 14:17

实战 | 利用Delta Lake使Spark SQL支持跨表CRUD操作

供稿|eBayADI-CarmelTeam作者|金澜涛编辑|顾欣怡本文7309字，预计阅读时间22分钟导读本文介绍eBayCarmel团队利用DeltaLake，使SparkSQL支持Teradata的Update/Delete语法。主要从源码角度介绍了CRUD操作的具体实现和优化，以及delta表的管理工作。希望对同业人员有所启发和帮助。摘要大数据处理技术朝传统数据库领域靠拢已经成为行业趋势，目
weixin_45906054·2020-07-27 14:51

【译】Delta Lake 0.5.0介绍

编译：刘佳毅，花名佳易，阿里巴巴计算平台事业部EMR团队开发工程师，目前从事大数据安全相关方面工作。最近，DeltaLake发布了0.5.0版本，该版本加入了对Presto和Athena的支持，以及提升了操作的并发性，本文将对DeltaLake0.5.0版本的变化进行一个简单的介绍。DeltaLake0.5.0发布的几个最重要的特性如下：通过使用Manifest文件能够,支持其他数据处理引擎，现在
weixin_45906054·2020-07-27 14:51

Delta Lake，让你从复杂的Lambda架构中解放出来

Linux基金会的DeltaLake（Delta.io）是一个给数据湖提供可靠性的开源存储层软件。在QCon全球软件开发大会（上海站）2019的演讲中，Databricks公司的EngineeringManager李潇带我们了解了DeltaLake在实际生产中的应用与实践以及未来项目规划，本文便整理自此次演讲。作者介绍李潇，现就职于Databricks，管理两跨国团队，专注于ApacheSpark
weixin_45906054·2020-07-27 14:51

使用 Spark 和 Delta Lake 构建近实时数据仓库

本文来自于2019年10月15日-17日荷兰首都阿姆斯特丹举行的SPARK+AISUMMITEurope2019会议，议题名为《NearRealTimeDataWarehousingwithApacheSparkandDeltaLake》，分享者JasperGroot。本文PPT请关注过往记忆大数据微信公众号，并回复data_warehouse关键字获取。本分享配套视频：好了，我们进入正文吧。本分
过往记忆·2020-07-27 13:26

Delta Lake、Iceberg 和 Hudi 三大开源数据湖不知道如何选？那是因为你没看这篇文章...

目前市面上流行的三大开源数据湖方案分别为：delta、ApacheIceberg和ApacheHudi。其中，由于ApacheSpark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的delta也显得格外亮眼。ApacheHudi是由Uber的工程师为满足其内部数据分析的需求而设计的数据湖项目，它提供的fastupsert/delete以及compaction等功能可以说是精
过往记忆·2020-07-27 13:55

Delta Lake源码分析

目录DeltaLake源码分析DeltaLake元数据snapshot生成日志提交冲突检测（并发控制）deleteupdatemergeDeltaLake源码分析DeltaLake元数据deltalake包含Protocol、Metadata、FileAction(AddFile、RemoveFile)、CommitInfo和SetTransaction这几种元数据action。Protocol：
qq836869520·2020-07-27 12:10

Delta Lake - 增删改事务操作之大结局

在《DeltaLake-数据写入的旅程》和《DeltaLake-数据更新的旅程》文章中，我们已经从源码层面掌握了DeltaLake数据写入和数据更新的实现过程，并结合案例进行实战，相信读者应该有比较深入的理解。针对不再使用或有异常的数据，我们需要进行删除操作。那么DeltaLake数据删除是如何实现的呢？笔者将在本章基于源码研究DeltaLake数据删除的始末。本篇文章为Delta增删改的最后一部
DataFlow范式·2020-07-27 12:16

Delta Lake 事务日志实现的源码剖析

笔者在之前的文章《实战深入理解DeltaLake事务日志》中带大家把DeltaLake的事务日志大致操作了一遍，并进行了具体的分析。有了之前的基础，笔者将在本篇文章中继续和大家一起深入研究DeltaLake事务日志的源码实现，学习DeltaLake开源项目的工程经验。环境信息DeltaLakeGithub：https://github.com/delta-io/delta笔者选取的版本为最新发布版
DataFlow范式·2020-07-27 12:16

Delta Lake - 数据更新的旅程

在《DeltaLake-数据写入的旅程》文章中，我们已经从源码层面掌握了DeltaLake数据写入的实现过程，再结合DeltaLake的实战，相信读者应该有比较深入的理解。数据写入成功后，可能会涉及后续的数据更新，那么DeltaLake数据更新是如何实现的呢？笔者将在本章从源码层面和大家一起揭开DeltaLake数据更新的神秘面纱。数据更新的示例以Scala编程语言实现，看一下数据更新的例子：数据
DataFlow范式·2020-07-27 12:16

深入理解 Spark Delta Lake 的诞生及其工作原理

美国怀俄明的DeltaLake本文来自2019年6月26日在美国波士顿举办的SparkMeetup，分享者是正是砖厂（Databricks）的大神MichaelArmbrust。MichaelArmbrust是SparkSQL的原创者，也是StructuredStreaming的原创者，最近几年在做DeltaLake。下面这句话引用自：https://www.jianshu.com/p/3fef8
Hadoop技术博文·2020-07-27 11:20

Apache Spark Delta Lake 写数据使用及实现原理代码解析

DeltaLake写数据是其最基本的功能，而且其使用和现有的Spark写Parquet文件基本一致，在介绍DeltaLake实现原理之前先来看看如何使用它，具体使用如下：DeltaLake写数据原理前面简单了解了如何使用DeltaLake来写数据，本小结我们将深入介绍DeltaLake是如何保证写数据的基本原理以及如何保证事务性。得益于ApacheSpark强大的数据源API，我们可以很方便的给S
Hadoop技术博文·2020-07-27 11:50

深入理解 Apache Spark Delta Lake 的事务日志

DeltaLake是今年数砖在Spark+AISummit2019会议上开源的项目，详见【重磅|ApacheSpark社区期待的DeltaLake开源了】，当时文章只是简单介绍了下功能，本文将深入介绍ApacheSparkDeltaLake的事务日志，通过本文我们可以了解DeltaLake的ACID是如何实现的，这些巧妙的设计非常值得我们学习。事务日志是理解DeltaLake的关键，因为它是贯穿许
Hadoop技术博文·2020-07-27 11:49

Spark母公司Databricks数砖将Delta Lake开源了

2019年的SparkSummit大会上，大红大紫的开源项目Spark背后的独角兽公司DataBricks宣布开源了他们的DeltaLake。DeltaLake诞生背景很多公司内部数据架构中都有数据湖，数据湖即一种大型数据存储和处理引擎，能够存储大量各种类型的数据，拥有强大的信息处理能力和处理几乎无限的兵法任务和工作的能力。然而，自建的数据湖一般面临很多问题，比如：数据湖的读写是不可靠的。数据工程
alexdamiao·2020-07-27 11:39

不通过 Spark 获取 Delta Lake Snapshot

背景DeltaLake进行数据删除或更新操作时实际上只是对被删除数据文件做了一个remove标记，在进行vacuum前并不会进行物理删除，因此一些例如在web上获取元数据或进行部分数据展示的操作如果直接从表路径下获取parquet文件信息，读到的可能是历史已经被标记删除的数据。DeltaLake官方提供了API可以通过其snapshot获取相应表或分区对应的真实parquet路径，但其目前强依赖S
breeze_lsw·2020-07-27 11:10

英特尔：11 代酷睿 Tiger Lake Q3 发布，带来突破性性能

èèITè¤è±°¤2020èè¤è±°è197.28165.05é20%51.0541.79é22%è±°¨°è¨¤11é·TigerLake°Q3°§§èIT觰TigerLake°Q3°§§èIceLake¨¤¨°SapphireRapidè°é·¤é訰豰訤AlderLake10nm§¨é¤¨°20217nm§°èèITéèTigerLakeSwiftè°·°10é觰¨èé
笔吧评测室·2020-07-25 00:00

ES6 - 吃鸡入门系列 ~ class

对比es6原生模拟//定义functionUser(){this.username='lake';this.age=24;}//增加方法User.prototype.login=function(){/
kikiki1·2020-07-15 09:07

Poj 2386 Lake Counting

这道题的大意是让你计算水池的数量，实际上是一个简单的搜索题目，运用深度优先搜索算法即可解决。对于题目给的这个水池:W........WW..WWW.....WWW....WW...WW..........WW..........W....W......W...W.W.....WW.W.W.W.....W..W.W......W.(1)我们先循环遍历大地图，当搜索到一个‘W’的时候，即可以开始进行搜
大正太辰光阳·2020-07-14 16:57

总有些东西想要坚守

之前考六级，在朋友圈看了“山”和“湖”，那天我自己也发了，因为总感觉自己连lake都没想到太差劲了，于是就发了一条“一首凉凉送给自己”。
慕容赫月·2020-07-14 10:19

英特尔发布Comet Lake和Ice Lake CPU400和495系列芯片组驱动程序

十次方消息，英特尔最新的服务器芯片组驱动程序(10.1.18010.8141)将为CometLake和IceLakePCH-LP(平台控制器集线器-低功耗)提供支持。驱动程序包的README文件揭示了英特尔即将推出的芯片组的品牌形象。显然，英特尔将使用400系列品牌来指代CometLake(CML)芯片组。这非常有意义，因为CometLake是取代CoffeeCup(CFL)的计划继任者，后者隶属
十次方·2020-07-13 13:11

SQL PASS西雅图之行——Lake Union纪行

北京=西雅图的飞机是空中客车A330-200机型，座位比较狭小，加之靠窗，所以昏昏欲睡了一路；临近美国的时候，已经可以清晰看到美国的河流、湖泊、山川和雪山了，这里的山到处都是郁郁葱葱的，河流山谷显得错落有致，远处的雪山异常的神秘，湖泊也是非常的静谧，广袤的田野上色彩是斑斓而有规则的，靠近西雅图的时候已经可以看到地表上浓郁的欧式建筑了，学校也好、工厂也好、居民楼也好，每个建筑都很有特点。根据百度出来
csy542339419·2020-07-11 04:59

核桃编程Delta Lake实时数仓应用实践

作者：卢圣刚，核桃编程数据架构师，拥有多年的大数据开发和架构经验。曾担任易观数据挖掘工程师，熊猫TV大数据架构师。核桃编程简介核桃编程成立于2017年8月9日，作为少儿编程教育行业的领导者，始终秉持“让每个孩子爱学习、会学习，让优质的教育触手可及”的使命，致力于以科技手段促进编程教育，凭借首创的AI人机双师教学模式与十级进阶课程体系，实现规模化因材施教，“启发中国孩子的学习力”。截止2019年8月
weixin_45906054·2020-07-10 11:47

当年学英语，为什么没人这样教我

清晨wake，来到lake，钓上snake。撇下net，鱼没get，衣服wet。为捉pest，从不rest，本领best。一只pig，非常big，把洞dig。没
王贵龗·2020-07-09 04:19

英语单词速记—第21页（谐音法篇）

请点击此处输入图片描述lake[leɪk]n.湖；湖泊记忆要点：谐音法→lake（读：“泪颗”）讲解：一颗颗泪水汇聚成了湖。
jim吕·2020-07-08 22:02

Delta Lake 和 Apache Hudi 两种数据湖产品全方面对比

DeltaLake是数砖公司在2017年10月推出来的一个项目，并于2019年4月24日在美国旧金山召开的Spark+AISummit2019会上开源的一个存储层。它是DatabricksRuntime重要组成部分。为ApacheSpark和大数据workloads提供ACID事务能力，其通过写和快照隔离之间的乐观并发控制（optimisticconcurrencycontrol），在写入数据期间
过往记忆·2020-07-08 12:27

一趟说走就走的穷游-蒂卡波湖之旅　（Lake Tekapo)

记得上课时老师老师询问每个人最想去的城市，那时对于我来说皇后镇（Qeenstown)就是那个魂牵梦萦的地方。可当那个英国老头问及：既然你辣么向往，为啥来几个月了还没去过呢？是呀，对于我们来说一个重要决定往往只需一到两个必要条件，仅仅看星空已经足以成为说走就走的理由了。关于黑暗天空保护区####作为南半球唯一的也是最大的国际黑暗天空保护区(InternationalDarkSkyReserve)，奥
夏雪婴·2020-07-08 11:41

flutter Unable to load asset: assets/images/lake.jpg

flutter中加载本地资源图片碰到Unabletoloadasset:assets/images/lake.jpg错误1.在根目录下创建assets文件夹2.在assets下创建images文件夹,将
Mr康·2020-07-07 20:26

android ffmpeg视频硬解码例子

/bin/bashPLATFORM=/Users/lake/test/android-ndk-r14b/platforms/android-19/arch-arm/TOOLCHAIN=/Users/lake
lakebobo·2020-07-07 12:48

Human-level concept learning through probabilistic program induction.

Lake,B.M.,Salakhutdinov,R.,andTenenbaum,J.B.(2015).Human-levelconceptlearningthroughprobabilisticprograminduction.Science
born-in-freedom·2020-07-07 04:13

Rico·Lake

1，这是我们的雷神小朋友Rico·Lake。2，这个小朋友其实已经25岁了……3，但他不仅是个小朋友，还是个问题儿童。4，内心既幼稚又自私，是个利己主义的吝啬鬼！
寒山远火·2020-07-06 16:12

POJ 2386 Lake Counting 简单的DFS搜索

http://poj.org/problem?id=2386简单DFS搜索LakeCountingTimeLimit:1000MSMemoryLimit:65536KDescriptionDuetorecentrains,waterhaspooledinvariousplacesinFarmerJohn'sfield,whichisrepresentedbyarectangleofNxM(1#de
YongXMan·2020-07-06 11:50

Lake Counting 水洼算法

题目有一个大小是N*M的花园，下雨后有积水。请求共有多少水洼。例如：(W代表积水，*代表没有积水)如下是两个水洼，与W相邻的没有其他积水；******W*W*WW**********输入样例：(为图省事，空格代表了，其实应该输入)N=10，M=12；（10行12列）输出：3（有3个水洼，如上图3个红色框）java算法/***@authoryangshuai*@version创建时间：2015-10
AAA啊哈·2020-07-06 10:41

基于Data Lake Analytics的Serverless SQL大数据分析

摘要：TableStore（简称OTS）是阿里云的一款分布式表格系统，为用户提供schema-free的分布式表格服务。随着越来越多用户对OLAP有强烈的需求，我们提供在表格存储上接入DataLakeAnalytics（简称DLA）服务的方式，提供一种快速的OLAP解决方案。背景介绍TableStore（简称OTS）是阿里云的一款分布式表格系统，为用户提供schema-free的分布式表格服务。随
xstardust·2020-07-06 09:08

Lake Counting(深搜妙解)

LakeCountingTimeLimit:1000MSMemoryLimit:65536KTotalSubmissions:16840Accepted:8548DescriptionDuetorecentrains,waterhaspooledinvariousplacesinFarmerJohn'sfield,whichisrepresentedbyarectangleofNxM(1#defi
weixin_34174322·2020-07-06 00:59

POJ 2386 Lake Counting DFS水水

http://poj.org/problem?id=2386题目大意：有一个大小为N*M的园子，雨后积起了水。八连通的积水被认为是连接在一起的。请求出院子里共有多少水洼？思路：水题~直接DFS，DFS过程把途中表示水洼的W改为‘.'，看DFS了几次即可。#include#includeconstintMAXN=100+10;charmap[MAXN][MAXN];intn,m;voiddfs(in
weixin_30484739·2020-07-05 21:44

POJ 2386 Lake Counting DPS解法

因为总是害怕超时，束手束脚顾虑太多，其实很简单，直接无脑搜索就做出来了思路是设置一个数组记录访问情况，然后先找W，找完了DFS标记周围的W，如果没有可以标记的就结束搜索。#include#includeintn,m,num=0;charpond[105][105];intvis[105][105];voiddfs(introw,intcol);intmain(void){inti,j;scanf(
weiwanshu·2020-07-05 20:35

Lake Counting（信息学奥赛一本通-T1249）

【题目描述】有一块N×M的土地，雨后积起了水，有水标记为‘W’，干燥为‘.’。八连通的积水被认为是连接在一起的。请求出院子里共有多少水洼？【输入】第一行为N,M(1≤N,M≤110)。下面为N*M的土地示意图。【输出】一行，共有的水洼数。【输入样例】1012W........WW..WWW.....WWW....WW...WW..........WW..........W....W......W.
Alex_McAvoy·2020-07-05 16:52

Lake Counting

题目：DescriptionDuetorecentrains,waterhaspooledinvariousplacesinFarmerJohn’sfield,whichisrepresentedbyarectangleofNxM(1usingnamespacestd;intn,m;intmaze[1010][1010];boolvis[1010][1010];boolin(intx,inty){
herobrineAC·2020-07-05 10:56

G - Lake Counting

题目描述：Duetorecentrains,waterhaspooledinvariousplacesinFarmerJohn’sfield,whichisrepresentedbyarectangleofNxM(1=0&&a=0&&b
年轻过成了秃顶·2020-07-05 09:36
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他