emr

EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器

大数据运维的挑战—如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储、日常运算成干上万的计算任务，需要满足各类上层业务的计算需求。对于这类集群的运维往往充满着挑战：海量的数据、庞杂的组件以及组件之间复杂的依赖关系、对于时效要求的的运算任务，都会提升运维难度。作为支撑平台，大数据集群的稳定性和运行效率，会直接影响到公司业务的正常运作和发展。集群管理员往往对整体集群做好了监控运维体系，对
·2022-09-15 16:57

重磅发布！阿里云全链路数据湖开发治理解决方案

简介：阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR)+一站式大数据数据开发治理平台DataWorks+数据湖构建DLF+对象存储OSS等核心产品。
·2022-09-08 11:01

记一次阿里云EMR报错、解决方法，Failed to create spark client

出现错误前进行的操作。设置hive计算引擎设置为spark，并添加了一些配置项setspark.executor.memory=4g;setspark.yarn.executor.memoryOverhead=4096;sethive.exec.parallel=true;sethive.execution.engine=spark;日志输出=================JOBOUTPUTBE
枪枪枪·2022-09-07 20:37

重磅发布 ， 阿里云全链路数据湖开发治理解决方案

阿里云重磅更新全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR)+一站式大数据数据开发治理平台DataWorks+数据湖构建DLF+对象存储OSS等核心产品。
阿里云大数据AI技术·2022-08-18 13:05

重磅发布！阿里云全链路数据湖开发治理解决方案

阿里云重磅发布全链路数据湖解决方案，主要包含开源大数据平台E-MapReduce(EMR)+一站式大数据数据开发治理平台DataWorks+数据湖构建DLF+对象存储OSS等核心产品。
·2022-08-17 14:27

Amazon EMR 上的 Alluxio 集成实践

背景Alluxio的数据引擎性能，并没有与Trino相关的性能为大数据引擎领域提供服务，为S3、hdfs等数据提供温暖的计算层，如Hive、Spark、Spark的集成，做大数据引擎的集成，做大数据引擎的集成加速是一个不可多得的功能组件。Alluxio社区与AmazonEMR服务有集成的辅助和集成，官方提供了AmazonEMR的集成方案，参见Alluxio社区文档，亚马逊云科技也提供了快速安装部署
·2022-08-12 15:16

数据仓库4.0

1个节点1万美元云服务选择阿里云的EMR(不用搭建平台和考虑兼容性问题)，MaxCompute,DataWorks亚马逊云的EMR腾讯云EMR华为云EMR（市场份额少）物理机和云主机选择集群规模计算例子用户
编程爱上我吧·2022-08-05 14:00

Kyligence 正式支持 Amazon EMR Serverless，构建高效低成本云上数据分析

7月13日，Kyligence宣布云原生智能多维数据库KyligenceCloud正式支持AmazonEMRServerless。KyligenceCloud将基于AmazonEMR无服务器部署选项，进一步提升云上数据构建性能，从而简化云上运维压力，降低云上成本，最终助力企业轻松且经济高效地实现海量数据分析。KyligenceCloud支持AmazonEMRServerless，赋能云上企业降本增
·2022-07-14 11:00

模拟IDC spark读写MaxCompute实践

本文以EMR（云上Hadoop）方式模拟本地Hadoop集群访问MaxCompute数据。
·2022-06-28 18:21

技术揭秘 | 阿里云EMR StarRocks 线上发布会预约开启

阿里云EMR-StarRocks是StarRocks授权阿里云的一款新一代开源OLAP产品，致力于构建极速统一分析体验，满足企业用户的多种数据分析场景。
阿里云开发者·2022-06-17 22:12

AWS大数据三种经典玩法

文章说明一、AWS大数据平台全家桶简介1、一首（数据源）2、一尾（数据应用）3、中间（大数据体系）3.1导入组件3.2数据处理组件3.3服务组件二、三种经典玩法的对比1、全部采用AWS的组件2、AWS组件+EMR
他们叫我技术总监·2022-06-03 22:10

SSN1ETF8 8路10M/100M快速以太网双绞线接口板 全新原装 金边板卡

SSN1ETF88路10M/100M快速以太网双绞线接口板EFT8/EFS0/EMR0单板的槽位与ETF8单板的对应槽位EMS4/EMS2/EFS0A单板的槽位与ETF8单板的对应槽位OSN3500ETF8
TEL_13713905472·2022-05-27 10:22

阿里云RemoteShuffleService 新功能：AQE 和流控

简介：阿里云EMR自2020年推出RemoteShuffleService(RSS)以来，帮助了诸多客户解决Spark作业的性能、稳定性问题，并使得存算分离架构得以实施。
·2022-05-13 12:07

技术揭秘 | 阿里云EMR StarRocks 线上发布会预约开启！

阿里云EMR-StarRocks是StarRocks授权阿里云的一款新一代开源OLAP产品，致力于构建极速统一分析体验，满足企业用户的多种数据分析场景。
·2022-05-09 14:44

阿里云RemoteShuffleService新功能：AQE和流控

简介：阿里云EMR自2020年推出RemoteShuffleService(RSS)以来，帮助了诸多客户解决Spark作业的性能、稳定性问题，并使得存算分离架构得以实施。
·2022-04-25 10:56

阿里云强力贡献：如何让 StarRocks 做到极速数据湖分析

作者阿里云EMR开源大数据OLAP团队StarRocks社区分析湖团队StarRocks是一个强大的数据分析系统，主要宗旨是为用户提供极速、统一并且易用的数据分析能力，以帮助用户通过更低的使用成本来更快的洞察数据的价值
·2022-04-13 17:00

EMR StarRocks 极速数据湖分析原理解析

简介：数据湖概念日益火热，本文由阿里云开源大数据OLAP团队和StarRocks数据湖分析团队共同为大家介绍“StarRocks极速数据湖分析”背后的原理。StarRocks是一个强大的数据分析系统，主要宗旨是为用户提供极速、统一并且易用的数据分析能力，以帮助用户通过更小的使用成本来更快的洞察数据的价值。通过精简的架构、高效的向量化引擎以及全新设计的基于成本的优化器（CBO），StarRocks的
·2022-03-29 10:39

硬吃一个P0故障，「在线业务」应该如何调优HBase参数？

1.背景由于种种原因，最近将核心业务生产使用的HBase迁移到了云上的弹性MapReduce（EMR)集群上，并使用了EMR的HBase组件默认参数配置。
阿丸·2022-03-22 13:00

如何打造极速数据湖分析引擎

“作者：阿里云EMR开源大数据OLAP团队，StarRocks社区数据湖分析团队”前言数字产业化和产业数字化成为经济驱动的重要动力，企业的数据分析场景越来越频繁，对数据分析的要求也越来越高。
·2022-03-09 18:22

如何打造一款极速数据湖分析引擎

作者：阿里云EMR开源大数据OLAP团队StarRocks社区数据湖分析团队前言随着数字产业化和产业数字化成为经济驱动的重要动力，企业的数据分析场景越来越丰富，对数据分析架构的要求也越来越高。
·2022-03-09 15:04

aws emr使用_使用Dask和AWS EMR进行大规模ETL作业入门

awsemr使用DaskisanincreasinglypopularPython-ecosystemSDKformanaginglarge-scaleETLjobsandETLpipelinesacrossmultiplemachines.AlbeitsomewhatnewerthanApacheSpark—itsbest-knowncompetitor—Daskhascapturedaloto
weixin_26742939·2022-02-28 15:33

看SparkSQL如何支撑企业级数仓

本文作者：惊帆来自于数据平台EMR团队前言ApacheHive经过多年的发展，目前基本已经成了业界构建超大规模数据仓库的事实标准和数据处理工具，Hive已经不单单是一个技术组件，而是一种设计理念。
·2022-02-21 12:54

看SparkSql如何支撑企业数仓

本文作者：惊帆来自于数据平台EMR团队前言ApacheHive经过多年的发展，目前基本已经成了业界构建超大规模数据仓库的事实标准和数据处理工具，Hive已经不单单是一个技术组件，而是一种设计理念。
字节跳动数据平台·2022-02-21 12:00

借助Amazon EMR与外部KDC进行身份认证，有效集成业务场景

很多客户越来越意识到安全的重要性，尤其数据安全的重要性，在客户进行全球化业务扩展的时候，面对各国家区域的合规要求，更多采用Kerberos在EMR上进行身份验证。
·2021-12-22 10:11

轻松搭建数据仓库，与FreeWheel一起“玩转”Amazon EMR

AmazonElasticMapReduce(AmazonEMR)是AmazonWebServices提供的托管集群平台，用户可以非常方便的使用AmazonEMR搭建起一套集群，用来支撑大数据框架的应用，如ApacheSpark，Hive，Flink，Presto等等。因为AmazonEMR具有很好的可配置性和伸缩性，使用者可以灵活的根据自己的需求进行定制，在满足生产需求的同时，减低对基础设施的运
·2021-12-21 11:55

基于EMR OLAP的开源实时数仓解决方案之ClickHouse事务实现

简介：Flink和ClickHouse分别是实时流式计算和OLAP领域的翘楚，很多互联网、广告、游戏等客户都将两者联合使用于构建用户画像、实时BI报表、应用监控指标查询、监控等业务，形成了实时数仓解决方案。作者|扬流、枢木、辰繁来源|阿里技术公众号一背景Flink和ClickHouse分别是实时流式计算和OLAP领域的翘楚，很多互联网、广告、游戏等客户都将两者联合使用于构建用户画像、实时BI报表、
·2021-12-01 14:11

基于 EMR OLAP 的开源实时数仓解决方案之 ClickHouse 事务实现

作者简介阿里云EMR-OLAP团队；主要负责开源大数据OLAP引擎的研发，例如ClickHouse，Starrocks，Trino等。通过EMR产品向阿里云用户提供一站式的大数据OLAP解决方案。
·2021-12-01 11:54

案例 | 疫情之下，ShowMeBug 助力康博嘉完成大规模无接触技术招聘

康博嘉成立于2005年，专注为高品质医疗机构提供包括HIS/EMR/HRP/CRM在内的信息化整体解决方案，帮助医疗机构提供高品质、可信赖的医疗服务。
·2021-11-24 15:07

企业级数据湖最佳实践

以下是精彩视频内容整理：一、统一数据存储，多引擎对接，运存分离在这一节开始之前，先回顾一下数据湖几个核心的能力：集中存储、多种引擎对接各种类型的数据用集中方式统一存储在OSS，无缝对接如EMR等各类计算引擎
·2021-11-24 10:45

双十一云起实验室体验专场，七大场景，体验有礼

\大数据计算场景《基于EMR离线数据分析》E-MapReduce（简称“EM
·2021-11-10 17:44

基于flinkcdc和superset的实时大屏实践2

准备环境：1）EMR-Flink-Cluster3.36.1（HDFS2.8.5YARN2.8.5Flink1.12-vvr-3.0.2）2）Rds-Mysql5.7.263）EMR-Kafka-Cluster4.9.0
csdn_lan·2021-09-10 09:26

EMR on ACK 全新发布，助力企业高效构建大数据平台

简介：阿里云EMRonACK为用户提供了全新的构建大数据平台的方式，用户可以将开源大数据服务部署在阿里云容器服务（ACK）上。利用ACK在服务部署和对高性能可伸缩的容器应用管理的能力优势，用户只需要专注在大数据作业本身。用户可以便捷地将Spark、Presto、Flink作业执行在ACK集群上，100%兼容开源，性能优于开源。一、背景介绍技术趋势存储与计算分离，向云原生演进在线业务、AI、大数据统
·2021-09-03 10:45

有趣的一次调试

果果小姚[TesterGC](javascript:void(0);)1周前记录下今天的debug测试过程遇到的问题如下:创建emr集群，创建失败，cloudbreak里面日志显示如下：图片涉及到查到服务端的日志和
果果小姚·2021-09-01 17:12

在腾讯云 EMR 上使用 GooseFS 加速大数据计算服务

本文将介绍如何在腾讯云EMR上使用GooseFS加速大数据计算任务。GooseFS是腾讯云对象存储团队近期面向下
·2021-08-26 13:44

GooseFS助力大数据业务数倍提升计算能力

相较于开源方案，GooseFS提供了更多关键特性，稳定性和性能优化；同时深度融合了腾讯云生态，对接了腾讯云TKE、EMR等计算服务，为用户提供开箱即用的能力。缓存加速和数据本地化GooseF
·2021-08-11 00:14

EMR集群安全认证和授权管理

简介：介绍EMR高安全集群如何使用Kerberos和ApacheRanger进行鉴权和访问授权管理直达最佳实践：【EMR集群安全认证和授权管理】最佳实践频道：【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践
·2021-07-27 19:47

腾讯云EMR基于YARN针对云原生容器化的优化与实践

随着业务的增⻓和突发的报表计算需求，为了解决为离线集群预留资源，腾讯云EMR团队和容器团队联合推出HadoopYarnonKubernetesPod，以提⾼容器资源使用率，降
·2021-06-25 20:02

腾讯云EMR基于YARN针对云原生容器化的优化与实践

随着业务的增⻓和突发的报表计算需求，为了解决为离线集群预留资源，腾讯云EMR团队和容器团队联合推出HadoopYarnonKubernetesPod，以提⾼容器资源使用率，降
·2021-06-25 20:47

EMR(hadoop/hbase/phoenix夸集群数据迁移采坑记录)

Phoenix)数据迁移方案主要分为Hadoop层面(distcp)、及Hbase层面(copyTable、export/import、snapshot)二、以下针对distcp方案详细说明(以亲测阿里EMR
Saxon_323e·2021-06-24 21:50

EMR集群安全认证和授权管理

简介：介绍EMR高安全集群如何使用Kerberos和ApacheRanger进行鉴权和访问授权管理直达最佳实践：【EMR集群安全认证和授权管理】最佳实践频道：【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践
·2021-06-22 16:07

不同形态的结肠息肉该如何选择内镜手术治疗方法?

目前，临床上常用的内镜下切除息肉的方法包括高频电切术、氩离子凝固术（APC）、内镜下黏膜切除术（EMR）、内镜黏膜下剥离术（ESD）等。
晚成医械·2021-06-22 06:57

阿里大数据云原生化实践，EMR Spark on ACK 产品介绍

开源大数据社区&阿里云EMR系列直播第六期主题：EMRsparkonACK产品演示及最佳实践讲师：石磊，阿里云EMR团队技术专家内容框架：•云原生化挑战及阿里实践•Spark容器化方案•产品介绍和演示直播回放
·2021-06-18 22:34

超详攻略！Databricks 数据洞察 - 企业级全托管 Spark 大数据分析平台及案例分析

简介：5分钟读懂Databricks数据洞察开源大数据社区&阿里云EMR系列直播第四期主题：Databricks数据洞察-企业级全托管Spark大数据分析平台及案例分析讲师：棕泽，阿里云技术专家，计算平台事业部开放平台
·2021-06-18 22:29

【阿里云EMR实战篇】以EMR测试集群版本为例，详解 Flink SQL Client 集成 Hive 使用步骤

简介：以测试集群版本为例（EMR-4.4.1）——FlinkSQLClient集成Hive使用文档作者：林志成，阿里云EMR产品团队技术支持，拥有多年开源大数据经验1、以测试集群版本为例（EMR-4.4.1
·2021-06-18 21:10

apache phoenix Table 'SYSTEM.CATALOG' was not found

最近在EMR使用apachephoenix连接hbase总是报错#[org.apache.hadoop.hbase.TableNotFoundException:SYSTEM.CATALOGexceptionwithphoenix4.5.2
lmy_8db4·2021-06-09 13:57

stm32 EXTI(外部中断)

外部中断/事件控制器(EXTI)寄存器描述IMR中断屏蔽寄存器EMR事件屏蔽寄存器RTSR上升沿触发选择寄存器FTSR下降沿触发选择寄存器SWIR软件中断事件寄存器PR挂起寄存器voidEXTI8_IPRT
David_Rao·2021-06-06 15:10

Hudi on Flink 快速上手指南

Streaming读总结一、背景ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics[1]集成了Hudi服务高效的数据MERGE（UPDATE/DELETE）场景；AWS在EMR
·2021-04-01 12:05

通过AWS EMR降低集群计算成本

本文首发于：行者AIAWSEMR是一个计算集群。可以通过ta创建自定义配置的虚拟机，并自动安装所需计算框架（Spark，Hadoop，Hive等），以便用来进行大数据计算。1.项目背景公司目前有一个项目，通过爬虫收集数据，离线计算得到用户画像，并将最终结果写入rds，通过api向外展示数据。2.架构演进2.1技术栈计算框架Spark调度框架Airflow数据存储Hadoop，Mysql数仓工具Hi
·2021-03-16 17:50

Delta Lake在Soul的应用实践

为了解决天级ETL逐渐尖锐的问题，所以这次我们选择了近来逐渐进入大家视野的数据湖架构，基于阿里云EMR的DeltaLake，我们进一步打造优化实时数仓结构，提升部分业务指标实时性，满足
·2021-03-09 22:43

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

简介：为了消灭数据孤岛，企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程，期间遇到的挑战，以及delta在数据接入中产生的价值。背景流利说目前的离线计算任务中，大部分数据源都是来自于业务DB，业务DB数据接入的准确性、稳定性和及时性，决定着下游整个离线计算pipeline的准确性和及时性。同时，我们还有部分业务需求，需要对DB中的数据和hive
阿里云云栖号·2021-01-20 12:33
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他