emr

阿里云强力贡献：如何让 StarRocks 做到极速数据湖分析

作者阿里云EMR开源大数据OLAP团队StarRocks社区分析湖团队StarRocks是一个强大的数据分析系统，主要宗旨是为用户提供极速、统一并且易用的数据分析能力，以帮助用户通过更低的使用成本来更快的洞察数据的价值
·2022-04-13 17:00

EMR StarRocks 极速数据湖分析原理解析

简介：数据湖概念日益火热，本文由阿里云开源大数据OLAP团队和StarRocks数据湖分析团队共同为大家介绍“StarRocks极速数据湖分析”背后的原理。StarRocks是一个强大的数据分析系统，主要宗旨是为用户提供极速、统一并且易用的数据分析能力，以帮助用户通过更小的使用成本来更快的洞察数据的价值。通过精简的架构、高效的向量化引擎以及全新设计的基于成本的优化器（CBO），StarRocks的
·2022-03-29 10:39

硬吃一个P0故障，「在线业务」应该如何调优HBase参数？

1.背景由于种种原因，最近将核心业务生产使用的HBase迁移到了云上的弹性MapReduce（EMR)集群上，并使用了EMR的HBase组件默认参数配置。
阿丸·2022-03-22 13:00

如何打造极速数据湖分析引擎

“作者：阿里云EMR开源大数据OLAP团队，StarRocks社区数据湖分析团队”前言数字产业化和产业数字化成为经济驱动的重要动力，企业的数据分析场景越来越频繁，对数据分析的要求也越来越高。
·2022-03-09 18:22

如何打造一款极速数据湖分析引擎

作者：阿里云EMR开源大数据OLAP团队StarRocks社区数据湖分析团队前言随着数字产业化和产业数字化成为经济驱动的重要动力，企业的数据分析场景越来越丰富，对数据分析架构的要求也越来越高。
·2022-03-09 15:04

aws emr使用_使用Dask和AWS EMR进行大规模ETL作业入门

awsemr使用DaskisanincreasinglypopularPython-ecosystemSDKformanaginglarge-scaleETLjobsandETLpipelinesacrossmultiplemachines.AlbeitsomewhatnewerthanApacheSpark—itsbest-knowncompetitor—Daskhascapturedaloto
weixin_26742939·2022-02-28 15:33

看SparkSQL如何支撑企业级数仓

本文作者：惊帆来自于数据平台EMR团队前言ApacheHive经过多年的发展，目前基本已经成了业界构建超大规模数据仓库的事实标准和数据处理工具，Hive已经不单单是一个技术组件，而是一种设计理念。
·2022-02-21 12:54

看SparkSql如何支撑企业数仓

本文作者：惊帆来自于数据平台EMR团队前言ApacheHive经过多年的发展，目前基本已经成了业界构建超大规模数据仓库的事实标准和数据处理工具，Hive已经不单单是一个技术组件，而是一种设计理念。
字节跳动数据平台·2022-02-21 12:00

借助Amazon EMR与外部KDC进行身份认证，有效集成业务场景

很多客户越来越意识到安全的重要性，尤其数据安全的重要性，在客户进行全球化业务扩展的时候，面对各国家区域的合规要求，更多采用Kerberos在EMR上进行身份验证。
·2021-12-22 10:11

轻松搭建数据仓库，与FreeWheel一起“玩转”Amazon EMR

AmazonElasticMapReduce(AmazonEMR)是AmazonWebServices提供的托管集群平台，用户可以非常方便的使用AmazonEMR搭建起一套集群，用来支撑大数据框架的应用，如ApacheSpark，Hive，Flink，Presto等等。因为AmazonEMR具有很好的可配置性和伸缩性，使用者可以灵活的根据自己的需求进行定制，在满足生产需求的同时，减低对基础设施的运
·2021-12-21 11:55

基于EMR OLAP的开源实时数仓解决方案之ClickHouse事务实现

简介：Flink和ClickHouse分别是实时流式计算和OLAP领域的翘楚，很多互联网、广告、游戏等客户都将两者联合使用于构建用户画像、实时BI报表、应用监控指标查询、监控等业务，形成了实时数仓解决方案。作者|扬流、枢木、辰繁来源|阿里技术公众号一背景Flink和ClickHouse分别是实时流式计算和OLAP领域的翘楚，很多互联网、广告、游戏等客户都将两者联合使用于构建用户画像、实时BI报表、
·2021-12-01 14:11

基于 EMR OLAP 的开源实时数仓解决方案之 ClickHouse 事务实现

作者简介阿里云EMR-OLAP团队；主要负责开源大数据OLAP引擎的研发，例如ClickHouse，Starrocks，Trino等。通过EMR产品向阿里云用户提供一站式的大数据OLAP解决方案。
·2021-12-01 11:54

案例 | 疫情之下，ShowMeBug 助力康博嘉完成大规模无接触技术招聘

康博嘉成立于2005年，专注为高品质医疗机构提供包括HIS/EMR/HRP/CRM在内的信息化整体解决方案，帮助医疗机构提供高品质、可信赖的医疗服务。
·2021-11-24 15:07

企业级数据湖最佳实践

以下是精彩视频内容整理：一、统一数据存储，多引擎对接，运存分离在这一节开始之前，先回顾一下数据湖几个核心的能力：集中存储、多种引擎对接各种类型的数据用集中方式统一存储在OSS，无缝对接如EMR等各类计算引擎
·2021-11-24 10:45

双十一云起实验室体验专场，七大场景，体验有礼

\大数据计算场景《基于EMR离线数据分析》E-MapReduce（简称“EM
·2021-11-10 17:44

基于flinkcdc和superset的实时大屏实践2

准备环境：1）EMR-Flink-Cluster3.36.1（HDFS2.8.5YARN2.8.5Flink1.12-vvr-3.0.2）2）Rds-Mysql5.7.263）EMR-Kafka-Cluster4.9.0
csdn_lan·2021-09-10 09:26

EMR on ACK 全新发布，助力企业高效构建大数据平台

简介：阿里云EMRonACK为用户提供了全新的构建大数据平台的方式，用户可以将开源大数据服务部署在阿里云容器服务（ACK）上。利用ACK在服务部署和对高性能可伸缩的容器应用管理的能力优势，用户只需要专注在大数据作业本身。用户可以便捷地将Spark、Presto、Flink作业执行在ACK集群上，100%兼容开源，性能优于开源。一、背景介绍技术趋势存储与计算分离，向云原生演进在线业务、AI、大数据统
·2021-09-03 10:45

有趣的一次调试

果果小姚[TesterGC](javascript:void(0);)1周前记录下今天的debug测试过程遇到的问题如下:创建emr集群，创建失败，cloudbreak里面日志显示如下：图片涉及到查到服务端的日志和
果果小姚·2021-09-01 17:12

在腾讯云 EMR 上使用 GooseFS 加速大数据计算服务

本文将介绍如何在腾讯云EMR上使用GooseFS加速大数据计算任务。GooseFS是腾讯云对象存储团队近期面向下
·2021-08-26 13:44

GooseFS助力大数据业务数倍提升计算能力

相较于开源方案，GooseFS提供了更多关键特性，稳定性和性能优化；同时深度融合了腾讯云生态，对接了腾讯云TKE、EMR等计算服务，为用户提供开箱即用的能力。缓存加速和数据本地化GooseF
·2021-08-11 00:14

EMR集群安全认证和授权管理

简介：介绍EMR高安全集群如何使用Kerberos和ApacheRanger进行鉴权和访问授权管理直达最佳实践：【EMR集群安全认证和授权管理】最佳实践频道：【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践
·2021-07-27 19:47

腾讯云EMR基于YARN针对云原生容器化的优化与实践

随着业务的增⻓和突发的报表计算需求，为了解决为离线集群预留资源，腾讯云EMR团队和容器团队联合推出HadoopYarnonKubernetesPod，以提⾼容器资源使用率，降
·2021-06-25 20:02

腾讯云EMR基于YARN针对云原生容器化的优化与实践

随着业务的增⻓和突发的报表计算需求，为了解决为离线集群预留资源，腾讯云EMR团队和容器团队联合推出HadoopYarnonKubernetesPod，以提⾼容器资源使用率，降
·2021-06-25 20:47

EMR(hadoop/hbase/phoenix夸集群数据迁移采坑记录)

Phoenix)数据迁移方案主要分为Hadoop层面(distcp)、及Hbase层面(copyTable、export/import、snapshot)二、以下针对distcp方案详细说明(以亲测阿里EMR
Saxon_323e·2021-06-24 21:50

EMR集群安全认证和授权管理

简介：介绍EMR高安全集群如何使用Kerberos和ApacheRanger进行鉴权和访问授权管理直达最佳实践：【EMR集群安全认证和授权管理】最佳实践频道：【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践
·2021-06-22 16:07

不同形态的结肠息肉该如何选择内镜手术治疗方法?

目前，临床上常用的内镜下切除息肉的方法包括高频电切术、氩离子凝固术（APC）、内镜下黏膜切除术（EMR）、内镜黏膜下剥离术（ESD）等。
晚成医械·2021-06-22 06:57

阿里大数据云原生化实践，EMR Spark on ACK 产品介绍

开源大数据社区&阿里云EMR系列直播第六期主题：EMRsparkonACK产品演示及最佳实践讲师：石磊，阿里云EMR团队技术专家内容框架：•云原生化挑战及阿里实践•Spark容器化方案•产品介绍和演示直播回放
·2021-06-18 22:34

超详攻略！Databricks 数据洞察 - 企业级全托管 Spark 大数据分析平台及案例分析

简介：5分钟读懂Databricks数据洞察开源大数据社区&阿里云EMR系列直播第四期主题：Databricks数据洞察-企业级全托管Spark大数据分析平台及案例分析讲师：棕泽，阿里云技术专家，计算平台事业部开放平台
·2021-06-18 22:29

【阿里云EMR实战篇】以EMR测试集群版本为例，详解 Flink SQL Client 集成 Hive 使用步骤

简介：以测试集群版本为例（EMR-4.4.1）——FlinkSQLClient集成Hive使用文档作者：林志成，阿里云EMR产品团队技术支持，拥有多年开源大数据经验1、以测试集群版本为例（EMR-4.4.1
·2021-06-18 21:10

apache phoenix Table 'SYSTEM.CATALOG' was not found

最近在EMR使用apachephoenix连接hbase总是报错#[org.apache.hadoop.hbase.TableNotFoundException:SYSTEM.CATALOGexceptionwithphoenix4.5.2
lmy_8db4·2021-06-09 13:57

stm32 EXTI(外部中断)

外部中断/事件控制器(EXTI)寄存器描述IMR中断屏蔽寄存器EMR事件屏蔽寄存器RTSR上升沿触发选择寄存器FTSR下降沿触发选择寄存器SWIR软件中断事件寄存器PR挂起寄存器voidEXTI8_IPRT
David_Rao·2021-06-06 15:10

Hudi on Flink 快速上手指南

Streaming读总结一、背景ApacheHudi是目前最流行的数据湖解决方案之一，DataLakeAnalytics[1]集成了Hudi服务高效的数据MERGE（UPDATE/DELETE）场景；AWS在EMR
·2021-04-01 12:05

通过AWS EMR降低集群计算成本

本文首发于：行者AIAWSEMR是一个计算集群。可以通过ta创建自定义配置的虚拟机，并自动安装所需计算框架（Spark，Hadoop，Hive等），以便用来进行大数据计算。1.项目背景公司目前有一个项目，通过爬虫收集数据，离线计算得到用户画像，并将最终结果写入rds，通过api向外展示数据。2.架构演进2.1技术栈计算框架Spark调度框架Airflow数据存储Hadoop，Mysql数仓工具Hi
·2021-03-16 17:50

Delta Lake在Soul的应用实践

为了解决天级ETL逐渐尖锐的问题，所以这次我们选择了近来逐渐进入大家视野的数据湖架构，基于阿里云EMR的DeltaLake，我们进一步打造优化实时数仓结构，提升部分业务指标实时性，满足
·2021-03-09 22:43

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

简介：为了消灭数据孤岛，企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程，期间遇到的挑战，以及delta在数据接入中产生的价值。背景流利说目前的离线计算任务中，大部分数据源都是来自于业务DB，业务DB数据接入的准确性、稳定性和及时性，决定着下游整个离线计算pipeline的准确性和及时性。同时，我们还有部分业务需求，需要对DB中的数据和hive
阿里云云栖号·2021-01-20 12:33

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

简介：为了消灭数据孤岛，企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程，期间遇到的挑战，以及delta在数据接入中产生的价值。背景流利说目前的离线计算任务中，大部分数据源都是来自于业务DB，业务DB数据接入的准确性、稳定性和及时性，决定着下游整个离线计算pipeline的准确性和及时性。同时，我们还有部分业务需求，需要对DB中的数据和hive
阿里云云栖号·2021-01-20 12:33

阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践

简介：为了消灭数据孤岛，企业往往会把各个组织的数据都接入到数据湖以提供统一的查询或分析。本文将介绍流利说当前数据接入的整个过程，期间遇到的挑战，以及delta在数据接入中产生的价值。背景流利说目前的离线计算任务中，大部分数据源都是来自于业务DB，业务DB数据接入的准确性、稳定性和及时性，决定着下游整个离线计算pipeline的准确性和及时性。同时，我们还有部分业务需求，需要对DB中的数据和hive
阿里云云栖号·2021-01-20 10:26

hive中groupby优化_HIVE 优化浅谈

作者：邓力，entobit技术总监，八年大数据从业经历，由一代HADOOP入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。
weixin_39589693·2020-12-20 03:13

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

趣头条大数据总监，趣头条大数据负责人曹佳清，趣头条大数据离线团队高级研发工程师，曾就职于饿了么大数据INF团队负责存储层和计算层组件研发，目前负责趣头条大数据计算层组件Spark的建设范振，花名辰繁，阿里云计算平台EMR
阿里云云栖号·2020-12-08 15:18

基于区块链的医疗记录存储系统研究与开发

EMR（电子病历）记录了患者在医院治疗过程中产生的原始数据，已经普遍应用到各大医疗中心。但现有系统大都将数据保存在中央数据库中，这种中心化存储模式面临着信息安全、数据共享等问题。
QQ3447673281·2020-11-26 20:35

存算分离下写性能提升10倍以上，EMR Spark引擎是如何做到的？

腾讯云弹性MapReduce(EMR)是腾讯云的一个云端托管的弹性开源泛Hadoop服务，支持Spark、Hbase、Presto、Flink、Druid等大数据
腾讯云加社区·2020-11-13 11:38

画你心中所想-Wacom影拓pro数位板 PTH-660|大家测561

Wacom影拓pro数位板PTH-660“参加本活动您需要付费0元”报名地址：https://www.wenjuan.com/s/6z6FR3T/本期测评产品亮点介绍：品牌简介：wacom是电磁感应技术（EMR
科技美学·2020-09-19 00:00

近五年中文电子病历命名实体识别研究进展

电子病历(ElectronicMedicalRecord，EMR)是指医务人员在医疗活动过程中，使用医疗机构信息系统生成的数字化信息,并能实现存储、管理、传输
AI4NLPer·2020-09-17 18:43

使用AWS Data Pipeline处理数据

AWS上提供了多种服务来存储、处理数据，S3，EMR，Redshift，RDS，DynamoDB。Pipeline就是帮用户在这么多种数据源上进行处理。
aws0to1·2020-09-17 04:42

阿里云EMR安装Kylin踩坑

1.Kylin报找不到hive-site.xml的问题在/etc/profile下添加系统参数2.Kylin报hbase-commonlibnotfound因为kylin.sh里面调用了find-hbase-dependency.sh要在hbase/bin/hbase脚本中找到CLASSPATH，添加habse-common.jar的路径3.Kylin报exceptionisjava.lang.N
XuTengRui·2020-09-17 04:59

Apache Kylin（二）在EMR上搭建Kylin

EMR上搭建kylin1.启动EMR集群根据官网说明：http://kylin.apache.org/docs21/install/kylin_aws_emr.html启动EMR时，若是hbase数据存储在
ZackFairT·2020-09-17 04:28

深入分析Spark UDF的性能

编译：抚月，阿里巴巴计算平台事业部EMR高级工程师，ApacheHDFSCommitter，目前从事开源大数据存储和优化方面的工作。
weixin_45906054·2020-09-15 03:26

345本关于java的pdf电子书 [索引]

所有PDF人肉检测真实可看，都不需要一一购买，一口价9.9合适就下，统一解压密码：密码汇总下载链接:https://pan.baidu.com/s/1NFNSYf3Q7VOl45xhIqDtkA密码:emr8
weixin_34296641·2020-09-14 16:22

医院信息化系统大全

序号医院级应用系统1门急诊医生工作站系统2病区医生工作站系统3住院护士工作站4电子病历（EMR）系统5实验室信息系统(LIS)6心电图信息系统7超声影像信息系统8手术麻醉信息系统9重症监护信息系统10放射科信息系统
东边的小山·2020-09-13 21:32

linux备份数据命令

一、备份数据命令：mysqldump-uroot-pzzqndyy_emr|gzip-9>/root/6yc_zzqndyy_emr-20180115.gz出错：1、报错10451045Accessdeniedforuser'root
weixin_34194317·2020-09-13 03:06
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他