emr

jenkins 权限精准控制

RoleStrategyPlugin插件在全局安全配置中选择授权策略image.png进行授权配置image.pngimage.png进行用户分配角色image.pngimage.png.jenkins上只能操作指定目录EMR
HelloWorld_26·2020-07-30 10:57

医疗：EMR（5）

电子病历（EMR,ElectronicMedicalRecord），也叫计算机化的病案系统或称基于计算机的病人记录（CPR,Computer-BasedPatientRecord）。
你知道歌谣吗？·2020-07-30 04:15

stm32学习笔记——按键（外部中断）

include"stm32f10x_rcc.h"#include"stm32f10x_exti.h"寄存器：EXTI_IMR:高13位保留，低19位对应19个中断线编号，置1时开放该线上外部中断EXTI_EMR
freedom098·2020-07-29 18:40

Jindo SQL 性能优化之 RuntimeFilter Plus

作者：陆路，花名世仪，阿里巴巴计算平台事业部EMR团队高级开发工程师，大数据领域技术爱好者，对Spark、Hive等有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。
weixin_45906054·2020-07-29 07:36

在kubernetes上运行apache spark：最佳实践和陷阱

内容包括Datamechanics平台介绍，Sparkonk8s，以及EMR团队云原生的思考和实践。以下由Spark+AISummit中文精华版峰会的精彩内容整理。
weixin_45906054·2020-07-28 23:56

Amazon EMR正式支持Apache Hudi

ApacheHudi是一个开源的数据管理框架，其通过提供记录级别的insert,update,upsert和delete能力来简化增量数据处理和数据管道开发。Upsert指的是将记录插入到现有数据集中（如果它们不存在）或进行更新（如果它们存在的话）的功能。通过高效管理AmazonS3中数据的布局方式，Hudi允许近乎实时地提取和更新数据。Hudi维护在数据集上所执行的操作的元数据，以确保这些操作的
xleesf·2020-07-28 23:25

深入剖析 Delta Lake：Schema Enforcement & Evolution

编译：辰山，阿里巴巴计算平台事业部EMR高级开发工程师，目前从事大数据存储方面的开发和优化工作在实践经验中，我们知道数据总是在不断演变和增长，我们对于这个世界的心智模型必须要适应新的数据，甚至要应对我们从前未知的知识维度
weixin_45906054·2020-07-28 23:24

面对业务增长，Uber是如何扩展HDFS文件系统的

编译：郭聪，花名析源，阿里云计算平台事业部EMR技术专家。目前主要从事大数据领域APM产品的研发工作。3年前，Uber采用了Hadoop作为大数据分析的存储（HDFS）和计算（YARN）基础设施。
weixin_45906054·2020-07-28 23:24

Delta元数据解析

作者：宋军，花名嵩林，阿里云EMR技术专家。
weixin_45906054·2020-07-28 23:24

【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍

编译：刘佳毅，花名佳易，阿里巴巴计算平台事业部EMR团队开发工程师，目前从事大数据安全相关方面工作。
weixin_45906054·2020-07-28 23:54

不能错过的Delta元数据解析！

作者：宋军，花名嵩林，阿里云EMR技术专家。
weixin_45906054·2020-07-28 23:54

使用 Jupiter Notebook 运行 Delta Lake 入门教程

人员经历了阿里内部大数据集群的上线和发展壮大，现在阿里云EMR团队，负责Spark、Hadoop等计算引擎研发。本文的例子来自DeltaLake官方教程。
weixin_45906054·2020-07-28 23:53

Hadoop数据迁移MaxCompute最佳实践

本文使用阿里云EMR服务自动化搭建Hadoop集群，详细过程请参见https://help.aliyun.com/document_detail/35223.html?spm=
煊琰·2020-07-28 20:19

QQ 音乐 PB 级 ClickHouse 实时数据平台架构演进之路

本文基于QQ音乐海量大数据实时分析场景，通过QQ音乐与腾讯云EMR产品深度合作的案例解读，还原一个不一样的大数据云端解决方案。
cloudbigdata·2020-07-28 16:50

Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析

作者：辛庸，阿里巴巴计算平台事业部EMR技术专家。ApacheHadoop，ApacheSparkcontributor。对Hadoop、Spark、Hive、Druid等大数据组件有深入研究。
大数据技术架构·2020-07-28 13:16

【应用案例】SequoiaDB+Spark搭建医院临床知识库系统

不但有数字化医院管理信息系统（HIS)、影像存档和通信系统（PACS)、电子病历系统（EMR)和区域医疗卫生服务（GMIS)等成功实施与普及推广，而且随着日新月异的计算机技术和网络技术的革新，进一步为数字化医院带来新的交互渠道譬如
choulou0356·2020-07-27 20:27

行业大数据 -- 基于hadoop+spark+mongodb+mysql开发医院临床知识库系统(建议收藏)

不但有数字化医院管理信息系统（HIS)、影像存档和通信系统（PACS)、电子病历系统（EMR)和区域医疗卫生服务（GMIS)等成功实施与普及推广，而且随着日新月异的计算机技术和网络技术的革新，进一步为数字化医院带来新的交互渠道譬如
无精疯·2020-07-27 18:14

【译】Delta Lake 0.5.0介绍

编译：刘佳毅，花名佳易，阿里巴巴计算平台事业部EMR团队开发工程师，目前从事大数据安全相关方面工作。
weixin_45906054·2020-07-27 14:51

oracle测试数据库搭建

系统参数主机：testdbIP：192.168.2.1选择备份：/backup/databk/full*目的：检测EMR数据库rman备份是否有效恢复步骤删除测试库上的oracle实例关闭testdb上的旧数据库
zgl丶荒·2020-07-15 06:04

14 ，java 操作 s3 ( 详细教程 )

2，emr是什么：官网：AmazonEMR是一种web服务，可以轻松高效地处理大量数据。AmazonEMR使用Hadoop处理结合几个AWS产品来完
孙砚秋·2020-07-14 18:36

secureCRT直接使用rz命令上传大文件失败问题解决

参数描述：[hadoop@emr-worker-9nisj]$manrz -e,--escape       Forcesendertoescapeallcontrolcharacters;normallyXON
BabyFish13·2020-07-14 03:24

在EMR上执行 java spark sql 读写 s3 csv文件，存储RDS mysql

java写了一段从AWSs3读取csv文件，并使用sparksql处理后结果保存到mysql数据库，并写入到s3上csv文件的代码如下：packageorg.example.JavaDemo;importorg.apache.spark.SparkConf;importorg.apache.spark.SparkContext;importorg.apache.spark.api.java.Jav
振兴东北·2020-07-13 13:25

Spark实战(1) 配置AWS EMR 和Zeppelin Notebook

SparkContext和SparkSession的区别，如何取用？SparkContext:在Spark2.0.0之前使用通过资源管理器例如YARN来连接集群需要传入SparkConf来创建SparkContext对象如果要使用SQL，HIVE或者Streaming的API,需要创建单独的Contextvalconf=newSparkConf().setAppName(“RetailDataAn
ZenGeek·2020-07-13 02:55

在AWS环境下基于EMR、Alluxio和S3构建高效数据分析流水线

但是，这个过程绝不仅仅是简单地将数据从HDFS移至S3，然后将ApacheHadoop的程序运行到EMR等技术堆栈上。
Alluxio·2020-07-12 23:11

集群环境登录与一些说明

1、集群四台机器，其中一台是GPU环境，主机名为emr-worker-3，内网IP为：10.0.3.182，其中显卡为：TeslaP42、集群中安装有Hadoop和Spark环境，Spark版本为2.2.1
Alen_Ii·2020-07-12 22:48

使用 AWS CLI 来快速使用Amazon 提供的 S3、EMR、ES 等服务

安装AWSCLI工具安装条件：Python2version2.7+orPython3version3.4+安装AWSCLI工具的命令pip3install-U--userawscliaws_role_credentialsoktaauth#-U（update）表示更新所有的包到最新#--user表示安装到用户目录下，例如~/.local#如果在国内，网络很慢，可以在安装包名前加上-ihttps:/
独家雨天·2020-07-12 03:06

hive数据导入elasticsearch

前言：最近收到一个新的数据统计需求，分析用户打开文件记录，由于每天的记录数有1000w+，且需要统计维度较多，之前采用emr分析结果导出到mysql在展示的方案已经不在适用这个需求，所以决定启用elasticsearch
思无邪1990·2020-07-11 07:55

IT常用设备及服务器安全公告或漏洞地址pa安全预警微软安全公告 HP 安全公告AIX 安全公告REDHAT安全公告ORACLE 安全公告F5 安全公告 Cisco 安全公告Juniper 安全公告 V...

calledBy=&docId=emr_na-c04517477&docLocale=zh_CNAIX安全公告h
weixin_34406061·2020-07-10 09:01

Flink实战之StreamingFileSink如何写数据到其它HA的Hadoop集群

前言我们公司使用的集群都是EMR集群，于是就分别创建了一个flink集群专门用户实时计算，一个hadoop集群专门用于spark、hive的离线计算。两个集群是完全隔离的。
甄情·2020-07-10 02:14

presto sql输入表、输入字段、limit、join操作解析

并且我们的大数据组件都使用的是emr组件，并且涉及到中国、美西、美东、印度、欧洲、西欧等多个区域，表的权限管理就特别困难。所以就需要一个统一的权限管理来维护某些人拥有那些表的权限，避免隐私的数据泄漏。
甄情·2020-07-10 02:14

记一次大数据跨区域流量排查及修复

最近公司在降成本，发现了欧州、美国区两个区每天存在300$的跨区流量费用，经过运维同学定位后发现绝大部分流量在emr机器上。于是排查就开始了。
甄情·2020-07-10 02:14

记一次 spark rdd 写数据到 hbase 报 NPE 的问题排查

文章目录前言问题排查前言最近我们的EMR集群要从spark2.3.2升级到spark2.4.3来解决spark小文件多的问题。
甄情·2020-07-10 02:43

EMR(Elastic MapReduce)开发环境部署总结（一）

1、本文目的笔者在项目跟进的过程中遇到了需要EMR开发环境部署的方案，并了解到阿里云和AWS也已经提供了完备的EMR开发环境，不过看了一下具体价格，发现EMR开发环境的价格快赶上云服务器价格的一半了，可谓非常暴利
kivinsae·2020-07-09 15:58

HIS（LIS、PACS、RIS、EMR）系统解决方案

HIS（LIS、PACS、RIS、EMR）系统解决方案一、定义说明医院信息系统(HospitalInformationSystem,HIS)，利用电子计算机和通讯设备，为医院所属各部门提供病人诊疗信息和行政管理信息的收集
小许·2020-07-09 02:16

大数据开发笔记

大数据开发笔记0Brief1Java2SQL3大数据组件底层原理EMR-阿里云大数据平台/工业场景下的大数据工具HDFS-分布式文件系统MapReduce-分布式数据处理引擎HBase-分布式数据库/NoSQL
Fighter Fong·2020-07-07 22:54

EMR: To Learn or Not to Learn: Visual Localization from Essential Matrices && 2020论文笔记

通讯作者：LauraLeal-Taix́e第一作者：QunjieZhou研究机构：慕尼黑工业大学,查尔默斯理工大学,微软EMR证明了估计本质矩阵是比直接预测场景坐标更好的选择。
phy12321·2020-07-07 18:49

开源大数据周刊-第57期

阅读全文阿里云E-Mapreduce动态:ECM功能上线北京region，用户可以通过EMR-3.2.0版本创建新集群体验，ECM提供组件的配置修改/起停等操作资讯DigitalGlobe借助亚马逊AWSSnowmobile
chuhan3075·2020-07-01 20:20

CDH 1、CDH简介

发行版•ApacheHadoop•Cloudera’sDistributionIncludingApacheHadoop（CDH）•HortonworksDataPlatform(HDP)•MapR•EMR
aiyue5783·2020-07-01 16:11

02_美国医疗保健行业的结构

美国医疗保健行业的结构在这篇里我会介绍一下医疗保健行业的基础，医疗保健付费结构，医疗保健政策以及电子病历ElectronicMedicalRecords（EMR）的实用和其在基于医疗价值的护理的趋势向的作用以及对医疗保健数据分析的促进
Vivian Ouyang·2020-07-01 03:54

Spark最佳实践之如何有效分配资源

EMR可以帮助我们根据需要快速建立一个Spark集群，让我们从底层机器的维护、集群的部署等繁杂的工作中解放出来，更多的关注在应用层。基于EMR构建
Mr-Bruce·2020-06-30 19:39

EMR 上的 Spark 或 Hive 作业失败并出现 HTTP 503 “Slow Down” AmazonS3Exception

问题现象java.io.IOException:com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception
玉羽凌风·2020-06-30 16:26

如何在 Amazon EMR 上设置 Spark SQL JDBC 连接

问题我想从SQL客户端对我的AmazonEMR集群运行SQL查询。我如何为SparkThrift服务器配置Java数据库连接(JDBC)驱动程序，以便我能做到这一点？解决方法注意：以下步骤需要SQuirrelSQL客户端。下载并安装SQuirrelSQL，然后再继续。1.在AmazonEMR集群的主节点上，运行以下命令以启动SparkThrift服务器：sudo/usr/lib/spark/sbi
玉羽凌风·2020-06-30 16:26

CDH 1、CDH简介

发行版•ApacheHadoop•Cloudera’sDistributionIncludingApacheHadoop（CDH）•HortonworksDataPlatform(HDP)•MapR•EMR
张榕·2020-06-30 13:01

EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework

作者：周克勇，花名一锤，阿里巴巴计算平台事业部EMR团队技术专家，大数据领域技术爱好者，对Spark有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。
weixin_45906054·2020-06-29 16:10

阿里云EMR计算速度提升2.2倍 连续两年打破大数据领域最难竞赛世界纪录！

值得一提的是，去年阿里云EMR首次打破该竞赛纪录，成为全球首个通过TPC认证的公共云产品。
weixin_45906054·2020-06-29 16:39

如何用Apache Spark和LightGBM构建机器学习模型来预测信用卡欺诈

编译：抚月，阿里巴巴计算平台事业部EMR高级工程师，ApacheHDFSCommitter，目前从事开源大数据存储和优化方面的工作。本文出现的所有链接，可点击文末“阅读原文”直达。
weixin_45906054·2020-06-29 16:39

Spark Packages寻宝（一）：简单易用的数据准备工具Optimus

作者：李呈祥，花名司麟，阿里云智能EMR团队高级技术专家，ApacheHiveCommitter，ApacheFlinkCommitter，目前主要专注于EMR产品中开源计算引擎的优化工作。
weixin_45906054·2020-06-29 16:39

Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析

作者：辛庸，阿里巴巴计算平台事业部EMR技术专家。ApacheHadoop，ApacheSparkcontributor。对Hadoop、Spark、Hive、Druid等大数据组件有深入研究。
weixin_45906054·2020-06-29 16:38

2019年Apache Spark技术交流社区原创文章回顾

感谢持续分享输出优质内容的阿里云EMR团队的王道远，余根茂，彭搏，郑锴，夏立，林武康，李呈祥，吴威，殳鑫鑫，宋军，关文选，孙大鹏，辛现银，江宇，陈强，陈龙，陶克路，姚舜扬，周克勇，苏昆辉；阿里云Tablestore
weixin_45906054·2020-06-29 16:07

平台集成LDAP

EMR集群内部自带了LDAP服务，所以不需要在集成Openldap进行管理；Openldap安装和使用指南、可视化工具phpldapadm
ioyow·2020-06-29 07:23
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他