02 DataBricks+DataFactory+Blob创建环境

本文主要是介绍创建Blob\Databricks\Datafactory资源

Azure

进入Azure 首页https://portal.azure.cn/?whr=... 点击创建资源。如下图
02 DataBricks+DataFactory+Blob创建环境_第1张图片
填入相应信息,直接点击审阅并创建即可。创建好点击进入在blob中创建一个blob 如data_file

02 DataBricks+DataFactory+Blob创建环境_第2张图片
02 DataBricks+DataFactory+Blob创建环境_第3张图片

Databrikcs

Databricks创建过程与Blob基本相同。注意创建Databricks后要创建一个集群用来计算处理数据,执行Databricksjob。

集群配置选择正常的开发配置就可以。下图是当前项目集群配置

02 DataBricks+DataFactory+Blob创建环境_第4张图片
注意databriks是计算工具不是存储工具。

02 DataBricks+DataFactory+Blob创建环境_第5张图片
创建Databricks访问令牌,进入databricks 点击用户名进入User Setting.生成token,设置token名称和生效时长。注意保存token

02 DataBricks+DataFactory+Blob创建环境_第6张图片

Datafactory

Datafactory创建过程与Blob基本相同。在创建好Datafactory需要配置一些链接,如访问blob的链接、访问databriks的链接、访问s3容器的链接。

02 DataBricks+DataFactory+Blob创建环境_第7张图片
创建Databricks链接是需要填写一些配置,主要是访问令牌

02 DataBricks+DataFactory+Blob创建环境_第8张图片

你可能感兴趣的:(02 DataBricks+DataFactory+Blob创建环境)