DSW：面向AI研发的集成开发平台

发布会传送门 产品详情 云原生技术，注重用户体验，提升研发效率 环境搭建是算法研发过程中的重要一环，这里除了硬件选型外，软件环境的安装配置，后续升级往往会耗费不少时间。DSW借助阿里云ECS，Docker和Kubernetes等云原生技术，能够在2，3分钟内帮用户完成环境搭建。用户可以根据算法需要和成本考虑， 选择阿里云ECS提供的包括CPU和异构计算GPU在内的所有资源规格。不仅支持预付费，还支持后付费。 DSW还配置了10多种适用于不同AI场景的典型软件环境配置， 包括Tensorflow和PyTorch等主流训练框架的不同版本组合，供用户选择。作为高度开放的开发环境，DSW开放sudo权限给用户、支持任意第三方库安装。 为了满足不同水平层次和开发习惯的算法用户，结合可视化，交互式编程和命令行输入，DSW提供了3种编程入口：WebIde适用于工程化要求比较高的项目；JupyterLab适用于快速POC试验；Terminal入口可用于快速执行Shell命令，运行程序和简单的编辑等。

DSW还开发和预装了各种JupyterLab和WebIDE插件， 比如广受深度学习开发者喜爱的可视化工具Tensorboard，用户在DSW内通过Launcher，Commands打开，甚至还可以使用%tensorboard魔法命令直接在Notebook中开启等多种方式使用Tensorboard。不仅支持本地文件，还可以打开存放在OSS，ODPS里的训练日志。针对算法同学使用Python比较多的特点， DSW的WebIDE内安装了Python插件， 可以直接在浏览器内在线调试，单步跟踪程序运行。用户还可以根据需要，自主安装需要的任意插件。 DSW支持多种数据源读写，包括NAS， OSS，云盘和MaxCompute，尤其是内置了dswmagic魔法命令可以让用户在ipynb文件中使用SQL语句读写MaxCompute表中数据，预置的SQL编辑器支持语法高亮、智能提示、自动补全等功能，还支持运行带变量替换功能的Sql脚本。查询结果自动以最友好的图形化展示。 为了节省资源成本，用户可以利用停机不收费功能，在实例闲置不用时关机保存环境， 需要时再一键快速恢复。此外， DSW支持用户自定义镜像安装，可以基于之前保存或定制的环境创建实例。 DSW在公有云上支持了多次百队以上规模的天池大赛，在阿里集团内同样也承接着比赛，经过千锤百炼，证明不仅适合个人和团队研发，也支持大规模算法竞赛和教育培训。 安全性和稳定性是用户比较关心的问题，DSW使用的计算，存储和网络资源，完全是使用用户自己的账号购买，并部署到用户自己的vpc内部， 可以方便与用户其他数据打通。用户间完全隔离，还具备非常好的安全性。基于阿里云ECS和容器服务， 稳定性有保障。 集成PAI的各能力组件，加速业务落地 身为PAI这个大家庭的一员， DSW除了完成单机开发训练功能之外， 还内置部分PAI的基础能力。比如用户可以直接在实例内利用PAI视觉类算法包EasyVision进行图像分类训练评估、预测； 通过自动调参AutoML进行算法超参数自动调优；用户甚至能够无感知的享受PAI编译优化算法组件TAO提供的训练过程中的算子优化。最后， DSW还提供了供算法直接读取MaxCompute表数据的CommonIO组件，支持TableRecordDataSet， TableReader，TableWriter等标准接口，方便训练程序直接提交到PAI的分布式训练集群。 可以预见，在不久的将来， 会有更多的PAI算法包内置进DSW基础镜像内。 DSW也会依赖PAI SDK，围绕数据读取，加工，模型训练， 模型管理以及在线服务等AI研发生产流程的关键环节，为用户提供像Pipeline搭建，调度和管理之类的一条龙服务。