博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
使用TensorFlow和Kubernetes构建GPU加速工作流
阅读量:7192 次
发布时间:2019-06-29

本文共 887 字,大约阅读时间需要 2 分钟。

\

看新闻很累?看技术新闻更累?试试,每天上下班路上听新闻,有趣还有料!

\
\\

Daniel Whitenack在最近举行的上分享了如何使用TensorFlow和Kubernetes进行基于GPU的深度学习。

\\

他以物体检测为例子介绍了一种典型的人工智能工作流程。该工作流程包括预处理、模型训练、模型生成和模型推理。这些步骤都可以运行在Docker容器里。

\\

模型训练一般是通过框架来完成的,如TensorFlow或Caffe。在这一阶段,GPU可用于帮助提升性能。深度学习在使用TensorFlow或其他框架时,需要借助GPU在图像数据上训练模型。

\\

模型训练可以运行在Kubernetes集群的GPU节点上。Kubernetes为多GPU节点提供了一个非常好的框架,按照如下步骤可实现更好的工作流:

\\
  • 将数据正确地分配代码(pod)。\
  • 在正确的节点上处理数据。\
  • 在正确的时间触发正确的代码。\

该工作流程也可以用于跟踪哪个版本的代码和数据产生了哪些结果(用于调试、维护和合规的目的)。

\\

Kubernetes为此提供了基础支持,也因为它具备了可移植性和可伸缩性,所以非常适用于机器学习项目。

\\

Whitenack介绍了一个叫作的开源项目,它支持数据管道,并为Kubernetes提供了数据管理层。工作流中一般会包含多个数据预处理和后处理作业。Pachyderm提供了统一的框架用于调度多步骤工作流、数据管理和向GPU分配工作负载。

\\

Pachyderm框架的特性包括:

\\
  • 数据版本:版本化的数据可存储在Amazon S3数据库里。\
  • 用于分析的容器。\
  • 分布式管道或数据处理DAG。\
  • 数据监管:可用于合规和调试。\

Whitenack在现场进行了演示,使用Pachyderm和Kubernetes实现了一个AI工作流。示例应用程序实现了图像到图像的转换,将卫星图自动转成地图。他在例子中使用TensorFlow进行模型训练和推理。

\\

如果读者对Pachyderm框架感兴趣,可以参考、、,或者直接加入。

\\

查看英文原文

转载地址:http://byxkm.baihongyu.com/

你可能感兴趣的文章
python 面向对象编程案例01
查看>>
最大子阵列和
查看>>
深度分析DataTable如何筛选
查看>>
《TCP/IP作品详细解释2:达到》注意事项--ARP:地址解析协议
查看>>
Java WebService入门实例
查看>>
怎么创建模块?
查看>>
linux 启动时文件系统错误
查看>>
Oracle 12C -- clone a remote pdb
查看>>
MySQL7:视图
查看>>
ubuntu 安装 LAMP环境
查看>>
iOS中Block介绍 基础
查看>>
Mac OS 上设置 JAVA_HOME
查看>>
面向对象
查看>>
小知识~VS2012的xamarin加载失败解决
查看>>
eclipse/MyEclipse 日期格式、注释日期格式、时区问题
查看>>
Spring-IOC注解
查看>>
freemarker的TemplateExceptionHandler使用
查看>>
Git分支管理策略
查看>>
maven学习(上)- 基本入门用法
查看>>
Makefile--基本规则(零)
查看>>