人工智能时代前沿技术社区

首页 > 人工智能 > 热点

谷歌推出“数据回声”技术,加速了人工智能培训

谷歌AI研究部Google Brain的科学家在论文中提出一种称为“数据回声”的技术。

作者: | 2019-07-17 17:12:21

近日,谷歌AI研究部Google Brain的科学家在论文中提出一种称为“数据回声”的技术也即Google的Tensor Processing Units和Intel的Nervana神经网络处理器这样的 AI加速器硬件有望加速AI模型培训,但由于芯片的架构方式,培训管道的早期阶段(如数据预处理)不会受益于提升。他们说这种技术通过重用这些阶段的中间输出来减少早期管道阶段所使用的计算。

1563354844248100.jpeg

根据研究人员的说法,性能最佳的数据回应算法可以使用较少的上游处理来匹配基线的预测性能,在某些情况下可以补偿输入流量的四倍。

“训练神经网络不仅需要在加速器上运行良好的操作,可能需要读取和解压缩训练数据,对其进行混洗,批量处理,甚至对其进行转换或扩充。这些步骤可以运行多个系统组件,包括CPU,磁盘,网络带宽和内存带宽。

在典型的训练管道中,AI系统首先读取和解码输入数据,然后对数据进行混洗,应用一组变换来扩充数据,然后再将示例收集到批处理中并迭代更新参数以减少错误。研究人员的数据回应方法在管道中插入一个阶段,在参数更新之前重复前一阶段的输出数据,理论上回收空闲计算容量。

在实验中,团队使用在开源数据集上训练的AI模型评估了两个语言建模任务,两个图像分类任务和一个对象检测任务的数据回应。他们将培训时间测量为达到目标指标所需的“新鲜”培训示例的数量,并调查数据回显是否可以减少所需示例的数量。

报告表示,除了一个案例外,数据回应所需的新鲜实例比基线和减少的培训要少。此外,他们注意到在数据增加之前与批处理之后相比需要的新鲜示例越少,并且对于更大的批量大小,回声偶尔表现更好。