实战教程:利用NVIDIA TensorRT优化一个推荐系统

NVIDIA
5215 2 2019-06-04

个性化推荐系统是建立在海量数据挖掘基础上的一种高级智能平台,以帮助用户提供完全个性化的决策支持和信息服务。

今天的视频就是利用NVIDIA TensorRT优化一个推荐系统。

NVIDIA TensorRT是一个高性能的深度学习推理优化器和运行时,为深度学习推理应用程序提供低延迟和高吞吐量。您可以将经过训练的模型从每个深度学习框架导入TensorRT中,并轻松创建可集成到大型应用程序和服务中的高效推理引擎。

本视频演示了使用NVIDIA TensorRT优化基于MovieLens数据集的多层感知器推荐系统的步骤。

这个视频的五个关键点:

1. 在TensorRT中包含的Universal Framework Format (UFF)工具包的帮助下,将经过训练的TensorFlow模型导入TensorRT非常简单。

2. 甚至在将其导入TensorRT之后,您也可以向训练的模型添加额外的层。

3.可以将引擎序列化到内存块,然后将内存块序列化到文件或流。这消除了再次执行优化步骤的需要。

4. 虽然模型的训练精度较高(FP32),但TensorRT提供了较低精度(FP16)进行推理的灵活性。

5. TensorRT 4包括新的操作,如Concat、Constant和TopK,以及对多层感知器的优化,以加快推荐系统的推理性能。

视频已经被我们加上中文字幕,总共不到6分钟,请耐心观看

可以使用手机扫描二维码来访问,但是推荐用PC访问本页面,视频效果更佳