GPU虚拟显存

GPU虚拟显存

功能介绍

使用 GPU 进行训练时通常会遇到显存不足的问题，该优化在显存不足时使用 cuda 的统一内存地址的 cuMemAllocManaged API 来分配显存，可以使用 CPU 内存来增加显存使用，注意这会造成性能下降。

用户接口

该优化默认开启，且只在显存不足时使用，可以使用 export TF_GPU_VMEM=0 关闭该优化。注意目前的 GPU Memory Optimization 与GPU虚拟显存优化不兼容，开启 GPU Memory Optimization 时会关闭GPU虚拟显存优化。