目的
为了让GPT在每次生成时都保持一致的结果，需要使用CUDNN的设置，仅使用torch.seed是不生效的。
code
1
2
3
4
5
6
os.environ["CUDA_LAUNCH_BLOCKING"] = "1"
os.environ["CUBLAS_WORKSPACE_CONFIG"] = ":16:8"
torch.use_deterministic_algorithms(True)
# Enable CUDNN deterministic mode
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.benchmark = False
