AUTO_SPLIT=1 如何搭配CUDA_VISIBLE_DEVICES=使用

[ZihaoZheng98]

和别人共享机器，只有4,5,6,7卡可以用时，有auto_split和visible_device一起使用的需求。但是目前的代码一起用会报cuda error错误。

[FangXinyu-0913]

您好@ZihaoZheng98! 想问一下您auto_split是针对哪个某些模型呢～部分模型因为一些原因，只支持在8卡上进行auto_split

和别人共享机器，只有4,5,6,7卡可以用时，有auto_split和visible_device一起使用的需求。但是目前的代码一起用会报cuda error错误。

[kennymckormick]

Hi, @ZihaoZheng98 ,
目前的 model split 策略暂未考虑起始 GPU index 非 0 的情况，可以在对应模型的 building 过程中设置 device 以绕过