Igor Kasianenko 2 месяцев назад
Родитель
Сommit
704a23a0e0
1 измененных файлов с 1 добавлено и 1 удалено
  1. 1 1
      src/llama_cookbook/utils/fsdp_utils.py

+ 1 - 1
src/llama_cookbook/utils/fsdp_utils.py

@@ -6,7 +6,7 @@ import torch.cuda.nccl as nccl
 import torch.distributed as dist
 
 from llama_cookbook.policies import fpSixteen,bfSixteen, get_llama_wrapper
-from torch.distributed._tensor.device_mesh import init_device_mesh
+from torch.distributed.tensor.device_mesh import init_device_mesh
 
 def fsdp_auto_wrap_policy(model, transformer_layer_names):
     import functools