 lchu
|
895dfcea30
add nightly check for using low_cpu_fsdp mode
|
hace 2 años |
|
lchu
|
1e64fc98d9
switch to simpler param_init_fn and meta device init
|
hace 2 años |
|
lchu
|
101391f46a
Revert "replace init_empty_weights with torch.device(meta)"
|
hace 2 años |
|
lchu
|
c8d4f38d23
replace init_empty_weights with torch.device(meta)
|
hace 2 años |
|
lchu
|
d8a81bb531
save cpu mem by leveraging FSDP rank0 broadcasting
|
hace 2 años |
 Andrew Gu
|
71fdc4920a
Save memory and fix typos
|
hace 2 años |
 Hamid Shojanazeri
|
7ec390bfc8
aliging special tokens in toeknizer with HF latest
|
hace 2 años |
 Rohan Varma
|
d3d7a1656e
Update llama_finetuning.py
|
hace 2 años |
 chauhang
|
4767f09ecd
Initial commit
|
hace 2 años |
