 Hamid Shojanazeri
|
808a3f7a0c
Adding support for FSDP+Qlora. (#572)
|
hai 1 ano |
 haozhx23
|
e6b0f97199
Fix hsdp_device_mesh=None when enable HSDP and HYBRID_SHARD (#402)
|
hai 1 ano |
 Kai Wu
|
41a46d811d
fix alpaca dataset by using 5% of the data as eval and make sure len((eval_loader)>0
|
hai 1 ano |
|
Kai Wu
|
f1d90d0ff0
fix wandb config update
|
hai 1 ano |
|
Kai Wu
|
480c4f2b5e
resume the finetuning given the path of the previous peft checkpoint folder
|
hai 1 ano |
 Merovingian
|
b4e1a420c8
Freeze layer bug fix
|
hai 1 ano |
 Pavel Belevich
|
fb2e802cef
Fix param_init_fn: move if-statement out of lambda
|
hai 1 ano |
 Beto
|
65559c1640
Merge branch 'main' of github.com:albertodepaola/llama-recipes-private into main
|
hai 1 ano |
 Matthias Reso
|
43cb6a2db4
Remove check for nighlies for low_cpu_fsdp and bump torch version to 2.2 instead
|
hai 1 ano |
|
Matthias Reso
|
113ea18bf1
Replace LlamaTokenizer with AutoTokenizer
|
hai 1 ano |
 Rahul A R
|
f8183b96fe
use new tokenizer_name argument and resize embeddings if required
|
hai 1 ano |
|
Hamid Shojanazeri
|
11f51db28c
adding the kbit prep in the code
|
hai 1 ano |
|
Hamid Shojanazeri
|
f058ff6ccd
update due to peft new release
|
hai 1 ano |
|
Hamid Shojanazeri
|
ffdc93f00a
Merge branch 'main' into wandb_logging
|
hai 1 ano |
|
Matthias Reso
|
c5a382e509
Make tests run on cpu only machines
|
hai 1 ano |
|
Hamid Shojanazeri
|
43ea6bfa71
Merge branch 'main' into ssdp
|
hai 1 ano |
|
Hamid Shojanazeri
|
d51d2cce9c
adding sdpa for flash attn
|
hai 1 ano |
|
Hamid Shojanazeri
|
9a2434f408
update the fine-tuning script
|
hai 1 ano |
|
Hamid Shojanazeri
|
162be4c045
Revert "Flop counter, profiling and GC (#357)"
|
hai 1 ano |
|
Hamid Shojanazeri
|
71d137c722
Merge branch 'main' into flop_counter_gc
|
hai 1 ano |
 Less Wright
|
3f2c33e4f8
Update finetuning.py - remove nightly check
|
hai 1 ano |
|
Hamid Shojanazeri
|
b15ffeeaf4
clean up
|
hai 1 ano |
|
Hamid Shojanazeri
|
19089269d3
add gc
|
hai 1 ano |
 kldarek
|
989b6ee812
wandb logging feedback
|
hai 1 ano |
 Abhilash Majumder
|
4793f0fdf3
Merge branch 'main' into ipex_feature
|
hai 1 ano |
|
kldarek
|
fc5485d916
fixing wandb for fsdp
|
hai 1 ano |
|
kldarek
|
f2406cac07
cleanup spaces
|
hai 1 ano |
|
kldarek
|
cf373529f7
basic wandb logging instrumentation
|
hai 1 ano |
|
Hamid Shojanazeri
|
aa24e8f57e
fix typos
|
hai 1 ano |
|
Hamid Shojanazeri
|
38c8cf08c4
adding hsdp
|
hai 1 ano |
