 Hamid Shojanazeri
|
754b5d22c7
clean up and typo fixes
|
před 2 roky |
|
Hamid Shojanazeri
|
9b0eae4056
add max_pad length as an arg
|
před 2 roky |
|
Hamid Shojanazeri
|
6beadcd8dd
adding padding to inference script with embedding size changing
|
před 2 roky |
|
Hamid Shojanazeri
|
c4e96af6ee
clean up
|
před 2 roky |
|
Hamid Shojanazeri
|
ceaf6301e9
remove the unused code
|
před 2 roky |
|
Hamid Shojanazeri
|
a7fe0396c5
update to main
|
před 2 roky |
|
Hamid Shojanazeri
|
7ad5bd5ef2
adding inference updates
|
před 2 roky |
|
Hamid Shojanazeri
|
7ec390bfc8
aliging special tokens in toeknizer with HF latest
|
před 2 roky |
|
Hamid Shojanazeri
|
15053268b4
adding dist checkpoint handler for signle gpu
|
před 2 roky |
|
Hamid Shojanazeri
|
25b60ee835
adding fsdp checkpoint loading
|
před 2 roky |
|
Hamid Shojanazeri
|
37dac0ebc5
adding time and tp config and new pad token
|
před 2 roky |
 chauhang
|
4767f09ecd
Initial commit
|
před 2 roky |
