 Kai Wu
|
d0b7a20c89
finetuning readme updated
|
hace 1 año |
|
Kai Wu
|
7b1a9413d2
fixed a typo
|
hace 1 año |
|
Kai Wu
|
41434dc825
formatted and removed duplicated or unused function get_total_flops() and byte2mb()
|
hace 1 año |
|
Kai Wu
|
f2e80bae22
created a FlopMeasure class on top of FlopCounterMode instead of keep of copy of our own tflop_counter.py
|
hace 1 año |
|
Kai Wu
|
69e46887b4
handling incorrect profiling early stop caused by max_train_steps and add profiler.step() for each train step
|
hace 1 año |
|
Kai Wu
|
34e0bf4c6e
second draft of this feature, seems to be working now
|
hace 1 año |
|
Kai Wu
|
a35519ee90
fixed typo and handling unexpected exit
|
hace 1 año |
|
Kai Wu
|
2a5de9b448
first draft of flop counter feature
|
hace 1 año |
 Hamid Shojanazeri
|
aaa9e2c863
Adding a feature that will stop the training/eval process after reaching some max_steps (#428)
|
hace 1 año |
|
Kai Wu
|
e6f69f84ad
add max_steps_reached to reduce redundancy
|
hace 1 año |
|
Kai Wu
|
362cda0fa6
fixing test_gradient_accumulation and test_save_to_json
|
hace 1 año |
|
Kai Wu
|
fa0a389f74
add max_step feature for training and eval
|
hace 1 año |
|
Hamid Shojanazeri
|
37c8f72211
Update location and name of llm.py example notebook (#417)
|
hace 1 año |
 Thomas Robinson
|
79266217ef
Update location and name of llm.py example notebook
|
hace 1 año |
|
Hamid Shojanazeri
|
f7aa02af9f
only save training params on rank 0 (#415)
|
hace 1 año |
 jpgard
|
6954b16b3b
only save training params on rank 0
|
hace 1 año |
|
Hamid Shojanazeri
|
64e189914f
update due to peft new release (#407)
|
hace 1 año |
|
Hamid Shojanazeri
|
11f51db28c
adding the kbit prep in the code
|
hace 1 año |
|
Hamid Shojanazeri
|
f058ff6ccd
update due to peft new release
|
hace 1 año |
|
Hamid Shojanazeri
|
6a7478a6aa
Reorg inference throughput folder structure (#404)
|
hace 1 año |
 Chester Hu
|
367e4869ac
Reorg inference throughput folder structure
|
hace 1 año |
|
Hamid Shojanazeri
|
d6eb83f6c5
Add llm class so that externally-hosted models can be called (#398)
|
hace 1 año |
|
Thomas Robinson
|
0346d0d5b8
Add documentation and examples
|
hace 1 año |
|
Hamid Shojanazeri
|
43a1e5cdb0
Fix dead links after directory structure refactor (#397)
|
hace 1 año |
 Suraj Subramanian
|
e2a35420c0
Remove octoai link that is 401-ing
|
hace 1 año |
|
Suraj Subramanian
|
12602f32e2
Merge branch 'main' into subramen-patch-deadlinks
|
hace 1 año |
|
Hamid Shojanazeri
|
c8f4bdac41
Adding open in colab option for notebook (#395)
|
hace 1 año |
|
Thomas Robinson
|
81984a9a44
Remove unnecessary spec format
|
hace 1 año |
 Suraj Subramanian
|
f53f17138b
fix dead links after refactor
|
hace 1 año |
|
Thomas Robinson
|
eee39a7463
Add llm.py class in order to call remotely hosted models
|
hace 1 año |
