 Matthias Reso
|
00e0b0be6c
Apply suggestions from code review
|
vor 2 Jahren |
|
Matthias Reso
|
190d543b53
Add fp8 references
|
vor 2 Jahren |
|
Matthias Reso
|
c167945448
remove 405B ft doc
|
vor 2 Jahren |
|
Matthias Reso
|
b0b4e16aec
Update docs/multi_gpu.md
|
vor 2 Jahren |
|
Matthias Reso
|
e2f77dbc21
fix quant config
|
vor 2 Jahren |
|
Matthias Reso
|
6ef9a78458
Fix issues with quantization_config == None
|
vor 2 Jahren |
|
Matthias Reso
|
b319a9fb8c
Fix lint issue
|
vor 2 Jahren |
|
Matthias Reso
|
a3fd369127
Ref from infernce recipes to vllm for 405B
|
vor 2 Jahren |
|
Matthias Reso
|
a8f2267324
Added multi node doc to multigpu_finetuning.md
|
vor 2 Jahren |
|
Matthias Reso
|
afb3b75892
Add 405B + QLoRA + FSDP to multi_gpu.md doc
|
vor 2 Jahren |
|
Matthias Reso
|
939c88fb04
Add 405B + QLoRA ref to LLM finetung
|
vor 2 Jahren |
|
Matthias Reso
|
d2fd9c163a
Added doc for multi-node vllm inference
|
vor 2 Jahren |
|
Matthias Reso
|
c9ae014459
Enable pipeline parallelism through use of AsyncLLMEngine in vllm inferecen + enable use of lora adapter
|
vor 2 Jahren |
|
Matthias Reso
|
0920b1a415
Fix quantization for inference
|
vor 2 Jahren |
|
Matthias Reso
|
b36830fdf6
Fix reading in stdin for chat_completion, remove padding as we're feeding single samples
|
vor 2 Jahren |
|
Matthias Reso
|
f0aa8e31ca
Update url
|
vor 2 Jahren |
|
Matthias Reso
|
9db61e5235
Refactored infeence to allow multiple requests through gradio
|
vor 2 Jahren |
 Thomas Robinson
|
fd9f52f710
Modify prompt_format_utils with changes necessary for Llama Guard 3 (#1)
|
vor 2 Jahren |
 Cyrus Nikolaidis
|
0c57646481
Prompt Guard Tutorial
|
vor 2 Jahren |
 Hamid Shojanazeri
|
808a3f7a0c
Adding support for FSDP+Qlora. (#572)
|
vor 2 Jahren |
 Jeff Tang
|
ba447971f0
Port of DLAI LlamaIndex Agent short course lessons 2-4 to use Llama 3 (#594)
|
vor 2 Jahren |
|
Jeff Tang
|
935ad46a0d
wordlist update for DLAI LlamaIndex Agent short course
|
vor 2 Jahren |
|
Jeff Tang
|
af8838463e
added lesson summary in each notebook and README
|
vor 2 Jahren |
|
Jeff Tang
|
aaeba04bd6
README update
|
vor 2 Jahren |
|
Jeff Tang
|
353ceaae74
fix of cell order issue for L3
|
vor 2 Jahren |
 dongwang218
|
ed3136f117
Update hf weight conversion script to llama 3 (#551)
|
vor 2 Jahren |
 Kai Wu
|
f6617fb86a
changed --pure_bf16 to --fsdp_config.pure_bf16 and corrected "examples/" path (#587)
|
vor 2 Jahren |
|
Jeff Tang
|
2e4ea5b728
cell cleanup
|
vor 2 Jahren |
|
Jeff Tang
|
0fef52e846
README links fixed
|
vor 2 Jahren |
|
Jeff Tang
|
ebbf362576
L4 - replace groq with fireworks to fix rate limit
|
vor 2 Jahren |
