Ethan
059f0a4ca1
Initial commit for Crusoe recipes, beginning with vLLM tutorial on benchmarking fp8.
|
1 год назад | |
|---|---|---|
| .. | ||
| README.md | 1 год назад | |
| backend_request_func.py | 1 год назад | |
| benchmark_latency.py | 1 год назад | |
| benchmark_prefix_caching.py | 1 год назад | |
| benchmark_serving.py | 1 год назад | |
| benchmark_throughput.py | 1 год назад | |
| launch_tgi_server.sh | 1 год назад | |
| sonnet.txt | 1 год назад | |
README.md
Benchmarking vLLM
Downloading the ShareGPT dataset
You can download the dataset by running:
wget https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/ShareGPT_V3_unfiltered_cleaned_split.json