Pia Papanna f9ba09166c 3p_integration folder updates преди 2 години
..
aws f9ba09166c 3p_integration folder updates преди 2 години
azure f9ba09166c 3p_integration folder updates преди 2 години
groq f9ba09166c 3p_integration folder updates преди 2 години
lamini f9ba09166c 3p_integration folder updates преди 2 години
octoai f9ba09166c 3p_integration folder updates преди 2 години
tgi f9ba09166c 3p_integration folder updates преди 2 години
vllm 8dc0578702 Fixing broken file paths преди 2 години
README.md f9ba09166c 3p_integration folder updates преди 2 години
llama_on_prem.md f9ba09166c 3p_integration folder updates преди 2 години
using_externally_hosted_llms.ipynb f9ba09166c 3p_integration folder updates преди 2 години

README.md

Running Llama 3 On-Prem with vLLM and TGI

This tutorial shows how to use Llama 3 with vLLM and Hugging Face TGI to build Llama 3 on-prem apps.