Forráskód Böngészése

Merge pull request #215 from Lizonghang/main

Add prima.cpp (a distributed implementation of llama.cpp) in LLM Inference
Hannibal046 1 hónapja
szülő
commit
4dbb0828e5
1 módosított fájl, 1 hozzáadás és 0 törlés
  1. 1 0
      README.md

+ 1 - 0
README.md

@@ -459,6 +459,7 @@
 - [Infinity](https://github.com/michaelfeil/infinity) - Inference for text-embeddings in Python
 - [LMDeploy](https://github.com/InternLM/lmdeploy) - A high-throughput and low-latency inference and serving framework for LLMs and VLs
 - [Liger-Kernel](https://github.com/linkedin/Liger-Kernel) - Efficient Triton Kernels for LLM Training.
+- [prima.cpp](https://github.com/Lizonghang/prima.cpp) - A distributed implementation of llama.cpp that lets you run 70B-level LLMs on your everyday devices.
 
 </details>