Bladeren bron

fix quant config

Matthias Reso 9 maanden geleden
bovenliggende
commit
e2f77dbc21
1 gewijzigde bestanden met toevoegingen van 1 en 1 verwijderingen
  1. 1 1
      src/llama_recipes/inference/model_utils.py

+ 1 - 1
src/llama_recipes/inference/model_utils.py

@@ -23,7 +23,7 @@ def load_model(model_name, quantization, use_fast_kernels, **kwargs):
 
     kwargs = {}
     if bnb_config:
-        kwargs["quantization_config"]=bnb_config,
+        kwargs["quantization_config"]=bnb_config
     kwargs["device_map"]="auto"
     kwargs["low_cpu_mem_usage"]=True
     kwargs["attn_implementation"]="sdpa" if use_fast_kernels else None