Matthias Reso преди 9 месеца
родител
ревизия
e2f77dbc21
променени са 1 файла, в които са добавени 1 реда и са изтрити 1 реда
  1. 1 1
      src/llama_recipes/inference/model_utils.py

+ 1 - 1
src/llama_recipes/inference/model_utils.py

@@ -23,7 +23,7 @@ def load_model(model_name, quantization, use_fast_kernels, **kwargs):
 
     kwargs = {}
     if bnb_config:
-        kwargs["quantization_config"]=bnb_config,
+        kwargs["quantization_config"]=bnb_config
     kwargs["device_map"]="auto"
     kwargs["low_cpu_mem_usage"]=True
     kwargs["attn_implementation"]="sdpa" if use_fast_kernels else None