浏览代码

fix quant config

Matthias Reso 8 月之前
父节点
当前提交
e2f77dbc21
共有 1 个文件被更改,包括 1 次插入1 次删除
  1. 1 1
      src/llama_recipes/inference/model_utils.py

+ 1 - 1
src/llama_recipes/inference/model_utils.py

@@ -23,7 +23,7 @@ def load_model(model_name, quantization, use_fast_kernels, **kwargs):
 
     kwargs = {}
     if bnb_config:
-        kwargs["quantization_config"]=bnb_config,
+        kwargs["quantization_config"]=bnb_config
     kwargs["device_map"]="auto"
     kwargs["low_cpu_mem_usage"]=True
     kwargs["attn_implementation"]="sdpa" if use_fast_kernels else None