소스 검색

fix quant config

Matthias Reso 11 달 전
부모
커밋
e2f77dbc21
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      src/llama_recipes/inference/model_utils.py

+ 1 - 1
src/llama_recipes/inference/model_utils.py

@@ -23,7 +23,7 @@ def load_model(model_name, quantization, use_fast_kernels, **kwargs):
 
     kwargs = {}
     if bnb_config:
-        kwargs["quantization_config"]=bnb_config,
+        kwargs["quantization_config"]=bnb_config
     kwargs["device_map"]="auto"
     kwargs["low_cpu_mem_usage"]=True
     kwargs["attn_implementation"]="sdpa" if use_fast_kernels else None