Quellcode durchsuchen

remove duplicate peft model load

Hamid Shojanazeri vor 1 Jahr
Ursprung
Commit
fbf43e1624
1 geänderte Dateien mit 0 neuen und 3 gelöschten Zeilen
  1. 0 3
      inference/inference.py

+ 0 - 3
inference/inference.py

@@ -99,9 +99,6 @@ def main(
         print("Skipping the inference as the prompt is not safe.")
         sys.exit(1)  # Exit the program with an error status
         
-    if peft_model:
-        model = load_peft_model(model, peft_model)
-
     model.eval()
     batch = tokenizer(user_prompt, padding='max_length', truncation=True,max_length=max_padding_length,return_tensors="pt")