ソースを参照

Update utils_llama.py

Allen 1 年間 前
コミット
0993102a8e
1 ファイル変更2 行追加1 行削除
  1. 2 1
      research/long-context-llama/H2O/utils_llama.py

+ 2 - 1
research/long-context-llama/H2O/utils_llama.py

@@ -166,7 +166,8 @@ class H2OLlamaAttention(nn.Module):
         past_key_value = getattr(self, "past_key_value", past_key_value)
         cos, sin = self.rotary_emb(value_states, position_ids)
 
-        print(position_ids)
+        if self.layer_idx == 0:
+            print(position_ids)