Allen преди 1 година
родител
ревизия
0993102a8e
променени са 1 файла, в които са добавени 2 реда и са изтрити 1 реда
  1. 2 1
      research/long-context-llama/H2O/utils_llama.py

+ 2 - 1
research/long-context-llama/H2O/utils_llama.py

@@ -166,7 +166,8 @@ class H2OLlamaAttention(nn.Module):
         past_key_value = getattr(self, "past_key_value", past_key_value)
         cos, sin = self.rotary_emb(value_states, position_ids)
 
-        print(position_ids)
+        if self.layer_idx == 0:
+            print(position_ids)