Explorar el Código

Update utils_llama.py

Allen hace 1 año
padre
commit
0993102a8e
Se han modificado 1 ficheros con 2 adiciones y 1 borrados
  1. 2 1
      research/long-context-llama/H2O/utils_llama.py

+ 2 - 1
research/long-context-llama/H2O/utils_llama.py

@@ -166,7 +166,8 @@ class H2OLlamaAttention(nn.Module):
         past_key_value = getattr(self, "past_key_value", past_key_value)
         cos, sin = self.rotary_emb(value_states, position_ids)
 
-        print(position_ids)
+        if self.layer_idx == 0:
+            print(position_ids)