Procházet zdrojové kódy

Update utils_llama.py

Allen před 1 rokem
rodič
revize
43e85991ab
1 změnil soubory, kde provedl 1 přidání a 0 odebrání
  1. 1 0
      research/long-context-llama/H2O/utils_llama.py

+ 1 - 0
research/long-context-llama/H2O/utils_llama.py

@@ -43,6 +43,7 @@ def apply_rotary_pos_emb_single(x, cos, sin, position_ids=None, unsqueeze_dim=1)
 
     cos = cos.unsqueeze(unsqueeze_dim)
     sin = sin.unsqueeze(unsqueeze_dim)
+    print(cos.shape, sin.shape, x.shape)
     x_embed = (x * cos) + (rotate_half(x) * sin)
 
     return x_embed