Browse Source

Update utils_llama.py

Allen 1 năm trước cách đây
mục cha
commit
43e85991ab
1 tập tin đã thay đổi với 1 bổ sung0 xóa
  1. 1 0
      research/long-context-llama/H2O/utils_llama.py

+ 1 - 0
research/long-context-llama/H2O/utils_llama.py

@@ -43,6 +43,7 @@ def apply_rotary_pos_emb_single(x, cos, sin, position_ids=None, unsqueeze_dim=1)
 
     cos = cos.unsqueeze(unsqueeze_dim)
     sin = sin.unsqueeze(unsqueeze_dim)
+    print(cos.shape, sin.shape, x.shape)
     x_embed = (x * cos) + (rotate_half(x) * sin)
 
     return x_embed