浏览代码

Update utils_llama.py

Allen 1 年之前
父节点
当前提交
43e85991ab
共有 1 个文件被更改,包括 1 次插入0 次删除
  1. 1 0
      research/long-context-llama/H2O/utils_llama.py

+ 1 - 0
research/long-context-llama/H2O/utils_llama.py

@@ -43,6 +43,7 @@ def apply_rotary_pos_emb_single(x, cos, sin, position_ids=None, unsqueeze_dim=1)
 
     cos = cos.unsqueeze(unsqueeze_dim)
     sin = sin.unsqueeze(unsqueeze_dim)
+    print(cos.shape, sin.shape, x.shape)
     x_embed = (x * cos) + (rotate_half(x) * sin)
 
     return x_embed