Sfoglia il codice sorgente

Update cache_utils.py

Allen 1 anno fa
parent
commit
bc5d495cf9
1 ha cambiato i file con 1 aggiunte e 0 eliminazioni
  1. 1 0
      research/long-context-llama/H2O/cache_utils.py

+ 1 - 0
research/long-context-llama/H2O/cache_utils.py

@@ -364,6 +364,7 @@ class HHCache(Cache):
         Support for backwards-compatible `past_key_value` indexing, e.g. `past_key_value[0][0].shape[2]` to get the
         sequence length.
         """
+        print(layer_idx, len(self))
         if layer_idx < len(self):
             return (self.key_cache[layer_idx], self.value_cache[layer_idx])
         else: