Allen пре 1 година
родитељ
комит
a346cd68a5
1 измењених фајлова са 1 додато и 0 уклоњено
  1. 1 0
      research/long-context-llama/H2O/cache_utils.py

+ 1 - 0
research/long-context-llama/H2O/cache_utils.py

@@ -137,6 +137,7 @@ class DynamicCache(Cache):
             self._seen_tokens += key_states.shape[-2]
 
         # Update the cache
+        print(len(self.key_cache), layer_idx)
         if len(self.key_cache) <= layer_idx:
             self.key_cache.append(key_states)
             self.value_cache.append(value_states)