Allen 1 год назад
Родитель
Сommit
a346cd68a5
1 измененных файлов с 1 добавлено и 0 удалено
  1. 1 0
      research/long-context-llama/H2O/cache_utils.py

+ 1 - 0
research/long-context-llama/H2O/cache_utils.py

@@ -137,6 +137,7 @@ class DynamicCache(Cache):
             self._seen_tokens += key_states.shape[-2]
 
         # Update the cache
+        print(len(self.key_cache), layer_idx)
         if len(self.key_cache) <= layer_idx:
             self.key_cache.append(key_states)
             self.value_cache.append(value_states)