Ver código fonte

Update cache_utils.py

Allen 1 ano atrás
pai
commit
a346cd68a5
1 arquivos alterados com 1 adições e 0 exclusões
  1. 1 0
      research/long-context-llama/H2O/cache_utils.py

+ 1 - 0
research/long-context-llama/H2O/cache_utils.py

@@ -137,6 +137,7 @@ class DynamicCache(Cache):
             self._seen_tokens += key_states.shape[-2]
 
         # Update the cache
+        print(len(self.key_cache), layer_idx)
         if len(self.key_cache) <= layer_idx:
             self.key_cache.append(key_states)
             self.value_cache.append(value_states)