|
@@ -137,6 +137,7 @@ class DynamicCache(Cache):
|
|
|
self._seen_tokens += key_states.shape[-2]
|
|
|
|
|
|
# Update the cache
|
|
|
+ print(len(self.key_cache), layer_idx)
|
|
|
if len(self.key_cache) <= layer_idx:
|
|
|
self.key_cache.append(key_states)
|
|
|
self.value_cache.append(value_states)
|