Explorar o código

Update utils_llama.py

Allen hai 1 ano
pai
achega
e2a4c74fc4
Modificáronse 1 ficheiros con 1 adicións e 0 borrados
  1. 1 0
      research/long-context-llama/H2O/utils_llama.py

+ 1 - 0
research/long-context-llama/H2O/utils_llama.py

@@ -336,6 +336,7 @@ def enable_h2ocache_forward(
     past_seen_tokens = 0
     if use_cache:  # kept for BC (cache positions)
         if not isinstance(past_key_values, StaticCache):
+            pdb.set_trace()
             past_key_values = HHCache.from_legacy_cache(past_key_values)
             past_seen_tokens = past_key_values.get_seq_length()