소스 검색

Skip test samsum if dataset is unavailable

Matthias Reso 1 년 전
부모
커밋
9fd81d7590
1개의 변경된 파일8개의 추가작업 그리고 0개의 파일을 삭제
  1. 8 0
      src/tests/datasets/test_samsum_datasets.py

+ 8 - 0
src/tests/datasets/test_samsum_datasets.py

@@ -5,11 +5,19 @@ import pytest
 from dataclasses import dataclass
 from functools import partial
 from unittest.mock import patch
+from datasets import load_dataset
 
 @dataclass
 class Config:
     model_type: str = "llama"
 
+try:
+    load_dataset("Samsung/samsum")
+    SAMSUM_UNAVAILABLE = False
+except ValueError:
+    SAMSUM_UNAVAILABLE = True
+
+@pytest.mark.skipif(SAMSUM_UNAVAILABLE, reason="Samsum dataset is unavailable")
 @pytest.mark.skip_missing_tokenizer
 @patch('llama_recipes.finetuning.train')
 @patch('llama_recipes.finetuning.AutoTokenizer')