, trust_remote_code=True

Author: yuiseki

recipes/A5000_24GB_x8/i18n-en-aya.yaml

@@ -0,0 +1,31 @@
+target_task: tasks/i18n/fr.md
+base_model_id: TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T
+model_name: tinyllama-en-wikipedia-aya-1.5T-v0.1
+output_base_dir: /data/output
+dataset_id: CohereForAI/aya_dataset
+dataset_input_field_name: inputs
+dataset_output_field_name: targets
+dataset_filter_field_name: language_code
+dataset_filter_field_value: eng
+dataset_train_split_seed: 42
+dataset_train_split_test_size: 0.2
+lora_r: 8
+lora_alpha: 16
+lora_dropout: 0.05
+train_claim_gpu_num: 3
+train_per_device_train_batch_size: 8
+train_gradient_accumulation_steps: 4
+train_num_train_epochs: 4
+train_max_steps: 1000
+train_fp16: True
+inference_max_new_tokens: 32
+evaluations:
+  -
+    prompt: "火縄銃の威力が全国に知られる事となった、１５７５年に織田・徳川連合軍が鉄砲隊を用いて武田勝頼率いる騎馬隊を破った戦いを何というでしょう？"
+    expected_output: "長篠の戦いです。"
+  -
+    prompt: "ベトナム戦争終結や米ソ戦略兵器削減交渉などを進めたものの、１９７４年にウォーターゲート事件の責任をとって辞任したアメリカの第３７代大統領は誰でしょう？"
+    expected_output: "リチャード・ニクソンです。"
+  -
+    prompt: "格闘家ボブ・サップの出身国はどこでしょう？"
+    expected_output: "アメリカです。"

src/dataset/load.py

@@ -4,19 +4,19 @@
 from datasets.load import load_dataset
 
 # load_dataset("oscar")
-load_dataset("cc100", "en")
-load_dataset("cc100", "ja")
-load_dataset("cerebras/SlimPajama-627B")
-load_dataset("bigcode/starcoderdata")
-load_dataset("Open-Orca/OpenOrca")
-load_dataset("HuggingFaceH4/ultrafeedback_binarized")
-load_dataset("HuggingFaceH4/ultrachat_200k")
-load_dataset("cognitivecomputations/dolphin")
-load_dataset("LDJnr/Capybara")
-load_dataset("ise-uiuc/Magicoder-Evol-Instruct-110K")
-load_dataset("allenai/c4", "en")
-load_dataset("allenai/c4", "ja")
-load_dataset("the_pile", "all")
+load_dataset("cc100", "en", trust_remote_code=True)
+load_dataset("cc100", "ja", trust_remote_code=True)
+load_dataset("cerebras/SlimPajama-627B", trust_remote_code=True)
+load_dataset("bigcode/starcoderdata", trust_remote_code=True)
+load_dataset("Open-Orca/OpenOrca", trust_remote_code=True)
+load_dataset("HuggingFaceH4/ultrafeedback_binarized", trust_remote_code=True)
+load_dataset("HuggingFaceH4/ultrachat_200k", trust_remote_code=True)
+load_dataset("cognitivecomputations/dolphin", trust_remote_code=True)
+load_dataset("LDJnr/Capybara", trust_remote_code=True)
+load_dataset("ise-uiuc/Magicoder-Evol-Instruct-110K", trust_remote_code=True)
+load_dataset("allenai/c4", "en", trust_remote_code=True)
+load_dataset("allenai/c4", "ja", trust_remote_code=True)
+load_dataset("the_pile", "all", trust_remote_code=True)
 
 
 # 指定されたファイルパスからyamlファイルを読み込む
@@ -43,7 +43,7 @@ def load_yaml(file_path):
         is_lte_10gb_dataset = data["converted_size"][-2:] == "GB" and float(data["converted_size"][:-2]) <= 10
         # MBオーダーか10GB以下のデータセットの場合のみ読み込む
         if is_mb_dataset or is_lte_10gb_dataset:
-            dataset = load_dataset(data["id"])
+            dataset = load_dataset(data["id"], trust_remote_code=True)
             print(dataset)
     except Exception as e:
         print(f"Error loading dataset: {e}")