Add recipes/A5000_24GB_x8/i18n-ja-wikipedia-livejupiter.yaml

Author: yuiseki

recipes/A5000_24GB_x8/i18n-ja-wikipedia-livejupiter.yaml

@@ -0,0 +1,36 @@
+target_task: tasks/i18n/ja.md
+base_model_id: yuiseki/tinyllama-ja-wikipedia-1.5T-v0.1
+model_name: tinyllama-ja-wikipedia-livejupiter-v0.1
+output_base_dir: /data/output
+dataset_id: yuiseki/open2ch-livejupiter-qa
+dataset_input_field_name: question
+dataset_output_field_name: answer
+dataset_filter_field_value: 0
+dataset_train_split_seed: 42
+dataset_train_split_test_size: 0.2
+lora_r: 8
+lora_alpha: 16
+lora_dropout: 0.05
+train_claim_gpu_num: 3
+train_per_device_train_batch_size: 8
+train_gradient_accumulation_steps: 4
+train_num_train_epochs: 4
+train_max_steps: 1000
+train_fp16: True
+inference_max_new_tokens: 64
+evaluations:
+  -
+    prompt: "ヴァージン・オーストラリアが事業を開始したのはいつですか？"
+    expected_output: "ヴァージン・オーストラリアは2000年8月31日、ヴァージン・ブルーとして2機の航空機で単一路線の運航を開始した。"
+  -
+    prompt: "なぜラクダは水なしで長く生きられるのか？"
+    expected_output: "ラクダは、長時間にわたってエネルギーと水分を補給し続けるために、お尻の脂肪を利用している。"
+  -
+    prompt: "レーザーとは何か？"
+    expected_output: "レーザーは、電磁放射源から光を放出する装置である。 最初のレーザーは、チャールズ・H・タウンズとアーサー・レナード・ショーロウの理論的研究に基づいて、1960年にヒューズ研究所のセオドア・マイマンによって作られた。 レーザーはある種の光を発する。コヒーレントな光である。コヒーレンスは空間的にも時間的にも測定できる。空間的コヒーレンスによって、レーザー光線は遠く離れても細いままである。時間的コヒーレンスは、超短光パルスを生成するのに使用できる。 レーザーの使用例としては、光ディスクドライブ、レーザープリンター、バーコードスキャナー、光ファイバー、フォトリソグラフィーなどがあります。"
+  -
+    prompt: "GISは不動産投資業界でどのように役立っているのか？"
+    expected_output: "不動産投資家は、ビジネスを展開する市場や立地に関する競争上の洞察力を得るために、正確で精度の高いロケーション・インテリジェンスに依存している。不動産投資チームはGISを利用して、立地固有のデータ、マッピング、視覚化技術を統合しています。これにより、現在および将来の不動産市場と投資先に関する最新の洞察を提供することができます。投資家は、何千ものグローバル・データセットを使用することで、街中や世界中の不動産投資がどのように推移しているかを素早く理解することができます。また、入居率、建物のメンテナンス、不動産評価などの情報を含め、不動産資産に関する正確なローカル・データに、いつでも、どこでも、どのデバイスからでも素早くアクセスすることができます。 不動産会社や投資家は、GISを使用して市場を調査し、成長と拡大のための新たな機会を特定し、市場や近隣レベルでの投資を管理します。また、3Dレンダリングやバーチャル・ウォークスルーなど、専門的なデジタル資料や印刷物を作成する際にもGISを利用し、プラットフォーム間での投資マーケティングに役立てることができます。不動産投資家は、モバイル・データ収集ツールを使って現場から直接物件情報を収集し、組織全体でリアルタイムにインサイトを分析・共有できる。投資家は、地域間の資産に関する正確な現地知識を活用できる。GISマップとダッシュボードは、投資家が物件に影響を与える関連データをリアルタイムで確認するのに役立ち、あらゆるポートフォリオのあらゆる資産に関する関連データにアクセスできるため、投資管理を効率化できます。"
+  -
+    prompt: "マスターズとは？"
+    expected_output: "マスターズ・トーナメントは、毎年4月の第1週にジョージア州オーガスタのオーガスタ・ナショナル・ゴルフ・クラブで開催されるゴルフトーナメントである。 マスターズは4大メジャートーナメントのひとつであり、毎年同じコースで開催される唯一のトーナメントである。 このコースは、その象徴的なホール、完璧なグランドキーピング、そして通常咲き誇る色とりどりの花で有名である。 優勝者には、憧れのグリーン・ジャケットが贈られ、生涯の出場権が与えられる。 多くの選手やファンは、こうした伝統や過去のトーナメントで起こった歴史的な瞬間から、マスターズをお気に入りのトーナメントと考えている。"

recipes/A5000_24GB_x8/i18n-ja-wikipedia-zundamon.yaml

@@ -1,7 +1,7 @@
 target_task: tasks/i18n/ja.md
-base_model_id: lightblue/karasu-1.1B
-model_name: yuiseki/tinyllama-ja-wikipedia-1.5T-v0.1
-output_base_dir: tinyllama-ja-wikipedia-zundamon-v0.1
+base_model_id: yuiseki/tinyllama-ja-wikipedia-1.5T-v0.1
+model_name: tinyllama-ja-wikipedia-zundamon-v0.1
+output_base_dir: /data/output
 dataset_id: takaaki-inada/databricks-dolly-15k-ja-zundamon
 dataset_context_field_name: input
 dataset_input_field_name: instruction

recipes/A5000_24GB_x8/karasu-livejupiter.yaml

@@ -0,0 +1,36 @@
+target_task: tasks/i18n/ja.md
+base_model_id: lightblue/karasu-1.1B
+model_name: karasu-livejupiter-v0.1
+output_base_dir: /data/output
+dataset_id: yuiseki/open2ch-livejupiter-qa
+dataset_input_field_name: question
+dataset_output_field_name: answer
+dataset_filter_field_value: 0
+dataset_train_split_seed: 42
+dataset_train_split_test_size: 0.2
+lora_r: 8
+lora_alpha: 16
+lora_dropout: 0.05
+train_claim_gpu_num: 3
+train_per_device_train_batch_size: 8
+train_gradient_accumulation_steps: 4
+train_num_train_epochs: 4
+train_max_steps: 1000
+train_fp16: True
+inference_max_new_tokens: 64
+evaluations:
+  -
+    prompt: "ヴァージン・オーストラリアが事業を開始したのはいつですか？"
+    expected_output: "ヴァージン・オーストラリアは2000年8月31日、ヴァージン・ブルーとして2機の航空機で単一路線の運航を開始した。"
+  -
+    prompt: "なぜラクダは水なしで長く生きられるのか？"
+    expected_output: "ラクダは、長時間にわたってエネルギーと水分を補給し続けるために、お尻の脂肪を利用している。"
+  -
+    prompt: "レーザーとは何か？"
+    expected_output: "レーザーは、電磁放射源から光を放出する装置である。 最初のレーザーは、チャールズ・H・タウンズとアーサー・レナード・ショーロウの理論的研究に基づいて、1960年にヒューズ研究所のセオドア・マイマンによって作られた。 レーザーはある種の光を発する。コヒーレントな光である。コヒーレンスは空間的にも時間的にも測定できる。空間的コヒーレンスによって、レーザー光線は遠く離れても細いままである。時間的コヒーレンスは、超短光パルスを生成するのに使用できる。 レーザーの使用例としては、光ディスクドライブ、レーザープリンター、バーコードスキャナー、光ファイバー、フォトリソグラフィーなどがあります。"
+  -
+    prompt: "GISは不動産投資業界でどのように役立っているのか？"
+    expected_output: "不動産投資家は、ビジネスを展開する市場や立地に関する競争上の洞察力を得るために、正確で精度の高いロケーション・インテリジェンスに依存している。不動産投資チームはGISを利用して、立地固有のデータ、マッピング、視覚化技術を統合しています。これにより、現在および将来の不動産市場と投資先に関する最新の洞察を提供することができます。投資家は、何千ものグローバル・データセットを使用することで、街中や世界中の不動産投資がどのように推移しているかを素早く理解することができます。また、入居率、建物のメンテナンス、不動産評価などの情報を含め、不動産資産に関する正確なローカル・データに、いつでも、どこでも、どのデバイスからでも素早くアクセスすることができます。 不動産会社や投資家は、GISを使用して市場を調査し、成長と拡大のための新たな機会を特定し、市場や近隣レベルでの投資を管理します。また、3Dレンダリングやバーチャル・ウォークスルーなど、専門的なデジタル資料や印刷物を作成する際にもGISを利用し、プラットフォーム間での投資マーケティングに役立てることができます。不動産投資家は、モバイル・データ収集ツールを使って現場から直接物件情報を収集し、組織全体でリアルタイムにインサイトを分析・共有できる。投資家は、地域間の資産に関する正確な現地知識を活用できる。GISマップとダッシュボードは、投資家が物件に影響を与える関連データをリアルタイムで確認するのに役立ち、あらゆるポートフォリオのあらゆる資産に関する関連データにアクセスできるため、投資管理を効率化できます。"
+  -
+    prompt: "マスターズとは？"
+    expected_output: "マスターズ・トーナメントは、毎年4月の第1週にジョージア州オーガスタのオーガスタ・ナショナル・ゴルフ・クラブで開催されるゴルフトーナメントである。 マスターズは4大メジャートーナメントのひとつであり、毎年同じコースで開催される唯一のトーナメントである。 このコースは、その象徴的なホール、完璧なグランドキーピング、そして通常咲き誇る色とりどりの花で有名である。 優勝者には、憧れのグリーン・ジャケットが贈られ、生涯の出場権が与えられる。 多くの選手やファンは、こうした伝統や過去のトーナメントで起こった歴史的な瞬間から、マスターズをお気に入りのトーナメントと考えている。"