Skip to content

Commit f18153b

Browse files
committed
ベースモデルごとにディレクトリを分けることにした
1 parent 3bf0ed4 commit f18153b

25 files changed

+365
-4
lines changed

recipes/A5000_24GB_x8/YuisekinAI-mistral-1.1B-aya.yaml recipes/A5000_24GB_x8/YuisekinAI-mistral-1.1B/YuisekinAI-mistral-1.1B-aya.yaml

+1-2
Original file line numberDiff line numberDiff line change
@@ -12,11 +12,10 @@ dataset_train_split_test_size: 0.2
1212
lora_r: 8
1313
lora_alpha: 16
1414
lora_dropout: 0.05
15-
train_claim_gpu_num: 1
15+
train_claim_gpu_num: 4
1616
train_per_device_train_batch_size: 4
1717
train_gradient_accumulation_steps: 32
1818
train_num_train_epochs: 4
19-
train_fp16: True
2019
inference_max_new_tokens: 32
2120
evaluations:
2221
-

recipes/A5000_24GB_x8/YuisekinAI-mistral-1.1B-databricks-dolly.yaml recipes/A5000_24GB_x8/YuisekinAI-mistral-1.1B/YuisekinAI-mistral-1.1B-databricks-dolly.yaml

-1
Original file line numberDiff line numberDiff line change
@@ -16,7 +16,6 @@ train_claim_gpu_num: 4
1616
train_per_device_train_batch_size: 4
1717
train_gradient_accumulation_steps: 32
1818
train_num_train_epochs: 4
19-
train_fp16: True
2019
inference_max_new_tokens: 64
2120
evaluations:
2221
-
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,29 @@
1+
target_task: tasks/i18n/ja.md
2+
base_model_id: yuiseki/YuisekinAI-mistral-en-1.1B
3+
model_name: YuisekinAI-mistral-en-1.1B-aya
4+
output_base_dir: /data/output
5+
dataset_id: CohereForAI/aya_dataset
6+
dataset_input_field_name: inputs
7+
dataset_output_field_name: targets
8+
dataset_filter_field_name: language_code
9+
dataset_filter_field_value: eng
10+
dataset_train_split_seed: 42
11+
dataset_train_split_test_size: 0.2
12+
lora_r: 8
13+
lora_alpha: 16
14+
lora_dropout: 0.05
15+
train_claim_gpu_num: 4
16+
train_per_device_train_batch_size: 4
17+
train_gradient_accumulation_steps: 32
18+
train_num_train_epochs: 4
19+
inference_max_new_tokens: 32
20+
evaluations:
21+
-
22+
prompt: "火縄銃の威力が全国に知られる事となった、1575年に織田・徳川連合軍が鉄砲隊を用いて武田勝頼率いる騎馬隊を破った戦いを何というでしょう?"
23+
expected_output: "長篠の戦いです。"
24+
-
25+
prompt: "ベトナム戦争終結や米ソ戦略兵器削減交渉などを進めたものの、1974年にウォーターゲート事件の責任をとって辞任したアメリカの第37代大統領は誰でしょう?"
26+
expected_output: "リチャード・ニクソンです。"
27+
-
28+
prompt: "格闘家ボブ・サップの出身国はどこでしょう?"
29+
expected_output: "アメリカです。"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,30 @@
1+
target_task: tasks/text-generation/text2rgbhex.md
2+
base_model_id: yuiseki/YuisekinAI-mistral-en-1.1B
3+
model_name: YuisekinAI-mistral-en-1.1B-coder-color
4+
output_base_dir: /data/output
5+
dataset_id: burkelibbey/colors
6+
dataset_input_field_name: description
7+
dataset_output_field_name: color
8+
dataset_train_split_seed: 42
9+
dataset_train_split_test_size: 0.2
10+
lora_r: 8
11+
lora_alpha: 16
12+
lora_dropout: 0.05
13+
train_claim_gpu_num: 4
14+
train_per_device_train_batch_size: 16
15+
train_gradient_accumulation_steps: 32
16+
train_num_train_epochs: 4
17+
inference_max_new_tokens: 16
18+
evaluations:
19+
-
20+
prompt: "Pure Black: A shade that completely absorbs light and does not reflect any colors. It is the darkest possible shade."
21+
expected_output: "#000000"
22+
-
23+
prompt: "yellow color"
24+
expected_output: "#fff000"
25+
-
26+
prompt: "sky blue color"
27+
expected_output: "#3090c0"
28+
-
29+
prompt: "light orange color"
30+
expected_output: "#f08040"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,32 @@
1+
target_task: tasks/nlp/translation.md
2+
base_model_id: yuiseki/YuisekinAI-mistral-en-1.1B
3+
model_name: YuisekinAI-mistral-en-1.1B-coder-dolphin
4+
output_base_dir: /data/output
5+
dataset_id: cognitivecomputations/dolphin
6+
dataset_load_config: flan1m-alpaca-uncensored
7+
dataset_input_field_name: instruction
8+
dataset_context_field_name: input
9+
dataset_output_field_name: output
10+
dataset_train_split_seed: 42
11+
dataset_train_split_test_size: 0.2
12+
lora_r: 8
13+
lora_alpha: 16
14+
lora_dropout: 0.05
15+
train_claim_gpu_num: 4
16+
train_per_device_train_batch_size: 4
17+
train_gradient_accumulation_steps: 32
18+
train_num_train_epochs: 4
19+
inference_max_new_tokens: 32
20+
evaluations:
21+
-
22+
prompt: "thank you"
23+
expected_output: "ありがとう"
24+
-
25+
prompt: "Hello"
26+
expected_output: "こんにちは"
27+
-
28+
prompt: "How are you?"
29+
expected_output: "お元気ですか?"
30+
-
31+
prompt: "I am hungry"
32+
expected_output: "お腹が空いています"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,32 @@
1+
target_task: tasks/nlp/translation.md
2+
base_model_id: yuiseki/YuisekinAI-mistral-en-1.1B
3+
model_name: YuisekinAI-mistral-en-1.1B-coder-math
4+
output_base_dir: /data/output
5+
dataset_id: nvidia/OpenMathInstruct-1
6+
dataset_input_field_name: question
7+
dataset_output_field_name: generated_solution
8+
dataset_filter_field_name: is_correct
9+
dataset_filter_field_value: true
10+
dataset_train_split_seed: 42
11+
dataset_train_split_test_size: 0.2
12+
lora_r: 8
13+
lora_alpha: 16
14+
lora_dropout: 0.05
15+
train_claim_gpu_num: 4
16+
train_per_device_train_batch_size: 4
17+
train_gradient_accumulation_steps: 32
18+
train_num_train_epochs: 4
19+
inference_max_new_tokens: 32
20+
evaluations:
21+
-
22+
prompt: "thank you"
23+
expected_output: "ありがとう"
24+
-
25+
prompt: "Hello"
26+
expected_output: "こんにちは"
27+
-
28+
prompt: "How are you?"
29+
expected_output: "お元気ですか?"
30+
-
31+
prompt: "I am hungry"
32+
expected_output: "お腹が空いています"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,28 @@
1+
target_task: tasks/text-generation/text2sql.md
2+
base_model_id: yuiseki/YuisekinAI-mistral-en-1.1B
3+
model_name: YuisekinAI-mistral-en-1.1B-coder-sql
4+
output_base_dir: /data/output
5+
dataset_id: b-mc2/sql-create-context
6+
dataset_input_field_name: question
7+
dataset_context_hint: Given the context, generate an SQL query that answers the question
8+
dataset_context_field_name: context
9+
dataset_output_field_name: answer
10+
dataset_train_split_seed: 42
11+
dataset_train_split_test_size: 0.2
12+
lora_r: 8
13+
lora_alpha: 16
14+
lora_dropout: 0.05
15+
train_claim_gpu_num: 4
16+
train_per_device_train_batch_size: 8
17+
train_gradient_accumulation_steps: 32
18+
train_num_train_epochs: 4
19+
inference_max_new_tokens: 64
20+
evaluations:
21+
-
22+
prompt: "How many heads of the departments are older than 56 ?"
23+
context: "CREATE TABLE head (age INTEGER)"
24+
expected_output: "SELECT COUNT(*) FROM head WHERE age > 56"
25+
-
26+
prompt: "List the name, born state and age of the heads of departments ordered by age."
27+
context: "CREATE TABLE head (name VARCHAR, born_state VARCHAR, age VARCHAR)"
28+
expected_output: "SELECT name, born_state, age FROM head ORDER BY age"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,30 @@
1+
target_task: tasks/nlp/translation.md
2+
base_model_id: yuiseki/YuisekinAI-mistral-en-1.1B
3+
model_name: YuisekinAI-mistral-en-1.1B-coder-wizardlm
4+
output_base_dir: /data/output
5+
dataset_id: WizardLM/WizardLM_evol_instruct_70k
6+
dataset_input_field_name: instruction
7+
dataset_output_field_name: output
8+
dataset_train_split_seed: 42
9+
dataset_train_split_test_size: 0.2
10+
lora_r: 8
11+
lora_alpha: 16
12+
lora_dropout: 0.05
13+
train_claim_gpu_num: 4
14+
train_per_device_train_batch_size: 4
15+
train_gradient_accumulation_steps: 32
16+
train_num_train_epochs: 4
17+
inference_max_new_tokens: 32
18+
evaluations:
19+
-
20+
prompt: "thank you"
21+
expected_output: "ありがとう"
22+
-
23+
prompt: "Hello"
24+
expected_output: "こんにちは"
25+
-
26+
prompt: "How are you?"
27+
expected_output: "お元気ですか?"
28+
-
29+
prompt: "I am hungry"
30+
expected_output: "お腹が空いています"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,40 @@
1+
target_task: tasks/i18n/ja.md
2+
base_model_id: yuiseki/YuisekinAI-mistral-en-1.1B
3+
model_name: YuisekinAI-mistral-en-1.1B-databricks-dolly
4+
output_base_dir: /data/output
5+
dataset_id: databricks/databricks-dolly-15k
6+
dataset_context_field_name: context
7+
dataset_input_field_name: instruction
8+
dataset_output_field_name: response
9+
dataset_filter_field_value: 0
10+
dataset_train_split_seed: 42
11+
dataset_train_split_test_size: 0.2
12+
lora_r: 8
13+
lora_alpha: 16
14+
lora_dropout: 0.05
15+
train_claim_gpu_num: 4
16+
train_per_device_train_batch_size: 4
17+
train_gradient_accumulation_steps: 32
18+
train_num_train_epochs: 4
19+
inference_max_new_tokens: 64
20+
evaluations:
21+
-
22+
prompt: "ヴァージン・オーストラリアが事業を開始したのはいつですか?"
23+
context: "ヴァージン・オーストラリア航空(Virgin Australia Airlines Pty Ltd)の商号で、オーストラリアを拠点とする航空会社。ヴァージン・ブランドを使用する航空会社としては、保有機材数で最大の航空会社である。2000年8月31日にヴァージン・ブルーとして、2機の航空機で単一路線の運航を開始した。2001年9月のアンセット・オーストラリアの破綻後、突如としてオーストラリア国内市場の主要航空会社となった。その後、ブリスベン、メルボルン、シドニーをハブ空港として、オーストラリア国内32都市に直接就航するまでに成長した。"
24+
expected_output: "ヴァージン・オーストラリアは2000年8月31日、ヴァージン・ブルーとして2機の航空機で単一路線の運航を開始した。"
25+
-
26+
prompt: "なぜラクダは水なしで長く生きられるのか?"
27+
context: ""
28+
expected_output: "ラクダは、長時間にわたってエネルギーと水分を補給し続けるために、お尻の脂肪を利用している。"
29+
-
30+
prompt: "レーザーとは何か?"
31+
context: "レーザーは、電磁放射の誘導放出に基づく光増幅プロセスによって光を放出する装置である。最初のレーザーは、チャールズ・H・タウンズとアーサー・レナード・ショーロウの理論的研究に基づいて、ヒューズ研究所のセオドア・マイマンによって1960年に作られた。 レーザーが他の光源と異なる点は、コヒーレントな光を発する点である。空間コヒーレンスは、レーザーを狭いスポットに集光することを可能にし、レーザー切断やリソグラフィーのような応用を可能にする。また、空間コヒーレンスは、レーザー・ビームを長距離にわたって細く保つ(コリメーション)ことを可能にし、レーザー・ポインターやライダー(光検出と測距)などのアプリケーションを可能にします。レーザーは時間的コヒーレンスも高く、非常に狭いスペクトルの光を放射することができます。また、時間コヒーレンスを利用して、スペクトルは広いが持続時間はフェムト秒と短い超短パルス光を発生させることもできる。 レーザーは、光ディスクドライブ、レーザー・プリンター、バーコード・スキャナー、DNA配列決定装置、光ファイバー、自由空間光通信、半導体チップ製造(フォトリソグラフィー)、レーザー外科手術や皮膚治療、切断や溶接材料、軍事・法執行装置(標的のマーキングや距離・速度の測定)、娯楽用レーザー照明ディスプレイに使用されている。青色から近紫外線の半導体レーザーは、発光ダイオード(LED)の代わりに蛍光を励起する白色光源としても使用されている。これは、レーザーの放射輝度がはるかに大きいため、発光面積をはるかに小さくすることができ、LEDが被る下垂を避けることができる。このような装置は、すでに一部の自動車のヘッドランプに使用されている。"
32+
expected_output: "レーザーは、電磁放射源から光を放出する装置である。 最初のレーザーは、チャールズ・H・タウンズとアーサー・レナード・ショーロウの理論的研究に基づいて、1960年にヒューズ研究所のセオドア・マイマンによって作られた。 レーザーはある種の光を発する。コヒーレントな光である。コヒーレンスは空間的にも時間的にも測定できる。空間的コヒーレンスによって、レーザー光線は遠く離れても細いままである。時間的コヒーレンスは、超短光パルスを生成するのに使用できる。 レーザーの使用例としては、光ディスクドライブ、レーザープリンター、バーコードスキャナー、光ファイバー、フォトリソグラフィーなどがあります。"
33+
-
34+
prompt: "GISは不動産投資業界でどのように役立っているのか?"
35+
context: ""
36+
expected_output: "不動産投資家は、ビジネスを展開する市場や立地に関する競争上の洞察力を得るために、正確で精度の高いロケーション・インテリジェンスに依存している。不動産投資チームはGISを利用して、立地固有のデータ、マッピング、視覚化技術を統合しています。これにより、現在および将来の不動産市場と投資先に関する最新の洞察を提供することができます。投資家は、何千ものグローバル・データセットを使用することで、街中や世界中の不動産投資がどのように推移しているかを素早く理解することができます。また、入居率、建物のメンテナンス、不動産評価などの情報を含め、不動産資産に関する正確なローカル・データに、いつでも、どこでも、どのデバイスからでも素早くアクセスすることができます。 不動産会社や投資家は、GISを使用して市場を調査し、成長と拡大のための新たな機会を特定し、市場や近隣レベルでの投資を管理します。また、3Dレンダリングやバーチャル・ウォークスルーなど、専門的なデジタル資料や印刷物を作成する際にもGISを利用し、プラットフォーム間での投資マーケティングに役立てることができます。不動産投資家は、モバイル・データ収集ツールを使って現場から直接物件情報を収集し、組織全体でリアルタイムにインサイトを分析・共有できる。投資家は、地域間の資産に関する正確な現地知識を活用できる。GISマップとダッシュボードは、投資家が物件に影響を与える関連データをリアルタイムで確認するのに役立ち、あらゆるポートフォリオのあらゆる資産に関する関連データにアクセスできるため、投資管理を効率化できます。"
37+
-
38+
prompt: "マスターズとは?"
39+
context: ""
40+
expected_output: "マスターズ・トーナメントは、毎年4月の第1週にジョージア州オーガスタのオーガスタ・ナショナル・ゴルフ・クラブで開催されるゴルフトーナメントである。 マスターズは4大メジャートーナメントのひとつであり、毎年同じコースで開催される唯一のトーナメントである。 このコースは、その象徴的なホール、完璧なグランドキーピング、そして通常咲き誇る色とりどりの花で有名である。 優勝者には、憧れのグリーン・ジャケットが贈られ、生涯の出場権が与えられる。 多くの選手やファンは、こうした伝統や過去のトーナメントで起こった歴史的な瞬間から、マスターズをお気に入りのトーナメントと考えている。"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,27 @@
1+
target_task: tasks/i18n/ja.md
2+
base_model_id: TinyLlama/TinyLlama-1.1B-intermediate-step-715k-1.5T
3+
model_name: tinyllama-ne-wikipedia-1.5T-v0.1
4+
output_base_dir: /data/output
5+
dataset_id: wikimedia/wikipedia
6+
dataset_load_config: 20231101.ne
7+
dataset_input_field_name: text
8+
dataset_train_split_seed: 42
9+
dataset_train_split_test_size: 0.2
10+
lora_r: 8
11+
lora_alpha: 16
12+
lora_dropout: 0.05
13+
train_claim_gpu_num: 4
14+
train_per_device_train_batch_size: 4
15+
train_gradient_accumulation_steps: 64
16+
train_num_train_epochs: 2
17+
inference_max_new_tokens: 32
18+
evaluations:
19+
-
20+
prompt: "2つ以上の文字を組み合わせて図案化したもののことで、特にルイ・ヴィトンのものが知られるのは何でしょう?"
21+
expected_output: "モノグラム"
22+
-
23+
prompt: "幾つかの布切れを縫いあわせ、飾りや模様を作る手芸方法を何というでしょう?"
24+
expected_output: "パッチワーク"
25+
-
26+
prompt: "格闘家ボブ・サップの出身国はどこでしょう?"
27+
expected_output: "アメリカ"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,27 @@
1+
target_task: tasks/i18n/ja.md
2+
base_model_id: TinyLlama/TinyLlama-1.1B-intermediate-step-715k-1.5T
3+
model_name: tinyllama-sg-wikipedia-1.5T-v0.1
4+
output_base_dir: /data/output
5+
dataset_id: wikimedia/wikipedia
6+
dataset_load_config: 20231101.sg
7+
dataset_input_field_name: text
8+
dataset_train_split_seed: 42
9+
dataset_train_split_test_size: 0.2
10+
lora_r: 8
11+
lora_alpha: 16
12+
lora_dropout: 0.05
13+
train_claim_gpu_num: 4
14+
train_per_device_train_batch_size: 4
15+
train_gradient_accumulation_steps: 64
16+
train_num_train_epochs: 2
17+
inference_max_new_tokens: 32
18+
evaluations:
19+
-
20+
prompt: "2つ以上の文字を組み合わせて図案化したもののことで、特にルイ・ヴィトンのものが知られるのは何でしょう?"
21+
expected_output: "モノグラム"
22+
-
23+
prompt: "幾つかの布切れを縫いあわせ、飾りや模様を作る手芸方法を何というでしょう?"
24+
expected_output: "パッチワーク"
25+
-
26+
prompt: "格闘家ボブ・サップの出身国はどこでしょう?"
27+
expected_output: "アメリカ"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,27 @@
1+
target_task: tasks/text-generation/text2sql.md
2+
base_model_id: llm-jp/llm-jp-13b-v1.0
3+
model_name: llm-jp-13b-instruct-lora-amenokaku-v0.1
4+
output_base_dir: /data/output
5+
dataset_id: kunishou/amenokaku-code-instruct
6+
dataset_input_field_name: instruction
7+
dataset_context_field_name: input
8+
dataset_output_field_name: output
9+
dataset_train_split_seed: 42
10+
dataset_train_split_test_size: 0.2
11+
lora_r: 8
12+
lora_alpha: 16
13+
lora_dropout: 0.05
14+
train_claim_gpu_num: 8
15+
train_per_device_train_batch_size: 1
16+
train_gradient_accumulation_steps: 64
17+
train_num_train_epochs: 5
18+
inference_max_new_tokens: 64
19+
evaluations:
20+
-
21+
prompt: "How many heads of the departments are older than 56 ?"
22+
context: "CREATE TABLE head (age INTEGER)"
23+
expected_output: "SELECT COUNT(*) FROM head WHERE age > 56"
24+
-
25+
prompt: "List the name, born state and age of the heads of departments ordered by age."
26+
context: "CREATE TABLE head (name VARCHAR, born_state VARCHAR, age VARCHAR)"
27+
expected_output: "SELECT name, born_state, age FROM head ORDER BY age"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,29 @@
1+
target_task: tasks/i18n/ja.md
2+
base_model_id: llm-jp/llm-jp-13b-v1.0
3+
model_name: llm-jp-13b-instruct-lora-aya-v0.1
4+
output_base_dir: /data/output
5+
dataset_id: CohereForAI/aya_dataset
6+
dataset_input_field_name: inputs
7+
dataset_output_field_name: targets
8+
dataset_filter_field_name: language_code
9+
dataset_filter_field_value: jpn
10+
dataset_train_split_seed: 42
11+
dataset_train_split_test_size: 0.2
12+
lora_r: 8
13+
lora_alpha: 16
14+
lora_dropout: 0.05
15+
train_claim_gpu_num: 8
16+
train_per_device_train_batch_size: 1
17+
train_gradient_accumulation_steps: 128
18+
train_num_train_epochs: 5
19+
inference_max_new_tokens: 32
20+
evaluations:
21+
-
22+
prompt: "火縄銃の威力が全国に知られる事となった、1575年に織田・徳川連合軍が鉄砲隊を用いて武田勝頼率いる騎馬隊を破った戦いを何というでしょう?"
23+
expected_output: "長篠の戦いです。"
24+
-
25+
prompt: "ベトナム戦争終結や米ソ戦略兵器削減交渉などを進めたものの、1974年にウォーターゲート事件の責任をとって辞任したアメリカの第37代大統領は誰でしょう?"
26+
expected_output: "リチャード・ニクソンです。"
27+
-
28+
prompt: "格闘家ボブ・サップの出身国はどこでしょう?"
29+
expected_output: "アメリカです。"
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,30 @@
1+
target_task: tasks/nlp/translation.md
2+
base_model_id: llm-jp/llm-jp-13b-v1.0
3+
model_name: llm-jp-13b-instruct-lora-math-v0.1
4+
output_base_dir: /data/output
5+
dataset_id: kunishou/OpenMathInstruct-1-1.8m-ja
6+
dataset_input_field_name: question_ja
7+
dataset_output_field_name: generated_solution_ja
8+
dataset_train_split_seed: 42
9+
dataset_train_split_test_size: 0.2
10+
lora_r: 8
11+
lora_alpha: 16
12+
lora_dropout: 0.05
13+
train_claim_gpu_num: 8
14+
train_per_device_train_batch_size: 1
15+
train_gradient_accumulation_steps: 64
16+
train_num_train_epochs: 5
17+
inference_max_new_tokens: 32
18+
evaluations:
19+
-
20+
prompt: "thank you"
21+
expected_output: "ありがとう"
22+
-
23+
prompt: "Hello"
24+
expected_output: "こんにちは"
25+
-
26+
prompt: "How are you?"
27+
expected_output: "お元気ですか?"
28+
-
29+
prompt: "I am hungry"
30+
expected_output: "お腹が空いています"

0 commit comments

Comments
 (0)