为什么多模态关于规范格式的prompt不写在system中

[munian08]

def make_conversation(example):
        return {
            "prompt": [
                {"role": "system", "content": SYSTEM_PROMPT},
                {"role": "user", "content": example["problem"]},
            ],
        }

    QUESTION_TEMPLATE = "{Question}  Output the thinking process in <think> </think> and final answer (number) in <answer> </answer> tags."

    def make_conversation_image(example):
        return {
            "prompt": [
                {
                    "role": "user",
                    "content": [
                        {"type": "image"},
                        {"type": "text", "text": QUESTION_TEMPLATE.format(Question=example["problem"])},
                    ],
                },
            ],
        }

[Yukino256]

个人猜测，Qwen2vl的system prompt应该是You are Qwen XXXXXXXX XXXX 这个。如果加入system prompt也许对instruct的模型的训练造成不良影响，因为前面那一段的system prompt被替换了？或许base模型可以替换system prompt。

以上仅供猜测🥲🥲

[xingenju]

可以实验验证一下, 加入和不加入的效果对比

[Jia-py]

这好像是因为qwen在huggingface上给的例子就没有放在system prompt中。