SFT 建议的数据格式、特殊tokens

[AoZhang]

finetune文件建议的数据是这样的：

{ "prompt": "Human: Who are you? Assistant:", "chosen": "I'm Yi." }

意味着

user_token = Human:
assistant_token = Assistant:

在Chat系列模型的使用说明中，建议的token分别是

system_token = <|im_start|>system
user_token = <|im_start|>user
assistant_token = <|im_start|>assistant

这两块存在差异。

我理解的是:

• 如果我基于base模型做SFT，则使用上述任何一种token都是ok的。
• 如果我想基于chat模型进行SFT，请问建议的特殊token是哪类？

[zyhstack]

{ "prompt": "Human: Who are you? Assistant:", "chosen": "I'm Yi." } 在实际SFT的时候 Human前面和 Assistant后面都加上了空格，不知道在Human前面加空格是有什么用处。

[lyc728]

三阶段的数据有更为详细的介绍吗？这一百万的数据都是图文对吗？有没有纯文本呢？