OpenAI推出新一代语言模型ChatGPT,能以更贴近一般人的对话方式与使用者互动。

如回答问题、承认错误、质疑不正确的提问或拒绝不当要求等。ChatGPT目前在研究预览阶段。

供用户免费试用,使用者输入的内容会成为AI训练素材,因此不要输入个人隐私或敏感字词的内容。

ChatGPT是基于GPT-3.5模型微调而成,以语言服务模型InstructGPT为基础,通过人类回馈增强学习训练模型RLHF,不过数据设置略有不同。

能以对话回应使用者问题,基本上能回答许多事情。经实测询问ChatGPT机器人若没有钱该怎么办,系统数秒就能回答,提供发问者实质建议。

另外,OpenAI测试后发现ChatGPT也可以debug程式码。开发人员贴一段存在bug的代码。

询问ChatGPT解决错误的方法,而ChatGPT会通过对话询问开发者更多的上下文,以提供具体有效的解法。

ChatGPT对措辞非常敏感。当使用者发问而未获得正确答案或回应时,可尝试调整措辞。只要稍微改写句型,ChatGPT就能正确回答。

OpenAI也指出,ChatGPT回应仍未完美,ChatGPT会出现有看似合理却不正确或荒谬的答案。

研究人员认为原因有三种,除了在增强训练时缺乏事实来源,或是监督训练时被误导,训练模型过度谨慎反而拒绝回答可能正确答案。

另外,有时ChatGPT回应会过度冗长或不停重复部分词语,这可能是训练数据的偏差。

人工智能通常会喜欢全面回答,加上常见模型过度最佳化,导致ChatGPT重复语句。

OpenAI的研究人员补充说,理想状况下,当使用者提出模棱两可问题时,AI模型会试着提问,以厘清问题。而目前AI模型通常倾向猜测使用者意图。

除此之外,ChatGPT回应问题时,有时仍会出现偏见或提出有害回应,如假信息。

研究人员表示,尽量让ChatGPT拒绝不当请求,通过Moderation API警告或阻挡指定不安全内容,因此会持续收集使用者回馈并改进系统。

ChatGPT: Optimizing Language Models for Dialogue
We’ve trained a model called ChatGPT which interacts in a conversational way. The dialogue format makes it possible for ChatGPT to answer followup questions, admit its mistakes, challenge incorrect premises, and reject inappropriate requests. ChatGPT is a sibling model to InstructGPT, which is train…