OpenAI在2月16日在官网博客上更新了一篇关于ChatGPT的文章，标题为：”How should AI Systems behave, and who should decide it?“，以AGI系统该如何对齐人类的价值观以及谁、怎么对齐为落脚点，展开介绍了以下几块重要的内容:
ChatGPT的模型的回复是如何被训练和影响的？OpenAI后续将如何来改进ChatGPT的回复OpenAI未来将支持更多的系统个性化和自定义，让ChatGPT的回复能够符合和对齐每个人个性化的需求和价值观通过一些方式让更多的人参与到他们改进ChatGPT的一些决策中ChatGPT怎么被训练出来
这部分官方博文并没有非常详细具体的具体细节的描述，因为这篇博文的受众也更多是关注ChatGPT的普通用户，很大程度上是为了减少大家对于一个能力很强，有AGI潜质的产品的焦虑和担心。 整体的训练过程分为两部分：1. 预训练；2. 微调
如下图所示：
预训练的过程（大体对应的是GPT-3系列的）通过学习互联网上存在的各种数据，学习的过程是学习当给定一段文本后，比如 “她不向左转，而是向___”，下划线后应该填写什么。这个学习的过程中学习到了世界的知识、语言的语法甚至是有一些推理的能力。
微调的过程则是通过OpenAI设计问题和答案回复的标准，给到很多标注人员进行标注（包括直接写回复和打分等），基于这些数据来微调模型，让模型能够朝着更符合人类价值和需要的方向去生成和输出。
展开解释微调中标注人员的标准和策略
微调的标注中有两个角色，一个是标注标准的制定人(OpenAI)，一个是具体的标注团队。OpenAI几乎是以周级别，且持续的会议交流来不断的对齐这两个角色的理解。其中标注标准的设计上，也非常精心，官方举了些例子，有些是非常具体和明确的标准，比如: “不给非常的prompt做生成”，有些则是比较大致的指引方向（比如：尽量避免在有争议的话题上选择某个倾向的立场）。
为了解释和表示这个过程精细且值得审查推敲，官方还放出了一个示例：
详细可下载：https://cdn.openai.com/snapshot-of-chatgpt-model-behavior-guidelines.pdf
解决偏见
既然alignment是基于这些标注人员的标准以及标注的数据，那么公众必然这个过程是否会有偏见的引入。OpenAI表示他们一直在致力于解决缓解这种问题，随着ChatGPT的上线，基于大家的反馈他们也在持续的继续标注数据解决问题。
同时也承诺后续会公开标注人员的一些人口属性的统计信息，以防大家担心由于标注人员的文化、国家、肤色等的分布偏见带来了数据上的偏见最后导致模型的偏见。
最后值得提的是，OpenAI也提到在微调的方法上他们也在研究和跟进其他的方法，比如 基于规则的奖励（rule based rewards）、constitutional AI（OpenAI前员工出来创业搞的公司提的方法）
未来改进计划
一. 基于反馈数据飞轮改进ChatGPT通用的效果
重点改进几个问题：
是否该拒绝回答的边界准确和效果解决偏见(道德、伦理等)缓解”一本正经胡说八道”而主要的改进驱动力就是更多的用户使用和反馈（产品中给的点赞和点踩）
二. 在基本的框架限制内的个性化ChatGPT
这个可谓重磅消息，因为每个人的需求、价值观差异很大，一个通用的ChatGPT对于很多个性化的需求和差异无法满足，OpenAI接下来会升级ChatGPT，让用户能够比较容易的进行个性化定义。当然这里有一个很重要的问题是如何做好平衡，不至于出现太过于个性化而让某些坏人用来做不利于人类的事。所以OpenAI提出需要在一个比较明确和公共的边界内，可以把这个边界认为是社会共识的价值观、伦理、道德等。
三. 更透明以及更多更好的机制引入大家对模型回复准则的建议
文中提到了一些方式，比如，OpenAI在Dalle-2时公布的可能会出现问题的各种说明，以及和一些行业的人讨论（教育行业）信息作为重要输入的形式，也提到未来引入第三方机构评价系统的安全性等。
