lswcap
GPT-3是可以创建准确句子的语言模型，它是由OpenAI开发的，但是它不是开源的开放访问方式，并且不能自由使用，因为它已与Microsoft达成了独家许可协议。 GPT-Neo正在针对这种情况创建开放源代码版本的GPT-3。
开发GPT-Neo的研究小组是EleutherAI。在组建团队之前，他们尝试使用Tensorflow Research Cloud（TFRC）创建GPT-2的副本，并且此代码成为基于GPT-Neo的代码。
但是，针对GPT-3的副本存在一个问题，即通过TFRC提供的TPU不够。可以帮助实现这一点的是CoreWeave，这是一家加密资产挖掘公司，为CGI渲染和机器学习提供云服务。当然，CoreWeave只会接收到最后的硬件资源，而GPT-Neo被认为是开源的。
由于指出了与训练数据集的偏差可能会根据语言模型而被放大，因此已经建立了严格的编辑策略以减去包含不可接受的负偏差的数据集。完整的Corpus The Pile具有835 GB的数据大小，并且通过组合22个小型数据库而具有广泛的泛化能力。
Eleuterio AI表示，它希望GPT-Neo的性能与GPT-3相同。据说将来计划将最终模型缩小一个参数位并减轻重量。
此外，目前尚无计划为GPT-Neo提供商业API，但是希望普通用户能够通过CoreWeave或第三方提供的服务来使用GPT-Neo。相关信息可以在这里找到。
Add comment