lswcap
6 月 1 日（当地时间），由中国政府资助的北京人工智能研究院领导的一个研究小组开发了一种新的预学习模型，五道 2.0。 Undao 2.0 使用了 1.75 万亿个参数，超过了 OpenAI 或 Google 旗下的 Google Brain 开发的预学习模型。
Undao 2.0 是一个深度学习模型，由隶属于各机构的 100 多名研究人员开发，以非营利性研究机构北京人工智能研究院为中心。参数数量为1.75万亿，1750亿GPT-3，OpenAI在2020年6月公布的语言处理模型，1.6万亿，谷歌大脑开发的语言处理模型Switch Transformer。声称超过了这个数字。
参数是机器学习模型定义的变量，对于模型进化，参数可以得到更精细、更准确的结果。因此，一般来说，模型中包含的参数越多，机器学习模型就越趋于精细。
Undao 2.0 使用 4.9TB 的文本和图像数据进行训练，该训练数据分别包含 1.2TB 的中文和英文文本。此外，与专门针对图像生成和人脸识别等特定任务的深度生成模型不同，据说可以根据静止图像或根据句子描述的图像来写散文和诗歌并生成补充句子。
研究人员发现，这些在大型数据集上训练的复杂模型不需要少量的新数据来使用某些特征，因为与人类一样，一旦学习到的知识可以专用于新任务。据说 Undao 2.0 与 22 家公司合作，其中包括智能手机制造商小米。
研究团队表示，大规模预学习模型是通向通用人工智能的最佳捷径之一，表明Undao 2.0将通用人工智能考虑在内。此外，中国政府正在大力投资北京人工智能研究院，仅 2018 年和 2019 年就提供了 3.4 亿元的资金。中美技术竞争愈演愈烈，美国政府还宣布2020年投资1万亿韩元用于人工智能和量子计算。
报告指出，不仅参数数量对AI性能很重要，Undao 2.0发布的数据集数量和内容也很重要。例如，GPT-3 仅使用 570 GB 的数据进行训练，但该数据是通过预处理从 45 TB 数据集中提取的数据。因此，虽然 Undao 2.0 显示的数字令人印象深刻，但有些人认为可能很难想象模型的性能。相关信息可以在这里找到。
Add comment