LLM投资思考及OpenAI案例研究报告（49页）

行业报告下载 2023年05月17日 07:08 管理员

开发 GPT-4 需要六个方向的研究团队：预训练（Pretraining）、长上下文语义理解（Long context）、视觉理解（Vision）、强化学习和对齐（RL & alignment）、评估分析（Evaluation & analysis）、部署（Deployment）。这六个部分不分主次，缺一不可；成员并非只负责单个工作，而是在不同小组身兼数职；

从技术和研究角度：OpenAI 在 17 年下半年迅速上了 Transformer 的车，新的公司能不能有这样的敏感度？能不能把握住下一个 Transformer 级的变化（如果有的话）？从投资人角度：18 年是 OpenAI 非共识最强的时候，在各项子任务 GPT-2 效果均不如 BERT 的情况下，把我们放回去愿不愿意投？从中国创业者角度：在没有受科幻小说荼毒那么深的情况下，是否跟随 OpenAI 和 Anthropic 的道路鼓吹 Al Safety，怎么建立我们自己的 Safe AGI 定义？