ChatGPT流量复盘及分析报告（21页）

行业报告下载 2023年07月30日 08:49 管理员

我们认为今年席卷的 AI 浪潮本质上是生产力的革命，一个爆款现象级应用的流量暴涨仅仅是一个产业开启的前奏。现阶段，除了以 ChatGPT 为代表的标杆应用，关注第二第三梯队应用发展更能够客观感受到整个行业的繁荣。目前有越来越多的应用开始发力，几乎每周都有新的爆款。根据极市平台消息，OpenAI 的 CEO-Sam Altman 在采访中透露，目前 OpenAI 面临非常严峻的 GPU限制，这也延迟了他们一些短期计划的实施。近来，客户投诉最多的是关于 API 的可靠性和速度问题，据 Sam 解释，大部分问题是由于 GPU 短缺造成的。在处理文本方面，更长的 32k 上下文还不能面向更多人推出。现在 OpenAI 还没有完全克服注意力机制的 O (n^2) 扩展问题，虽然 OpenAI 似乎很快就能实现 100k-1M token 上下文窗口（在今年内）文本处理，但更大的文本处理窗口需要进一步的研究突破。

除此之外，目前微调 API 也受到 GPU 供应的限制。OpenAI 尚未使用像 Adapters 或 LoRa 这样的高效微调方法，因此微调运行和管理起来计算都非常密集。Sam 透漏更好的微调技术将在未来推出，他们甚至可能提供一个社区专门研究模型。专用容量提供也受到 GPU 供应的限制。OpenAI 还提供专用容量，为客户提供一个私有的模型副本。要使用此服务，客户必须愿意预先承诺支出 10 万美元（约合 68.7 万人民币）。根据我们的测算，ChatGPT 产品运营需英伟达 A100 GPU 约 71296 片，预计投入算力成本达 17.73 亿美元。据 SimilarWeb 数据，2023 年 5 月（至 5 月 24 日） ChatGPT 官网（chat.openai.com）总访问量为 14.08 亿次。据环球零碳研究中心数据，每次用户与 ChatGPT 互动，ChatGPT 的每个响应词在 A100 GPU 上需要 350 毫秒。除了支持 ChatGPT 产品本身的运营，还有上述微调 API 及专用容量等的算力需求。因此我们认为目前算力仍然是制约 AI 应用发展的重要一环，整体行业需求还有较大释放空间，这也是近期访问量趋缓的原因之一。