GPT1.0和GPT2.0是开源的。目前,国内许多大型语言模型都是用开源软件和中文语料库进行处理的。GPT3.5和GPT3.5之间的差距可能会超过一代人。现在GPT3.0没有可靠的开源软件,科技巨头也加入了这个集团,各类初创企业如雨后春笋般涌现。最近,美团前联合创始人王慧文“5000万美元,带着资金加入集团,不关注职位、薪水和头衔,寻求组建团队”的宣言引发了许多讨论。然而,训练普通模型非常“昂贵”。
根据国盛证券报告《ChatGPT需要多少计算能力》的估计,GPT-3培训的成本约为140万美元。对于一些较大的LLM(大型语言模型),培训成本在200万美元至1200万美元之间。根据1月份ChatGPT的平均独立访客数,相应的芯片需求量超过30000个英伟达A100 GPU,初始投入成本约为8亿美元,每日电费约为5万美元。
更直观地说,如果将当前的ChatGPT部署到谷歌进行每次搜索,则需要512820.51台A100 HGX服务器和总共4102568台A100 GPU,仅这些服务器和网络的总成本就超过1000亿美元。
“大模型的训练和推理成本一直是人工智能产业发展的瓶颈,因此有能力构建大模型的企业往往是世界科技巨头,这将形成强大的护城河,导致强者恒强的局面。“法国
”成本确实很高,因此在短期内,大型企业具有优势或资本市场高度看好这一领域,并大量投资于一些初创公司,以构建大型模型。IDC中国研究总监卢艳霞对澎湃科技表示,“未来,要么大型工厂将提供基础模型作为最上游,要么中小企业将开发基于大型模型的应用程序作为下游。
或者也将诞生一批制造大型模型的人工智能初创企业。即便如此,该行业也将成为上游的大型模型提供商,大型模型有可能发展到一定阶段,越来越多的头部行业开源用户将基于开源模型开发自己的人工智能应用程序,并将其提供给其他行业友好的业务,这类似于行业云的形式。
”“国内大模型和ChatGPT基本模型之间的差异不止一代”“ChatGPT本质上是一个由浮点参数表示的深度神经网络大模型。深度学习框架ChatGPT的推出是深度学习引入后的又一次里程碑式技术革命,这将为以自然语言处理为核心的认知智能技术的发展提供新的“历史机遇”
“科大讯飞副总裁、研究院执行主任刘聪向澎湃科技解释说,最近,除了对ChatGPT的表现感到惊讶之外,人工智能行业中还有很多关于中国是否可以制造类似ChatGPT产品的讨论”GPT1.0和GPT2.0是开源的。目前,许多国内大型语言模型都是用开源软件和中文语料库处理的,GPT3.5和GPT3.5之间的差距可能还有一代以上。“龚业明说
”根据龚业明的分析,问题是GPT3.0比目前许多国内大型模型使用的GPT2.0进化得多,而OpenAI正处于从GPT3.5发展到GPT4.0的过程中,如果它想完全达到GPT3.5的水平,这在短期内是不可能的。语料库的建立、人工标注和算法训练都需要时间。
许多国内大型车型计划在半年内迎头赶上。龚业明判断,“半年后市场上会有一批所谓的GPT,但要实现真正的实用性需要2-3年。届时,OpenAI已经取得了进展”,差距背后是什么?从技术角度来看,龚业明认为,国内人工智能领域在基础理论、算法研究、语料库和技术人才等方面落后。
首先,就语料库而言,龚业明具体解释说, “构建和获取虚拟语料库可能并不特别困难,但语料库的标注和理解相对复杂。目前,许多人工智能专家还认为,汉语语料库质量将影响国内大型模型的发展。语言学的长期研究告诉我们,语料库建设不应受到限制只限于简体中文语料库,但应该能够理解多种语言,以构建一流的中文语料库。
因此,不要认为基于群体策略和低劳动力成本构建一个简单的汉语语料库可以解决语言问题。“第二个是算法”GPT对算法的要求非常高。该算法应该能够容纳和分析大数据。国内一些大型语言模型存在过载问题,即算法无法处理更大的数据,或者增加数据后服务质量没有改善。
龚业明表示,第三是计算量“GPT需要高端显卡和高端芯片。在当前的国际环境下,并非所有中国企业都能获得足够的高端显卡和高端芯片,计算能力也需要高投入。龚业明还谈到了目前的情况,“短期内要找到GPT的领军人才并不容易,