跟着ChatGPT和其他东谈主工智能家具的用户数目不停攀升，维持这些家具的中枢技巧——大型话语模子（LLM）的率先速率却似乎放缓了。
据科技媒体The Information报谈，OpenAI开垦的下一个旗舰模子“Orion”，当今依然完成20%的施行。尽管发扬已接近现存的GPT-4，但率先幅度却远不如前两代旗舰模子之间的飞跃。
该媒体还征引OpenAI 的又名职工称，Orion在话语任务上发扬更好，但在编码等任务上可能不会优于以前的模子。另一位知情东谈主士暗意，与最近发布的其他模子比拟，OpenAI在其数据中心运行 Orion 的资本可能更高。
质地进展放缓，扩张法面对挑战在畴昔几年中，LLM使用来自网站、书本和其他开头的公开文本和其他数据进行预施行流程，这种步调固然能在一定进度上缓解数据匮乏，但带来的质地提高有限。
OpenAI的职工暗意，Orion部分接受了东谈主工智能生成的数据施行，这些数据由其他OpenAI模子生成，包括GPT-4和最近发布的推理模子。计议词，这种合成数据导致了一个新问题，即Orion最终可能会在某些方面与那些旧模子一样。
与此肖似，其他一些AI公司也面对肖似的问题。Meta首创东谈主马克·扎克伯格和Databricks公司首创东谈主Ion Stoica齐指出，尽管AI技巧在编码、复杂任务搞定等方面延续取得进展，但在知识判断和通用任务智商上，性能提高已趋于平定。
Orion的进展放缓平直挑战了东谈主工智能限度一直奉行的“缩放定律”，即在数据量和计较资源不停增多的前提下，模子性能将握续大幅度提高。
为了应酬GPT矫正放缓给基于施行的缩放定律带来的挑战，业界似乎正在将元气心灵转向在驱动施行之后矫正模子，从而可能产生不同类型的缩放定律。由于高质地施行数据的减少以及计较资本的增多，OpenAI的磋议东谈主员不得不入手探讨是否有其他矫正模子性能的步调。
举例，OpenAI正在将更多代码编写功能镶嵌其模子中，投资期货并试图开垦一种软件，不错遴选个东谈主计较机，通过实施点击、 光标出动等实施其他操作， 完成荟萃浏览器行径或运用门径的任务。
OpenAI还建树了一个挑升团队，由之前风雅预施行的Nick Ryder辅导，风雅探索怎么优化有限的施行数据和退换扩张法的运用，以保握模子矫正的褂讪性。
团队通过施行模子搞定大量数学和编码问题，让模子在后期强化流程中逐渐提高对这些任务的解答智商。此外，东谈主工评估员还会对模子在不同任务上的发扬进行评分，以匡助模子在复杂问题上提供更准确的谜底。
强盛计较资本带来的财务职守计议词，跟着模子复杂度的增多，施行和运行这些AI模子的资本也在急剧飞腾。举例，o1模子的推理资本是庸碌模子的六倍。
即便如斯，扎克伯格、Sam Altman等东谈主齐曾暗意，他们还莫得达到传统扩张法的极限。
这也许便是为什么OpenAI等公司依然在投资数十亿好意思元建造数据中心，但愿通过增多计较智商，从预施行模子中赢得更多的性能提高。
但OpenAI磋议员Noam Brown在TEDAI大会上申饬，开垦更为先进的模子可能将面对数百亿好意思元的不菲用度，成为财务上的强盛职守。
“毕竟，咱们果然要施行耗尽数千亿好意思元或数万亿好意思元的模子吗？在某些时刻，扩张范式会崩溃。”
大致在将来，OpenAI和其他AI公司齐需要延续在施行数据和计较资源之间寻求均衡，探索如安在不增多强盛财务职守的前提下，进一步优化模子性能。
风险领导及免责条件 市集有风险，投资需严慎。本文不组成个东谈主投资提出，也未计议到个别用户荒芜的投资规划、财务现象或需要。用户应试虑本文中的任何倡导、不雅点或论断是否适合其特定现象。据此投资，处事自诩。