ChatGPT迷雾重重,抽丝剥茧揭真相

2023-04-21 16:07:19 科技 admin
奇点已到,AI已经进入一个崭新阶段。ChatGPT潜力极强,生成式AI也必然会成为人类手中的有力工具。国内企业在LLM上存在弯道超车的可能么?

2023年开年,ChatGPT顶替元宇宙的地位,从技术圈成功破圈,站上了C位。它验证了AI算法是可落地的,给了AI、互联网等领域新的故事,有了新的想象空间,在当下很难说这种现象的好坏。

关于ChatGPT的技术架构和实现方式,公开资料已经很多,就不再班门弄斧的赘述了。在这里,会从价值和问题的角度出发,尝试去拨开ChatGPT的迷雾,尽力去找出真相。

从发展上看,ChatGPT既重要也不重要。

重要的是,它不仅是AIGC方向的重大突破,在应用层上的亮眼表现也成功做出AI领域2C方向的表率,消除了社会对AI应用和商业化的疑虑;不重要的是,ChatGPT并不是AI革命,只是模型和场景应用的一次飞跃,底层三要素(算法、算力、数据)没有改变,且当前尚存在诸多问题,例如数据集的限制,投入产出比远不合理,单独的ChatGPT仅覆盖文字和图片,无法适用于多模态信息,更不用说跨模态生成,不仅难以推动社会整体发展,甚至有可能造成社会混乱。

ChatGPT已经带来了极大的价值

最大的价值在于,它向一直找不到2C场景并逐渐对2C方向失望的AI从业者们证明了,奇点已到,AI已经可以和人类展开有效互动了。

ChatGPT能够理解的人类意图,产生有效互动,依旧离不开数据、算力、算法、模型、场景等五个要素,这次主要是在模型和场景上做出突破。

ChatGPT通过以机器学习、神经网络等为主的算法,以及Transformer模型的多种技术模型积累,得以在文字/图片交互上极大提升了用户的对话体验。在对话中,ChatGPT会主动记忆对话内容信息,实现上下文理解,用于辅助假设性的问题的回复,进而实现连续对话。简单讲,会在对话中,通过Transformer预测下一个词语/短语的概率分布,并基于在大型文本语料库上学习到的语言模式来生成自然语言文本,最终实现一问一答的交互。在此过程中,将人类的反馈纳入模型训练过程,更好地使模型输出与用户意图保持一致。

2月11日,斯坦福大学计算机科学家米哈尔·科辛斯基(Michal Kosinski)在一篇名为《心智理论可能从大语言模型中自发涌现》的论文中,通过心智理论的验证,证明ChatGPT已经有9岁孩子的心智,这标志着AI已经进入一个崭新阶段。

ChatGPT尚且存在诸多根本问题

01

数据集的局限性导致AGI只是走出关键一步,远未成熟。模型数据集的来源是维基百科、书籍、期刊、Reddit链接、Common Crawl以及其他数据集(如论坛对话、视频字幕等),只包括了人类创作的部分数据,以文字为主,尚未涉及其它模态数据,更不用说非人类创作的数据了。以此种数据集为根,结果大概率会出现偏见。

02

ChatGPT答非所问、似是而非的回答层出不穷,目前只能作为娱乐使用,远达不到工具层次,更不用说替代人类了。

从生成结果看,ChatGPT得出的结论更多是按照一定逻辑的信息重新组合,没有实现知识创造,这必然会引发一系列问题,如知识产权、剽窃抄袭等。从产品角度来看,用户仅是因为尝鲜而使用,使用粘性和使用生命周期有待商榷。很难想象,如果用户主动使用ChatGPT后,会完全信任它给出的结论,使用这些结论去做决策。

03

将对社会稳定造成极大影响。

对于处在“信息鸿沟”中的人群而言,ChatGPT的答案泛滥并不是什么好事情,安全隐私受到冲击、谣言层出不穷、欺诈难以监管、信任不在、信念动摇等现象大概率会出现。

04

在新的商业模式未出现的时候,当前商业模式会受到冲击。

当前的商业模式建立在价值流的基础上,即价值生产流向价值消费,其中价值生产的稀缺性,提升了价值从生产到消费的势能,推动了商业发展。但ChatGPT的出现,使价值生产,尤其是信息的价值生产大众化,降低了价值生产到消费之间的势能,导致价值流动形成新方式,从而影响旧方式下的商业模式。

例如,当用户在搜索页面可以直接获取精准结果时,搜索所建立的竞价排名将会无用武之地,如果广告进入生成式AI,那么不仅需要从数据集开始进行改变,模型也需要相应调整,当进入的品牌达到一定规模的时候,结果混乱将随之产生。

05

生成式AI的模型黑盒可能会使人类失去对AI的控制。对比人类学习,人类学习的路径是清晰的,可干预、可测量、可考核的,换句话说,在人类的学习上,过程是可控的。但是对于生成式AI,我们尚不清楚它们的学习机制和过程,也就难以把握它们的学习最终结果。

ChatGPT成本也不容小觑

根据UBS分析师Timothy Arcuri的观点,ChatGPT使用到了至少1万块英伟达的GPU来运营这一模型。而一张40GB的A100 PCIe卡,目前在亚马逊上的单价为8000多美元,而80GB的A100 PCIe卡价格在15000美元左右浮动。根据Semianalysis分析师Dylan Patel的推算,如果只负责在服务器上部署ChatGPT的OpenAI无需考虑设备购入成本,而是只考虑GPU云服务器的定价。ChatGPT每次查询的成本为0.36美分,约合2.4分人民币,每天在硬件推理上的成本高达70万美元。

从2022年ChatGPT的公开数据来看,年总支出在5.44亿美元,375名员工的工资2亿美元,GPT3的训练成本在460万美元/次。如果考虑到未来音频、视频等多模态数据的进入,那么成本还会大幅增长。

ChatGPT潜力极强,生成式AI也必然会成为人类手中的有力工具

考虑到当前存在的技术问题,它们的发展方向有可能如下几种:

AGI方向不变,必然对底层数据集有更高要求

一是数据会延伸到更多模态,二是将囊括环境及机器产生的数据,以环境数据为基础提供答案,或实现机器之间的交互,三是ChatGPT自我产生的数据进入数据集,形成自闭环,开始具备知识创造能力,不断提升AI的学习能力。

以通用为目标,以垂直领域为切入口,先垂直再通用

先对垂直领域的各维度各模态数据进行整合,针对垂直领域特征进行模型调教,在垂直领域中实现AI工具化。而后连接各垂直领域,逐渐实现通用化。

通过工程化技术,大幅降低成本

包括数据成本、算力成本、训练成本等。

以工具为起始点,逐渐形成新的商业模式

生成式AI将会率先赋能生产型企业,在客服、广告方向提升效率。而对于平台型企业来讲,需要打造生成式AI能力,并赋予生产型企业更强的能力,降低企业成本,在平台上价值势能降低的情况下,提升价值流动的动能,为平台上的用户提供更有效的价值消费。

国内企业在LLM上存在弯道超车的可能么?

目前来看非常困难。在追赶的这条道路上,资金反而是最不重要的因素。从云到LLM模型,到平台层,再到应用层,国内还有很漫长的道路要走。

从时间上看,2015年OpenAI成立,2018年推出GPT-1,2020年推出GPT-3,2022年ChatGPT上市,期间经过将近8年。即使AI三要素没有突破,随着规模应用,训练成本大幅降低,国内想在短时间内在模型上追齐国外,困难程度不可谓不大。而且,算力还是被卡脖子之一,算法也难以做出突破。

最重要的是,国内的内容数据集规模上存在短板,质量上参差不齐。

从规模上看,国内的用户主动生成的内容数据还不能与海外相比,尤其在文字上,原创的知识类内容占比不高。

从质量上看,优质内容、内容维度、内容标注等方面还有缺陷,以致使用模型效果不佳。

完备数据集、超强算力、优秀的算法是根本,模型开发能力和调教能力是突破口,场景应用是表象。

有扎实根基,有突破欲望的企业才能有可能经过长时间蛰伏,与海外一较高下。只拿应用场景说事儿,而忽视根基的打造和突破的决心,最大的可能是一地鸡毛。

另外,企业对于LLM模型的定位和目标也是必要因素之一。如果不能持之以恒,确立明确方向,做出有效规划和风险规避手段,仅希望短时间内就能产生商业化价值,形成卖点,赚个吆喝,那么所谓的弯道超车仅是个市场营销手段罢了。

但是,借助ChatGPT的能力,在应用层上进行包装后的商业化,则存在极大可能,这也是中国企业擅长的领域。

例如,ChatGPT与数字人结合,陪伴用户或协助用户解决问题;赋能更多有创作天分的用户,来生产更多内容等等。尽管如此,还是衷心希望我国有更多企业能够锚定根技术,形成我们自己的技术壁垒,推动我国AI的发展,不断提高AI生产力。