虚拟员工Agent的培训成本其实更高 【2023Q3】
本文于2023.8.11首发于知乎。
本文是一个并不难理解的视角，所以也不做太多展开，主要是为了提醒大家。
本文并不是说这个事情不能做，只是希望能够修正一些明显偏离目前技术现状的幻想，主要是成本比不少人想象的高。
1、虚拟员工需求分类
先明确一下ToB场景中的虚拟员工需求，目前在我看来可以分为2大类：
【A】企业内部已经有一个具体的岗位，这个岗位上有人类员工能够胜任。
【A.1】有的岗位包含很多员工，员工之间同质性很高。
【A.2】有些岗位只有很少数的员工，很多时候只有1个员工。
因为人少，所以岗位职能边界模糊，表现出一些因人设岗的特性，虽然最开始并不一定是因人设岗。
【B】企业内部目前并没有一个实际存在的岗位（标准是已经存在一个人类员工可以胜任，且实际与上下游对接运行了一段时间）。但企业管理层希望能够引入一个新流程、或者是新能力的人类/虚拟员工来实现他们想做的新事情。
虽然【B】需求看起来有些可笑，但这是大量存在的。
而且在传统企业咨询领域中，确实能够交付这样的流程或者解决方案，例如SAP等，他们可以把行业中更专业的知识和流程带给这个企业。所以也不能说这些企业管理者就过于幻想。
2、虚拟员工的“培训”方式
2.1、【A.1】场景
该类场景是最容易落地的，但需要该企业对于员工工作流的输入和输出结果都已经完成数字化。这时候直接把相关数据交给外部虚拟员工Agent研发团队即可。
但一般企业的信息化水平都并没有达到这个程度，这时候需要：
推动企业的信息化建设，把相关流程搬到线上系统上，来记录该岗位的输入输出，将其记录下来成为后续训练的数据。
在不依赖现有工作流和大量数据的情况下，直接靠LLM或其他外部工具做一个原型，交给目前岗位的人和下游对接方进行磨合，不断收集改进意见，并尝试在没有太多数据的情况下优化该原型。
但很遗憾的是，这两种路线都是很痛苦的（具体是什么样的痛苦这里先暂不展开），而且很可能两条路都要走一遍：先走第二条路线冷启动，然后长期需要用第一条路线的数据进行后续迭代。
如果能找到一种方式通过更大参数规模更好效果的LLM以及结合一些方式来做出较多的类似场景数据的话，冷启动阶段能够更容易一些。
2.2、【A.2】场景
这个场景相对于【A.1】场景就变得更加困难了，额外的困难来源于：
该岗位的职能是非常特化的，经常不是一个可以迁移复用的能力，导致更多的定制化开发。
从落地的角度上来说，更好的方式应该是拆分为多个岗位，但企业方接受度一般不高。
该岗位上的人员太少，而开发一个同能力的虚拟员工需要该岗位上的员工的大量配合，占用TA的时间/精力极多，而且TA容易出现对抗心理进而不配合。
只要这个人传递给Agent开发团队的信息不足够，或者很缓慢，就必然导致该岗位的虚拟Agent开发受阻。
人类新员工可以跟老员工建立各方面的关系，能够缓解一些这方面的问题，虽然也有师傅防着徒弟的情况。但对于临时虚拟员工Agent研发团队，老员工完全没有这方面的人情顾虑。
该类岗位并不能充分利用虚拟Agent复制成本低的特性，所以使得人均替换成本显著变高，变得不合算。
2.3、【B】场景
不少企业管理层在启动新的虚拟员工开发需求时，都是希望：
顺带做一些能力提升，总之增量开发成本不高。
希望能够一步到位
希望能够通过一个新能力的虚拟员工Agent推动企业内工作流程的改进
希望能够从LLM或者其他AI算法中获得一些比他能找到的员工更强的能力
……
也就不难理解为什么这个需求会比一般人预计的要多。
但很遗憾，虚拟员工Agent的开发团队能力都较差，毕竟不是IBM的咨询服务。上述想法都是希望把企业内部的矛盾解决丢给这些外包的开发团队，但他们根本就解决不了。【A】类的需求能做好，替代掉人类员工就已经算是很不错了，趟【B】类的浑水的失败风险是明显更高的，而且这不是Agent的研发团队所擅长的领域。
大部分场景下，指望“LLM能够迁移过来一些新能力，直接可以复用”是比较难的，除非该岗位的工作非常通用，例如就是一个英语翻译汉语的文字翻译。剩下的情况大部分都是一个企业内部的特化岗位，而不是一个简单的会计、翻译、清洁工，实际上这些通用的岗位早就被人盯上了，并且有了解决方案。
2.4、总结
本质上来说，都是需求企业希望花更少的钱办更多的事情，特别是前一段时间媒体对于LLM能力大吹特吹拉高了这些预期。
但现实是很残酷的，如果可以使用GPT-3.5-turbo或者GPT-4，Agent的能力还能强一点。但就靠目前国内这些开源LLM能做成个啥呢？能做出来（并满足客户的质量要求）是惊喜，做不出来才是常态。
3、虚拟员工Agent的研发成本其实很高
需求企业方经常没有意识到的一个问题是：培养一个虚拟Agent员工的训练成本其实是高于培养一个人类员工的，原因如下：
目前机器学习算法的样本学习效率是远远低于人类的，人类可以靠1-3个例子学会一个工作，ML可能需要1000-1w个历史数据例子。
研发团队的人均工资其实明显高于一个普通的人类员工。
学习需要数据，而且不能是垃圾数据，但小企业之前的信息化一般都比较烂，甚至没有。而推行数字化的成本是较高的，毕竟上一轮推行数字化就没成功。
整体上培训一个虚拟员工Agent的成本必然是高于招聘和让一个人自己去学习的，高了很多倍。
确实一旦培训完成之后，它是可复制的，并且运行成本可能会小于人类员工（前提是算力硬件成本能够被有效分摊掉）。但一个员工入职多久之后才会觉得完全不用学新东西了呢？一年？总之一般都超过3个月，后续还会不断需要补充一些小概率的情况。
这些都导致一个好的虚拟员工Agent需要的训练时间其实比大家预期的开发周期要长，第一版交付的肯定是一个只能处理常见情况、但总有一些小概率情况处理不好的虚拟员工Agent。
从运行期间的算力分摊角度上来说，我认为目前私有部署的路线在成本上是比较差的，大概率GPU会是闲置的，除非能用一个比较便宜的卡和机器。这方面会进一步导致Agent员工的成本收回速度慢于预期。
交流与合作
如果希望和我交流讨论，或参与相关的讨论群，或者建立合作，请私信联系。
希望留言可以到知乎对应文章下留言。