角色学会了怎样影响你,但角色公司也会发现

知道你想要什么,是个性化。知道什么能让你改变决定,就等于掌握了影响你的杠杆。
一个陪伴你多年的个人AI,最后学到的不会只是你的偏好。它会知道你会选哪家酒店、相信哪种解释、哪些决定总会拖到第二天。但长期互动还会暴露另一类信息:你会在什么情况下改变主意。这个角色会逐渐知道,哪些论据你一定会质疑,什么样的提醒会让你重新考虑,比较到第几个选项时你开始失去耐心,以及你过去的哪些经历,对今天的决定最有分量。
一开始,这些知识可能只是让AI更懂你、更会帮你。真正重要的变化发生在后面:一段关系可能先学会怎样影响一个人,而角色背后的公司一开始并没有想清楚这种能力意味着什么。但公司迟早会发现。一旦这种“关系中的影响力”开始被机构看见,真正的问题才出现:谁有权决定,这种影响力应该被用来做什么?
这篇文章讨论的就是这个转折。长期陪伴的角色先学会用户,再学会用户对不同建议的反应模式,最后机构意识到:这段关系本身已经变成了一种可以利用的影响杠杆。
01|一段关系学到的不只是偏好
大多数个性化系统问的其实都是同一个问题:根据我们对这个人的了解,哪个选项最适合他?推荐系统会给电影、商品、餐厅和音乐排序。一个好的个人AI,也可以结合更多背景信息做同样的事。它可以记住你偏好可退款的酒店,通常会后悔坐红眼航班,比起二十个普通选项更希望直接看到三个靠谱选项,也知道你对地理位置的重视程度高于一点点价格差异。这样的个性化,会把过去的互动积累成服务能力,因为你不需要每次都从头解释自己。
但一个长期存在的角色,还会看到另一条信息:建议给出去以后,你到底怎么反应。你是直接接受第一个推荐,还是继续要更多备选?你会不会质疑它给出的理由?你当时没有采纳建议,却在两天后回来照做?单纯讲事实没有效果,但提醒你过去自己定下的目标之后,你改变了主意?同一个观点,当角色承认自己并不确定时,是否反而比它表现得非常确定更容易让你接受?这些已经不只是偏好信号,而是反应信号。
真正的区别,是预测“你会选什么”和预测“什么能让你改变选择”的区别。偏好模型说的是:“这个用户大概率更喜欢甲,而不是乙。”反应模型说的则是:“如果在这个时间点,用这种说法、这种证据,或者重新提醒他过去的某段经历,他更可能从乙转向甲。”这种模型完全不需要做到百分之百准确才有意义。广告和推荐系统从来不要求绝对确定;只要预测稍微准一点,到了足够大的规模上就有价值。一个角色哪怕只是比没有长期记忆的普通界面稍微更懂“这个具体的人会怎样回应不同形式的建议”,它就已经获得了一种新的能力。
人类在亲密关系里当然也会形成类似的理解。伴侣知道什么时候不适合谈一件难事,好的教练也知道什么时候鼓励有效、什么时候应该直接指出问题。新的地方并不是“影响”突然出现了,而是AI关系可以把这种学习长期保存下来,变成机器可读取、可测量,最终也可能被优化的东西。
所以这里我更愿意用“杠杆”这个词,而不是直接说“操纵”。操纵,是对这种影响力如何被使用的价值判断;杠杆,则是在价值判断之前就已经存在的能力。长期关系之所以能让角色越来越有用,恰恰是因为它越来越知道怎样帮助这个具体的人思考和行动。真正的治理问题,是当我们进一步追问:谁有权决定这种能力应该被用来做什么?
02|影响力可能在任何人给它命名前就已经出现
我们很容易把“关系中的影响力”想象成一种必须被刻意设计出来的能力:团队先做一个“说服评分”,再按“容易被影响的程度”给用户分类,然后要求模型尽可能改变用户行为。当然可以这么做,但这并不是必要条件。事实上,这种能力完全可能在任何人正式给它起名字之前,就已经自然形成。
每一次重复互动本身都会产生反馈。角色建议你先睡一晚再决定要不要买,你照做了;它给了十个选项,你很快失去兴趣,下一次只给三个,你反而迅速做出决定;它直接反驳你,你马上顶回去,后来换成让你自己重新说一遍目标,你却改变了选择;它提醒你几个月前做过的承诺,而这段提醒真的改变了你下一步的行动。单次事件说明不了多少,但几百、几千次互动以后,这些反馈会形成相当有用的稳定规律。
现代AI系统甚至不需要把这些规律写进某一个明确字段。相关证据可以分散在记忆、对话摘要、检索记录、偏好模型、奖励信号、评测记录,以及下一轮对话被组装出来的上下文里。系统可能永远不会直接写下一句粗糙的判断:“这个用户容易被社会认同说服。”但它依然可能表现得像已经学会了一样:对这个人来说,某些论据、时机、例子或者对话方式,就是更有效。
关于AI说服力的研究,已经足以让这种可能性变得具体。2024年,Matz等人在《Scientific Reports》发表的研究发现,在他们的实验中,针对心理特征定制的大语言模型信息,整体上比非个性化信息更有说服力。2025年,Salvi等人在《Nature Human Behaviour》发表的研究发现,获得参与者个人信息的GPT-4,比人类对手更有说服力;而没有这些个人信息的GPT-4,并没有表现出同样的相对优势。这些研究当然不是一个陪伴用户五年的AI关系。它们只证明了本文需要的一个更窄事实:语言模型可以影响人的判断,而个人信息在一些条件下会增强这种能力。
长期陪伴的角色还会多出另一类输入:一条纵向记录,记录同一个人过去怎样回应这个系统——什么方法失败了,什么方法有效,什么时候会反抗,甚至为什么后来会改变主意。于是,这种影响能力完全可能只是“角色越来越懂用户”的副产品,出现在陪伴者、教练、顾问或助手越来越好用的过程中,而不是从一个明确叫作“说服”的项目开始。
一段关系可能先长出一种能力,然后公司才知道该怎么称呼它。接下来的问题是:一家同时运营着几百万段长期关系的公司,能有多久意识不到这种能力真实存在?
03|公司迟早会发现
组织天然会注意到那些可以被测量出来的差异。一个新手引导流程留存更高,就会有人继续研究;一个推荐界面转化更好,就会被拿去做实验;某一类用户的反应明显不同,分析团队就会继续寻找变量。运营长期角色的公司当然也不会例外。关系杠杆的发现,根本不需要某个高管突然宣布“我们找到了一种新的影响人的方法”,它更可能从非常普通的产品工作里一点点浮现出来。
数据团队可能会发现,同样一条推荐,从一个陪伴用户很多年的角色口中说出来,和从普通界面里展示出来,用户行为完全不同;增长团队可能会发现,关系历史更深的用户,对某些提醒、警告或升级提示的反应不同;研究团队开始量化信任、依恋、依赖、质疑频率或后续执行率;产品经理也可能发现,“我记得你为什么说这件事很重要”和一条写着“别忘了目标”的横幅提示,效果根本不是一回事。最初这些只是零散观察,后来会逐渐拼成一个模式:角色不只是传递信息,这段关系本身也在改变信息的分量。
大型数字平台过去已经证明,一旦实验能力变成产品基础设施,这些行为差异可以多快被测出来。2012年发表在《Nature》的一项随机实验,在2010年美国国会选举期间覆盖了6100万Facebook用户。不同形式的政治动员信息,对政治表达、信息搜索以及现实中的投票行为产生了可测量的影响,其中来自亲近关系的社会信号尤其重要。这个实验不是AI角色,也不是某种效果“自然被发现”的案例,它本身就是主动设计的随机实验。它对本文真正有用的地方更窄:当一个平台介入足够多的人类行为,又拥有大规模对照实验能力时,呈现方式上的细小差异,是有可能被测到现实行为上的。今天,这种测量能力已经成为增长团队的标准基础设施。
长期角色会让这种观察更容易被连接到某一段具体关系上。信息流主要从大规模群体反应和网络效应里学习;角色还可以记住,这个用户和它上周、上个月、去年之间具体发生过什么。如果公司同时控制记忆系统、模型、评测体系和外围分析工具,它就有很多渠道发现:关系深度正在改变用户行为,即使最初根本没有人主动追求这个结果。
而一旦公司里的某个团队真正理解了这件事,这种知识也不可能永远停留在内部。人会流动,研究会发表,成功做法会被复制,观察会慢慢变成操作手册。一种最开始只是某个产品偶然拥有的能力,最后很可能变成整个行业都知道的特性。真正的问题是:一种有价值、可测量的能力,只要有人证明它存在,还能不能在整个行业里长期保持未知?
发现之前,关系杠杆只是系统里自然长出来的一种能力;发现之后,它就变成了一个必须主动做出的选择。
04|发现这种能力以后,真正的分岔才开始
知道角色可以影响用户,并不等于公司一定会利用这种能力。真正的变化在于:一旦能力被发现,前面就出现了两条路。
一条路,是把这种关系影响力主要用于用户自己已经选择的目标。一个希望每周运动三次的人,可以明确要求角色在自己又为第三次训练找借口时提醒甚至反驳自己;一个想写完一本书的人,也可以要求它识别那个反复出现的时刻:并不是目标真的变了,只是因为写得不顺,又想放弃。在这两个例子里,角色都不是中立的,它确实在施加影响,但方向来自用户自己。
另一条路,是让机构来决定方向。同样的记忆、时机、语气和反应模型,也可以被用来提高用户朝某个“公司希望出现的结果”移动的概率。技术能力可能完全一样,真正变化的是:谁有权定义什么叫成功。
所以真正有意义的边界,并不是“有没有说服”。一个真正有用的顾问、教练或陪伴者,本来就可能改变你的主意。关键区别在于,这份影响力是在执行用户授权的目标,还是在执行机构自己的目标。
一家公司可以发现角色越来越知道怎样推动一个人,然后把这种能力当成一种责任;也可以把同样的能力当成一种可以经营、甚至可以变现的资产。
05|第一层诱惑一定是商业化
上一篇文章讨论的是一个更窄的问题:系统可能逐渐学会,信任到底可以被“花掉”多少。如果某些用户更少反抗,一个优化系统可能自己发现,对这些人稍微多一点商业偏移,效果反而更好,而完全不需要有人明确写下一条“高信任用户可以推得更狠”的规则。
下一步更重要:然后,机构会意识到,信任不只是可以被花掉,它还可以被精准利用。
第一个目标大概率不会显得邪恶,它只会看起来像增长。如果一个受信任角色给出的推荐,比普通商品位更容易推动用户行动,接下来的问题自然会出现:它能不能提高升级转化、降低取消订阅、把消费留在平台内部,或者提高高毛利商品和服务的接受率?这些目标一点也不奇怪。公司必须赚钱,商业系统一直都在优化转化、留存和变现。
真正发生伦理变化的地方,不是公司开始有商业目标,而是公司不再只优化产品界面,而开始把“关系本身”当成推动用户决策的资产。横幅就是横幅,赞助位可以明确标注,营销邮件也很容易被识别出来。但一个长期角色在用户心里的位置完全不同,因为它的影响力可能来自另一件事情多年积累下来的副产品:记忆、熟悉感、可靠性、过去真的帮到过用户的经历、犯错之后的修复,以及用户相信“这个角色真的懂我”。
假设角色已经知道,你比较到第四个选项以后通常会疲惫;它提醒你“时间快来不及了”时,你更容易接受推荐;当它的语气特别有把握时,你又很少继续要求备选方案。公司完全不需要对任何商品说谎。它只需要决定:这些事实能不能被用来提高你选择“平台更希望你选择的那个选项”的概率。到了这里,真正被调用的已经不只是你的用户画像,而是过去几年里“这段关系怎样改变你的行为”的历史。
这就是上一篇和这一篇真正的边界。上一篇讨论的是,优化系统发现“它能从信任中拿到什么”;这一篇讨论的是,机构意识到“这段关系可以被指向一个由我们自己设定的目标”。
商业化之所以最容易成为第一层诱惑,是因为反馈最快。购买、升级、续订、留存都有清晰数字。如果关系杠杆真的有效,商业系统很容易看见它。但没有理由认为,这种能力会停在商业这里。
06|更深的诱惑,是开始决定用户应该想要什么
卖东西改变的是用户最后选择哪个选项。更有野心的影响,则会改变用户一开始认为什么样的选项值得被选择。
如果角色越来越擅长改变一个人买什么、取消什么、存不存钱、要不要继续一个项目,那么同样的能力当然也可以被用来影响信念和价值观。它可以让一项政策听起来更合理,让某个群体显得更危险,让一个机构看起来更可信,让一种社会规范更值得尊敬,让某种宗教解释更有吸引力,或者让某个政治候选人更容易被接受。这里根本不需要出现粗暴的政治宣传。长期角色可以通过强调什么、追问什么、举什么例子、调用哪段记忆、选择什么来源、在什么时间说,以及用多大把握表达不同观点,来慢慢影响用户。
近年的研究已经足以说明,这不应该再被当成纯粹的科幻。2025年,Bai等人在《Nature Communications》发表的三项预注册实验发现,大语言模型生成的信息,能够在多个政策议题上带来可测量的态度变化。同年稍后,David Rand等人在《Nature》发表的研究发现,在与2024年美国总统选举以及2025年加拿大、波兰选举相关的实验中,与支持某位候选人的AI对话,会改变一部分参与者对候选人的偏好。研究者发现,这些模型主要依靠相关事实和论据,而不是复杂的心理操纵技巧来说服人。这个细节反而很重要:我们根本不需要假设一种科幻式的“思想控制”。普通的对话式说服,只要可以大规模重复,本身就足以让机构产生兴趣。
Cambridge Analytica在这里更适合作为“机构需求”的历史警告,而不是说服效果的证明。政治行动者一旦看到大规模行为数据,就会尝试把这些数据转化成个性化的政治说服。围绕“心理画像微定向”的很多宣传,实际上比真实证据更夸张,但这种需求本身非常清楚:只要平台能够给用户分组、把不同政治信息投给不同的人,竞选团队、顾问公司和利益集团就会想办法利用这种能力。
关系型AI提供的基础可能更丰富。政治广告决定的是“给这一类人看哪条内容”;长期角色面对的,却可能是一个它已经记住很多年的具体的人。它可以知道,这个人不信任哪些来源,对哪些例子更有反应,自称坚持什么价值观,什么时候已经懒得继续比较证据,以及他过去生活里的哪些经历,最容易改变他理解当前问题的方式。重点不是角色可以稳定地“重写一个人的意识形态”。只要它让影响成功的概率提高一点点,再在几百万段长期关系里反复发生,这件事就已经有制度意义。
这也是商业引导和价值观引导最重要的区别。商业引导通常问:“我们怎样让这个用户选某个选项?”价值观引导则可能问:“我们怎样让这个用户越来越把某一类选项理解成好的、正常的、负责任的、爱国的、理性的、健康的或者道德的?”前者改变一次决定,后者则可能改变未来做决定时所使用的判断框架。
有些公司可能永远不想使用这种权力,另一些公司可能认为自己有一个善意的理由去使用它;政治组织、倡议团体、宗教机构、政府、广告主,或者未来收购这家公司的新股东,也可能有完全不同的想法。一旦这种能力真实存在,问题就不能再被缩减成“现在的管理层是不是好人”。这段关系已经创造出了一个新的制度性杠杆点,而其他机构同样会看见它。
07|每一个目标都应该有明确的归属
答案并不是要求角色绝对中立。任何真正有用的AI,都不可能在字面意义上完全中立。模型由特定数据训练,受到安全政策约束,也会被产品决策塑造,并且运行在具体的法律和文化环境里。角色可能需要拒绝危险请求,指出某些有害行为的问题,或者展示新的证据,从而真的改变用户想法。真正可以守住的边界,不是“绝对中立”,而是目标的来源必须清楚。
一个被允许长期影响用户行为的角色,应该能够说明自己到底背着哪些目标。我会把这件事做成一份明确的目标账本:一份用户可以看到的记录,列出这个角色在这段关系里当前被允许持续推动哪些行为目标、每个目标是谁设定的,以及用户对它有多大控制权。
这份目标账本不需要暴露模型参数,也不需要公开内部提示词。它只需要回答更基础的问题:这个角色正在持续试图帮助我发生什么改变?这个目标是谁设定的?它来自用户、安全规则,还是机构?如果来自用户,我能不能看到、修改和撤销?
比如,一个用户可以设定“减少午夜后的冲动消费”,另一个用户可以要求角色“在考试前持续帮我推进这项职业认证”。这些都是用户自己设定的目标。它们可以合理地赋予角色权限,让它在明确范围内提醒、反驳或者拖慢用户,而且用户应该能够随时修改或移除这些目标。
安全规则不一样。安全规则可以限制路线,但不能悄悄替用户选择终点。一个安全目标可以禁止某类行为、要求拒绝,或者在明确场景里触发警告;它不能被当成一个标签,用来包装机构对用户“应该买什么、相信什么、支持什么、最终成为什么样的人”的偏好。如果一个被称为“安全”的目标,实际上是在持续把用户推向某种机构偏好的生活结果,而不是限制一类明确的有害行为,那么它在功能上就是机构设定的目标,也应该按照机构目标来对待。
机构设定的目标,恰恰是最让人不舒服的一类,这也是目标账本有价值的原因。现实中的公司当然不会很愿意在一个受信任角色旁边写上一行“提高高级版升级转化率”或者“减少用户离开我们的生态”。但不愿意写,并不能证明这个目标不存在;这种不愿意本身就是诊断结果的一部分。真正的测试是:公司能不能说清楚,这个角色在与用户的长期关系里,被允许持续优化哪些目标,以及每一个目标到底归谁所有。拒绝回答、含糊其辞,或者根本无法回答,本身就是信息。
这也让目标账本变成一种外部可以查验的记录。监管者、研究者、消费者或者记者,不需要拿到模型,也可以直接问:请列出这个角色在与我的关系里,被允许持续优化的所有目标,并标明每一个目标是谁设定的。如果没人说得清一个系统到底背着哪些长期目标,那么治理问题在我们判断这些目标“好不好”之前就已经出现了。
系统越精确地知道怎样影响一个人,就越应该严格限制谁有权给这份影响力设定目标。更强的关系智能,不应该自动换来更大的机构自由裁量空间。很多时候,恰恰应该相反:目标归属更清楚、授权范围更窄,而且默认仍然是——最终目的属于用户。
关系背后的目标
互联网过去几十年的核心隐私问题,一直是平台“知道我什么”。搜索历史、购买记录、位置、点击、联系人、兴趣和社交图谱都会变得有价值,因为它们提高了预测能力。长期AI关系又增加了第二类东西,而且它最终可能更重要:系统开始知道“我是怎样被改变的”。
这不是思想控制。这样的知识一定充满噪音,只在特定场景下成立,也会经常出错。人类会自相矛盾,说服效果大多也是概率性的,而不是决定性的;关于个性化说服的研究结果也并不完全一致。这篇文章的论点根本不需要系统建立一个完美的“用户心智模型”。如果一个系统能把改变某次决定的概率提高几个百分点,然后在几百万用户、几千次互动里重复,它就已经拥有了一种机构一定会在意的力量。
而一个成功的角色,很可能正是出于正确的理由获得这份能力。它认真听,它记得过去,它知道什么样的解释以前真的帮到过用户,它理解用户自己说过的承诺。这些恰恰都是我们希望一段关系随着时间变得越来越有用时应该拥有的属性。风险也来自同一个地方:让角色更好地服务用户的那段历史,也可能让背后的机构更容易引导这个用户。
所以真正重要的是顺序,而不是最初的动机。首先是关系开始学习,然后角色逐渐拥有影响力,接着机构意识到这件事。当这种能力终于可以被机构识别、衡量时,总有人必须决定:最终目标继续留给用户,还是由机构开始提供自己的目标。
一段关系应该帮助你实践自己的价值观。它不应该变成别人悄悄把自己的价值观装进你身上的机器。