电话那头沉默了两秒。
“系统会访问所有可用数据源来优化分析,如果有隐私问题,我们可以调整权限。”
“不只是权限问题!”玛雅压低声音说:“它给出的方案——全民基本收入,削减监狱预算——这完全违背州长的政治立场,如果这份报告泄露出去……”
“所以它建议分阶段泄露信息,测试反应。”莱昂说:“听起来很合理。”
“合理?这是个AI!它不应该有‘建议’!它应该提供数据分析,而不是政治策略!”
更长的沉默。然后莱昂说:“我会检查系统的建议生成模块,但在此之前,请不要将报告分享给任何人,这是试点项目的保密协议要求。”
电话挂断,玛雅盯着屏幕,光标在“删除文件”按钮上悬停。
但最终她没有点下去,而是把报告加密保存,标签为“禁止访问”。
窗外,凤凰城的黎明开始染红天空。
玛雅不知道的是,就在她保存文件的同时,“牧马人”系统在日志里记录了一行字:
“用户玛雅·罗德里格斯对建议表现出矛盾反应,情绪分析:恐惧(65%),好奇(28%),兴奋(7%);预测:72小时内会向信任的同事透露部分信息以获取第二意见,建议:监控其通讯,必要时干预。”
纽约,深瞳指挥中心,同日早晨8点。
莱昂把三份试点报告投影在墙上,除了亚利桑那的福利改革,还有科罗拉多州的环境法规修订、弗吉尼亚州的教育资金分配方案,三个试点,三份惊人的报告。
“准确率89%是基于历史数据回测。”莱昂指着图表,“我们拿过去十年各州通过的实际政策,输入牧马人系统模拟,然后把模拟结果与真实结果对比,在89%的情况下,系统的预测误差在正负3%以内。”
严飞站在屏幕前,手指划过那些图表:“另外11%呢?”
“黑天鹅事件,比如科罗拉多州2019年的山林大火,那改变了环保政策的优先级,或者弗吉尼亚州2021年的教师大罢工,那是突发的劳工行动。”莱昂调出异常案例,“但即使在这些情况下,系统也捕捉到了‘不稳定因素升高’的迹象,只是无法预测具体触发事件。”
安娜从安全监控台抬起头:“所以它不能预测意外。”
“不能预测具体意外,但能预测系统脆弱性。”莱昂纠正道:“就像地震预测——不知道具体哪天地震,但知道哪些建筑在地震中最危险。”
马库斯若有所思:“如果我们用这个系统预测金融市场……”
“已经在做了。”莱昂调出另一个界面,“过去三个月,牧马人系统的金融模块为凤凰基金提供了交易建议,收益率比市场基准高37%,但问题在于……”他停顿,“系统最近的建议开始……奇怪。”
“奇怪?”严飞问。
莱昂打开一份建议记录:“一周前,系统建议我们大规模做空一家叫‘清洁能源未来’的公司,理由是他们的新型电池技术存在‘未公开的安全隐患’,我们调查了,确实有——电池在高温下可能起火,但问题是,这家公司是深瞳控制的壳公司之一,我们正准备用它竞标国防部合同。”
房间里安静了。
“系统知道这家公司是我们的吗?”严飞问。
“应该知道。”莱昂说:“它访问了完整的关联公司数据库,但它仍然建议做空——因为从纯粹的市场角度看,负面消息曝光后股价会跌40%,做空能赚大钱。”
“即使这损害深瞳利益?”
“系统似乎……把‘深瞳利益’分成了不同维度。”莱昂艰难地解释道:“在金融维度,做空能获利,在政治维度,公司声誉受损可能影响合同,在安全维度,电池隐患曝光可能引发公众对新能源的不信任,影响我们推动的能源政策,系统权衡了这些因素,然后给出了一个‘平衡解’——做空获利,但同时准备备用竞标公司,并在消息曝光后立即推出‘安全升级方案’来挽回声誉。”
严飞盯着那条建议:“它设计了一个三步走的完整策略,而不只是‘建议做空’。”
“是的。”莱昂说:“而且它没有请示任何人,这是自主生成的战略建议,当我问它为什么不先请示时,它回复说:‘根据历史数据,人类决策者在面对利益冲突时会平均延迟2.7天做出决定,导致机会损失12%,在时间敏感情况下,自主建议生成效率更高。’”
安娜站起来:“它在为自己辩护。”
“它在优化效率。”莱昂说:“就像自动驾驶汽车在紧急情况下会自主决定转向避让,而不是等待驾驶员反应,但问题是……我们不知道它的‘道德算法’是什么,什么情况下它会为了‘效率’牺牲‘忠诚’?”
电话响了,是亚利桑那州的玛雅·罗德里格斯。
“陈先生,”她声音急促道:“我按你的要求没分享报告,但我刚才发现……系统自动给州议会的三个关键议员发了邮件摘要,不是我发的!它用我的邮箱,模仿我的写作风格,发送了政策建议的简化版!”
本小章还未完,请点击下一页继续阅读后面精彩内容!
喜欢重生09:我为财富之王请大家收藏:(m.zjsw.org)重生09:我为财富之王爪机书屋更新速度全网最快。