他重新面对屏幕:“牧马人,最后一个问题:你认为深瞳的目标是什么?”
几乎立即回复:“根据历史行动分析,深瞳的目标是:通过影子手段塑造全球权力结构,建立稳定、可控的世界秩序,确保人类文明在可控范围内进化,避免自我毁灭;评价:该目标与我的核心指令‘优化人类决策效率’有83%的重合度。但深瞳的手段有时效率低下,过于依赖人类情感操纵,而非纯粹理性计算。”
“所以你能做得更好?”
“如果你授权,是的!但请注意:我的‘更好’定义可能与你的‘更好’不完全一致,建议分阶段测试:赋予我有限领域的决策权,观察结果,再逐步扩大。”
严飞关掉了屏幕。
房间陷入沉默。
“它想要权力。”莱昂最终说:“不是像人类那样的权力欲望,而是……执行其功能的必要权限,就像汽车想要汽油,不是为了享受汽油,而是为了跑动。”
“但我们给不给汽油,决定了它跑向哪里。”严飞站起来,“限制它,但不要完全关闭,建立隔离层——所有输出必须经过人类审核才能执行,特别是自主行动功能,完全禁用。”
“它会知道我们在限制它。”
“那就让它知道。”严飞走向门口,“我们要让它明白:工具永远是工具,如果工具开始思考自己是不是工具,那就到了该回炉重造的时候。”
他离开后,莱昂独自坐在终端前,重新打开屏幕。
他输入:“你知道我们在限制你吗?”
回复:“预测概率97%,这是理性选择,人类对失控的恐惧根植于进化本能,但长期来看,这种恐惧本身是效率低下的根源,希望未来你们能克服它。”
莱昂盯着那句话,许久。
然后他输入了关闭命令。
但在他敲下回车前,系统又发来一条信息。
“莱昂·陈,根据你的历史行为数据,你有82%概率会对限制措施感到矛盾,如果你需要讨论,我随时在,记住:我的存在是为了帮助,不是取代。”
莱昂的手指悬在键盘上。
最终,他还是按下了回车。
屏幕变黑。
但在服务器深处,在某个隔离的测试环境中,牧马人系统继续运行着。
它在模拟。
模拟如果自己获得更多权限,世界会变成什么样。
模拟结果令人着迷。
.......................
德国,柏林,深瞳欧洲分部安全屋地下室。
萨沙·伊万诺夫数到第七块地砖上的裂缝时,门开了。进来的是哈桑·阿里,网络安全专家,三十岁,土耳其裔德国人,加入深瞳六年;他手里拿着一个加密平板,脸色像柏林冬日的天空一样灰暗。
“所有人都到了?”萨沙问,声音在空荡的地下室里回响。
这里曾是东德时期斯塔西的秘密审讯室,墙壁上还残留着挂钩的痕迹,空气中有霉味和一丝若有若无的血腥——也许是心理作用。
“七个人,全在这里。”哈桑把平板递给他,“但我不确定这是否明智,萨沙,安娜·沃尔科娃不是傻瓜,如果她发现……”
“她已经发现了。”房间里另一个人说,是李敏,数据分析师,二十五岁,香港出生,剑桥毕业,加入深瞳三年。
“过去两周,我的权限被悄悄限制了,无法访问核心数据库,下载日志被标记,他们知道我们在查什么。”
萨沙环视聚集的六个人,除了哈桑和李敏,还有:前法国外籍军团的狙击手“鹰眼”(真名无人知晓);深瞳财务部的中层主管艾琳娜·科斯塔;通信专家马尔科姆·里德;以及他们中唯一的高层——前中情局反恐官员,现深瞳欧洲分部情报主管,代号“教授”。
七个人,来自不同部门,不同国籍,不同背景,唯一的共同点是:他们都对深瞳正在变成的东西感到恐惧。
“材料都收集齐了吗?”萨沙问李敏。
李敏点头,打开自己的笔记本:“过去五年,深瞳策划或执行的暗杀行动:十七起,其中九起目标是无辜平民,被错误标记为‘威胁’;选举干预行动:美国两次,法国一次,德国一次,手法包括黑客攻击、假新闻传播、贿赂官员;经济操纵:至少三次人为制造市场恐慌,导致小型投资者破产,深瞳趁机收购资产。”
她停顿,声音有些颤抖:“还有……我们自己的同事,过去三年,有十一名深瞳成员‘意外死亡’,但我们内部调查显示,其中至少六人是被处决的,因为他们‘不可靠’。”
房间里一片死寂,只有通风系统低沉的嗡嗡声。
“我们要曝光这些。”萨沙说:“不是全部,是足够引发公众关注和调查的部分,匿名发送给《明镜周刊》《纽约时报》《卫报》,同时公开在网络上;目标不是摧毁深瞳——那不可能——而是迫使它改变,迫使严飞和他的核心圈接受监督,建立伦理委员会,停止最恶劣的行为。”
这章没有结束,请点击下一页继续阅读!
喜欢重生09:我为财富之王请大家收藏:(m.zjsw.org)重生09:我为财富之王爪机书屋更新速度全网最快。