《卫报》网站今日撰文详述了机器的崛起。技术正开始以智能和不可预知的方式运作,连它的创造者都无法捉摸。正当机器越来越多地改变全球事件,我们该如何重新控制它们呢?
以下是文章主要内容:
你卧室角落里的智能音箱突然狂笑起来,还把你的枕边细语录音发给了一个同事。你蹒跚学步的孩子在YouTube上看动画片《小猪佩奇》,却出乎意料地看到了血腥和死亡的画面。你用来和老同学保持联系的社交网络被发现会影响选举结果和被用来煽动政变。
我们的思维方式发生了奇怪的变化——因此,这个世界发生了更奇怪的事情。我们开始相信,一切都是可计算的,都可以通过新技术的应用加以解决。但这些技术并不是中立的促进者:它们体现了我们的政治倾向和偏见,它们超越了国家和法律管辖范围的界限,甚至越来越超出了它们的创造者的理解。因此,随着这些强大的技术对我们的日常生活有了更多的控制,我们变得越来越不理解这个世界。
在科学和社会中,在政治和教育中,在战争和商业中,新技术不仅增强了我们的能力,还在积极地塑造和指导它们,无论好坏。如果我们不了解复杂的技术是如何运作的,那么它们的潜力会更容易被自私的精英和公司利用。由此带来的结果会在我们周围随处可见。我们每天遇到的复杂且不透明的系统和不平等、暴力、民粹主义和原教旨主义的全球问题之间,存在着因果关系。
我们似乎进入了一个充斥着更加离奇和不可预见的事件的新黑暗时代,而不是一个技术进步会给世界带来希望和解放的乌托邦式未来。更广泛地传播更多信息的启蒙运动思想,并没有让我们促进人们的相互理解和世界和平,相反,它似乎在助长社会分裂、不信任、阴谋论和后真相政治。要理解正在发生的事情,有必要了解我们的技术是如何运作的,以及我们是如何变得对它们抱有如此大的信心的。
云是互联网的核心隐喻:一个强大的、近乎无法捉摸的全球系统。
在20世纪50年代,一个新的符号开始进入电气工程师绘制来描述其所构建的系统的图解当中:一个模糊的圆圈,或者说一个马勃菌,又或者一个思想泡泡。最终,它的形状变成了云的形状。不管工程师在做什么,它都可以连接到这个云上,这就是你需要知道的。另一个云可能是一个电力系统,或者一个数据交换系统,又或者另一个计算机网络。无论是什么,都不重要。云是降低复杂性的一种方式,它可以让你专注于处理手头的问题。随着时间的推移,随着网络变得越来越大,越来越互联,云变得越来越重要。它变成了一个商业热词和一个卖点。它变得不只是一种工程符号了;它变成了一种隐喻。
如今,云是互联网的核心隐喻:一个拥有巨大力量和能量的全球系统,不过它仍保留着某种难以捉摸、几乎无法把握的东西的味道。我们在它里面工作;我们从它那里储存和取回东西;它是某种我们一直在接触,但却没有真正理解的东西。但这个隐喻有一个问题:云不是某个神奇而遥远的地方:由水蒸气和无线电波构成的,上面的一切都在有效运转。它是一种物理基础设施,包含电话线、光纤、卫星、海底电缆以及放满计算机的巨大仓库,这些仓库需要消耗大量的水和能源。被云吸纳的是许多以前在公众领域很重要的建筑:我们购物、获取银行服务、社交、借书和投票的地方。因此,被遮蔽起来以后,它们变得不那么显眼,也不那么容易受到批评、调查和监管的影响。
谷歌位于美国爱荷华州的的一个数据中心
在过去的几十年里,世界各地的交易大厅都陷入了沉默,因为人们被大量自动交易的电脑所取代。数字化意味着,股票交易所内部和之间的交易会越来越快。当交易落入机器手中时,机器几乎可以立即对市场的情况做出反应。前物理学博士学生设计的高频交易(HFT)算法进入了市场,交易员给它们起了诸如“The Knife”的名字,因为它们可以利用毫秒级的时间优势。它们能够从每笔交易中赚得一分一毫,而且一天可以做到数百万次。
在这些大规模加速且不透明的市场中,发生了某种非常怪异的事情。2010年5月6日,道琼斯指数开盘低开,在接下来的几个小时里因为希腊债务危机的消息而缓慢下跌。但在下午2点42分,该指数开始迅速下跌。在不到五分钟的时间里,该指数被抹去了600点。在最低点时,该指数比前一天的平均水平低了近1000点,几乎是其总价值的10%,也创下了市场历史上最大的单日跌幅。到下午3点07分,在短短25分钟内,它几乎收复了所有的600点,这是有史以来幅度最大且最快速的震荡。
在那25分钟的混乱中,价值560亿美元的20亿股股票易手。更令人担忧的是,许多订单是在证券交易委员会所谓的“非理性价格”下执行的:低至一美分,高至10万美元。这一事件被称为“闪电崩盘”,多年后仍处在调查和争论的旋涡中。
交易员可能会做长线,而而机器面对不确定性则会选择尽快退出市场。
监管机构的一份报告发现,高频交易员加剧了价格波动。在众多的高频交易程序中,许多都有硬编码的卖出价位:被程序设定为立即卖出股票的价格。随着价格开始下跌,许多程序同时被触发卖出。随着一个个的价位被跳过,随后的价格下跌触发了另一套算法自动卖出他们的股票,从而产生了反馈效应。因此,价格下跌的速度超出了人类交易者的反应速度。经验丰富的市场参与者或许能够通过做长线来应对崩盘,稳定局面,而机器面对不确定性则会选择尽快退出市场。
其他的一些理论则指责这些算法引发了危机。从数据中识别出的一种手法是,高频交易程序向交易所发送大量“不可执行”的指令——即指令中买入或卖出股票的报价远远超出正常价格范围,因此它们会被忽视。这种指令的目的并不是为了真正传达信息或者赚钱,而是为了故意给系统制造混乱,以便在混乱中执行其他更有价值的交易。许多从未要打算执行的指令实际上已经被执行,从而导致了市场剧烈的波动。
闪电崩盘现在是采用新技术的市场的一个公认特征,但人们对它仍然非常缺乏了解。2016年10月,算法对有关英国退欧谈判的负面头条新闻做出反应,在不到两分钟的时间里,英镑兑美元汇率下跌了6%,随后却几乎立即出现反弹。知道哪个头条新闻或者哪个算法导致这起崩盘事故,几乎是不可能的。2012年10月,一个乱七八糟的算法开始下达和取消订单,导致美国股市有4%的交易流量被吞噬掉。对此,一位评论人士讽刺地说,“这个算法的动机还不清楚”。
2013年4月23日下午1点07分,美联社向其200万关注者发出了一条推文:“突发新闻:白宫发生两起爆炸,巴拉克?奥巴马(Barack Obama)受伤。”这条消息的发出是因为美联社账号被侵入,隶属于叙利亚总统巴沙尔·阿萨德(Bashar al-Assad)的叙利亚电子军(Syrian Electronic Army)后来声称为此负责。美联社和其他的媒体记者很快就在网站上发出警告,称那条消息是假的。然而,面对传出的突发新闻,算法并没有这种鉴别能力。下午1点8分,道琼斯指数暴跌。在大多数人还没看到那条虚假推文之前,该指数在两分钟内就下跌了150点,而后又反弹至之前的水平。期间,该股票市场的市值一度蒸发了1360亿美元。
华硕Zenbo机器人。作为一款智能家居助手,Zenbo使用摄像头来防止撞到墙上,并使用扬声器和麦克风来响应用户的语音命令。
计算技术越来越多地被跨层级,越来越多地隐藏在我们日常生活中的物体当中,随着它的扩张,不透明性和不可预测性也会增加。三星在2015年推出的“智能冰箱”系列的一大卖点是,它们与谷歌的日历服务整合在一起,让用户可以直接在厨房里安排食品杂货配送。这也意味着,黑客如果能够访问当时并不够安全的机器,就可以读取用户的Gmail账号密码。德国的研究人员发现了一种方法,可以将恶意代码嵌入飞利浦支持WiFi的Hue灯泡中,然后恶意代码可以从一个灯泡装置传播到另一个传播装置,扩散到整个建筑,甚至是整个城市,让灯泡快速打开和关闭——在一种可能的情况下——还会引发光敏癫痫。这是托马斯·品钦(Thomas Pynchon)著作《万有引力之虹》(Gravity’s Rainbow)里的灯泡Byron所青睐的方法,这是小机器对其创造者的暴政进行的一场大起义。曾经虚构的技术暴力的可能性正通过物联网实现。
在金·斯坦利·罗宾逊(Kim Stanley Robinson)的小说《极光》(Aurora)中,一艘智能宇宙飞船将一群人类船员从地球运送到一个遥远的恒星。这趟旅程需要花费好几辈子的时间,所以飞船的工作之一就是确保人类照顾好自己。当他们的脆弱社会分崩离析,威胁到使命的执行的时候,飞船会通过部署安全系统来实施控制:它能够通过传感器看到任何的地方,能够随意打开或密封船上的门,能够通过其通讯设备大声说话来引起人的身体疼痛,还能够使用灭火系统来减少特定的空间内的氧气水平。
这大致类似于现在来自谷歌及其合作伙伴的设备套装的运作:针对家庭安全的网络摄像机网络,智能门锁,能够给单个房间调整温度的恒温器,会发出刺耳警报声的火和侵入者检测系统。这意味着,任何一个成功的黑客都能够拥有像随意控制船员的Aurora或者反抗可恶的主人的Byron一样的能力。
在驳斥来自科幻小说作家的狂想的这类场景之前,不妨再想想证券交易所中的那些流氓算法。这些并不是孤立事件,而是复杂系统中的日常事件。那么问题就变成了,在更广泛的现实中,流氓算法或闪电崩盘会是什么样呢?
比如,它会不会像恶意软件Mirai那样呢?2016年10月21日,Mirai使大片互联网瘫痪了几个小时。当研究人员深入研究Mirai时,他们发现它瞄准那些安全性不足的联网设备——从安全摄像头到数字录像机——然后把它们变成了一群机器人。在短短几周内,Mirai感染了50万台设备,它只需要感染一小部分的设备就可以使得重要的网络瘫痪数小时。
2008年,伊朗总统艾哈迈迪·蔀贾德(Mahmoud Ahmadinejad)在探访位于纳坦兹的核设施。
事实上,Mirai看起来完全不像Stuxnet,后者是2010年在水力发电厂和工厂装配线的工业控制系统中发现的另一个病毒。Stuxnet是一种军用级别的网络武器;在进行解包分析时,它被发现是专门针对西门子离心机的,当它遇到一个拥有特定数量的此类机器的设施时,它就会爆发。那个数字对应于一个特定的设施:在伊朗的纳坦兹核设施。一旦启动,该程序会悄悄降解离心机的关键部件,导致它们崩溃并破坏伊朗的铀浓缩计划。
该攻击显然取得了部分成功,但这种攻击对其他受感染设施的影响尚不可知。直到今天,尽管有明显的嫌疑,但没有人知道Stuxnet来自哪里,或者是谁制造的。也没有人知道是谁开发了Mirai,或者它的下一个版本可能来自哪里,但它现在有可能就在你办公室的闭路电视摄像头里,或者在放置于你厨房角落的支持WiFi的水壶里。
或者,也许攻击会是这样的:一系列大片电影变得迎合右翼阴谋和生存主义幻想,从准法西斯主义超级英雄(《美国队长》和蝙蝠侠系列)到酷刑和暗杀的辩护(《刺杀本·拉登》,《美国狙击手》)。在好莱坞,电影公司通过一个叫做Epagogix的公司的神经网络来运作它们的剧本。Epagogix系统利用数以百万计的电影观众在过去几十年里形成的隐含偏好数据进行了训练,目的是预测什么样的台词会最能引起人们的共鸣——也就是最有利可图的。算法引擎借助来自Netflix、Hulu、YouTube和其他网站的数据得到强化,同时能够了解数百万视频观众的实时偏好,因此它们能够获得某种程度的认知洞察力,这是以往的机制完全无法实现的。通过直接滋养消费者的追剧欲望,那种网络本身就会变得兴奋起来:反思、加强和升高系统固有的偏执性。
游戏开发人员在A/B测试界面和对玩家行为的实时监控的指导下,进入无休止的游戏更新和应用内购买循环当中。他们对人类产生多巴胺的神经通路有着极为细致的把握,以至于严重上瘾的青少年昼夜不停地玩那些游戏,最终因为精疲力竭而死在电脑前。
或者,闪电崩盘也许看起来就像是一场网上人人都能看到的噩梦般的直播?2015年夏天,雅典一家医院的睡眠障碍诊所比以往任何时候都忙碌:希腊债务危机正处于最动荡的时期。患者当中不乏高级政府官员和公务员,但是那些在夜间监控他们的呼吸、移动甚至大声说出的梦话的机器,将那些信息以及他们的个人医疗信息发送回了设备制造商位于北欧的诊断数据中心。什么样的窃窃私语才会逃过这些这种设施的追踪呢?