啃书文学网

手机浏览器扫描二维码访问

第3章 自由 数据霸权与社会公平（第3页）

但也先别急着研发和部署机器人杀手。我们不能忘记，机器人的表现一定是其内置程序代码的反映及放大。如果程序代码规定要有所克制、立意良善，机器人的表现就会远远优于一般人类士兵；然而，如果程序代码规定要冷酷无情、赶尽杀绝，结果就会是一场灾难。机器人真正的问题并不在于它们的人工智能，而是那些人类主人天生的愚蠢和残酷。

1995年7月，前波斯尼亚的塞尔维亚族部队在斯雷布雷尼察镇周围屠杀超过8000名信奉伊斯兰教的波斯尼亚人。美莱村大屠杀属于无计划屠杀，斯雷布雷尼察屠杀则历时持久，组织严密，反映出塞军的政策是对波斯尼亚境内的穆斯林进行种族清洗。如果塞军在1995年便拥有机器人杀手，整场暴行只会更糟，因为任何机器人都只会毫不犹豫地执行接到的命令，也绝不会因为同情、对自己的行为感到厌恶，或者单纯因为过于疲累，就饶过哪个儿童穆斯林的性命。

冷酷狠心的独裁者有了这样的机器人杀手，不管下了多无情、多疯狂的命令，都不用担心士兵起而反抗。如果有了机器人军队，1789年的法国大革命可能还没开始就遭到扼杀；如果2011年埃及总统穆巴拉克手中有一群机器人杀手，用来对付民众的时候就不用担心它们倒戈相向。同样，有了机器人军队的帝国主义政府也可以发动各种没有民意支持的战争，而不用担心机器人无心作战或机器人的家人会站出来抗议。要是美国在越战时有机器人杀手，虽然可能不会发生美莱村大屠杀，但越战本身却可能要再拖上更多年，因为美国政府不用再烦恼士兵士气低落、国内出现大规模反战游行，或者“退役机器人反对战争”活动。（虽然部分美国公民仍然可能反对战争，但既然不用担心自己被征召，自己没有犯下暴行的记忆，也无须承受失去亲人的痛苦，反战游行的人数大概会锐减，反战决心也不会那么坚定。）

此类问题当然和民用的自动驾驶汽车关系不那么大，毕竟没有任何汽车制造商会蓄意设计车辆去撞死人。然而，由于太多政权道德有缺失，甚至根本就是图谋不轨，自主武器系统带来灾难也只是时间的问题。

会造成危险的不只是机器人杀手，监控系统同样有风险。在好政府的手中，强大的监控算法可以是人类历史上发生过的最大的好事。然而，同样一套大数据算法也可能养出未来的“老大哥”，最后出现奥威尔笔下的那种监控政权，所有人无时无刻不遭到监控。

事实上，我们最后可能会得到连奥威尔都难以想象的结果：完全的监控政权，不但追踪所有人的一切行为和话语，甚至还能进入我们体内，掌握我们内心的感受。举例来说，如果某国领导人拿到这项新技术，想想看他会怎么运用？在未来，可能该国所有公民都会被要求佩戴生物统计手环，不仅监控他们的一言一行，还掌握他们的血压和大脑活动。而且，随着科学越来越了解大脑，并运用机器学习的庞大力量，该国政权可能会有史以来第一次真正知道每个公民在每个时刻想些什么。如果你看到一张该国领导人的照片，而生物传感器发现你出现愤怒的迹象（血压升高、杏仁核活动增加），大概明早你就会被抓进监狱。

当然，由于该国政权与外界相对隔绝，光靠自己可能很难研发出所需科技。但相关科技可能会由科技较先进的国家研发完成，而它可以复制或者购买。某些国家不断改良其监控工具，许多民主国家（从美国到我的祖国以色列）也在做同样的事情。以色列有“新创企业之国”的美名，高科技产业部门极度活跃，还有尖端的网络安全产业。但与此同时，以色列与巴勒斯坦处于致命的冲突局面，一旦真的研发出必要的科技，至少有部分领导人、将军和国民会很乐意立刻在约旦河西岸布下全面的监控系统。

就算在今日，只要巴勒斯坦人一打电话、发了脸谱网文章或前往另一个城市，就很可能已经被以色列的麦克风、照相机、无人机或间谍软件监控。由此收集到的数据会再用大数据算法进行分析，使得以色列安全部队无须真正动用太多人力，就能找出并消灭潜在威胁。巴勒斯坦人看起来好像占有约旦河西岸的一些城镇和村庄，但其实以色列人控制着那里的天空、电波和网络空间。所以虽然西岸巴勒斯坦人口有大约250万，但只要用少得惊人的以色列士兵，就可以有效控制那里。

[4]EliaZureik，DavidLyonandYasmeenAbu-Laban（eds.），SurveillanceandControlinIsraelPalestine:Population，TerritoryandPower（London:Routledge，2011）;EliaZureik，IsraelsColonialProjectinPalestine（London:Routledge，2015）;TorinMonahan（ed.），SurveillanceandSecurity:TechnologicalPoliticsandPowerinEverydayLife（London:Routledge，2006）;NaderaShalhoub-Kevorkian，‘E-ResistanceandTechnologicalInSecurityinEverdayLife:ThePalestiniancase’，BritishJournalofCriminology，52:1（2012），55–72;OrHirschaugeandHagarSheizaf，‘TargetedPrevention:ExposingtheNewSystemforDealingwithIndividualTerrorism’，Haaretz，26May2017，https:.haaretz.co.ilmagazine.premium-1.4124379，accessed17September2017;AmosHarel，‘TheIDFAcceleratestheCrisscrossingoftheWestBankwithCamerasandPlanstoSurveilleallJunctions’，Haaretz，18June2017，https:.haaretz.co.ilnewspolitics.premium-1.4179886，accessed17September2017;NetaAlexander，‘ThisisHowIsraelControlstheDigitalandCellularSpaceintheTerritories’，31March2016，https:.haaretz.co.ilmagazine.premium-MAGAZINE-1.2899665，accessed12January2018;AmosHarel，‘IsraelArrestedHundredsofPalestiniansasSuspectedTerroristsDuetoPublicationsontheInternet’，Haaretz，16April2017，https:.haaretz.co.ilnewspolitics.premium-1.4024578，accessed15January2018;AlexFishman，‘TheArgamanEra’，YediotAharonot，WeekendSupplement，28April2017，6.

2017年10月曾有一起悲哀而荒谬的事件，一名巴勒斯坦工人在自己的脸谱网账号发了一张在工地的自拍照，就站在一台推土机前面。在照片旁边，他用阿拉伯文写了——“早安！”但算法自动翻译这些阿拉伯文字的时候出了错，把意为“早安”的“Ysabechhum”误判成“Ydbachhum”，意思就成了“杀光他们”。以色列安全部队怀疑这名男子是恐怖分子，打算用推土机冲撞碾压人群，于是立刻将他逮捕。直到他们发现是算法出错，这名男子才得到释放。然而，那则叫人紧张的脸谱网发文还是被删除了，毕竟小心驶得万年船啊。巴勒斯坦人今天在西岸的状况大概只是个简单预告，未来或许全球几十亿人终将出现同样的局面。

在20世纪后期，民主国家的表现通常优于专制国家，是因为民主国家更善于处理数据。民主制度采用分布式的信息处理，由许多人和机构来做出决定，而专制制度则是把所有信息和权力都集中在一处。鉴于20世纪的科技水平，把太多信息和权力都集中在一个地方并不是有效率的做法。在当时，没有人能够及时处理完所有信息，并做出正确决定。这也就成了苏联做出的决策水平远低于美国，苏联经济远远落后于美国经济的部分原因。

然而，人工智能很快就会让钟摆摆向相反的方向。有了人工智能，就能集中处理大量的信息，甚至因为机器学习在分析越多信息之后效果越好，所以人工智能可能会让集中式系统比分布式系统效率更高。在不考虑任何隐私问题的前提下，在一个数据库里就拥有10亿人的完整信息，绝对会比只有100万人的部分信息更能训练出优秀的算法。举例来说，如果有某个专制政府要求所有公民进行DNA扫描，再将所有医疗数据提供给中央机构，这时比起那些医疗数据需要严格保密的社会，专制政府就能掌握遗传学和医学研究的巨大优势。一心想把信息集中，在20世纪曾是专制政权的主要弱点，但到了21世纪却可能成为决定性的优势。

随着算法变得如此了解我们，某些政权能够对公民进行绝对的控制，程度甚至超过纳粹德国，而且公民可能完全无力抵抗。这种政权不仅能明确掌握你的感受，甚至还能控制你的感受。

我们并不会回归到希特勒的时代。数字独裁和纳粹德国之间的差异，可能就像纳粹德国与法国旧制度的差异一样巨大。路易十四也是个集权的独裁者，但当时并没有足以建立现代极权主义国家的科技。虽然他的统治并未受到抵抗，但当时既没有收音机，也没有电话和火车，他也就很难掌控布列塔尼某个偏远乡村的农民甚至巴黎市中心市民的日常生活。当时不论在意愿还是能力上，他都不可能建立群众政党、全国青年运动组织或国家教育体系。是因为20世纪出现了新科技，才让希特勒有了做这些事的动机和能力。我们无法预测2084年的数字独裁政权会有怎样的动机和能力，但要说他们想成为另一个希特勒，是不太可能的。如果有人打算用20世纪30年代的方式来重新打这场仗，有可能会遇到完全出乎意料的攻击，令他们措手不及。

就算民主制度成功适应调整而生存下来，人民也可能遭受到新形态的压迫和歧视。现在，已经有越来越多的银行、企业和机构运用算法来分析数据，做出与我们相关的决定。你向银行申请贷款的时候，申请单很可能是由算法处理的，而不是由人类审核的。算法分析你的大量资料和其他几百万人的统计数据，据以决定你是否可靠，该不该给你提供贷款。一般来说，算法此时会比人类银行职员表现更佳。但问题在于，如果算法里藏着某种不公，我们将很难察觉。如果银行拒绝给你贷款，你问：“为什么？”银行会说：“算法说不行。”但你再问：“为什么算法说不行？我哪里有问题？”银行会说：“我们也不知道。没人知道这套算法背后的道理，总之就是一套先进机器学习的结果。我们相信我们的算法，所以不会贷款给你。”

如果被歧视的是某个群体（例如妇女或黑人），这些群体能够组织起来，抗议他们集体遭到歧视。然而，现在算法歧视的有可能就是你这个人，而你完全不知道原因。有可能是你的DNA、你的过去或者脸谱网账号上有些什么，引起了算法的注意。算法歧视你，并非因为你是个女性或黑人，而是因为你就是你。就是有些什么关于你的特质，算法不喜欢。你不知道究竟是什么特质，就算你知道，也找不到人和你一起大声抗议，因为没有其他人会遇到与你一样的偏见，只有你。到了21世纪，除了过去的集体歧视之外，我们可能还要面临日益严重的个人歧视问题。

[5]MattReynolds，‘BiasTesttoPreventAlgorithmsDiscriminatingUnfairly’，NewScientist，29May2017，https:.newscientist.articlemg23431195–300-bias-test-to-prevent-algorithms-discriminating-unfairly，accessed17September2017;ClaireCainMiller，‘WhenAlgorithmsDiscriminate’，NewYorkTimes，9July2015，https:.nytimes.20150710upshotwhenalgorithms-discriminate.html，accessed17September2017;HannahDevlin，‘DiscriminationbyAlgorithm:ScientistsDeviseTesttoDetectAIBias’，Guardian，19December2016，https:.theguardian.technology2016dec19discrimination-by-algorithm-scientists-devise-test-to-detect-ai-bias，accessed17September2017.

在最高的权力阶层可能还会有几个人类，这让我们有个错觉，以为算法只是顾问，最终的权威还是掌握在人类手中。我们不会任命某个人工智能来担任德国总理或谷歌的首席执行官，但那位总理和首席执行官的决策会由人工智能制定。总理手中会有几个不同的选项，但所有选项都会是大数据分析的结果，反映的也是人工智能看世界的方式，而非人类看世界的方式。

让我们举个类似的例子：今天世界各地的政治家似乎可以在各种不同的经济政策之间做选择，政治家有种以为自己可以选的错觉，但真正重要的决定早就由经济学家、金融专家和商人在提出选项时就做完了。也就是说，是他们为政治家定下了选择的方向。而再过几十年，就可能是由人工智能来提出选项，供政治家进行挑选了。

人工智能和自然愚蠢

一个好消息是，至少在未来几十年里，我们不用担心科幻小说里那种人工智能产生意识、杀光或奴役人类的噩梦。我们会越来越依赖算法为我们做决定，但算法并不太可能开始有意识地操纵人类。事实上，它们不会有任何意识。

科幻小说常把智能与意识混为一谈，并认为如果要有与人类相当甚至更高的智能，计算机就必须发展出意识。几乎所有关于人工智能的电影和小说，基本情节都围绕着计算机或机器人产生意识的那个神奇时刻。而一旦它们有了意识，不是人类主角爱上机器人，就是机器人打算杀光所有人类，或者二者兼而有之。

但实际上，并没有理由相信人工智能会获得意识，因为智能和意识是天差地别的两种概念。智能是解决问题的能力，意识则是能够感受痛苦、喜悦、爱和愤怒等事物的能力。我们之所以会两者不分，是因为对人类和其他哺乳动物来说，智能与意识会携手同行。哺乳动物处理大多数问题时靠的是“感觉”，但计算机会用完全不同的方式来解决问题。

提高智能的路其实有好几条，其中只有一条需要靠意识。就像飞机不用发展出羽毛，但飞行速度却比鸟更快，计算机也不用发展出哺乳动物所需要的感受，就能比哺乳动物更会解决问题。确实，人工智能必须准确分析人类的感受，才能好好替人类治病、找出人类的恐怖分子、为人类推荐另一半、在满是行人的街道上行车，但是这一切并不需要它自己有任何感觉。算法只需要学会辨别猿类在快乐、愤怒或恐惧下的生化模式，而不需要它自己感受到快乐、愤怒或恐惧。

当然，人工智能并不是绝对不可能发展出感受。我们目前对意识的了解还不足以完全下定论，大致而言，需要考虑三种可能：

1.意识在某种程度上与有机生化相关，因此只要是非有机体的系统，就不可能创造出意识。

2.意识与有机生化无关，而与智能有关。这样一来，计算机就能够发展出意识，而且如果计算机要跨过某种智能门槛，就必须发展出意识。

3.意识与有机生化或高智能并无重要关联。这样一来，计算机确实可能发展出意识，但并非绝对。计算机有可能具备极高的智能，但同时仍然完全不具有意识。

就目前人类具有的知识来看，这些可能都无法排除。然而，正因为我们对意识所知太少，短时间内似乎并不可能设计出有意识的计算机。因此，虽然人工智能具有巨大的力量，但在可预见的未来，人工智能的运用在一定程度上还是以人类的意识为准。

这里的危险在于，如果我们太注重发展人工智能而又太不注意发展人类的意识，那么计算机有了极先进的人工智能之后，可能只会增强人类的“自然愚蠢”。在未来几十年内，我们不太可能碰到机器人叛乱的问题，但机器人可能会比你的父母更知道怎样可以触动你的情绪，并且会运用这种神奇的能力来对你进行推销，让你想买某辆车、想把选票投给某个人，或是想接受某种意识形态。这些机器人能够找出我们最深层的恐惧、仇恨和渴望，再用它们来对付我们。从最近全球的选举和公投就可以预见未来：黑客通过分析选民数据，运用选民现有的偏见，就能知道怎样操纵单个选民。科幻惊悚片常常上演的是烈火浓烟、轰轰烈烈的末日景象，但实际上，末日景象可能是在一次又一次的点击当中悄悄而且平凡地来临。

想避免这种结果，每投入一美元、一分钟来提升人工智能，就应该同样投入一美元、一分钟来提升人类意识。但很遗憾，目前对于人类意识的研究和开发并不多。我们对于人类能力的研发，主要都是为了满足目前经济和政治体制的迫切需求，而不是为了让人类在很久之后仍然是一种保有意识的生物。上司希望我回复电子邮件越快越好，但他对于我品尝和欣赏食物的能力毫无兴趣。结果就是我连吃饭的时候都在收电子邮件，也就慢慢失去了重视自己感官感受的能力。整个经济体系逼着我要扩大投资组合、让投资更多元，但完全没让我有动机去扩大同理心，让我的同理心更多元。于是，我投入大量心力想了解证券交易的种种奥秘，但几乎不花什么心思来了解痛苦背后有什么深层成因。

在此，人类就像是其他经过驯化的家畜。例如我们培育的奶牛，性情温顺，乳量惊人，但在其他方面远远不及其野生祖先，没那么灵活，没那么好奇，也没那么懂得变通。我们现在也正在培育一种驯化的人类，产生的数据量惊人，而且能够像海量数据处理装置中的高效芯片一样运转，然而这些“数据牛”绝对称不上是发挥了人类的最大潜能。事实上，因为我们还太不了解人类的心智，根本无从得知人类的最大潜能是什么模样。然而，我们几乎没有投入什么心力来探索人类的心智，只一心想着提升网络连接的速度及大数据算法的效率。如果再不注意，最后的局面就会是退化的人类滥用进化的计算机，伤害自己，也伤害世界。

未来的危险还不止数字独裁一项。自由主义秩序背后的价值观除了自由之外，也很重视平等。自由主义一直强调政治上的平等，也慢慢发现经济上的平等几乎同样重要。如果没有社会安全网的机制与一定的经济平等，自由就毫无意义。然而，正因为大数据算法可能会抹去自由，同时也就可能创造出历史上最不平等的社会，让所有的财富和权力集中在一小群精英手中。大多数人类的痛苦将不再是受到剥削，而是更糟的局面：再也无足轻重。

前妻别跑：偏执慕总放肆宠  守城使  天才萌宝：爹地超宠妻  小农女种田忙  重生九零之神医商女  凰谋天下  盗墓笔记之尘封的记忆  沈再云夏顾雪重生鉴宝  婚心动魄：我的神秘大boss  面对秋阳  重生年代：胖厨娘的红火小日子  人在航海，开局艾尔沃特海战  神王殿  夫人，总裁他罪不至死  市场·情场·官场  穿越梦境  蜜宠霸爱：厉少，你失宠了  世家三代录  重生：影后夫妇疯狂撒狗粮  她切回满级大号了