2019年9月更新:这篇文章写于2017年,不再反映我们对人工智能带来的风险和机遇的最新理解。虽然它仍然有用,但在我们更新它之前,我们建议用我们最近的其他文章和关于它的访谈来补充它技术人工智能安全人工智能政策

“毫无疑问,[这些]论点的力量……这是一个值得下一代最优秀的数学天才研究的挑战。人类文明正处于危险之中。”
克莱夫·库克森的科学编辑金融时报

1800年左右,人类文明经历了人类历史上最深刻的变革之一:工业革命。1.

这不是第一次这样的事件——12000年前,农业革命已经颠覆了人类的生命。

越来越多的专家相信,第三次革命将在21世纪发生,通过发明智能远远超过我们自己的机器。从斯蒂芬·霍金到斯图尔特·拉塞尔,他是最畅销的人工智能教科书《人工智能:现代方法》的作者。2.

机器学习的快速发展使算法有一天能够完成人类目前执行的大部分或全部脑力任务的前景变得更加光明。这可能最终导致机器比人类更擅长这些任务。

这些进步可能带来极其积极的发展,为目前棘手的全球问题提供解决方案,但也带来了严重的风险。人类优越的智力几乎是其成为地球上主要物种的唯一原因。如果机器在智力上超过人类,那么就像大猩猩的命运目前取决于人类的行动一样,人类的命运可能更多地取决于机器的行动,而不是我们自己的行动。要从计算机科学家的角度对风险进行技术解释,请参阅这些论文。3.4.

这可能是下个世纪最重要的转型——要么迎来前所未有的财富和进步时代,要么预示着灾难。但这也是一个被高度忽视的领域:虽然数十亿美元被用于提高人工智能的功能,5.我们估计全世界只有不到100人在研究如何使人工智能安全。6.

这个问题很不寻常,我们花了很长时间才真正理解它。听起来奇怪吗?肯定当我们在2009年第一次遇到这些想法时,我们持怀疑态度。但和其他许多人一样,我们读得越多,我们就越担心。7.我们也开始相信,如果人类付出努力,技术挑战可能会被克服。

工作在一种新近发现的问题意味着你把自己在一个从未实现的问题或风险很容易解决,但这也意味着你可能会产生更大的影响,开拓其他地区尚未正确地欣赏,就像历史上许多影响最高的人。在接下来的内容中,我们将讨论在这一领域工作的论点,并看看您可以做出贡献的最佳方式。

总结

许多专家认为,在21世纪,人类很有可能开发出比人类更智能的机器。这可能导致人类福利的大幅快速改善,但有充分的理由认为这也可能导致灾难性后果。人们如何设计一台高度智能的机器来安全地追求现实的人类目标,这一问题目前还知之甚少。如果人工智能研究继续向前发展,而没有足够的工作来研究控制这类机器的问题,那么灾难性事故就更有可能发生。尽管人们越来越认识到这一挑战,但全世界只有不到100人直接致力于解决这一问题。

我们的整体视图

推荐

这是需要解决的最紧迫问题之一。

规模Read more.">

我们认为积极塑造人工智能的工作有可能产生非常大的积极影响,因为人工智能带来的风险非常严重。我们估计,在未来100年内,机器智能造成的严重甚至生存灾难的风险约为10%。

疏忽Read more.">

人工智能的潜在损害问题在某种程度上被忽视了,尽管随着时间的推移,这一问题越来越受到关注。资金似乎在每年1亿左右。这包括由专门的组织和团队制定技术和政策方法,以形成人工智能的长期影响。

可解性Read more.">

在积极塑造人工智能发展方面取得进展似乎还算容易,尽管我们高度不确定。我们预计,在这个问题上加倍努力将使最严重的风险降低约1%。

剖面深度

中等深度

这个简介是基于采访的:Nick Bostrom教授在牛津大学,作者超智能; 一位匿名的计算机科学首席教授;Jaan Tallinn是该领域最大的捐赠者之一,也是Skype的联合创始人;Jan Leike,现在在DeepMind从事机器学习研究;牛津大学未来人类研究所的人工智能政策研究员迈尔斯·布伦达奇;机器智能研究所执行主任内特·索雷斯;丹尼尔·杜威(Daniel Dewey),全职寻找该领域的研究人员和资助机会;以及该地区的其他几位研究人员。我们还阅读了机器学习博士生大卫·克鲁格的建议。

这是我们为帮助人们找到职业生涯中能解决的最紧迫问题而撰写的众多简介之一。了解更多关于我们如何比较不同的问题,看看我们如何尝试用数字给他们打分,然后看118金宝搏高手论坛 我们已经考虑过了。

为什么要研究这个问题?

在这个问题领域工作的论据是复杂的,下面只是一个简短的总结。如果你喜欢视频,可以看看这个TED演讲:

那些已经熟悉计算机科学的人可能更喜欢观看这次谈话加利福尼亚大学的伯克利教授是计算机科学的斯图亚特·罗素而不是,因为它深入到了潜在的研究议程中。

如果你想走得更远,有时间的话,我们建议你阅读超级智能:路径、策略、危险牛津大学教授尼克·博斯特罗姆。人工智能革命蒂姆·厄本(Tim Urban)在《等待但为什么》(Wait But Why)杂志上发表的一篇文章,篇幅较短,也很好(请参阅)这一反应).

机器学习的最新进展表明,人工智能的影响可能是巨大而突然的

Tim Urban开始调查的时候他的文章关于这个话题,他希望在几天内完成。相反,他花了数周时间尽可能地阅读,因为,他说,“我很快意识到,人工智能世界正在发生的事情不仅是一个重要的话题,而且是到目前为止我们未来最重要的话题。”

2015年10月,一个名为AlphaGo的人工智能系统在中国古代棋盘游戏Go中首次击败了一名专业人士,震惊了世界。仅仅五个月后,第二次震惊接踵而至:阿尔法戈击败了世界上最优秀的选手之一顶部围棋职业选手,在5场比赛中赢了4场。7个月后,同样的程序进一步改进,在60连胜中击败了世界顶级选手。在一年的时间里,AI已经从太弱而无法赢得最差的人类职业选手的一场比赛,发展到连世界上最好的选手也无法击败。

这是令人震惊的,因为围棋被认为比国际象棋更难玩。围棋中可能的招式很多,所以不可能通过“蛮力”找出最佳招式。相反,游戏需要战略直觉。一些专家认为,围棋至少需要十年才能被征服。8.

从那时起,阿尔法戈发现,人类几千年来一直认为愚蠢的某些围棋玩法实际上是优越的。世界排名第一的围棋选手柯杰对此感到惊讶:“在人类花了数千年的时间改进我们的战术之后,”他说,“计算机告诉我们人类是完全错误的。我甚至可以说,没有一个人触及过围棋真理的边缘。”9

由于人工智能技术“深度学习”的进步,上述进展成为可能。在过去,我们必须为每项任务给计算机详细的指令。今天,我们有一些课程可以教会自己如何实现目标——例如,一个课程能够学习如何玩雅达利游戏仅基于分数的奖励反馈。改进的算法、更快的处理器、更大的数据集以及谷歌等公司的巨额投资使这一切成为可能。这导致了惊人的进步比预期快得多。

但那只是游戏,是吗全体的机器智能还远吗?也许吧,但也许不是。很难预测技术的未来,过去的许多尝试都完全偏离了目标。然而,现有最好的专家调查表明,在我们的有生之年,强大的人工智能的发展具有很大的可能性。

一项对100名被引用最多的在世计算机科学研究人员进行的调查发现,其中29人做出了回应超过一半我认为到2050年,创造“高级机器智能”的可能性超过50%——至少可以完成大多数人类职业,也可以完成一个典型的人类——而到2024年,创造“高级机器智能”的可能性超过10%(见下图)。2.10

当超级智能人工智能出现时,它可能会产生巨大的正面和负面影响

如果专家们是对的,那么一个达到并超越人类能力的人工智能系统可能会成功非常如果人工智能在数学或科学研究等领域成熟,这些系统可以在治疗疾病或设计机器人以满足人类需求方面取得快速进展。

另一方面,许多人担心这种机器智能的破坏性社会影响,特别是它接管以前由低技能工人完成的工作的能力。如果经济不能足够快地为这些人创造新的就业机会,就会出现广泛的失业和工资下降。11这些结果可以通过政府政策避免,但这样做可能需要大量规划。

然而,这些并不是高智能机器可能产生的唯一影响。

撰写了领先的人工智能教科书的斯图尔特·拉塞尔教授写道:12

成功带来巨大的风险…[目标]不一致与能力越来越强的决策系统相结合可能会导致问题——如果机器比人类更有能力,甚至可能导致物种灭绝问题。

下面是一个高度简化的问题示例:

制药公司的所有者使用机器学习算法快速生成和评估新的有机化合物。

随着算法能力的提高,让人类参与算法的工作变得越来越不切实际——而且人类的想法通常更糟糕。因此,该系统在设计和进行新化合物的实验时被赋予了越来越多的自主权。

最终,这些算法的目标是“降低癌症发病率”,并提供了一种化合物,初步测试表明该化合物在预防癌症方面非常有效。几年过去了,这种药物作为一种癌症预防药物被广泛使用…

…直到几年后的某一天,嵌入化合物中的分子钟使其产生一种强效毒素,突然杀死体内含有微量该物质的任何人。

结果表明,该算法发现,在将癌症发病率降至0的最有效的化合物是一种能在人类长大到足以患癌症之前杀死人类的化合物。该系统还预测,其药物只有在广泛使用的情况下才能实现这一目标,因此它将毒素与一种有助于刺激癌症的药物结合起来这种药被广泛采用。

当然,关注的不是这个例子,而是类似的意外后果。研究者们已经为几乎所有的目标提供了一台超级智能机器。13而它所需要的只是一个世界上的超级智能机器接收到的指令很差,这可能会带来很大的风险。

系统越聪明,人类就越难实施有意义的监督。而且,在上面的场景中,如果模糊其行为可以降低人类干扰其实现指定目标的风险,那么智能机器通常希望将人类置于黑暗中。

你可能会想‘为什么我们不能关掉它?’,但当然,智能系统会给出我们想要做的一切指示,直到确定我们无法关掉它为止。

一台智能机器可能“知道”它正在做的不是人类想要它做的,但这根本不相关。正如热追踪导弹跟踪热目标一样,通过设计,机器智能将准确地完成我们最初编程的任务。不幸的是,智力并不一定意味着它与我们的目标相同。因此,为了追求一个极其愚蠢的目标,它很容易变得偏执。

解决方案是弄清楚如何确保我们给机器智能的指令真正捕捉到我们想让它做的事情,而不会产生任何意想不到的结果。这被称为“控制”或“值对齐”问题的解决方案。

很难想象还有比这更重要的研究问题了。解决控制问题可能意味着巨大的财富、幸福和健康之间的差别——以及让人类繁荣的条件的破坏。

很少有人在研究这个问题

虽然赌注似乎很大,但为避免这些危险所付出的努力却很小。2017年,全球用于确保安全开发机器智能的研究和行动支出将仅为900万美元。6.相比之下,在加速机器智能发展方面花费的资金是前者的100多倍,5.在生物医学研究上的花费高达26000倍。14

这就是说,人工智能安全研究领域正在迅速发展——2015年,总开支仅为300万美元。


技术研究是指用数学和人工智能来解决控制问题的工作。战略研究的重点是如何安全开发人工智能的更广泛问题,比如应该如何监管它。

由于到目前为止这项工作投入的资源太少,我们可以期待在早期取得相当迅速的进展:最简单和最有用的发现仍然可以为您提供。在过去几年中,由于增加机器智能开发的投资和进展

有明确的方法取得进展

正如我们从上面所期望的,最近对控制问题的技术研究的投资已经取得了显著的成果。我们在本脚注中详细介绍了其中一些发现。15虽然很少有技术问题得到解决,但与几年前相比,我们今天对智能系统如何出错有了更清晰的认识,这是解决问题的第一步。3.

最近在更好地理解人工智能周围更广泛的“战略”问题方面也取得了进展。比如,有人研究政府应该如何应对AI,包括军备竞赛,16公开分享研究的意义,17以及判断人工智能政策的标准。18也就是说,关于这些主题的文章仍然很少,因此单个论文可以对文学做出巨大贡献。

即使——正如一些人所说——有意义的研究目前不可能实现,但仍然有可能实现建立一个社区188bet金宝博官网网址致力于在未来更容易取得进展的时候降低这些风险。非技术人员的工作极大地帮助扩大了该领域的资金和兴趣,为解决该问题的努力最近的快速增长做出了贡献。

示例:保罗·克里斯蒂亚诺利用他的数学技能应对技术挑战

保罗肖像照

保罗·克里斯蒂亚诺是一名优秀的数学学生,几年前搬到伯克利学习更多关于机器智能安全研究的知识。从那以后,他一直在学习理论和实践方面进行研究独立撰写关于人工智能安全研究的文章. 这使得OpenAI向他提供了一份工作。OpenAI承诺捐款10亿美元,用于资助安全AI的开发。从那时起,他就帮助澄清了确切的技术挑战参与使人工智能安全,使其他人更容易为解决这些问题做出贡献。

反对这个问题的主要理由是什么?

并非所有人都同意存在问题,或者如果存在问题,这是头等大事

以下是一些例子:

  • 牛津大学人类未来研究所的本杰明·加芬克尔(Benjamin Garfinkel)仔细研究了上述论点,并得出结论,尽管他赞同旨在积极塑造人工智能的工作,“……没有足够的工作来分析对人工智能进行优先排序的案例。现有发表的论点不是决定性的。”我们鼓励你这样做读他的分析
  • 有些人认为,机器智能超出人类的能力还有很长的路要走。有关此辩论的示例,请参见不,专家们不认为超级智能人工智能是对人类的威胁在麻省理工学院技术评论中,以及回应是的,我们担心人工智能的存在风险,以及AI常见问题
  • 有些人认为,人工智能,即使在某些方面比人类聪明得多,也永远不会有机会在全球范围内造成破坏。例如,经济学家罗宾·汉森(Robin Hanson)认为机器最终会在所有任务上都优于人类,并取代我们,但这一过程将是渐进的,并且分布得足够广泛确保没有一个行动者有特别的影响力。他的观点在书中详述Em时代19
  • 有些人认为,让一个智能系统按照我们的利益行事是很简单的。举个例子,看看霍尔顿·卡诺夫斯基2012年的辩论我们可以把人工智能设计成被动的工具而不是主动的代理人(尽管他已经这样做了)改变了他的观点重要的是,现在是该领域的主要资助者之一)。
  • Neil Lawrence,机器学习学者,反对博斯特罗姆在《超级智能》一书中提出了许多预测,包括我们对遥远未来做出有意义预测的能力。

事实上,没有一个共识认为比人类更聪明的人工智能很快就会出现,而且会很危险,这让人松了一口气。然而,考虑到越来越多的相关专家感到担忧,如果他们是正确的,那么就需要谨慎的风险管理来解决问题。你不需要100%确定你的房子会被烧毁来购买火灾保险。

我们不是最有资格做出判断的人,但我们已经调查了实质性问题,发现我们大多同意那些更担心而不是更少担心的人。

现在做这件事可能还为时过早

如果人类水平的机器智能的发展还有数百年的时间,那么研究如何使其与人类价值观相一致可能还为时过早。例如,用于构建机器智能的方法可能最终与我们现在用于开发人工智能的方法完全不同,从而导致今天的研究过时。

然而,对计算机科学家的调查显示,人类级人工智能在10-20年内实现的可能性很大,可能在10%左右。现在就开始是值得的,以防这个快速的场景被证明是准确的。

此外,即使我们知道人类水平的人工智能至少还有50年,我们也不知道解决“控制问题”有多难。解决方案可能需要一系列的见解,这些见解自然而然地接踵而至。我们提前建立的洞察越多,一旦AI的本质变得清晰,我们就越有可能匆忙完成解决方案。

此外,今天行动可以为以后采取行动建立必要的基础设施,即使今天的研究没有直接帮助。

这可能很难解决

正如许多处于早期阶段的研究项目一样,我们不知道解决这个问题有多难。有人可能认为机器智能存在重大风险,但对额外的研究成果持悲观态度,因此决定不关注它。

它可能不适合你的技能

许多人关心这个问题,但认为他们的技能不适合处理这个问题,所以把时间花在其他事情上。这可能适用于以数学为重的技术研究角色,尽管下面我们也描述了适合更广泛人群的操作和支持角色。

总结

  • 设计一台机器很可能和人类一样擅长完成其目标,包括机器目前无法完成的“社会”任务。人工智能专家认为,21世纪发生这种情况的可能性超过50%。
  • 如果没有对可靠性和鲁棒性的仔细设计,机器智能可能会做与人类意图截然不同的事情——包括追求对世界产生灾难性影响的政策。
  • 即使先进的机器智能不会“失控”,它也可能对社会造成极大的破坏,并可能被用作破坏稳定的战争武器。
  • 目前还不知道在这个问题上能取得多快的进展——可能快,也可能慢。

想从事人工智能安全方面的工作吗?我们想帮忙

我们已经帮助数十人制定了他们的计划,并让他们与学术导师联系。如果你想从事人工智能安全方面的工作:

联系

或者加入我们的时事通讯,当我们发布新的问题简介时得到通知。

你能帮什么忙?

我们将本节分为五个部分,介绍在这一领域发挥作用的主要途径。

1.技术研究

最终,这个问题将需要解决技术的解决方案——人类需要找到一种方法来确保机器始终理解并遵守我们真正想要它们做的事情。但是很少有人能够做这项研究,而且目前资金过剩,研究人员短缺。

因此,如果你很适合这种研究,它很可能是你一生中能做的最有影响力的事情之一。

该领域的研究人员大多在学术界和科技公司工作,如谷歌深度思维OpenAI. 如果你能在计算机科学十大课程或类似的定量课程中完成博士学位,那么你可能是一个很好的人选(尽管不是这样)必要的有这样的背景)。我们在这里详细讨论这条路径:

技术人工智能研究的职业回顾

2.战略和政策研究

如果人工智能的进步成为21世纪最重要的变化,各国政府肯定会对此产生浓厚兴趣。出于这个原因,有很多人对它感兴趣战略和政策研究——试图预测如何向比人类更聪明的机器智能过渡,以及政府和其他主要机构应该如何回应。

这是一个巨大的领域,但一些关键问题包括:

  1. 如果智能系统迅速取代人类工人,我们该如何应对技术性失业?
  2. 我们如何避免像核武器那样,国家或组织为了战略优势竞相开发强大的机器智能的“军备竞赛”?
  3. 什么时候,如果有的话,我们应该期望人工智能达到特定的能力或达到人类水平的智能?

如果我们处理这些问题不当,它可能导致灾难,即使我们能够解决与控制机器智能相关的技术挑战。因此,确实需要更多的人来研究它们。

我们在这里详细讨论这条路径:

人工智能政策和战略职业指南

3.互补作用

即使在一个研究组织中,大约一半的工作人员也将从事其他对组织继续运作和产生影响至关重要的任务。让高绩效人员担任这些角色至关重要。优秀的员工能够让组织更快地成长,避免重大错误,并通过向更多人传达其想法而产生更大的影响。

我们的印象是,这些角色的重要性被低估了,因为工作不那么显眼。一些对解决这个问题做出最大贡献的人作为沟通者和项目经理也这样做了。此外,这些角色非常适合许多人。

从事人工智能安全工作的组织需要广泛的补充性技能:

  • 人力资源;
  • 人事管理;
  • 项目管理;
  • 事件管理;
  • 媒体和通讯;
  • 视觉和网站设计;
  • 会计

这条路对许多能够在这些技能上表现出高水平的人是开放的。

要扮演这些角色,你需要在要求高质量工作和投资培训员工的组织中找到类似的工作。在我们的文章中,我们有更多关于如何提高技能的内容职业资本

例子:塞恩·海吉塔伊帮助人类未来研究所成长

肖恩肖像照

2011-2015年间,塞纳·伊盖尔塔伊(SeánÓhÉigeartaigh)担任人类未来研究所(Future of Humanity Institute)的学术项目经理(后来担任高级学术经理),而该研究所所长专注于写一本书。他在确保研究所顺利运行方面发挥了关键作用,将其资金增加了一倍多,共同撰写了进一步的成功赠款,包括几项与人工智能战略相关的赠款,并将其研究成果有效地传达给媒体、决策者和行业合作伙伴。在此期间,他帮助FHI从5名员工发展到16名员工,并建立并监督了一个项目经理和管理员团队,包括一名研究总监和运营总监,他在离职后将职责移交给了该团队。他在这方面的经验使他成为剑桥生存风险研究中心(Cambridge Centre for the Study for the Existential Risk)和后来的智能未来中心(Centre for the Future of Intelligence)成立的关键人物。阅读更多…

4.宣传和能力建设

社交能力相对较强的人可能会通过说服他人解决或资助问题而产生更大的影响。这通常是通过在前面提到的一个研究机构工作来完成的。

除此之外,据我们所知,在提高人们对这一问题的认识方面做得最多的群体是有效利他主义社区188bet金宝博官网网址我们是其中的一部分。加入并发展这一运动是一种很有希望的方式,可以加大力度解决人工智能控制问题以及其他紧迫问题。

一旦你熟悉了这个问题,你也可以花一些时间在任何通常为你提供宣传平台的职业中传播这个词,例如:

你也可以在做一些相关工作的组织中晋升,比如谷歌或美国军方,并在那里促进对人工智能安全的关注。

但是,除非您正在进行上述技术、战略或政策研究,否则您可能只能在这项工作上花费一小部分时间。

我们还警告说,在从事人工智能宣传时,很容易造成伤害。如果以耸人听闻的方式描述,或者由没有必要的技术理解的人描述,“宣传”实际上可能只是令人困惑,并使问题看起来不那么可信。媒体对这一话题的大量报道歪曲了专家们的实际担忧。为了避免造成这种情况,我们强烈建议彻底告知自己,并以冷静、准确的方式提供任何信息。

例子:尼尔从物理学转到了研究管理

肖恩肖像照

尼尔·鲍尔曼在牛津大学学习物理学,并计划进入气候政策领域。但由于遇到了上述想法,他改变了职业道路,成为了该公司的助理董事人类未来研究所,致力于研究所的运作、筹资和研究交流。通过这项工作,Niel为该研究所筹集了300万英镑,使其规模翻了一番。因此,他们能够聘请一些优秀的额外技术和战略研究人员。读尼尔的故事…

5.挣钱给予

这一领域的研究资金越来越多,我们预计未来会有更多的大型资助者进入这一领域。这意味着问题主要是人才有限–尤其是对创新研究人员的需求。

然而,仍然存在一些资金缺口,特别是在那些无法获得学术资助的非传统团体中,如机器智能研究所。

因此收入给如果您觉得这里描述的其他角色不适合您,那么直接支持其他人解决问题仍然是一个合理的选择。

如果你想捐款,我们的第一个建议是向长期未来基金捐款。该基金的经理是灾难风险基金方面的专家,向当时最需要资金的组织提供赠款。该基金由有效利他主义中心管理,我们是该中心的一部分。

捐赠给长期未来基金

你也可以自己选择该领域的顶级非营利组织,如伯克利的机器智能研究所和牛津的人类未来研究所。这些是最受专家欢迎的选择我们于2016年12月进行了审查。请参阅下面的更多组织。

在我们的工作板上寻找机会正规188金宝博

你可以为哪些关键组织工作?

最重要的组织(所有这些组织都是工作的好地方)可能是:

我们所有关于人工智能的文章列表

我们提供了许多其他关于人工智能相关职业的资源。以下是它们的顺序,你可能会很自然地阅读它们:

  1. 介绍我们如何尝试优先处理世界问题,以及人工智能在更大范围内的适用性
  2. 118博金宝网址 -为什么我们认为这个问题是紧迫的,我们可以做些什么
  3. 技术人工智能安全研究职业指南
  4. AI战略和政策职业发展指南
  5. 建立专门知识以研究美国人工智能政策的理由,以及如何去做
  6. 人工智能安全教学大纲-一个有用的东西的汇编,以了解更多,以及学习地点和会议参加。
  7. 人工智能安全性和鲁棒性的ML工程:谷歌大脑工程师入门指南

为了补充这些文章,我们还对积极致力于积极塑造人工智能发展的人们进行了一些深入访谈:

  1. 保罗·克里斯蒂亚诺博士关于OpenAI如何开发“AI对齐问题”的真正解决方案,以及他关于人类如何逐步将决策权移交给AI系统的愿景
  2. 艾伦·达福教授试图让世界做好准备,应对人工智能将破坏全球政治稳定的可能性。
  3. 本·加芬克尔审查经典的人工智能风险论据
  4. 世界需要人工智能研究人员。下面是如何成为一个OpenAI的达里奥·阿莫迪博士说。
  5. 世界迫切需要人工智能战略家。下面是如何成为一个。
  6. 世界上最具智慧的基金会正在招人。霍尔顿·卡诺夫斯基,GiveWell的创始人,慈善如何通过承担巨大风险来发挥最大影响(包括讨论他们在积极塑造人工智能发展方面所做的工作)。
  7. 博士还是编程?让人工智能成为机器学习工程师的快速途径,根据ML工程师凯瑟琳·奥尔森和丹尼尔·齐格勒的说法
  8. 机器学习对齐研究者关于如何成为一名机器学习对齐研究员。

对一些人来说,我们的职业生涯回顾也很重要机器学习博士数据科学

了解更多

最重要的两个介绍性来源是:

之后:

附注及参考资料

  1. 《世界经济轮廓,公元1-2030年,宏观经济史论文》,牛津大学出版社,ISBN 978-0-19-922721-1,第页。379,表A.4。

  2. 2015年波多黎各会议由未来生命研究所主办,会上签署了一封公开信,表示对风险的担忧。这是一个该信的存档副本,于2017年3月10日检索。

    签名者包括史蒂芬·霍金和《科学》的作者斯图尔特·拉塞尔AI:现代方法,这是最畅销的人工智能教科书。

    有关专家调查人类级AI何时可能到达的更多详情,请参阅以下文章:
    我们对人工智能时间线了解多少?开放慈善,最后更新2016。

  3. 阿莫迪、达里奥、克里斯·奥拉、雅各布·斯坦哈特、保罗·克里斯蒂亚诺、约翰·舒尔曼和丹·马内。“人工智能安全中的具体问题。”[1606.06565]人工智能安全中的具体问题。Arxiv,2016年7月25日。档案文件

  4. 确保人工智能系统安全的长期和短期挑战。雅各布·斯坦哈特的博客。网络档案。

  5. “根据IDC的数据,公司在人工智能技术方面的支出预计将从2016年的80亿美元增长到2020年的470亿美元。”

    诺顿,史蒂文。《华尔街日报》:“人工智能在企业界越来越重要。”。道琼斯公司,2017年1月11日。网状物2017年3月3日。档案文件

  6. 人工智能安全领域的资金变化. Seb Farquhar,2017年2月。

    我们对“100岁以下”的估计是基于本文中对在组织中从事直接相关工作的人员的非正式统计,这一数字明显低于100。我们通过估算每名全职员工的成本来交叉验证这一点:考虑到雇用机器学习研究人员的高昂成本,2017年900万美元的预测支出不足以维持100多名员工。

    请注意,如果存在大型非公共人工智能安全项目,该数字可能不准确,但我们认为情况可能并非如此。

  7. 拉塞尔、艾伦·达福和斯图尔特。“是的,专家们担心人工智能存在的风险。”麻省理工学院技术评论。2016年11月2日。2017年3月1日查阅。网状物

  8. 人工智能:我们能控制它吗?英国《金融时报》的约翰·桑希尔。2016年7月。网状物

  9. 谷歌被揭穿为中国围棋大师后,人们为它的失败而哀悼。《华尔街日报》,2016年2月。网络档案。

  10. Müller,Vincent C.和Bostrom,Nick(2016),“人工智能的未来进展:
    《专家意见调查》,文森特·C·Müller(编辑),《人工智能的基本问题》
    情报(综合图书馆;柏林:斯普林格),553-571。网络档案。

  11. Armellini,Mauricio和Tim Pike。“经济学家应该更关注人工智能吗?”银行地下。2017年2月24日。查阅日期:2017年3月6日。网络档案。

  12. 你怎么看待会思考的机器?. 边缘散文,2015年。

  13. 尼克,博斯特罗姆的第9-11章。超智能:路径、危险、策略。牛津:牛津大学出版社,2016年。打印网状物

  14. Chakma、Justin、Gordon H.Sun、Jeffrey D.Steinberg、Stephen M.Sammut和Reshma Jagsi.“亚洲的崛起——生物医学研发支出的全球趋势”,《新英格兰医学杂志》370.1(2014):3-6。网状物

  15. 有关这方面的一个相当容易理解的示例,请参见最近的OpenAI的研究描述如何涂改照片可用于以危险和意外的方式操纵机器学习系统。报纸人工智能安全中的具体问题由谷歌、OpenAI和斯坦福大学的机器学习研究人员撰写的这本书调查了一系列技术问题,这些问题“现在已经准备好进行实验,并且与人工智能系统的前沿相关”,但“可能对各种潜在风险(包括短期和长期风险)非常有用。”

    另一个迹象表明,在这一领域有着低效的成果,那就是最近开发了新的正式框架和测试环境,用于在简单环境中研究安全问题OpenAI健身房的安全环境这个逻辑电感模态代理框架,合作逆强化学习基于自举批准最大化的算法学习. 安全相关问题的其他最新进展包括非监督风险估计,奖励工程有界agent的逆强化学习. 今天的明显进展速度表明,如果更多的研究时间投入到这个问题上,就可以取得更多的进展。

  16. 斯图尔特·阿姆斯特朗、尼克·博斯特罗姆和卡尔·舒尔曼。“向悬崖赛跑:人工智能发展的模式”,《人工智能与社会》31.2(2015):201-06。档案文件

  17. Bostrom,N.(2016):“开放性在人工智能开发中的战略意义”,技术报告#20161,牛津大学人类未来研究所:第126页。网络档案。

  18. 尼克·博斯特罗姆、艾伦·达福和卡里克·弗林。“机器超级智能发展中的政策需求”,工作文件。档案文件

  19. 罗宾汉·汉森:《Em时代:机器人统治地球时的工作、爱情和生活》。牛津:牛津大学出版社,2016年。网状物