总结

请注意第2018年12月:此职业评论现在非常注明日期,并不反映了今天进行的技术AI安全研究的广度。直到我们能够更新它,我们强烈建议您与我们的补充最近的技术AI安全工作研究

人工智能将在未来几十年中对社会的变革性影响,并了解如何浏览这些风险是一个令人难以置信的重要和忽视的研究领域。资金越来越多,但足够合格的人才短缺。如果你有很强的技术能力,并且对这项工作有真正的兴趣和动机,那么现在正是进入这个领域的好时机。

凡好

  • 有机会为一个非常重要的,不断发展的研究领域做出重大的,基础性的贡献
  • 为合适的人士令人难以置信的智力挑战和有趣的工作
  • 原因比资金受约束更具人才
  • 在工业,学术界,科技创业公司软件工程中的良好备份选项

cons

  • 专业风险 - 尚未与更广泛的学术界融合或尊重的研究领域188bet金宝博官网网址
  • 如果您还没有必要的技术技能,则重大前期成本
  • 如果你有好处,难以提前知道
  • 潜在的巨大影响,但也有很大的机会,你的个人贡献产生的影响很小或没有影响

评级

职业资本:Read more.">

直接影响:

收益:earn to give, or increase your financial security to put you in a better position to make a difference in the future?">

宣传潜力:

易于竞争:

工作满意度:

我们对这些评级的推理是下面解释。你可能想读到我们的评级职业的方法

适合的关键事实personal fit with this career path compared to the others?">

强大的技术能力(在全球10个CS或数学博士计划的水平上),对该主题的兴趣非常重要,自我导向,因为该领域的结构很少。

下一个步骤

  1. 了解该领域(从我们的问题档案, 然后这次采访了Christiano博士, 然后超明这个文件清单这个教学大纲和参加A.米里车间)。
  2. 向该领域的主要机构提出申请,或作为学者独立从事研究。
  3. 填写这种形式我们会看看我们是否可以帮助您提供信息和介绍。
  4. 考虑获得A.机器学习中的博士
    (完整档案中的更多细节)

受到推崇的

如果您非常适合本职业,可能是您拥有社会影响的最佳方式。

审查状态

中深职业简介

什么是ai安全研究,为什么这可能是一个高影响力的职业道路?

我们不争辩潜在的影响,从这里积极地塑造人工智能的发展 - 我们涵盖了我们的问题档案关于这个话题。您也可以通过阅读来了解更多内容超明和/或这个流行的介绍对人工智能的担忧这里的一些警告/更正)。

简而言之,许多专家认为,我们将创造一个重要的机会超智- 带有能力超越董事会的能力的人为智能机器 - 本世纪的某个时候。AI安全研究是AI领域内的一个不断增长的区域,专注于增加机会,如果是超级理智到达的机会,它将使得与人类价值保持一致的决定。AI安全研究是一种广泛的跨学科的现场 - 涵盖如何实际创建安全AI系统的技术方面,以及更广泛的战略,道德和政策问题(例子)。看以下更多关于不同类型的AI安全研究。

越来越有令人担忧人工智能专家值得注列的数字 - 包括Elon Musk,Stuart Russell,Stephen Hawking和Bill Gates - Ai可能会对人类的最严重的威胁构成一个。2015年,在这个问题上显示了专家支持的明确增加,如下所示打开信封现在由数百名专家签署。然而目前,有很少有研究人员在AI安全上明确工作,而数万的计算机科学研究人员相比,致力于制造更强大和自主的计算机。这意味着额外的研究人员现在具有正确的技能和动机有可能产生巨大的差异。

为什么现在参与,为什么人才限制比资金限制更紧迫

现在看起来似乎是一个特别好的时间,因为对AI安全研究的越来越关注和支持 - 部分原因是尼克博斯特罗姆书的成功超明。特别是,对研究的资助正在迅速增长。人类未来研究所(Future of Humanity Institute, FHI)和存在风险研究中心(Centre for the Study of Existential Risk, CSER)等机构在过去一年已经获得了超过1000万美元的资金,用于人工智能安全、战略和存在风险研究。Elon Musk最近捐赠了10米的原因而开放的慈善事业增加了100万美元。最近,y组合者宣布Openai.,努力开发积极的AI新的1亿美元。还有其他大公司和亿万富翁有兴趣资助原因。(虽然请记住,每年致力于AI风险研究的总支出仍然远远小于加快AI的能力的东西)。

鉴于这种金钱涌入,关键的瓶颈正在寻找和培训有才能的AI风险研究人员。目前有至少10-20个职位开放,许多组织都担心,他们将无法填补足够才华横溢和有关风险的研究人员。如果有人确信,许多现有的资助者将提供更多的资金可以资助足够有能力的研究人员。例如,Open Phil增加了100万美元到Elon Musk的10米奖金,因为这是他们对剩余资金空间的评估。如果有更多诱人的机会,他们会提供更多的资金。我们已经和其他有同样想法的大型投资人谈过了。由于这个新的兴趣,在12月15日,卢克米尔豪瑟,前执行董事的MIRI,发布了一个潜在的AI风险研究人员“呼吁武器”

其他的资助人主要是由于担心原因无法处理,而证明易于处理的最好方式是让一些研究人员在该领域取得进展。

请注意,原因还有其他人才限制。例如,许多组织受到管理人员和管理员的约束。如果您认为您可能是对这些立场的合适,我们也是乐于谈话

我们如何研究这个领域

对于这个职业评论,我们发表谈到:Skype的联合创始人Jaan Tallinn中最大的捐助者之一;SuperIntelligence的作者,Nick Bostrom;计算机科学领先教授;Daniel dewey,全职工作在寻找该领域的研究人员;机器智能研究所执行主任的Nate Soares;和该领域的其他几位研究人员。

阅读我们的研究笔记Wiki.

AI安全的不同类型的研究和职业是什么?

有什么类型的研究?

该领域的人经常用“AI安全研究”意味着不同的东西,但这里有一些关键领域。

1.战略研究:包括找出其他人工智能安全研究人员应该关注的问题,从历史先例(如来自核技术和其他危险技术的威胁)中学习,以及考虑可能的政策应对措施。对于技术背景较低的人来说,这可能是最容易理解的,但您仍然需要对涉及的技术问题有一个适当的了解。战略研究可能非常适合在政策或经济学方面具有专长的人,他们也能理解技术问题。我们将详细介绍这条路径我们的人工智能政策和战略职业指南
2.预测工作:了解超级理智可能会如何出现,有可能是什么类型的情景,以及当过度智能到达时,我们应该期望的。此路径也讨论我们的人工智能政策和战略职业指南
3.技术工作:提出问题,“如果我们要建立一个AI,我们将如何使其安全?”,然后弄清楚我们如何实现不同的解决方案。这里的工作高度技术,涉及计算机科学,机器学习,逻辑和哲学。技术工作可以进一步细分为两类:

  • (a)“1级”技术工作:寻找几乎实施的方法,我们知道至少原则上的事情(例如,建立帮助我们检查神经网络内部发生的事情的工具。)
  • (b)“2级”技术工作:试一试ing to figure out how to do even in principle things we don’t yet understand how to do (e.g. how to design a goal function that doesn’t result in perverse instantiation – see ch. 8 of Superintelligence, “Malignant failure modes”, for more on this.)

阅读AI-Saffice相关的一些例子研究问题

不同的专家,我们对符合致力于安全问题最重要的专业知识进行了不同的看法。有些人认为,一般的AI研究和机器学习的专业知识是最重要的,其他人认为特定的数学/哲学专业知识是最重要的,但其他人认为战略分析和预测能力可能是最重要的。然而,有一个广泛的共识,我们最终需要人们完成所有这些研究 - 以及寻找新的途径,我们甚至可能没有想过。因此,这可能最好根据您的个人合适,兴趣以及您的个人合适,兴趣以及似乎是您的可用选择的务实考虑来选择这些领域。

有什么职业道路?

有三种广泛类型的职业道路:

1)在学术界的AI实验室工作

  • 这能让你有更多的选择,也能让你拥有更多的职业资本——这能让你建立声望和良好的人际网络
  • 主要缺点是您可能更有限于您可以在努力工作,除非您能够找到一个具有很多灵活性和AI安全兴趣的实验室。也就是说,作为AI安全研究的资金增加,可能会出现更多在学术环境中进行AI安全研究的机会。
  • 学术馆是否适合效力可能取决于您的职业目标和首选工作方式 - 如果您喜欢在贸易问题上进行增量进展,而不是试图从“自上而下”的巨大问题,那么学术界可能是一个很好的契合。

2)为各种学术或独立组织工作,专注于AI安全,包括机器智能研究所(Miri),牛津(FHI)的人类学院的未来,或剑桥(CSER)的存在风险研究中心

  • 为您提供更多的灵活性,就您所在的工作以及从“上下” - 即“上” - 即尝试为最大的最大问题产生解决方案的问题。
  • 许多人也认为这是最紧迫的人才瓶颈所在的地方。
  • 这些选项的主要缺点是,由于不太普遍认可,他们可能会提供较小的灵活职业资本。据说,这些组织的前雇员在学术界,新机构,基金会和美国政府的董事会上进入了工作。

3)在工业中工作,例如,谷歌的深度

  • 由于行业是来自的许多AI的发展将来自于,似乎似乎特别重要的是,在这里努力工作的人们对这里进行的工作有所了解。
  • 在努力增加AI和行业外,致力于安全的安全性之间的人之间存在强大的联系和沟通的强大联系和沟通似乎有价值。

同样,普遍的共识似乎是这些选择在一个相当水平的播放领域,因此您可能是根据您个人最适合和最兴奋的最适合和最兴奋的选择。

谁应该考虑AI安全研究?

我们遇到了一个常见的信念,你需要成为某种超级天才,甚至考虑进行AI安全研究。我们最近的谈话表明这是误导性 - 您可能需要具有卓越的技术能力一些AI安全研究的一部分,但AI安全研究值得探索的人数更广泛。

如果您符合以下大部分,则至少考虑AI安全研究,值得:

  • 你对问题非常感兴趣并受到问题的动机。即使你是一个数学滋养品,如果你不能让自己阅读超明,这不太可能是一个很好的合适。一种测试这一点的好方法只是为了尝试阅读一些相关的书籍和论文(详见下文)同样值得注意的是,与更多的实用工作相比,这类研究的反馈更不明确,与其他学术工作相比,更少建立起一个评判你进步的社区。188bet金宝博官网网址这意味着你可能会面对更多关于你是否取得进展的不确定性,你可能会面对社区之外的人对你工作价值的怀疑。188bet金宝博官网网址因此,当你考虑这是否是一件你能够在一段时间内高效工作的事情时,这一点是值得记住的。当然,这也意味着,如果你是那种能在这种情况下很好地工作的人,你的预期影响可能会特别高,因为这样的人相对较少。
  • 你有,或者认为你可以在计算机科学或数学中实现良好的,前十大博士或大师计划。对于一些较低的技术(策略等),您可能不需要具有如此强大的技术能力,但您当然需要舒适和熟悉相关的技术问题。
  • 你喜欢思考哲学问题。很多AI安全工作也需要能够思考哲学,特别是鉴于有复杂的道德问题。
  • 你喜欢一般进行研究。这可能听起来很明显,但有时候要进入一个领域可能很诱人,因为它听起来很有趣,而不是考虑是否你真的享受研究的日常生活。因此,它有助于我们之前做过一些研究 - 特别是在与计算机科学中的某些相关的东西中 - 获得更好的研究是否适合您。

我们从许多人中获得的一条消息是,如果您对AI安全研究非常感兴趣,并且不确定您是否能够贡献,最好的事情就是潜入并更多的地区。找出你是否能贡献的最佳方式就是试一试。更多关于如何精确地完成这一点。

您需要博士进入AI安全研究吗?

大多数人说,我们发表谈到的是,在相关领域获得博士学位通常是一个好主意,但它没有必要,所以如果可能的话,值得尝试在没有博士学位的情况下进入。我们采访了两个ML工程师谁脱离了他们的博士,但尽管如此,仍然可以快速获得野外的宝贵工作 - 他们已经写道复制它们的路径。

最直接的相关领域是获得博士学位的是机器学习,尽管这不是唯一的可能性 - 统计数据,应用数学和认知科学如果您能够学习与人工智能相关的主题,所有人也可以提供良好的背景。

获得博士学位有很多好处,包括允许您开发学术网络,学习计算机科学中的一般有用的技能,并获得研究的经验。如果您不完全确定您是否要做AI安全研究或其他别的,则博士还允许您在学术界和工业中持续开放其他选择。看我们机器学习博士的职业简介欲了解更多。

做博士学位的主要缺点是它可能需要很长时间(英国3-4岁,美国5-7。)

可能没有博士学位,如果:

  • 您已经在一个职位直接贡献AI安全研究-特别是当一个致力于人工智能安全的组织有兴趣雇佣你的时候。目前在人工智能安全方面似乎存在一个人才瓶颈,由于这是一个如此紧迫的问题,早期的努力可能会格外有价值。了解有关此方法的更多信息。
  • 在做机器学习博士学位的想法,你并不是特别内在的动机(虽然这可能意味着您应该检查您是否会受到AI安全研究的动力!)
  • 你找不到一个支持你的顾问在制定对CS,AI和机器学习的一般理解,或直接在与AI安全相关的内容上工作。
  • 您认为您处于特别好的位置,可以学习和做研究与您自己的AI安全直接相关。我们对此非常谨慎:只有这样做,如果您有一个社区,您可以与,与之合作,从而获得反馈,您知道您可以自动激励。188bet金宝博官网网址

如果它不成功,有什么好的备份选项?

有关这些选项的更多信息,请参阅我们的职业资料。

如果你感兴趣的话,有哪些好的第一步?

如果你感兴趣,但不确定自己能做出什么贡献,最好的开始方式就是开始探索。

1)阅读很多

我们还有两次采访,两个人从事技术AI安全研究,就像它的样子以及如何加入它们:

  1. 世界需要AI研究人员。这是如何成为奥里奥·阿莫迪斯博士德里奥·阿莫迪斯博士。
  2. 一种机器学习对齐研究员如何成为机器学习对齐研究员。

2)开始讨论想法

  • 通过疑问将文件的作者发送电子邮件 - 大多数研究人员非常愿意与思考的问题搞!
  • 在线评论博客并从事在线讨论
  • 与您在网络/社区中的任何人联系到您可能能够讨论这些想法188bet金宝博官网网址
  • 考虑到一个米里车间如果附近有一个

3)寻找您可能贡献的地方感兴趣的区域

  • 寻找捕获您的问题,您不同意的事情或您认为缺少某些事情的地方
  • 选择一个打开的问题,看看你是否可以在它上进行任何进展

4)考虑得到一个机器学习博士学位机器学习研究的想法对你很有吸引力。其他选项还包括数学、机器学习(如果有的话)、分析哲学或统计学。如果你没有很多的技术技能,a数据科学启动营是一种开始的方式。阅读更多关于学位和博士选择我们的教学大纲Adam Gleave本指南

5)如果您已经处于相关的博士计划,请寻求相关的实习和工作经验。谷歌的深度有时会提供实习。Miri和FHI等组织往往不会提供实习,但往往很乐意对AI安全访问他们的办公室并花时间与他们交谈时才有才华横溢的研究人员。

在相关机构找份工作或获得学术基金。有些组织考虑要求建议和申请包括:

截至12月15日,所有这些群体都聘请了AI风险研究人员。

想努力享用安全吗?我们想帮助。

我们帮助了数十人制定了他们的计划,并与学术导师联系。如果您想在AI安全上工作,请申请我们的免费辅导服务。

申请教练