写道布伦达吉英里酒店一名研究人员在牛津大学的人文研究所未来的政策工作,借助了80,000小时和其他人的帮助188体育网站大全确认在下面

如果你是美国公民,我们建议你从这里开始“建立专业知识的案例,以便在美国AI政策上,以及如何做到这一点而不是这篇文章。

为什么我们写了这篇文章

188体育网站大全8万小时的研究表明,改善世界最有影响力的机会之一可能是积极塑造人工智能的发展。这个问题规模很大,被大多数人忽视了。最近的经验表明,在降低风险方面取得稳步进展是可能的。看到我们的118博金宝网址 进一步解释我们相信的原因。

在过去的几年里,人们在做技术研究的人数中看到了戏剧性的增长,以弄清楚我们如何安全地编程人工综合情报,我们有一个指南给那些考虑做这类工作的人。

还有另一个同样重要但相对更容易被忽视的话题:改善人工智能政策和战略。这包括以下问题我们如何避免危险的军备竞赛来开发强大的AI系统;如何广泛分布高级AI系统的好处;和人工智能研究应该有多开放?如果我们处理这些问题不当,即使我们能够解决与控制机器智能相关的技术挑战,也可能导致灾难。

我们需要答案答复AI政策和策略问题,因为i)实施解决方案可能需要很长时间,ii)一些问题更好地解决,而AI则不太高级,并且对该主题的观点/兴趣更少,而III)我们don’t know when particular AI capabilities will be developed, and can’t rule out the possibility of surprisingly sudden advances.

因此,对于合适的人来说,对这些问题的努力是当今对世界提供贡献的最有希望的方法之一。

如果技术或政策AI工作是可能的职业选择的候选名单,您应该告诉我们。

填写个人指导申请

我们可以提供个性化的建议,并与世界级机会联系,包括AI政策的空缺,这些资料尚未公开宣传。

要补充本文,我们还有一些与积极致力于AI政策和战略的人进行了一些深入的访谈,以及如何加入它们:

  1. 世界迫切需要人工智能战略家。以下是如何成为一名医生的方法。(本文讨论。)
  2. 教授艾伦·达福试图为世界制定世界的可能性,因为AI将稳定全球政治。
  3. Katja Grace为什么专家意见并不能很好地指导人工智能的影响和如何做得更好
  4. 保罗博士​​克里斯腾Openai如何为“AI对准问题”开发真正的解决方案,以及他对人类如何逐步交出对AI系统的决策的愿景
  5. 世界上最具智力基础正在招聘。Holden Karnofsky, GiveWell的创始人,慈善机构如何通过造成大风险来产生最大的影响。

这个30分钟的视频牛津大学教授艾伦·达福也在本指南中涵盖了一些介绍性材料。

什么是AI政策职业?

人工智能的政策是关于AI的社会决策的分析和实践(请注意,我们说“社会”而不是政府,因为许多决策者都参与了“政策”,广泛解释)。期限AI战略有时用于指的是大图片AI策略问题的研究,例如我们是否应该希望AI狭隘或广泛分布,并且应该优先考虑哪些研究问题。下面,我们主要包括“长期AI政策”的伞下的战略性问题。文档末尾的参考资料为AI政策和AI战略遮阳伞下降的问题提供了良好的介绍。

短期与长期问题

讨论AI政策时,有时候可以区分短期长期人工智能的政策。

短期ai政策是指问题社会是面对今天.这些问题包括无人驾驶汽车的责任问题、相对小规模的工人迁移、算法偏见和日益自动化的监控。

长期ai政策是指只有在更高的更高范围内的所有或出现的问题,而不是当今的更进一步,特别是如果进入迅速。这些将具有非常持久的后果,例如与人级或超级智力AI相关的AI安全风险或地缘政治不稳定。

这种区别并不是很明确:例如,如果我们高估了实现高级人工智能所需的时间,这里提到的长期问题可能会比许多人预期的更早出现,这是关于哪些人工智能专家的问题有很大的不同在他们的期望中。也许与AI相关的最严重的经济问题可能比安全问题更长时间。

但短期/长期来说是一个有用的初步区别,反映了人类水平或超级智力AI在近期不太可能的共同观点,但如果发生这种情况,它将具有变革性,持久的社会影响。

大多数与短期狭义人工智能系统相关的政策决策本身不太可能产生极其持久的影响,但研究此类问题可能有助于获得经验,以便随后研究与更强大人工智能系统相关的政策问题,并且一些相同的政策框架和工具可能适用于两者都有。如果一个人致力于解决已经存在的问题,那么他也可以更确信一个问题是真实的,并且这个问题正在产生有益的影响。

另一方面,从长远来看,上述长期政策和战略可能更为重要,尤其是在人工智能系统开发进展迅速的情况下。目前,它在概念上和实践上都不太成熟,而且利害关系要大得多,因此我们希望在这一领域作出贡献能带来更大的好处。

We’d estimate that less than 10% of work on AI policy is specifically concerned with issues related to highly capable AI systems that might be developed in the future, whereas there is a larger and more rapidly growing body of work focused on more near-term issues such as driverless car policy and drone policy. This makes the former significantly more neglected.

我们需要回答AI政策中的具体问题

为了让你了解在研究人工智能政策时可以处理的各种问题,请考虑以下几个问题。

AIS可能发展的能力是什么?

人工智能系统有一天可能拥有什么能力,可能产生什么社会后果?例如,如果AI系统能够:

  • 分析物理纸,提出新实验吗?
  • 为其他字段做同样的事情,包括AI开发?
  • 分析社会科学论文,互联网内容和/或监测数据,并在各种情况下对人类行为进行细粒度预测?
  • 用语言和形象来说服特定的人接受特定的命题?
  • 从各种领域和来源分析文献,以便为新颖的材料,技术或软件创造设计?
  • 表格计划包括上述的组合?

对计算机安全有什么影响?

  • AI系统有多大可能在具有比人类更便宜的计算机系统中可以便宜,有效和可靠地找到漏洞?哪些指标可能会在这方面提供更新?
  • 哪些措施可以陈述或非国家行动者来防止这种情况,和/或减轻潜在的负面影响?
  • AI系统是否可能在类似的时间表中提高防御措施,以证明对攻击的类似时间表是有用的在黑客和敏感数据的机构之间存在“计算动力臂竞争”的程度,在后者应该补贴或调节 - 增加他们可用的计算资源?

自主武器有什么影响?

  • 在近期、中期和长期内,可能会开发哪些类型的自主武器?哪些类型的指标可以提供这方面的更新?
  • 自主武器的不同类型的可能应用是什么?例如,作为空中支持的最有可能适用于什么类型的自主武器,作为房屋对战的一部分,侦察,在占领领域的监视,暗杀或其他隐蔽作业等?
  • 考虑到自动武器的可能类型和应用,对全球和平与安全可能产生什么影响?
  • 如何使用潜在的缺点(更低的平民死亡,更低的平民死亡,减少人民士兵的平民死亡,减少人民士兵需求的潜在上面的潜在上面的潜在上面(更高的平民死亡,潜在的地缘政治稳定化,潜在地缘政治稳定化。通过武器比赛,事故风险或滥用)?
  • 私人公民手中可访问和损坏的相对便宜的自治武器的发展有多可能?可能需要各种各样的监管行动来摆脱这种可能性,并且何时会适当?AI进展的指标可能表明这些行动的适当性?
  • 可以从其他新武器技术的发展中如何了解有哪些相关课程(例如核武器,化学武器,地雷)和国际治理对他们的反应?
  • 在限制或停止自主武器的发展和/或部署方面,存在哪些合理的途径?总的来说,限制发展是可取的吗?它是否有太多的风险将开发推向地下或社会责任较低的一方?


停止杀手机器人的运动,2013年4月

如何确保大范围人工智能系统的安全部署?

一个AI系统具有非常广泛的范围,能够进行创造性的长期推理,能够采取非常难以预测的行动。这价值对齐问题是一个示例 - 由强大的AI系统实施的指定“目标”可能构成全球灾难性风险。

Even if values are “aligned” between an AI system and its user, it could be the case that running an AI system with a particular goal could lead to illegal actions, in ways that are not easy to anticipate for people who haven’t carefully inspected the system – or even for those who have. For example, an AI system with a goal of “making money” might turn out to break the law in attempting to do so, even though it wouldn’t be obvious that this was going to happen while the AI system was still in development and testing.

考虑到这些因素,在发展和部署这种潜在危险系统方面的合作与冲突就产生了一些重要问题,例如:

  • 如何在安全AI的发展和部署之间鼓励合作精神进行合作精神?
  • 如何从博弈论的角度来制定和分析人工智能的国际竞争与合作?
  • 各方事先就什么构成人工智能系统的潜在风险“部署”,以及在什么情况下这种部署应被视为合法,达成协议是否有用?
  • 各方之间的何种协议将可执行?

还有一些其他的问题你可以用附录

你的目标是什么?

你要问自己的一个关键问题是,你认为自己在哪些方面可能会对最重要的人工智能政策问题产生最大的影响。这四个主要角色可以大致概括为直接研究在政府和行业内工作倡导, 和协助招聘

您可能有兴趣对AI政策进行直接研究:分析在短期和长期内AI中涉及的战略考虑,评估提出的解决方案,并建议新的考虑。您可能有兴趣在政府 - 收集各种利益攸关方的投入,谈判与您的同事在其余政府的同事中可行的,直接实施解决方案。你可能想做一些我们刚才提到的东西,而是在行业而不是政府中。您还可以在宣传中工作 - 帮助放大倡导良好解决方案的声音,并建立更广泛的对特殊问题重要性的认识。或者您可能希望在招聘中工作 - 帮助人们通过这些选项,连接求职者和雇主,并说服人们对其内部的政策或特定问题的重要性。

鉴于目前可供推广的良好建议有限,直接进行战略分析和制定可行的解决办法来执行,而不是进行宣传,目前可能会创造出更长期的价值。然而,随着时间的推移,如果许多利益相关者需要参与到首选的解决方案中,倡导最终可能是关键的。不同的技能适用于这些不同的解决问题的方式,尽管有一些交叉技能,如人工智能知识、写作能力和对网络的适应。目前,我们强烈建议那些有研究经验的人考虑直接从事上述研究问题的研究工作,但有许多潜在的领域,不同技能的人可以做出贡献。

如果你是美国公民,我们将详细讨论进入美国人工智能政策的途径“建立专业知识的案例,以便在美国AI政策上,以及如何做到这一点

以下部分提供了在AI政策中可以做些什么的一些示例。它特别侧重于两个广阔的地区,研究实践.倡导和帮助招聘间接讨论了80,000小时的简介188体育网站大全118博金宝那个真网

AI政策研究员

总的来说,这条职业道路包括成为人工智能政策考虑和干预的专家,并推动其发展。在给出你可能感兴趣的特定研究领域和雇主的例子之前,我们注意到你可以在政府、工业、学术界或非营利组织中这样做。政府通常不处于开发全新政策理念的前沿,至少对于长期的人工智能政策而言是这样,但随着人工智能的安全和经济相关性日益得到重视,这种情况可能会改变。请注意,一个人可以跨越研究和实践之间的边界——贡献一些想法,同时也实施一些解决方案。

短期政策研究选择。

例如,如果有兴趣进行短期政策研究,例如,可以直接影响或建立空间的专业知识和信誉,可以在各种机构中工作。我们认为短期专注的工作不太可能受到高度影响力,因为它得到了更多的关注日期,但对于许多人来说,这将是一个必要或有用的措施,以建立在更紧迫的问题上工作所需的技能和信誉.人们还可以利用一个人的立场,以在短期和长期关注的群体之间建立桥梁之间的桥梁利用现有的协同效应

这re isn’t one clear frontrunner in terms of institutions or sectors where you could have the biggest impact, since the issues you’re interested in and knowledgeable about, the details of the position, your nation of citizenship (if looking for a government job), and other factors also play a role. One aiming to work in AI policy should thus stay attuned to the changing landscape of AI, on which we provide some tips below. For example, OpenAI didn’t exist two years ago, but is now an important player in AI, and China’s national profile in AI is also rising quickly.

正在进行或即将进行这类研究的有关机构,以及可能寻求机会的机构如下:

  • 牛津大学,对工作未来的大量分析正在发生;
  • 各种智库等布鲁克斯新美国安全中心兰特数据与社会国际特赦组织,阿兰图灵研究所;
  • 咨询公司等麦肯锡;
  • 公司和非营利组织谷歌微软OpenAI百度腾讯, 和亚马逊;
  • 美国联邦航空管理局对于寄生虫问题;
  • 行业协会,例如IEEE.(特别是他们的人工智能和自主系统伦理考虑全球倡议),Aaai.,对AI的伙伴关系

人们也可以在任何大学进行学术研究,尽管它有助于在有足够的人致力于形成临界质量的人。具有这种关键质量的大学的例子包括牛津大学剑桥大学加州大学伯克利分校麻省理工学院, 这华盛顿大学, 和斯坦福。如果您认为您可以在其中一个以上的地方找到工作,我们建议您争取一个与技术专家密切合作的职位,以便校准您的研究,并且您将有一定的灵活性来定义您的研究目标并影响相关组织的方向(与狭义的角色划分相比)。

长期政策和战略研究方案。

对于长期政策和战略研究,在不久的将来,没有严重的工作正在进行或可能发生的地方。以下是几乎全面的清单:

目前尚不清楚政府将成为这样工作的最佳地点,但实例可能是国防和智力社区(例如IARPA.美国国防部高级研究计划局净评估办公室)和白宫科技政策办公室(OSTP),后者负责这份报告“为人工智能的未来做准备”.这三个人在AI领域都有影响力,并资助并进行了相关工作。这国家科学基金会国土安全先进研究项目机构, 这海军研究处,美国数字服务是其他机构可能会影响哪些研究项目由美国政府直接资助和/或实施。

对AI的伙伴关系在这些问题上,可能会在培养讨论和共识建立方面发挥作用。无论是在内部的研究中是否会做得很多尚不清楚。

虽然以上机构中至少有一家会发布招聘广告,但你也应该撒一张大网,询问未来可能会出现的职位或没有公开列出的职位。与上面列出的考虑因素类似的是如何考虑工作机会的优先次序。关于接近技术专家,即使是在长期问题上,也要与技术专家保持密切联系,以确保你的工作是基于人工智能发展的合理场景。然而,如前所述,专家意见有很大的不同因此,旨在成为您自己右派的AI趋势的关键观察者,并更多地关注理解合理情景范围而不是任何特定的预测。

AI政策执行者

除了开发和评估政策思想外,有人需要实际实施它们。这些职位非常有影响力,因此他们是理解问题的人填补的重要意义。与政策研究相比,这些职位需要相对较强的社会技能。

目前尚不清楚,最终最终的最佳地点是长期实施AI政策。这意味着建立您的职业资本并能够在出现时占用机会是很重要的。最终,您希望进入最有影响力和相关的立场。所有的东西都是平等的,政府或主要AI公司的水平越高,您就越有可能在一个职位确定政策作为AI成熟。

为此,逐渐瞄准执行或立法分支机构中更高,更相关的职位,并且例如,如果改变政治气候,则成为机会主义,符合不同机构。

以下是一些需要考虑的具体步骤:

短期政策惯例选择。

可能对自主武器系统政策产生重要影响的组织包括国家安全理事会和隶属于政策副秘书处。还考虑当地和州政府,国际机构(例如UNIDIR或者奥图为自动武器工作),非营利组织,如阻止机器人杀手运动, 这劳动部, 这国内政策委员会在美国(以及他们的等同物),以及主要国家的国家立法机构。

当地和州政府的工作岗位和在行业的小公司工作的工作,应该主要被视为经验获取机会,而不是在自己的目标最大化的影响时自行结束。特殊案件包括特别突出的司法管辖区(例如加利福尼亚州),可以为其他国家或联邦政府制定举例,特别是有希望的初创公司。

此外,私营公司和非营利组织目前是关键的参与者,至少在不久的将来可能仍将是人工智能进步的主要驱动力,所以像谷歌微软Facebook, 和OpenAI如果您有兴趣将政策想法投入行动,则应高效。

长期政策实践选择。

尚不清楚,如果您的目标是在路上实施AI政策,最好的地方是工作的最佳地点,因为这将取决于在中间年内开发和提出的各种政策。但杰出国家的立法和行政部门(例如橱柜, 这美国国家安全委员会OSTP., 这美国国会), 这联合国(目前正在推出一个与AI相关的中心Unicri.)和欧盟委员会(该机构最近受到欧洲议会(European Parliament)的委托,研究人工智能和机器人的政策)和关键公司都应予以考虑。在美国国会,在科学、空间和技术委员会等相关委员会中担任分析师可能特别有用。

在申请或考虑接受工作时,一定要了解行业和政策趋势的意见,以便为可能保持相关的组织工作。对于那些在长期人工智能问题上没有明确资历的人来说,花几年时间获取知识和经验,而不是马上就在最好的组织工作,可能是有意义的。在长期的人工智能政策实践(而不是研究)变得特别重要之前,可能需要数年时间,在未来,你将有更多关于哪些组织最相关的信息。

长期政策是一个困难的话题,因为赌注很高,并且可能会误造成更大的伤害。例如,您可以通过促进机器智能能够为您提供战略优势的想法来使军备竞赛更有可能,而不是充分讨论合作的重要性。或者,您可以通过以非可信或轰动的方式产生低质量分析或框架问题来诋毁该领域。因此,在您的努力中谨慎并将其与专家进行详细讨论是非常重要的。

您现在可以申请的职位

请记住,如果技术或政策AI工作是可能的职业选项的候选名单,您应该告诉我们:

填写个人指导申请

我们可以提供个性化的建议,并与世界级机会联系,包括AI政策的空缺,这些资料尚未公开宣传。

你如何定位自己以进入这些角色?

什么领域了解

AI策略不是一个非常成熟的域,它绘制了许多其他学科。理想情况下,您将熟悉大量学科,至少在至少一个学科和深层专业知识。一些例子包括:

AI.

令人惊讶的是,要做AI政策,有关AI科学和技术景观的相当数量,很高兴。这将有助于您将炒作从现实中分开,对最先进的艺术有意义,并明智地思考该领域在未来可能会发展。

政治科学与公共政策

这些是帮助您理解不同机构的角色和约束的有用规程(例如:国内和比较政治是相关的子学科)和国际问题/动态(国际关系是一个相关的子学科)在处理AI时。子场科技政策尤其与人工智能政策相关,并提供了许多可供学习的案例以及一般的概念框架。在政治科学中,有很多类似的问题已经得到了充分的研究,比如核军备竞赛和国际网络冲突,这些问题与长期的人工智能政策有关,这两个学科的本科/研究生课程倾向于强调统计分析和博弈论等工具,这些工具可能有助于进行人工智能政策分析。

法律

这是许多人担任AI政策的人的背景。例如,有一个我们机器人会议系列看起来(主要是短期)法律/政策问题,如责任,问责制,军队等问题,主要由法律学者组织。法律对于思考组织需要在AI时需要处理的细粒度问题,而政法和公共政策倾向于以更高层次的抽象运作。理解法也允许人们确定各种工具和杠杆,以影响AI开发和部署。最后,国际法补充了国际关系,以了解可能涉及的有关国际规范,并限制为先进的AI大规模政府决策过程。

经济学

当仔细思考未来的工作时,经济学是必不可少的。但在广泛的经济学文献中,也有一些见解来源,可能与其他人工智能政策问题有关,如产业组织和博弈论。特别是,博弈论可以作为一个有用的视角,用于思考一些可能与高度先进的AI有关的协调问题。

其他社会科学

以上只是相关学科的一些例子,但其他相关的例子包括科学技术研究,一个实证/概念领域,旨在促进科学技术在社会中的作用和科学家和工程师的决策过程的纪律思考;社会学人类学,在思考AI的社会和经济影响时特别相关;心理学,这对于对小规模的影响进行思考是有用的,并且了解人类如何与AI和机器人互动,这反过来可能会通知适当的政策和框架的主题;和媒体与传播研究,这与思考公众对人工智能的态度,以及更强大的说服性人工智能系统的潜在影响有关。

哲学和道德

哲学家们能够很好地以严谨的方式界定人工智能政策问题,而伦理与分析哪种未来更可取直接相关。几位人工智能政策研究人员,如尼克·博斯特罗姆和托比·奥德,在其他领域都有哲学背景。

安全和智力研究/国家安全

现在和未来的一个特别关键的研究领域涉及人工智能的安全影响。艾可能会在这些领域中直接在未来在今年的情况下使用,并且是安全决策的更大焦点。安全和智力研究的专家和国家安全实践领域目前处于AI政策领域的代表性。

如何通常构建您的职业资本

如果您无法直接进入顶级政策位置,以下是一些一般步骤,您可以在该地区建立您的职业资本。

我们对任何对这一领域感兴趣的人的主要建议是埋头苦干:尽可能多地学习,与其他对人工智能政策感兴趣的人联系,发展自己的技能、想法和相关工作经验,并尝试阐明和解决问题。尼克·贝克特德就如何做到这一点提出了一些建议附录

除此之外:

网络

AI政策是新的,迅速变化,如果您正在寻找该领域的工作,您应该了解合适的人民,以便了解工作机会或建议。

政策和战略方面的职业需要机会主义和充分利用关系。在权力大变动期间,你会想要在政府中扮演一个角色(或离开政府)。鉴于目前的人才库很小,你有机会在一个组织中快速晋升,所以只要关键职位有空缺(只要你有后备计划),就值得申请。

因此,在经济上可能的范围内,请参加AI的会议,并参加与政策相关问题的会议;与AI研究人员交谈;参加与AI安全相关主题的Facebook群组;与现场中的人联系,谈谈你的工作;即使没有列出的位置(尚未在),如果您认为您将来会增加价值,也表达了在地方工作的兴趣。

与那些在人工智能政策研究和实践“前线”的人交谈是非常宝贵的,因为关于这个话题的很多分析还没有发表,所以考虑在像人类未来研究所(或者至少考虑报名参加他们的婚礼)职位空缺通讯上面列出了他们所在组织和其他地方的工作、实习和志愿者机会)。参加你的“家庭”学科或行业的会议和研讨会,寻找对人工智能感兴趣的人,向其他领域的工作人员通报最新发展,并确定可能的合作伙伴,也是很有价值的。

跟上人工智能的发展

如前所述,您将需要在某种程度上专注于某种程度上,并且了解艺术的状态和合理的趋势对于选择要专注的正确问题至关重要。用于保持AI发展的低悬挂水果是订阅杰克克拉克导入AI时事通讯如果您尚未知道什么是“热”(用于在AI中建立一般基础的资源,请参阅下文),请遵循其中的一些领导。也看看Arxiv Sanity Preserver,最近文件的过滤器上传到预先打印网站Arxiv。

对于那些在这些来源中出现的术语的背景知识,诸如此类的在线课程彼得·诺维格和塞巴斯蒂安·特伦或者安德鲁NG的可能是个好主意,而那些有机会上大学课程的人可能想要亲自参加人工智能课程。

一个粗略的经验法则是,每周阅读三篇左右的人工智能论文,以了解该领域正在发生什么,人们使用的术语,并能够区分真实和虚假的人工智能新闻。关于人工智能术语,你的目标至少应该是达到互动专业知识从本质上讲,就是即使你自己不会写一篇新颖的研究论文,也能在会议上通过人工智能研究员图灵测试的能力。

阅读广泛

请看下面的阅读材料列表。不幸的是,没有一本关于人工智能政策的权威教科书,你可以通过阅读来学习基本知识,可能关键的见解存在于上面没有提到的学科中。所以在你不熟悉的领域广泛阅读,同时利用你现有的专业知识。如果你刚刚开始(比如作为一个本科生),你可以考虑在政治学、公共政策或经济学的基础上学习计算机科学的双学位,同时也可以广泛阅读这些领域之外的内容。但是选什么课程、学什么专业取决于你的特长和你的选择(比如你学校的项目是什么样的)。我们的人工智能安全大纲提供其他的想法关于什么和在哪里学习。

得到的经验

要了解政策制定是什么样的,没有什么能替代在政府或公司工作或围绕政府或公司工作。许多相关的知识,例如“要使用哪些杠杆”、关键人物是谁、哪些议题是政治议题等等,并不存在于书籍和文章中,而是存在于研究这些议题的人的隐性知识中。如果你能在白宫、国会、联邦机构、地方/州政府、与政府互动的倡导组织、公司的政策/法律部门等地方实习,那就去吧。

在美国,美国科学与技术协会(AAAS)的科学与技术奖学金是一种完善的工具,可以让近期的博士获得政策经验,而总统管理奖学金、总统创新奖学金和白宫奖学金项目也值得那些合格的人考虑。公共关系也是一个与政策密切相关的领域,在这一领域获得经验可能是有价值的——事实上,面向其中一个或另一个的团体经常在公司和政府中一起工作。

在英国,政党政治(如议员的议会助理)和/或公务员(如在商业、能源和工业战略部工作,或进入公务员队伍快流)方面的经验可能会有所帮助。同样,将利益相关者聚集在一起讨论问题的经验也是宝贵的,这种经验可以来自私营部门或智囊团。另一个经验来源是参与政治竞选,这是沟通、政策研究、演讲写作、联盟建设、活动管理、团队建设等方面所需技能的重要来源。

同样地,参与当地的有效利他主义组织可以提供其中一些技能,并导致发现志同道合的合作者对人工智能的未来感兴趣。

最后,在一家大型科技公司担任战略职位,比如谷歌,对进入人工智能政策非常有用,即使你在最初的职位上并没有直接从事人工智能的工作。在直接解决研究问题和积累相关经验之间存在权衡,但那些对人工智能政策感兴趣的人应该努力获得至少一些在实际政策问题方面的经验。

常见的职业转型

本节概括了一点,将描述两个典型的方式,人们可能会进入AI政策的政策,从作为AI政策研究人员/从业者,并从另一个领域的政策研究人员/从业者转移到专注于AI政策。

从AI到政策

在AI中具有技术背景是政策工作中的重要且相对罕见的资产。但是,它需要与政策专业知识相结合。一个策略是找到具有政策专业知识的合作者或团队,以便您可以在彼此学习的同时贡献。一般来说,我们建议您将自己沉浸在学习政治和政策方面。寻求首先理解政策问题的景观也是有用的,以便评估您的兼容性和在不同领域工作的相对重要性,例如在特定的焦点上放大。我们在本文档末尾推荐的资源在这方面也很有用。

我们认为这是一个特别令人兴奋的职业轨迹,罕见的AI雄厚的技术背景的人工作在政策,和价值的“元”——一个可能会在某些情况下有更大的影响在人工智能领域的发展,倡导,在组织和实施解决方案,国家、或国际水平,而不是从事离散的技术项目。

从政策到人工智能

从不同的政策背景中迁入AI政策的人应该旨在加快AI策略问题的广泛轮廓(参见下面的资源列表),并在该空间内找到焦点。AI是一个令人兴奋的地区,政策景观正在通过新技术成果迅速改变。因此,建立坚实的技术基础并密切关注发展是有价值的。一些可能的方法可以在AI中获得速度(除了上述建议之外),对具有政策背景的人特别有用,是AI,人员课程上的MOOCS(在大学上提供,以及有时在大公司内提供),和a master’s program in AI. Additionally, it would be valuable for such people to attend conferences such as We Robot and Governance of Emerging Technologies to get a better sense of how AI policy issues are similar to and different from those they are familiar with.

资源

以下资源列表不是所有必需的阅读(这取决于您的背景),也不是全面的。但它是代表的种类如果有人打算在AI政策中工作,那么物质可能会发现有趣。如果这些材料都对你无聊,那可能是一个不好的标志。另一方面,如果你开始阅读并找到这个话题很重要 - 或者看到你可以填写你的专业知识/技能的文献中的差距 - 这是一个很棒的标志!

对于上述粗略“测试”的一个重要警告是,如果你计划在AI政策方面进行研究(vs.实践/倡导/招聘),那么列表中的一些较重的内容将更加相关。《为人工智能的未来做准备》(Preparing for the Future of Artificial Intelligence)则属于较轻的入门类教材。在下面的每一节中,我们粗略地将项目从入门到高级排序。

我们建议您检查一些测试您的兴趣,如果您决定进入该字段,请通过其中许多领域。

在上市并描述一些讲座,书籍和论文后,我们举例表的榜样,在科学和技术政策课程中为更广泛的文学提供了额外的指针。

我们也建议阅读我们的“建立专业知识的案例,以便在美国AI政策上,以及如何做到这一点它有额外的资源。

视频

  • 博斯特罗姆,N。《超级智能:路径、危险、策略》.2014.(如果你对长期的人工智能政策感兴趣,这是必要的阅读材料。)
  • 埃里克·布林约尔松(Erik Brynjolfsson)和安德鲁·麦卡菲(Andrew Mcafee)。第二个机器时代——在一个技术辉煌的时代,工作、进步和繁荣。2014年。
  • 林,P.,艾布尼,K.,和贝基,G.(编辑)。机器人伦理:机器人的社会和政治意义
    • 这是与AI和机器人相关的一些道德和(主要是短期)政治问题的良好介绍,包括自主武器和社会机器人。
  • 罗素,S.和Norvig,P。人工智能:一种现代方法,第三版。2010;我,古德费罗,考维尔,和本吉奥。深度学习.2016.
    • 要想更好地理解人工智能背后的技术,这两本书是最好的读物。Russell和Norvig的教科书被广泛应用于人工智能课程,并提供了许多重要概念和术语的良好介绍。然而,它在深度学习方面的报道力度不够,因为它是在当前围绕人工智能这个子领域的热情高涨之前写的。Goodfellow等人的教科书是关于深度学习的最好的单一资源,也可以在网上免费获得。那些技术背景不那么强的人可能想先看一些关于人工智能的在线视频,比如Norvig和Thrun的在线课程Andrew Ng的在线课程
  • 尼尔,H,史密斯,t和麦考密克,J。超越人造卫星:21世纪的美国科学政策;Howlett,M.等。研究公共政策:政策周期和政策子系统,第3版。
    • 第一本书对美国的科学政策进行了有益的概述——它的历史、制度和问题领域;第二本书对公共政策理论进行了更全面的介绍,包括它是什么,如何以及为什么会发生变化。

文章/报告

  • 白宫,“为人工智能的未来做准备。”2016.
    • 本文件反映了美国各地四个研讨会对白宫的投入,总结了许多关于短期人工智能政策的最新想法。请注意,英国和欧盟等国政府也编制了其他此类文件,但白宫报告可以说是编写得最好的。它对两者之间的关系提出了一些主张值得批判性评估的短期和长期政策(例如,无论我们的时间跨度如何,我们今天都应该做同样的事情)。
  • 其他政策报告:
  • 全国人工智能研发战略计划讨论其他事情的安全问题
  • 博斯特罗姆,N。“开放在AI发展中的战略意义。”
    • 开放性是短期和长期AI政策中最大的问题之一,在不同的目标之间可能存在紧张局势,例如促进AI的分布式控制和益处和缓解安全风险。本文是对此类战略问题的最佳介绍。
  • 博斯特罗姆,达福,A,和弗林,C。“政策Desiderata用于开发机器的超明。”
    • 本文提供了思考长期AI政策评估的一般框架,并突出了几个可能在未来几年内工作的核心研究问题。
  • 布隆,M.和Bryson,J.《人工智能智能政策》2016.
    • 这个paper provides an overview of short-term “de facto” AI policy in the U.S. as it is today (that is, policies not necessarily labeled “AI policies” but which in fact affect it), and offers some recommendations such as strengthening expertise in government. It also has pointers to other related literature on e.g. driverless car policy.
  • 来自我们机器人会议系列的论文,主要专注于短期ai政策:
    • 从中查看程序2016年迭代这次会议和最近的2017年迭代.这是(主要而非独家)的重大事件,思考AI和机器人。2018年的活动将在斯坦福国举行。
  • 人工智能治理:研究议程由Allan Dafoe.
    • 人性学院的这个未来报告旨在向AI治理的合理重要问题引入研究人员。它提供了整体问题的框架,造成了可能枢转的问题,并参考与这些问题相关的文章。

人工智能的法律、政策和伦理

其他阅读列表

致谢

本指南由Miles Brundage编写,以下个人对早期版本提供了有用的反馈:Jan Leike, Jelena Luketina, Jack Clark, Matthijs Maas, Ben Todd, Sebastian Farquhar, Nick Beckstead, Helen Toner, Richard Batty, David Krueger, Jonathan Yan, Brittany Smith, Robert Wiblin, Carrick Flynn, Allan Dafoe, Niel Bowerman和Michael Page。这些人不一定同意最终文件的所有内容。

附录I.

我们把一些职业建议提出了尼克Beckstead,开放慈善研究的研究员和呼吸器。

在人工智能战略和政策中,你最想看到哪3个问题尽快得到回答?

  1. 广泛的部署问题。
  2. 描述可能开发变换性AI的几种最合理/重要的场景。概述不同的演员(公司,政府,研究人员)如何现实地和有利地回应每种情况。
  3. 用于跟踪转型性AI的进展最佳的里程碑是什么?我们应该在接下来的5/10/15岁发生的每个里程碑中分配哪些概率?

您认为一个聪明人可以在独立工作的情况下合作,或者他们必须成为团队的一部分吗?

我认为他们可以合作,因为这个领域尚未发达。他们需要高度自我指导。我相信将50-500个小时划分为此,以测试一个人的进步的能力是对对这一问题非常感兴趣的聪明人的合理活动,并且非常自我指导。

什么样的独立研究项目会让你最热衷于看到有人专业地在这些问题上工作?

有人用上面列出的一个主题写了一篇论文,并且可以提供有用的广泛概述问题(解释它们,并全面地讨论了高水平的不同方法及其优势和弱点)或咬掉它们可以特别解释的块好的和/或有新的洞察力。

到目前为止,AI政策中最大的突破是什么?

我认为这是一组关于重要的考虑因素。我想出了单一的最重要的战略考虑因素是,快速起飞可能导致某人/某事物获得了果断的战略优势(“某些东西”可能是AI系统优化某些目标)。另一个合理的候选人是,“有一个对齐问题,可能很难,我们需要在我们有一个超级智力AI系统之前解决它。”

你认为哪三个人有可能在人工智能政策方面指导博士?

我不知道有多少人在这些领域学习学生,尤其是那些对变革性人工智能感兴趣的人。艾伦·达福(Allan Dafoe)是最佳人选。你也可以考虑在牛津大学获得博士学位,并寻求与FHI合作的机会,即使没有对这一系列问题有重要背景和兴趣的顾问。

海伦·托纳(Helen Toner)的一些建议:加州大学洛杉矶分校PULSE的研究生奖学金(如上所述)、斯坦福大学的CISAC、伯克利大学的长期网络安全中心和宾夕法尼亚大学的佩里世界之家(Perry World House)是一些自我指导的人可以想到的其他地方(可能是博士后,而不是博士)。

什么是您向某人向某人开办AI政策的人,您认为大多数人不会给予职业?

尝试在这个附近独立工作几个月。如果缺乏资金是瓶颈,申请通过EA Grant或试图筹集资金以花费时间。

独立工作并不意味着避免寻求建议 - 这可能最好与尽可能深入思考这些问题的人交谈。

如果您想在AI战略上工作,那么擅长(办公室)政治是多么重要?

这对于你所谓的“从业者”来说可能非常重要,而对于你所谓的“研究者”来说则不那么重要。

附录二世

AI战略中的其他问题。

从事人工智能工作的组织提供的各种版本的“开放性”的成本和收益是什么?

如果一个组织在AI发布文件上工作,发布其源代码,与学者和其他组织合作等等?这取决于其工作的高级程度以及接近重要类型的AI的程度如何(见上文)?

开放可能导致科学(通过公共产品)的提高更快,并降低了威权主义和AI引起的“单极性的风险”,但它也可能增加恶意行为者和技术开发比赛的AI滥用风险。

仔细思考了哪些类型的开放是可取的,以及何时/在何种条件下,可以使人们更容易在今天致力于有益的开放形式,而不会在未来含蓄地致力于有问题的开放形式。

我们对分析不同方式的兴趣分析,其中组织可能“开放”以及潜在的成本和福利。一个例子

其他风险

以上部分到高级AI系统的各种潜在风险。下面我们列出了三个额外的广泛风险:

对非常强大的AI系统的控制丧失:AI系统可能在广泛的环境中变得更加能力,使其更有效地以创造性方式实现其指定的目标。然而,设计可由人类有意义地控制的AI系统,并且可靠地避免负面副作用可能是具有挑战性的,特别是如果AI系统的能力和可能的副作用的范围,则可能会出现人类的预见能力。普遍设计的系统可能会合理地模拟人类试图将它们限制为要克服的障碍,并且非常有机能力追求有问题的目标可能变得非常困难;具有此问题的AI系统可以合理地预计,至少与由当今计算机蠕虫或网络犯罪组织创造的人(并符号困难)创造困难。如果具有问题目标的AI系统能够充分能力,他们的追求这些目标可能会显着损害人类的长期未来,在我们看来,这对人类灭绝的差异是不可忽略的成果机会。

逐渐丧失社会方向的有意义的控制:随着越来越多的控制权逐渐让与复杂且难以理解的人工智能系统,这些系统追求的是我们目标的不完美代理(如利润最大化),人类可能会失去对社会应该采取什么方向做出有意义的集体选择的能力。对基于种族或性别等因素的人工智能系统的担忧可能是这种动态的早期例子,对新闻报道根据个人预期口味进行更多定制而产生的过滤气泡的担忧也可能是这种动态的早期例子。如果我们设计系统的技术能力忠实而透明地反映我们的价值观,远远落后于我们盈利的自动化决策的能力,这可能会给文明的轨迹带来长期的问题。

AI系统的道德相关性:目前,就像“道德相关”(黑猩猩?猪?蚂蚁?)存在很少有关什么类型的非人类达成共识。我们发现它是合理的,但绝不是明确的,某些AI系统可能在某些情况下在某些有意义的意义上变得道德上。如果是这一目标,它可能对AI系统应该设计和使用的影响非常有意义,可能需要某些AI代理的某些保护。例如,可能有可能廉价地重复“工人”;if so, this would drive down the cost of labor that these workers could perform (since new workers could always be generated), potentially creating a situation in which AI “workers” are only able to earn subsistence wages (e.g., enough to cover hardware and power costs). The extent to which situations like this are worth avoiding is tightly connected to the extent to which AI systems have moral worth and/or are entitled to some equivalent of human rights.

想在AI政策上工作吗?我们想帮助。

我们帮助了数十人制定了他们的计划,并与学术导师联系。如果你想从事人工智能安全方面的工作,请申请我们的免费辅导服务。

申请教练

笔记和引用