介绍

人们经常问我们,不同学科的高影响力研究是什么样的。这可能是因为他们已经在某个领域工作,希望将他们的研究转向更有影响力的方向。或者他们想要追求一个学术研究事业他们也不确定哪一门学科适合自己。

下面你会发现一个学科列表,以及每个学科的一些研究问题和项目想法。

它们是为了说明问题,以便帮助那些正在或正在考虑从事这些领域工作的人从长远的角度来了解这些领域的一些尝试。它们也代表了我们认为从长远角度去追求的有用的项目。

这些列表并非详尽无遗;它们也不是为了表达我们认为每个领域中最有价值的问题和项目是什么。

我们通过纪律分类了条目,尽管即使您已经是一项学科的研究员,我们也会鼓励您考虑其他人的问题和项目。在两个字段的交叉点上工作,并使用一个工具从另一个领域解决问题,可以是提高影响的好方法,因为这些接口通常更忽略。

下面列出的学科之间存在一些重叠,并重复似乎在一个以上领域的研究特别良好的研究示例。

本文还在进行中——我们希望随着时间的推移向这些列表中添加和完善条目。

这些列表基于什么?

我们编制这些清单的主要策略是通过在有效的利他主义社区或致力于我们的人们的人员中遵循正规和非正式的高影响力研究问题。188bet金宝博官网网址118金宝搏高手论坛 。我们已经链接到这些资源,以及结束时这篇文章的。我们使用非正式来源的一个原因是,我们对那些似乎具有高影响力的问题和项目感兴趣,部分原因是它们没有得到成熟学者的充分研究。

当我们在一个问题或项目中做出选择时,一个从长远的角度来看影响更大,另一个更有说服力,我们通常会选择后者。

我们轻视编辑或更改了我们从其他来源获取的许多问题和项目描述,我们在括号中注明。如果没有指示的适配或更改,则该条目是一个精确的报价。通常,您可以为这些问题和项目找到更多的背景 - 包​​括现有文献和其他问题 - 在链接来源中。如果没有指示的来源,我们自己就写了进入。

生物学和遗传学

  • 如何在不同物种上分布的平均福利水平(在野外或囚禁中)?
  • 最常见的野生动物的平均寿命是多少?通过各种方式死亡的比例是多少,死亡有多缓慢和痛苦?(节选自刘易斯·波拉德,EA峰会项目思路
  • 到目前为止,我们如何与动物和人类进行比较,无论是在表现和大脑规模方面吗?我们如何从动物中赘肉了解如何用脑大小,学习时间,环境复杂性等程度如何缩放?(Richard Ngo,人工智能之外的AGI技术安全研究
  • 研究和开发基因工程或育种作物的方法,使其能够在核冬天的热带地区茁壮成长(改编自ALLFED,有效的论文
  • 脑机接口的未来有哪些可能性?它如何与人工智能安全问题相互作用?(瑞恩·凯里,具体项目清单
  • 研究诸如Hedonic设定点的遗传基础,例如,使用23andme可用的SNPS开发模型以预测使用SNPS可用的SNP。一些研究人员认为,此类研究的有希望的候选人包括SCN9A和FAAH和FAAH-OUT基因。(节选自Qualia研究所,志愿页面
  • 从遗传多样性的角度来看,最小可存活人口是多少?(迈克尔•Aird这是长期主义者面临的关键问题

业务和组织发展

  • 当存在他们都希望看到的项目,但双方都希望对方做或资助时,利他主义/慈善行为者应该如何协调?(改编自Luke Muehlhauser(为Open Philanthropy撰稿),可能影响资助的技术和哲学问题
  • 私营企业使用的哪些预测方法可以被利他行为者使用?
  • 让大型私营企业的领导者看到重要数据和信息的技术水平如何?这些技术能否应用到接口中,让相关决策者了解部署的人工智能的最重要信息?(灵感来自Richard Ngo,人工智能之外的AGI技术安全研究

中国研究

  • 中国计算机科学家对人工智能的发展和安全工作的重要性有什么看法?(你可以试着做一个类似于这是2016年的(改编自谢霆锋和本·托德。为有效的利他主义者推荐一条新的职业道路:中国专家
  • 中国政府如何制定其技术政策?它对人工智能(包括人工智能安全)、合成生物学和新兴技术的监管有什么态度?(改编自谢霆锋和陶德,为有效的利他主义者推荐一条新的职业道路:中国专家
  • 中国核不首先使用核武器政策如何影响全球稳定和潜在的新兴技术战略方针?(改编自谢立文,私人信件)
  • 相对于其他思想流派,墨家学说为何在中国几乎绝迹?(改编自谢立文,私人信件)
  • 为什么中国文明的某些方面能够如此长久?关于是什么造就了具有高度弹性的机构、文化或思想流派,我们能从中吸取什么教训?(灵感来自谢志强,私人信件)

气候研究和地球科学

  • 在什么情况下,气候变化会成为一场生存灾难?例如,通过失控或潮湿的温室效应、永久冻土、甲烷笼合物或云反馈?这些情况发生的可能性有多大?(托比•奥德悬崖附录F
  • 更普遍地说,什么样的环境问题——如果有的话——会构成生存风险?(改编自有效的论文
  • 超级火山爆发的频率有多高?喷发的规模有多大?(改编自托比·奥德,《悬崖》,附录F
  • 提高核冬季和气候效果的型号,彗星,彗星和超级环球效果(悬崖附录F
  • 地球工程技术的潜在风险是什么?这些技术中哪一种(如果有的话)可能有助于减缓气候变化?

认知科学与神经科学

  • 在不同的动物物种中,什么特征是感知能力的最佳指示器?这些测量结果对物种间感知能力的分布有何启示?
  • 丛集性头痛和其他极度痛苦的疾病最好、最便宜、尚未开发的治疗方法是什么?对于极度痛苦的原因,这意味着什么?(节选自Qualia研究所,志愿页面
  • 人类大脑的哪些特征对智力最重要?计算能力、大脑结构和积累的知识有多重要?
  • 哪些潜在的益智药或其他认知增强工具最有前途?例如。肌酸真的能提高智商吗在素食者吗?

经济学

  • 经济增长对生存风险有何影响?在考虑了这一点和其他从长远角度来看可能很重要的副作用后,经济增长有多理想?(看到一个最近的一篇论文利奥波德·阿申布伦纳(Leopold Aschenbrenner)在这个问题上做了一些初步的工作。)

  • 衡量个人幸福的最佳方法是什么?衡量群体整体幸福感的最佳方法是什么?

  • 是什么决定了金融投资的长期征收率?随着投资规模的扩大,情况会有何不同?(迈克尔•Aird这是长期主义者面临的关键问题

  • 经济模型——尤其是经济增长模型——能告诉我们关于先进人工智能系统的递归自我改进吗?(改编自《AI impact》,有前途的研究项目
  • 对于不一致的人工智能的担忧寻求影响者的经济主导地位是否需要按照标准的经济理念重新制定,比如委托代理问题和自动化的影响?(节选自Richard Ngo,人工智能之外的安全研究
  • 在我们现有的综合宏观经济指标中,哪些指标最能代表全球长期预期福利(包括但不限于对存在风险的考虑)?以这些指数为目标,而不是以人均GDP为目标,会有什么广泛的政策影响?(全球优先事项研究所,研究议程
  • 为增加全球公共品或减少全球公共品而建立的国际机构的最佳设计是什么?(全球优先事项研究所,研究议程
  • 经济学家也可能对研究全球重点研究部分的问题感兴趣,下面

流行病学,合成生物学和医学

全球重点研究

  • 如果未来每个人都只为自己的利益而行动,那么灾难性的长期结果会有多大可能性?(节选自迈克尔·艾尔德,这是长期主义者面临的关键问题
  • 当存在他们都希望看到的项目,但双方都希望对方做或资助时,利他主义/慈善行为者应该如何协调?(受Luke Muehlhauser(为Open Philanthropy撰稿)启发,可能影响资助的技术和哲学问题

  • 人类继续存在的预期价值是多少?这一预期价值可能是消极的,或者只是不清楚?如果我们(i)假设功利主义,我们对这些问题的答案有何不同;(ii)承担非功利的合理性;(iii)考虑到核查的合理性不确定性?(全球优先事项研究所,研究议程

  • 假设存在一个单一的、独立于环境的福利水平,对应于一个对社会福利具有零贡献价值的生命,在这种贡献意义上,什么样的生命具有零福利?(全球优先事项研究所,研究议程
  • 人工智能的进步会导致什么冒着非常糟糕结果的风险,比如大规模的痛苦吗?它是这种风险最有可能的源头吗?(节选自迈克尔·艾尔德,这是长期主义者面临的关键问题
  • 一种普遍的观点是,在其他条件相同的情况下,我们应该支持有更多证据支持的干预。从表面上看,这与期望值的最大化相冲突,如果人们更喜欢有更强证据的干预,但期望值的微小降低(可能是无穷小的)(如果“所有其他因素都相等”意味着“期望值相等”)。另一方面,对干预的不确定性给予一定的重视似乎也是合理的。对这种均值-方差权衡的正确反应是什么?(全球优先事项研究所,研究议程
  • 在全球问题中,最具成本效益的干预措施的成本效益有多大差异?
  • 许多问题下经济学哲学历史和其他学科也可以被视为全球优先研究。

历史

法律

  • 有哪些案例研究为那些没有或永远不会有投票权的生物赢得了法律权利或其他保护,这些对动物福利有什么教训?
  • 人工智能可以从其他两用技术的监管中吸取什么教训?(有效的论文
  • 建立马厩有什么法律障碍啊长期金融投资基金几个世纪甚至更久都不会被占用?
  • 哪些法律策略可以帮助预测市场变得更可行?
  • 在目前的法律下,数字思想有哪些权利?什么特征会影响这个?
  • 政府可以使用哪些法律工具来关闭和/或控制人工智能公司?(节选自艾伦·达福,人工智能治理:研究议程

机器学习、人工智能和计算机科学

  • 分析不同版本的软件的性能,如SAT Solving或国际象棋,并确定硬件和软件进步的程度促进了改进。(AI影响,可能的实证调查
  • 我们如何让AI系统更能适应分布变化(例如,如果它们遇到与培训环境完全不同的环境,我们如何确保它们优雅地失败)?例如,我们能否开发出一种强化学习代理,当它们不在分配范围内时能够始终注意到并寻求指导?(改编自Amodei等人,人工智能安全的具体问题
  • 设计技术以避免奖励黑客。例如,使用一个对抗性的奖励检查代理,试图找到ML系统声称是高奖励,但人类标签为低奖励的场景(Amodei等人,人工智能安全的具体问题
  • 改进ML系统避免负面副作用的能力,而不必将它们硬编码到系统的损失功能中。例如,我们可以尝试定义一个“影响调节器”,它会惩罚对环境做出重大改变的行为。“这样的想法要如何正式确立呢?”(改编自Amodei等人,人工智能安全的具体问题
  • 我们如何设计更透明的ML系统,其模型更容易被人类理解?例如,请参见克里斯Olah的研究设计深入学习的更好的视觉表现。(Evan Hubinger,Chris Olah关于AGI安全的观点

  • 如果你有一个和人类一样能做出决定的系统,你如何利用这个系统来建立一个比人类做出更好决定的更强大的系统,同时保持它与人类价值观的一致性?回答这个问题意味着我们更有可能使用强大的通用ML来做出对我们有益的决定,而不仅仅是表面上的好决定。(与巴克·施莱格里斯的私人信件。)更多信息,请参阅OpenAI的博客文章“讨论人工智能安全”和/或保罗global的工作迭代蒸馏和扩增,这在我们的采访保罗

  • 目前,agent和决策的正式模型是基于对世界的明显错误的简化假设;例如,主体本身有一个不属于物质宇宙的意识。我们的模型的这些局限性有时意味着它们会提出一些关于理性行动者在各种情况下会做什么的荒谬的事情。如果我们想要能够仔细地推理人工构建的智能代理的行为,拥有更多可用的正式模型可能会有所帮助。(并不是每个人都认为我们能够以这种方式正式地推理代理人很重要。)参见机器智能研究所(MIRI)的工作嵌入式代理欲了解更多。

  • 哪种类型的AI(就架构、子领域、应用等而言)最有可能对达到人工通用智能做出贡献?就个人或集体而言,什么样的人工智能能力是必要或充分的?(节选自未来生命学院,坚固与益智AI研究问题调查

  • 这些能力会以多快的速度出现?

  • 如何有效地追踪和衡量人工智能研究的“进展”?哪些进展点将标志着重要的技术里程碑或需要改变方法?(区域人工智能和全球安全倡议研究议程)(参见《评估人工智能进展》章节AI研究议程治理中心(21页)

哲学

  • 假设我们不确定应该相信什么样的道德理论,那么那些在我们的不确定性调整道德结论中占主导地位的高风险观点(“狂热”)有什么错吗?例如,如果你认为理论A不太可能是正确的,但它说行动X非常有价值,而其他所有的理论认为X只是有点糟糕,那么得出你应该做X的结论有什么错吗?如果是这样,什么样的道德不确定性的合理观点能让我们避免这个结论?(改编自全球优先研究议程
  • 代表人们具有效用函数有什么问题?有什么替代方案?
  • 什么样的实体有道德地位?有争议的类别包括非人类动物(包括昆虫)、死亡动物、自然环境和当前或潜在的人工智能。(改编自威尔·麦卡斯基尔,道德中最重要的未解决问题
  • 尽管人们经常认为先进的人工智能目标应该反映“人类价值”,但哪些特定的价值应该被保留(鉴于全球各地和不同时期对于这些价值应该是什么存在广泛的不一致的观点)?(节选自未来生命学院,坚固与益智AI研究问题调查
  • 在一个话题上可靠地识别专家,或者当表面专家不同意时选择相信什么,最好的启发法是什么?

  • 在未来,人们对如何使用我们的“宇宙禀赋”做出决定的可能性有多大,以至于我们现在会高兴地听从他们的决定?(全球优先事项研究所,研究议程

  • 我们如何区分人工智能帮助我们更好地理解我们想要什么,以及人工智能改变我们想要什么(无论是作为个体还是作为文明)?后者是多么容易做到;我们识别它有多容易?(Richard Ngo,人工智能之外的AGI技术安全研究
  • 哲学家也可能对全球优先研究部分的问题感兴趣,以上

物理学和天文学

  • 研究1公里以上的小行星和彗星的偏转,也许仅限于那些不能被武器化的方法(比如那些不能导致精确轨道变化的方法)。(托比•奥德悬崖附录F
  • 提高我们对长周期彗星风险的认识。(托比•奥德悬崖附录F
  • 改进我们的冬季撞击情景模型,特别是1-10公里的小行星。与气候模型和核冬季模型方面的专家一起工作,看看现代模型说了什么。(托比•奥德悬崖附录F
  • 人类可以解决其他行星或从外部使用资源?
  • 外星生命存在的可能性有多大?(长期风险为中心,开放的研究问题

政治学、国际关系和安全研究

  • 哪些类型或特征的机构可以帮助后代和/或有感情的非人类在政治进程中代表利益?
  • 一个全球性的、可能长期存在的极权政权最终崛起的可行性有多大?这种制度的潜在预测因素是什么?(比如,改进的监视技术或基因工程?)这是长期主义者面临的关键问题
  • AI如何转化国内和大众政治?例如。将启用AI的监视,劝说和机器人,使极权体系更具能力和有弹性吗?(Allan Dafoe,人工智能治理:研究议程
  • 地缘政治、官僚、文化或其他因素将如何影响参与者选择将人工智能技术用于军事或安全目的?(区域人工智能和全球安全倡议研究议程
  • 人工智能是否会被视为现代经济中最重要的战略组成部分之一,从而得到国家的大规模支持和干预?如果是这样,各国可能会采取哪些政策?这种人工智能民族主义将如何与全球自由贸易机构和承诺互动?(节选自艾伦·达福,人工智能治理:研究议程

  • 什么条件可以引发和推动一场国际人工智能竞赛?这种种族的危险有多大?这些危险如何传播和理解?哪些因素可以减少或加剧这些危险?有哪些途径可以避免或逃避竞争,比如有关标准、核查、执行或国际控制的规范、协议或机构?(Allan Dafoe,人工智能治理:研究议程

心理学

  • 好的好处有多好118bet金博宝app 域之间转移?(灵感来自斯科特·亚历山大,回答人类理性的开放性问题是什么?
  • 衡量个人幸福的最佳方法是什么——不管是对不同的人,还是对不同的有情众生?(节选自Happier Lives Institute,研究议程
  • 在从事危险病原体或其他两用技术研究的科学家中,鼓励遵守安全和保障规范和/或创造一种安全和保障文化的最佳方法是什么?(改编自有效的论文
  • 哪些潜在的益智药或其他认知增强工具最有前途?例如。肌酸真的能提高智商吗在素食者吗?
  • 针对所谓的“黑暗四分体”特征——精神病、马基雅维利主义、施虐狂和自恋——制定更可靠和防篡改的措施。(改编自大卫·奥尔索斯和托拜厄斯·鲍曼,减少来自恶意行为者的长期风险
  • 一些人预计,随着人工智能的发展,它可能会参与到我们所体验到的操控性行为中。对于这些新的可能的操纵,最好的防御是什么?(节选自未来生命学院,坚固与益智AI研究问题调查

公共政策

  • 在前所未有的未来情况下,评估政策选择的最佳方法是什么?(受Max Stauffer等人的启发,完善政策制定的研究方向
  • 有哪些监管和其他政府措施可以防止人工智能技术被滥用?例如,如何(如果有的话)可靠地核实是否遵守了一项同意限制致命性自主武器发展的条约?(改编自区域人工智能和全球安全倡议研究议程
  • 公共政策方面的考虑与这份清单上的许多研究问题有关。看到特别政治学和国际关系

科学政策/基础设施和元科学

  • 复制危机让一些重要的研究成果受到质疑,比如斯坦福监狱实验。还有哪些重要的社会发现遭到了破坏?我们应该如何解读后危机时代的科学文献?
    (灵感来自斯科特·亚历山大,回答人类理性的开放性问题是什么?
  • 估计过去在科学研究上的投资的长期利益的最佳现有方法是什么?他们发现了什么?应该进行什么新的估计?(改编自Luke Muehlhauser(为Open Philanthropy撰稿),可能影响资助的技术和哲学问题
  • 跨不同学科和传统的哪些学科规范导致了最具社会责任感的科学进步?(灵感来自Richard Ngo,人工智能之外的AGI技术安全研究
  • 处理此事的最佳政策是什么?信息危险从两用研究中?
  • 人工智能研究领域目前的开放状态如何影响合作或竞争的前景?188bet金宝博官网网址开放性的改变会如何影响不同行动者之间的激励?(区域人工智能和全球安全倡议研究议程

社会学

  • 对社会运动(如反转基因运动、反核武器运动或LGBTQ运动)的成功和失败进行案例研究——发生了什么,如何发生的?(受知觉研究所启发,研究议程

  • 纵观历史,文化价值体系中最大、最持久的变化是什么?它们是怎么发生的,为什么?
    (灵感来自有效的论文

  • 在从事危险病原体或其他两用技术研究的科学家中,鼓励遵守安全和保障规范和/或创造一种安全和保障文化的最佳方法是什么?(改编自有效的论文

  • 为什么一些价值观,机构和组织非常持久 - 持续数百年(例如学术界) - 而其他人经常改变?解释这一点是什么?(有效的论文
  • 研究机构和组织如何做出重大决策或应对灾难的案例。

统计和数学

  • 估计现在(或任何给定时间)的机会是历史中特别关键的时刻,从中更新之前最好的不表征是什么?例如,看到我们的播客将迈克阿斯克尔这条线麦卡斯基尔和托比·奥德会吗来讨论使用统一先验和杰弗里斯先验的相对优点。
  • 托比奥德已经认为因为人类物种已经存活了很长时间,所以我们可以得出这样的结论:每世纪人类生存的自然风险很低(否则我们在这里的可能性极小)。如果我们假设在宇宙的历史中有数百万潜在的智能物种在进化,而且只有那些在我们进化到足以提出自然灭绝风险有多高的时候存活下来的物种,这个论点还成立吗?(有些专家相信这个问题已经得到充分解决。)

  • 目前,agent和决策的正式模型是基于对世界的明显错误的简化假设;例如,主体本身有一个不属于物质宇宙的意识。我们的模型的这些局限性有时意味着它们会提出一些关于理性行动者在各种情况下会做什么的荒谬的事情。如果我们想要能够仔细地推理人工构建的智能代理的行为,拥有更多可用的正式模型可能会有所帮助。(并不是每个人都认为我们能够以这种方式正式地推理代理人很重要。)参见机器智能研究所(MIRI)的工作嵌入式代理欲了解更多。

  • 许多统计学家也可能对我们列出的ML问题感兴趣以上

来源

感谢所有将研究问题(原创的或从其他地方汇编的)列在一起的人,他们认为这些问题有可能让人们进行研究。这篇文章靠的是他们的努力,而不是我们自己的努力。Michael Aird的有效利他主义论坛帖子开放研究问题的中央目录对撰写这篇文章特别有帮助。

以下是所有其他被引用的来源(按外观排序):

想要解决上面的一个研究问题吗?

您可能是一个很好的契合,以获得向我们提供的一对一职业。我们可以帮助您分析您的计划,缩小您的选项,并进行连接。这是免费的。

检查建议

考虑进入学术界?

查看我们关于学术研究作为职业道路的文章。

读到现在