喜欢这一集吗?想稍后再听吗?订阅通过搜索188体育网站大全无论您获取播客,或单击下面的一个按钮:

围绕人工智能影响的争论往往集中在“超级智能”上,这是一种在几乎所有领域都比最优秀的人类聪明得多的一般智能。

But according to Allan Dafoe – Senior Research Fellow in the International Politics of AI at Oxford University – even if we stopped at today’s AI technology and simply collected more data, built more sensors, and added more computing capacity, extreme systemic risks could emerge, including:

  • 大规模劳动力转移、失业和不平等;
  • 更橄榄球全球市场结构的兴起,可能会使我们远离我们的自由经济世界秩序;
  • 图像情报和其他揭示大多数国家赖以应对核攻击的弹道导弹潜艇的机制;
  • 无处不在的传感器和算法,可以通过面部识别识别个人,导致普遍监控;
  • 具有独立指挥链的自主武器,使专制政权更容易猛烈地压制其公民。

艾伦是牛津大学人类未来研究所人工智能治理中心主任。他的目标是理解世界和平与稳定的原因,这在过去意味着研究为什么战争减少了,声誉和荣誉作为战争的驱动因素的作用,以及在危机升级中挑衅背后的动机。他目前的工作重点是帮助人类在先进人工智能的发明中安全地航行。

我问艾伦:

  • 从政治或国际治理的角度来看,人工智能的显著特征是什么?
  • 艾伦的研究仅仅是之前对变革性技术(比如核武器)研究的延续吗?
  • 人工智能如何得到良好治理?
  • 我们该如何考虑公司或国家之间的武器比赛的想法?
  • 你会对那些怀疑这个话题重要性的人说些什么?
  • 我们迫切需要找出解决这些问题的方法吗?我们什么时候能期待人工智能比今天有显著的进步?
  • 在这一领域,最需要解决的问题是什么?
  • 如果他们想进入这个领域,人们可以做些什么?
  • 人们能从自己身上找到什么不同寻常的东西来判断自己是否适合做这种研究吗?

8000188体育网站大全0小时播客由凯兰·哈里斯制作。

要点

核能是有用的,但并不是至关重要的,而人工智能似乎正朝着新电力或新工业革命的方向发展,从某种意义上说,它是一种通用技术,将彻底改变和振兴经济的每个部门。我想,这是一个问题,或者说一个不同之处,它的经济收益和开发它的激励梯度比我们经常想到的大多数两用技术要大得多

例如,还有一场关于人工智能军备竞赛的讨论,最显著的刺激因素是普京的一句名言:“谁领导人工智能,谁就将统治世界。”这句话引起了世界各地媒体和严肃的国家安全思想家的极大关注。因为军备竞赛的一个特点是,在许多方面,只要有这样一种感觉,即另一方相信它是存在的,相信一场军备竞赛正在进行,就会产生军备竞赛的可能性。

如果我认为你认为这项技术是战略性的,即使我个人不相信它是战略性的,那么我现在需要担心你的信仰如何塑造你的行为以及你愿意承担风险的意愿。这句话,“在AI领导的人将统治世界,”这不是俄罗斯外交政策的正式声明。这不是俄罗斯军队所产生的报告的摘要。相反,这似乎是普京在给孩子对他们科学项目的反馈的背景下进行的即期评论。

一些问题比其他问题更重要。但是,我们足够不确定需要解决的核心问题,这足够精确,模块化足够的功能,以至于它们可以真正专注于我推荐一种不同的方法。而不是试图找到真正的最高杠杆率,最被忽视的问题,而不是忽视的问题,我会建议有兴趣在这个空间工作的人,以了解研究景观。

他们可以看看EAG的一些谈判,然后问自己他们的比较优势是什么?他们的兴趣或激情是什么?他们相信他们有一个忽视的洞察力吗?他们的背景是什么?他们认为自己是最舒适的188bet金宝博官网网址学者和政策制定者的社区是什么?

文章、书籍和其他媒体在节目中讨论

成绩单

罗伯特威布林:嗨听众,这是80,000小时的播客,展示了世界上最紧188体育网站大全迫的问题以及如何使用你的职业来解决它们。80,000小时的研究总监,我抢劫Wiblin。188体育网站大全

我今天没有什么可以添加的,除了如果你喜欢这一集,请将其传递给可以从中受益的人!

这是艾伦。

罗伯特威布林:今天,我和艾伦·达福谈话。艾伦是[人工智能国际政治高级研究员]和牛津大学人类未来研究所人工智能治理中心主任。他的研究旨在了解世界和平与稳定的原因,他目前的研究重点是通过超人类人工智能的发明帮助人类安全航行。谢谢你来听播客,艾伦。

艾伦·达福:我的荣幸。谢谢你邀请我。

罗伯特威布林:我们将讨论听众可能在人工智能战略方面有自己的职业生涯,但首先,告诉我关于牛津大学FHI人工智能管理中心的情况。

艾伦·达福:太好了。人类未来研究所(The Future of Humanity Institute)很长一段时间以来一直在思考革命性的人工智能和超级智能,最著名的是尼克·博斯特罗姆(Nick Bostrom)的《超级智能》(superintelligence),但也有很多其他学者在研究和思考这个问题。最近,我们聚集在一个名为人工智能治理中心的小组中,我们有十几个人在研究治理问题的各个方面。

罗伯特威布林:你们在研究哪些具体问题?

艾伦·达福:我有一个研究议程,或者我一直在做的一个研究景观文档,它将这些问题系统化。这可能是一个很大的领域,但它可以分为三大类。

第一类我们称之为技术景观。这涉及到所有与人工智能趋势相关的问题以及先进人工智能的属性,它们的政治和战略属性,安全有多困难,所以我们可以讨论这些。

第二大类我们称之为人工智能政治。看着所有的动力学在不同群体,企业、政府、公众作为一个演员,追求自己的利益,因为他们理解,考虑到他们的能力,并试图理解所有上演,我们如何解决和减轻最严重的潜在风险和抓住机遇。

然后,第三类我们称之为人工智能治理,它提出的问题是,“如果我们能够协调和合作,我们应该合作构建什么?”全球治理体系的制度和宪政基础是什么?它需要应对哪些挑战?我们想要编码到治理机制中的价值是什么?”

罗伯特威布林:所以,在这里的一个研究小组中你有大约十几个人,我的印象是大约两年前,很少有人正在考虑这个。说这个话题的兴趣很快是公平的吗?

艾伦·达福:绝对的。人们对这个领域有着巨大的兴趣。在伦敦EAG的演讲结束后,我刚吃完午饭,桌子上坐满了非常感兴趣的、有才华的人,他们都想找到最好的贡献方式。目前,我们正在努力建立一个职业通道和社区,最有效地指导有才华的人解决他们最能解决的问题,但这是我们正在努力的一件事。188bet金宝博官网网址

在阿西洛玛举行的益智AI大会上,一些人评论说,人工智能战略(有时被称为这个领域)似乎就像两年前的人工智能安全一样。在波多黎各会议上,人工智能安全并不是人工智能研究领域的明确承诺。188bet金宝博官网网址有一个故事讲的是一个博士生导师和一个博士生在波多黎各会议上开会,他们没有意识到他们都对人工智能安全感兴趣,所以这几乎是一种,我不知道,禁忌或秘密兴趣。

现在,在阿西洛玛会议上,这是一个庞大而繁荣的地方。我们有研究议程。我们有顶级实验室在研究这个。人工智能战略似乎还处于起步阶段,两年后,我们可能会有一个更有实质性的研究团体,但今天我们只是在弄清楚什么是最重要和最容易解决的问题,以及我们如何最好地招募人员来解决这些问题。188bet金宝博官网网址

罗伯特威布林:你认为是什么原因导致人们对这个话题如此感兴趣?是AlphaGo和机器技术的巨大进步,还是博斯特罗姆(Bostrom)的《超级智能》(Superintelligence)一书对这些问题发出了警报?

艾伦·达福:我认为人工智能策略,在社区内我们历史上称之为…我们也可以叫它AI治理或188bet金宝博官网网址AI政治或其他条款…它是直接从关注变革的人工智能,所以我认为其增长的原因是一样的人工智能安全利益的增长的原因。它只是落后了两年,可能是因为第一个意识到人工智能安全是他们应该研究的东西的人是人工智能研究人员,所以他们更有可能马上看到这个问题,而社会科学家,政治家,政策制定者,更远离这一现象。

当然,超级智能对世界对先进人工智能危险的认识产生了巨大的影响。AlphaGo极大地影响了全世界对人工智能变革的认识(相声00:04:40),这是一个我们可以谈论的结果。我们还可以谈谈AlphaGo,它是我如何上网的历史。

罗伯特威布林:你是否认为你的工作只是之前研究的延续,这些研究大概是在变革性技术或潜在的军事化技术上进行的,比如核武器?学者们一定想过新技术可能会造成多大的不稳定,以及如何使它们变得安全。

艾伦·达福:是的。这是对话的一部分,但它不仅仅是延续,因为人工智能带来的挑战与核武器带来的挑战完全不同。我们今天研究的一部分就是研究那些古老的文献。有一件事我们很多人读了很多关于国际控制核武器的政治努力,巴鲁克计划或艾奇逊和利连撒尔报告,这是背后真正的灵感。

这是一个非常独特的历史时刻,当时我们几乎拥有强大的全球治理强大的技术。这没有锻炼,我基本责怪斯大林和苏联的那个。这不是一个干净,天然的实验,对危险技术真正具有约束力的国际控制的可行性。

罗伯特威布林:是的。从政治或国际治理的角度来看,您认为人工智能的显著特征是什么?

艾伦·达福:是的,所以一些。也许最与众不同的是它的双重用途。核武器和核能源相比,核能是有用的,但它不是至关重要的是有用的,而AI似乎有望像新电力或新工业革命在某种意义上它是一个通用的技术,这将完全改变和振兴经济的经济部门。我想,这是一个问题,或者说一个不同之处,它的经济收益和开发它的激励梯度比我们经常想到的大多数两用技术要大得多。

然后,第二是易于将危险能力与商业和有益能力分开。在acheson和lilienthal报告中,他们谈到了核周期的组成部分是本质上危险的。这些是你真正的部分......一个国家不应该参与这项活动,除非它正在考虑建立核武器。这些是您要控制的网站,希望您有几个这些网站,因此您有冗余控制。虽然与AI相比,这是一项通用技术。对于某些任务的强大AI代理通常可以很容易地部署用于视为风险的另一个任务。

罗伯特威布林:有些人最近已经开始谈论人工智能在武器比赛方面,我猜,无论是在国家之间的公司之间甚至可能之间。这是正确的方式思考吗?

艾伦·达福:是的,所以这种语言吸引了很多关注。关于AI军备竞赛的一些讨论不准确,因为一些引号正在谈论人才竞争。他们正在使用军备竞赛作为一个宽松的类比或公司之间的种族,但它在谷歌之间真的不是军事化,而且说,Facebook。这只是夸张或只是使用五彩缤纷的隐喻。

例如,还有一场关于人工智能军备竞赛的讨论,最显著的刺激因素是普京的一句名言:“谁领导人工智能,谁就将统治世界。”这句话引起了世界各地媒体和严肃的国家安全思想家的极大关注。因为军备竞赛的一个特点是,在许多方面,只要有这样一种感觉,即另一方相信它是存在的,相信一场军备竞赛正在进行,就会产生军备竞赛的可能性。

如果我认为你认为这项技术是战略性的,即使我个人不相信它是战略性的,那么我现在需要担心你的信仰如何塑造你的行为以及你愿意承担风险的意愿。这句话,“在AI领导的人将统治世界,”这不是俄罗斯外交政策的正式声明。这不是俄罗斯军队所产生的报告的摘要。相反,这似乎是普京在给孩子对他们科学项目的反馈的背景下进行的即期评论。

在这个电视节目中,他和俄罗斯学生谈论他们的各种科学项目并祝贺他们,说这是俄罗斯的未来,太空旅行,材料科学等等。他对人工智能的看法是所有技术中最有力的,但这只是普京会见俄罗斯学生这一漫长活动中的一个声明。然而,这句话被媒体和美联社摘掉了,全世界都抓住了它。

我认为,在谈论军备竞赛的可能性,我们必须在谈论武器比赛的可能性时教导我们的课程,因为它具有这种财产,只是谈论它可以增加它发生的可能性。赛车动态将会有很大的巨大风险,因此我们应该在参与在发生的事情上的膝盖反射之前非常思考和小心。

我想引用Demis Hassabis这一点。“协调问题是我们现在应该专注的一件事。我们希望避免这种有害的竞争来完成角落切割的发生,并且安全被削减。这将是全球范围内的一个大问题,当您谈论国家政府时,这将是一个难题。“我认为,捕捉挑战的症结而不是炎症,并且可能在其他国家安全社区灌输恐惧。

罗伯特威布林:这对人类的疯狂来说是一种恰如其分的讽刺,如果我们最终有效地毁灭了世界,就因为有人在学校活动上做了一个即兴的评论,只是赞扬他们的科学项目,那可能是我们的末日。事实上,他说的这句话几乎在我看来表明,他们并不是真的在竞争制造人工智能。因为如果这是俄罗斯政府的计划,他们可能不会在他访问一所高中时随便宣布。

艾伦·达福:是的,以及他所说的一部分......普京实际上说,因为一场比赛是危险的,这就是为什么俄罗斯将把它的AI能力释放到世界。他几乎有一种开放的ai,早期开放的ai,仰视俄罗斯如何成为一个仁慈的AI力量。

罗伯特威布林:有趣。我想这并没有被报道的那么多。显然,人们对它没那么感兴趣。

艾伦·达福:这是正确的。

罗伯特威布林:可能有些人认为超级智能不会很快出现,也有些人认为它会很快出现,但风险不会那么大,事情会好起来的,人们在无谓的焦虑。你会对这样的怀疑论者说什么?

艾伦·达福:到了第一个观点,...让我们忘记过度理智。让我们只是说转型性的人工智能,这是人工智能,可以彻底扰乱财富,权力或世界秩序......有些人认为,如果它来了,它会在很多十年来。最简单的回应是说,您应该有一个专注于不同风险的政策投资组合,如果您不能充满信心,那么应对这一潜在的巨大风险,应花在其中一些研究和政策努力。

但我也认为我们可以更直接地回答这个问题。我想指出的是,即使只有今天的人工智能技术,如果人工智能性能没有更多的结构改进,我们只是收集更多的数据,建造更多的传感器,更多的计算能力,但我们阻止了摩尔定律的发展,我们阻止了人工智能的算法科学改进,我认为我们已经可以看到人工智能可能带来的一些极端的系统性风险。给你们四个,我很乐意讲这些,一个是大规模劳动力转移,失业和不平等。今天的人工智能以及将人工智能应用于工业而产生的人工智能革命可能会大幅增加失业和不平等,这似乎是合理的。

二,AI所谓的战略行业是合理的,或者是一个自然的全球寡头垄断,因为AI服务的各种属性意味着现任公司能够在该部门的那项服务中基本上保留垄断。如果您考虑Facebook,如果您考虑谷歌,如果您认为亚马逊,这些都是公司中的每一个都很难与核心行业竞争。If that’s the case, if AI services in general have this property, which could arise from the digitization of services so there’s a zero marginal cost or a low marginal cost in what they’re providing as well as to other sources of increasing returns to scale, such as this virtual cycle in AI that once you have some consumers, they provide data, which allows your algorithm to become better, which gets you more consumers and support …

这可能意味着,或者这可能意味着,一种自由经济世界秩序和逻辑的转变过去几十年里,自由贸易增加了所有国家的财富,而各国实际上已经接受了这种合作和经济生产力的逻辑。你可能会看到经济民族主义、保护主义和重商主义的回归,各国都在努力打造自己的人工智能冠军,就像过去石油公司、汽车或商用飞机所做的那样。

你可以看到,今天大部分的人工智能公司都在美国,而主要的竞争对手来自中国,中国基本上一直对其市场实行保护主义。它排除了美国公司,培养了自己的人工智能冠军。好吧,这是第二种极端可能性。也许我会快速地讲一下第三和第四节。三是监视和控制。你可以想象无处不在的传感器,算法可以通过面部识别,步态,以及其他行为特征来识别个体。

罗伯特威布林:我认为我们基本上已经做到了。我们每天都在口袋里随身携带位置探测器。

艾伦·达福:我同意。我不认为难以建立一个完整的系统来监控公众,跟踪他们所说的,概况,识别可能对某些政治目标或盟友挑战的个人,具有量身定制的劝说。什么广告研究金钱将是雕琢,你如何说服个人购买一些产品或对某事感到不同。最后,机器人镇压。许多政变或专制政府落后,因为军队不愿意在公民上射击。如果您有一个具有良好独立的命令链的自主武器,那么公民可能会失去这种保护人类的体面。

罗伯特威布林:是的。这实际上只需要将这些能力构建为一个主要状态的意愿。

艾伦·达福:是的,如果公众有权力,他们没有从这样的系统中辩护。

罗伯特威布林:是的。

艾伦·达福:然后,还有第四个……再次澄清一下,我认为所有这些都来自今天的人工智能。我们不需要编造一个关于新技术的科幻故事来产生这种能力。四是战略稳定。可能是来自卫星、水下传感器、被动传感器或追踪潜艇弹道导弹的潜水器的图像情报,以及对社交网络行为的分析,足以揭露目前核三位一体中最安全的两种武器——潜艇弹道导弹和机动弹道导弹。

如果发生这种情况,再加上高超音速导弹将缩短从发射到需要作出报复决定的时间,这可能会导致世界更加不稳定。这只是我们今天看到的狭窄的人工智能产生或加剧的四种可能性,我们需要更多地思考,而这并不需要推测我们可以在各个领域拥有超人智能。我们还可以讨论为什么这种可能性并非不可能。

罗伯特威布林:我们迫切需要找出解决这些问题的方法吗?我们什么时候能期待人工智能比今天有显著的进步?

艾伦·达福:我之前提到的问题主要通过2017年的AI,我们需要显然开始迫切地思考这些问题。然后是各种各样的治理挑战,来自各个领域的人类水平和超人级别AI或一般。这可能是你刚刚得到......要把它走回去,你可以在一些战略域名上有超人AI,所以它可以在网络中,或者只是在剖析,或社交网络映射和操纵,或者数学,或科学和技术。

或者,您可以在董事会中或在战略相关的所有领域中拥有人类水平或超人级别AI。很难理解这些不同的可能性对经济的意义是什么,以获得政治秩序的战略稳定性。就何时,我们基本上有多少时间,我们不知道。我们不太了解情报。在历史上,我们从未观察过智力爆炸或以前的机器智能的出现。我们没有其他文明,我们可以看看获得良好的频繁估计。

我会说一些关于如何有知情信念的事。我们所做的一件事是调查AI专家,这不应该被认为是真正的权威。他们是建立AI的专家。它们不一定是预测AI进展的专家。目前在社区中完成的研究是要更认真预测,以获取更多数据,以校准,看看人们在做好,并使用188bet金宝博官网网址其他预测工具尝试并改善预测。

但是,在我们拥有它时,参加AI专家的调查,您可以看到一系列意见。这些都是AI中的两大会议的研究人员。有些人认为它可能会很快发生,它是人力级机器智能定义,因为当机器比每项任务的人都更好。一些研究人员认为,在数十年中不会发生,甚至是百年。However, if you take the average or the median of those perspectives, there is enough probability mass on the near term, say, 10 years there’s about 10% probability, in 25 years there’s about 30% probability, that if we just take that as a reasonable basis for our credence, that is a sufficiently high probability that we ought to be taking it seriously.

现在,我可以多说一点为什么我们认为它会很快到来。有一种说法是这种事以前就发生过。AlphaGo就是一个很好的例子。我们对围棋的进展感到惊讶,并不一定是因为技术上的突破,而是因为该公司在一个我们没有意识到的问题上部署了大量的人才和资源。这让我们,整个世界都措手不及,但考虑到这种投资,他们可能已经预料到这是可能的。

还有其他例子。举个例子,雅达利的游戏《Frostbite》EFF指标页面,它有这个可爱的数字,从2013年到2015年中期基本上是高度的。它几乎无法扮演游戏。然后,如果您要从该数据推断出来,您可能会结束2050年至2100将是关于何时达到人的水平。但到2015年底,一些出版物出现了对人类水平的显着改善,然后在一年的过程中提高了超人。

其他游戏在进度速度上显示出类似的快速变化。然后,在其他游戏中,我们看到进步速度更加稳定。这是我们将与他人进行研究的一部分是尝试并获得更多知情的预测。我还可以给您一些技术答案和更多内部视图答案,为什么AI的进度变化和能力,尤其是AGI,可能比我们预期的要快得多。

首先,我们真的不太了解智力。我们不知道核心缺失的部分是什么,也不知道它们有多独立。目前正在研究的许多功能可能存在一些共同因素,这似乎是合理的。一旦我们破解了这个共同因素,剩下的部分要么就会就位,要么就会在解决这些一般智力任务时变得不那么重要。公共因素的一个例子是一个好的世界模型。如果一台机器的能力发展中世界的知识图,的人,历史,科技,这样它可以整合新知识…如果它读取物理教科书,它能把知识融入世界模型,它可以整合各种狭窄的AI系统,可以真正变革性。

就像之前讨论过的,例如在超级智能中,高度递归自我提升的可能性可能会产生快速的变化,如果有一个狭窄的人工智能能力,允许在人工智能研究中自我提升。还有另一类原因可以解释为什么我们会认为进步会惊人地快,那就是AI的各种输入是否存在所谓的“悬空”。谈论最多的是硬件悬垂。如果我们生活在这样一个世界里我们已经有了如此强大的计算能力一旦我们设计了AGI算法,人工通用智能算法,如果它能在笔记本电脑上运行,那么你就有很多笔记本电脑上的等价物可以运行。所以,你从一个没有AGIs的世界变成了数百万。

我们可以有所谓的洞察力。如果在算法设计方面有人类科学家刚刚错过的关键突破,它们就等着被挖掘,然后它们将提高机器学习的效率。有一个很好的例子DeepMind的Bellemare等人,他们表明,如果你只是使用价值函数的完整分布而不是使用期望,你会得到显著的性能改进,真的是相当大的,比任何其他算法在许多个月的时间跨度内的改进都要多。

回想起来,这是一种顿悟,似乎当时有人可以看到,但我们没有。所以,似乎还有其他类似的见解等着被发现,如果你有一个人工智能研究人员,一个机器智能人工智能研究人员,它可能会摘取那些东西。然后,我们可以称之为数据悬垂,所以有一个悬垂的数据等待一个能够分析它的系统来分析。我认为最好的例子是互联网,莎士比亚作品的语料库,历史,战略,战略思考,物理教科书,社会书籍,基本上任何一种书籍,在某种程度上编码了知识,一台能够与高智力水平的人类互动的机器可以理解其中的知识。

罗伯特威布林:如果有足够的硬件,它可能会读得非常快。

艾伦·达福:完全正确。快速阅读,一旦将阅读内容整合到庞大的知识图谱中,永远不要忘记所阅读的内容。然后,还有最后一个争论,为什么你可能会看到非常快速和广泛的,或者在这个例子中是快速的系统开发。这是计算成本中训练与执行的比率。在目前的机器学习系统中,训练一种算法的计算能力大约是部署相同算法的计算能力的1到1亿倍。这意味着,如果你要,比如说,训练你的第一个AGI,如果你想重新利用你用来训练它的计算能力来部署它,你在世界上不是只有一个AGI。你现在可能有1000万。

罗伯特威布林:你能解释一下这是怎么回事吗?

艾伦·达福:是的。研究人员开发算法的一种方法是在模拟环境中强化学习。例如,你可以想想那些试图学习越过障碍的MuJoCo跑步者,或者AlphaGo Zero。它在这个模拟的环境中与自己玩耍,逐渐理解它所处的环境,学习启发式和任何成功所需的策略。但它需要大量的计算能力来一次又一次地运行这个算法,因为它正在逐渐理解它的环境和学习。好吧?AlphaGo Zero在达到真正高水平的表现之前,大概要运行几天或30天。但是一旦你有了这个系统,一旦你在神经网络中有了一组训练过的权重,你就可以用更小的计算能力来部署它[听不清00:23:48]

罗伯特威布林:我也听说你可以通过生产专业的筹码来加速这件事,这些芯片比广泛的计算机芯片更快地完成必要的操作。是对的吗?

艾伦·达福:是的。已经有了很大的改善。我的意思是,首先从cpu到gpu,现在又从gpu到tpu,很多人都想知道下一个加速的硬件改进是什么。

罗伯特威布林:我们讨论了一系列不同的问题。你认为在这个领域快速处理问题最重要的是什么?

艾伦·达福:一些问题比其他问题更重要。但是,我们足够不确定需要解决的核心问题,这足够精确,模块化足够的功能,以至于它们可以真正专注于我推荐一种不同的方法。而不是试图找到真正的最高杠杆率,最被忽视的问题,而不是忽视的问题,我会建议有兴趣在这个空间工作的人,以了解研究景观。

他们可以看看EAG的一些谈判,然后问自己他们的比较优势是什么?他们的兴趣或激情是什么?他们相信他们有一个忽视的洞察力吗?他们的背景是什么?他们认为自己是最舒适的188bet金宝博官网网址学者和政策制定者的社区是什么?

然后,希望在社区的帮助下,我们将尝试帮助,80k可以帮助尝试将该个人映射到他们适合的研究景观188bet金宝博官网网址中的部分。所以,而不是优化整个社区进入一个狭隘的问题,我会说让让我们优化社区和映188bet金宝博官网网址射,从比较优势的分布到分配问题。尝试找到他们可以工作的模块化项目。您可以与他人协商会这样做。模块化项目的例子包括历史类似物的案例研究

我们正在讨论Baruch计划和Acheson和Lilienthal报告。这是一个历史时刻,但历史上有其他类似的类比,我们可以向CERN作为合作,科学努力,国际空间站或核融合的国际合作。那些提供一种不同的类比,这是不完美的。还有其他,对双用途技术的国际控制,我们可以看的类别。

还有一些历史工作要做。还有很多经济方面的工作要做,建模种族动态,建模技术开发。还有预测工作要做,这是定量建模和几乎心理学的结合,并与专家合作。有伦理学的工作要做,有伦理学的哲学要做。有治理设计,制度设计,宪法设计。还有民意调查要做。

我可以一直说下去,工作太多了。一种思考方式是,人工智能革命将涉及一切,政治进程是相互依存的,其中许多部分可能对其如何进行至关重要。正因为如此,我们基本上需要一门关于人工智能革命的社会科学。

罗伯特威布林:我想我们需要尽快拿到。

艾伦·达福:我们不知道需要多久。

罗伯特威布林:好的,是的。

艾伦·达福:所以- - -

罗伯特威布林:我想这至少能让你安心一点。

艾伦·达福:是的。

罗伯特威布林:也许我们的时间比想象的多。

艾伦·达福:是的,但是我们不应该磨蹭。

罗伯特威布林:不。

艾伦·达福:我会说在这方面,一些领域的速度比其他领域更快。经济学家正在认真对待这一点。斯坦福的Charles Jones Daron Acemoglu以及其他一些人真的考虑在建模,建模失业和劳动力流离失所方面可能意味着什么。我所说的政治科学家,几乎所有这些项目都认为这个项目很重要,值得追求和有趣,但它确实对政治科学的一些分支更倾向的方法来构成方法论挑战。

很难对未来进行量化。我们很难对未来做实验,因为我们不确定,正确地说,如果我们在科学上对未来的样子保持谦逊,这意味着我们必须接受很多可能性,所以很难得出确切的结论。我认为人工智能社会科学……人工智能革命的社会科学必须接受这样一个事实,即应该用问题来指导研究,而不是方法。我们得去找我们以为丢钥匙的地方,而不是灯光的地方。

罗伯特威布林:最近我听到一些人说,像这样的新的研究领域,pre-paradigmatic,他们使用的术语,那么早,我们甚至不知道如何去思考这些问题,需要一种特殊的人能够取得进展。做任何普通的研究,你都需要一定的勇气和创造力,你还需要相当多的智慧。但当你进入一个新的领域,一旦有人为你规划了空间并定义了如何找到这些问题的解决方案,你可能会比你自己或以后更需要这些。你同意这种观点吗?

艾伦·达福:我做的事。卡里克·弗林在人类未来研究所的人工智能治理中心工作,他将其描述为理研究这是一项挑战,即理清所有的线索和可能性,真正产生一个明确的研究议程和问题的清晰愿景。这似乎是我们研究的首要任务。然而,很难大规模地进行这项工作。我认为这就意味着人认为他们或他们可能会导致这种有版本控制的问题的性质,需要做什么样的工作,人们应该试着和应该试着表达他们如何发现问题和研究需要做些什么来减少不确定性。

然而,我确实认为,在这一点上,我们已经确定了足够容易处理的问题有正常的科学可以做,来自各个领域的研究人员,比如制度设计,比如公共选择,外交史,国际关系,传统构想以及国际关系的定量研究,有很多项目是为有才华、有动力的人准备的,我认为这些项目有足够明确的轮廓,人们可以开始着手。

罗伯特威布林:所以,你们都需要理清思路,然后找到解决问题的方法。

艾伦·达福:是的,还有很多工作要做。进入空间有很多兴趣,这真的很令人兴奋。I would just encourage people to perhaps not be frustrated if it’s hard for them to find their niche just yet and just read everything they can, talk to people, try to find some part of the problem that they can make a contribution on, and then get working at it.

罗伯特威布林:你是怎么进入这个领域的?我不认为这是你在本科甚至是在博士阶段所研究的。

艾伦·达福:实际上,不是在我的博士阶段,但这是我在本科阶段所研究的。

罗伯特威布林:哦,有趣。

艾伦·达福:我的意思是,我想我一直对计算机和人工智能感兴趣。我跟着卡斯帕罗夫和深蓝,看到的其实是雷·库兹韦尔的《精神机器的时代》,那是一本旧书,2001年出版,里面有一个非常引人注目的图表。这有点俗气,它涉及很多简化,但简而言之,它基本上显示了摩尔定律的作用,并无情地推断未来。然后,在第二个y轴上,它显示了机器的生物计算能力。它展示了一只蜻蜓,然后,我不知道,一个灵长类动物,然后是一个人类,然后是所有的人类。

现在,这种通信有很大的问题。关于为什么这样做不明智,我们可以说很多,但我认为它确实传达了一个趋势的可能推断是,你将在100年内拥有非常强大的计算机。谁知道这到底意味着什么,从什么意义上说,这是人类的水平还是什么,但事实是,这种趋势是在时间尺度上出现的,这对我来说是非常引人注目的。但当时,我认为Kurzweil关于极端先进的人工智能的社交动态预测是不可能实现的。这是非常乐观和乌托邦式的。实际上,我在整个本科阶段都在寻找一种研究这个的方法。我把课程。我教有关技术和社会的课程,我想过从事科学写作。

我在康奈尔大学开始了一个科学技术研究的博士项目,这听起来很模糊和笼统,我可以学习人工智能和人类,但事实证明,科学技术研究,尤其是在康奈尔大学,意味着更多的是一种社会建构主义的方法来研究科学技术。

事实上,我的硕士论文是关于技术决定论的,其中一个案例就是明治维新。在这里,日本基本上是在拒绝世界,并说,“我们希望德川政权按照我们的设想生活。”最终,世界介入了,准将佩里想通过美国进行煤炭贸易。这说明了一群人构建他们想要的世界的能力是如何受到限制的,在这种情况下,军事限制,军事竞争,更普遍的是,也受到经济竞争的限制。

好吧。不管怎样,我进入政治学是因为,事实上,我最初想研究人工智能的一些方面,我想看看人工智能对劳动的影响。然后,我被强权政治和强权和平与战争分散了注意力。它涉及到存在风险的维度,我不知道用什么词来形容,但这是我的一种强烈兴趣。这是战略性的,这很有趣。无论如何,这就是我的博士学位,以及与之相关的课题,以及我在耶鲁的早期职业生涯。

我应该说,在这段时间里,我仍然对人工智能着迷。在社交活动或与朋友聊天时,我经常会转向人工智能和人类的未来,并在谈话结束时说:“但别担心,我们还有时间,因为机器在围棋方面仍然不如人类。”对吧?这是一款定义明确的游戏。这是完美的信息,两个玩家,零和游戏。机器在围棋上打败不了我们的事实意味着在他们写出比我们更好的诗之前,在他们做出比我们更好的投资之前,在他们成为领导国家之前,我们还有一段时间。

在2016年,DeepMind公布了AlphaGo,围棋对我来说就像是煤矿里的金丝雀,在我的潜意识深处倾覆并死亡。这激发了我的灵感。我意识到,很长一段时间以来,我说过,在获得终身职位后,我将开始从事人工智能方面的工作。接着,我意识到我们不能再等了。我联系了人类未来研究所的尼克·博斯特罗姆,开始与他们对话和合作。这是令人兴奋的,有很多工作要做,从那以后我们一直很忙。

罗伯特威布林:Let’s talk now about some concrete advice that we can offer to listeners who are really interested in these topics, that they’re still listening to us, and they’re thinking, “I might want to work on this kind of research with my career.” My impression is that it’s been quite hard to get people working on this problem, or especially to train them up. Because as you were saying, there isn’t a great pipeline because it’s a new area, so we’re having to figure things out as we go along, and there aren’t enough people working in the area to have a lot of mentors, a lot of teachers who can explain all of this to everyone. Given those challenges, what can people do if they want to get into the field?

艾伦·达福:第一个建议就是阅读并让自己置身于对话中。网上也有一些作品,当然包括《超级智能》和尤多科夫斯基的作品,还有很多社区里的非正式出版物,涉及很多问题,但也有越来越多的工作和更多的学术工作开始出现。188bet金宝博官网网址所以,读到。看看东亚峰会和其他会议。参加活动的机会。

试着找出问题的一部分。研究领域是广阔的。如果你能找到你在其中具有比较优势的部分,它看起来很有趣,而且其他人也认为它对你的工作有帮助,那么就解决它,并将其反馈给社区。188bet金宝博官网网址这是一种非常有用的方法,可以让你对社区有更多的了解,并最终让你做好准备去做与最初工作相近的其他工作。188bet金宝博官网网址

好吧。第二,我想说,在学术界做很多这样的工作是可能的。我们只是还不知道具体是怎么回事。经济学家正越来越多地把与变革性人工智能相关的问题作为一个合理的研究主题,所以这对经济学家来说是好事。政治科学家们,我认为有很多方法可以将变革性人工智能的挑战定位为规范问题。

您只需要学习如何将AI占用AI作为双重使用技术的要素,或新兴技术的治理,或具有非常战略性的其他技术,或者看着合作的历史类似物,或国家或地区的领导地区的产业政策在先进技术。

在这样做的过程中,尽管没有很多教授积极研究变革性的人工智能,但我认为有很多人对它持同情态度,特别是如果你能把框架弄得足够正确,使它符合现有的学术词汇。就在牛津大学和耶鲁大学,让我印象深刻的是,我们可以找到很多富有同情心的教授,他们会指导那些能够正确构建框架的学生。

第三,我想说,我认为我们正在发现越来越多的教授,他们能够做指导,他们认真对待这些问题,他们能够成为指导,并且真正理解这个新领域的重要性并愿意支持它。

总之,它现在是一个挑战,以弄清楚你如何喂养。我认为我们越来越好了。我想在人类学院的未来和社区中更广泛地,我们为新人带来了更好的坡道,我们能够为不同的问题分配人才。188bet金宝博官网网址只是尽力而为。耐心耐心,只是继续阅读和思考,并尝试以某种方式进入社区,以便您可以确保您尽可能贡献。188bet金宝博官网网址

罗伯特威布林:那个入口是什么样的?有没有什么东西是人们不知道的?

艾伦·达福:入口在某种程度上看起来像是给某人发一封电子邮件。那可能是卡里克·弗林。如果它适合你的职业生涯,申请一个实习或长期职位在人类未来研究所或其他地方,当他们出现和职位出现。事实上,我认为,有很多传统的资金来源和职位,也与研究变革性人工智能兼容。

你可以从网络安全的角度来考虑……网络安全与网络领域的人工智能变革并不遥远,所以你可以朝这个方向发展。自主武器是另一个领域,考虑就业、福利国家、全民基本收入和不平等……在很多方面,你可能不想关注人工智能。你可能想要关注的问题领域,无论出于什么原因,你在人工智能将在近期或中期冲击方面具有比较优势。

罗伯特威布林:你认为当其他问题出现时,你就能转移到其他问题上,因为你有最相关的专业知识?

艾伦·达福:是啊,转学,或者你是这方面的专家。我的意思是,我们当然需要。再次回到劳动力置换,不平等,失业,这些都是巨大的社会挑战,我不认为我们会使这个领域饱和并解决这个问题。随着具有变革意义的人工智能真正出现,我们将需要这些专业知识与我们密切合作,并为思考如何重新设计社会契约、再分配体系、文化和自我价值感提供框架。在这样一个世界里,一个自由国家的未来可行的模式是什么呢?在这样一个世界里,要么人们不断被挤出工作岗位,需要重新接受培训,或者甚至只是很大一部分人口处于系统性失业状态?

罗伯特威布林:相当多的人发现进入这个领域很有挑战性,但我的印象是,随着时间的推移,进入这个领域可能会变得更容易,首先是因为这个领域会不断发展,培训人才、让他们扮演好角色的过程会变得更加成熟。但人们的兴趣也在迅速上升,因此我预计对了解这一话题的人的需求将超过实际的供应,因为我们在培训人才方面的能力非常有限。你认为那是对的吗?

艾伦·达福:我做的事。对,这是很好的第四点。我把以前的枚举数弄丢了。我认为人们对人工智能非常感兴趣,无论是行业方面、政府方面、慈善机构还是其他领域。虽然在某些方面,进入这个领域对传统学科或领域的人来说是一个冒险的举动,但在其他方面,这是一个安全的举动,因为对专业知识的需求非常大。

罗伯特威布林:We’ve spoken a lot about the questions and the problems and less about the solutions and answers this time, so I think hopefully we’ll get a chance to speak next year or the year after about how the research is going and what kinds of answers you’re getting. Do you generally feel like you’re making progress? Some listeners might think, ‘well this is all very important, but I just don’t really believe that we can answer these questions. It’s all going to be so speculative, and we don’t know what the world will look like in five or 10 or 20 years’ time when it becomes relevant, so maybe we shouldn’t bother even studying it at this point.’

艾伦·达福:是的。当然,研究未来是很难的。重要的是,我们要对自己的能力保持适当的科学谦虚,对未来充满信心。每当我们制定10年后的计划时,我们需要在模型的假设周围有很大的误差,等等。但我认为我们可以说一些富有成效的东西,就像你提到的。我们今天没有涉及到这些,但我们刚刚开始这项工作,我们已经看到了一些富有成效的贡献、见解和政策建议。

在我们准备分享和倡导它们之前,还需要做大量的工作,但迄今为止在这些方面缺乏进展并不是因为缺乏可驾驭性。这并不是说这些问题很难或难以解决,而是因为缺少时间。我们被拉向许多不同的方向,试图建立社区,在各种活动中发言,到目前为止,我们留给研究的时间还不足以开发所有这些想法。188bet金宝博官网网址仅仅根据还没有人写出来的想法的数量来判断这个领域的前景,但我们社区的人已经有了,我认为这是一个非常有前景的领域,需要更多的智力努力。188bet金宝博官网网址

罗伯特威布林:对于技术领域的研究,每年都有NIPS会议。现在有关于人工智能战略和政策的会议吗?

艾伦·达福:没有,再说一遍……

罗伯特威布林:也许这是听众可能有助于组织的东西。

艾伦·达福:绝对的。是的。我的意思是,有各种各样的事件聚集了这个社区的不同的子集,而且至少有一个事件即将发生,看起来可能是这个社区的核心事件。188bet金宝博官网网址但由于人工智能战略和治理涉及的问题如此之多,我的意思是,有一些事件。只是没有一个。我们刚从合伙回来AI成立大会在柏林,还有一系列问题,嗯,短期挑战,面对当今社会如何部署算法,代表我们的价值观和进步,而不是扭曲或者丧失了一些问题,关于安全关键系统的问题。这是这些对话的一个制度性工具。它有很多希望,但我们将看到它真正繁荣到什么程度。其他的只是到处冒出来。 OECD events, UN has a new center on AI and robotics. Governments are hosting conversations. There’s academic conferences of various kinds, and then those in the EA community.

罗伯特威布林:对于技术人工智能安全研究来说,人工智能安全的具体问题已经成为一篇权威论文,人们可以通过阅读来了解这个领域,了解它到底是什么样子的。现在有没有类似的关于人工智能政策的权威论文,以非常具体的方式列出问题,并使它们在学术上可信?

艾伦·达福:没有一篇论文。有一些关于人工智能政策的论文更多地关注近期挑战,我们或许可以把它们联系起来。然后,我们正在积极地写一篇论文,概述研究的前景,然后是问题的本质。我们经常使用治理的语言,治理问题,但你也可以从极端挑战的角度把它看作人工智能政策。我们正在写那些论文,在这篇文章播出的时候应该可以看到。如果没有,感兴趣的听众可以联系我们提前索取。

罗伯特威布林:我会试着在这篇博文中列出我们在本集中讨论过的所有内容的链接。如果在这一点上,它出来了,那么当它出来的时候,我会在博客文章中链接到它,如果没有,那就在它发布的时候。我可以问你很多具体的问题,比如在哪里工作或学习,在哪里……该领域的一系列问题,但实际上这些问题都在我们的人工智能政策职业指南中有很好的涵盖,人们可以去看一下。我想你已经读过了,并提出了一些建议

艾伦·达福:当然可以。

罗伯特威布林:我们不需要在这里重复这个话题。最后一个问题,如果你考虑招收一个博士生,你会寻找什么样的品质?人们能从自己身上找到什么不同寻常的东西来判断自己是否适合做这种研究吗?

艾伦·达福:我不知道他们和其他领域是否有区别。我认为最重要的特征是聪明,聪明,当然,这是一个多维的概念。有不同种类的智力和动力,无论是来自激情、信念还是职业道德。这是两个最重要的特征。然后,你可能会寻找一些比较优势方面的技能,但正如我提到的,研究的范围是如此之大,不太可能成为限制性的考虑因素。我认为,即使是那些可能没有最有用的背景的人,也可以在一年内重新组合,做出有用的贡献。

罗伯特威布林:因为我们在这里谈论了太多问题,而很少讨论解决方案,人们可能会带着一种悲观的观点离开。你对我们在未来50年或100年,或无论我们需要多长时间来解决这些问题的能力持乐观态度吗?

艾伦·达福:我认为我性格乐观,一个人可能需要在正确的精神状态下继续努力。从理性上讲,很难对克服这一挑战的难度形成自信信念。我希望人类能够克服这一挑战。在很多方面,这是对我们合作能力的最后考验,对我们建立制度的能力,对我们体现价值观的能力的考验。我认为我们经常认为当前的世界是理所当然的。我们认为世界就是这样,我们所接触的新闻有选择偏见。令人惊讶的是,很多人认为今天的世界比50年前或100年前更糟糕。

几乎每一个指标都来自史蒂文粉红色和其他人,很明显,世界变得更加和平,更自由,几乎每个公制都会更好,除了暴露于先进技术的存在风险。没有理由为什么我们不能继续这种趋势。我们这靠近真正克服了历史使我们所致的所有挑战和灾难,并且赌注是巨大的,这不仅是下行的缺点,而且上行是巨大的。可能来自高级AI和蓬勃发展的财富和科学和智力洞察力的数量是如此庞大,我认为如果我们能够保持这种观点,那么合作的收益是巨大的,而且合作失败的损失是如此vast, and that we’ve come so far as humanity.

今天,大多数感觉像一个国家的国家,在过去,它们不是一个国家。他们是交战的地区或交战的部落。我们有可能走到一起,建立一种忽视过去差异的身份。这是我们的最后一个障碍。我们能不能忽略不同视角、不同文化之间的差异,承认我们的共同利益?是的,我想我是有希望的,也许只是出于文学上的原因,叙事的节奏似乎要走向一个艰难但最终胜利的结局。我想我们可以做到。

罗伯特威布林:我今天的嘉宾是艾伦·达福。谢谢你来到80000小时播客,艾伦。188体育网站大全

艾伦·达福:谢谢。这很棒。

罗伯特威布林:8000188体育网站大全0小时播客由Keiran Harris制作。

谢谢你的参与,下周再见。

关于这个节目

80,0188体育网站大全00小时的播客在世界上最强调的问题以及如何使用您的职业生涯来解决它们来解决它们的异常深入对话。我们邀请顾客追求各种职业道路 - 从学者和活动家到企业家和政策制定者 - 分析在不同问题上工作的案例,并提供具体的帮助。

8000188体育网站大全0小时播客由Keiran Harris制作和编辑。通过电子邮件联系客人的反馈意见或建议(电子邮件保护)

通过搜索订阅188体育网站大全无论你在哪里获得播客,或点击下面的一个按钮:

如果你是新手,看看118博金宝 想知道从哪里开始,或浏览我们的完整的集存档