2003年,美国选择入侵伊拉克。现在大多数人都认为这个决定存在严重缺陷,造成数万亿美元的损失和数千人的生命。

到底哪里出了问题,这是一个有争议的问题。往好了说,决策过程严重缺乏严密性,往坏了说,决策过程存在严重偏见。

政府证明了入侵的合理性,因为情报机构声称“极有可能”伊拉克拥有大规模杀伤性武器(WMD)——但这个声明是模棱两可的。188bet金宝博官网网址政策制定者认为这表明了近乎100%的确定性,并据此做出了决定。1但是,“极有可能”也很容易被解释为80%个确定性,或70%个——具有非常不同的实际含义。那些参与的人并没有真正思考相关的概率,或者考虑这些估计是多么的错误,或者它们的含义是什么。

其他人则认为美国已经决定侵犯伊拉克,这一决定影响了智力收集- 不是另一边。这是一个特别极端的例子是所谓的动机推理- 以支持一个结论的方式倾向于支持一个结论的方式愿意是真实的。

入侵的呼声取决于几个关键人物的主观印象——后来证明是错误的主观印象,是由动机复杂的人做出的。

如果你能帮助防止类似的错误在将来发生呢?

当我们想到在世界上做好事时,我们通常会想到解决特定的问题,并且做得比现有的机构和组织更好。但你也可以用另一种方式改善世界:让关键机构和决策者更容易解决问题。这可能包括帮助人们避免常见的思维错误,更好地评估专业知识,或做出更准确的预测。这也可能意味着要想办法改变大公司的激励机制,让他们更容易完成所有这些事情。

这种方法的一个优点是,如果成功的话,它可以使人类更好地解决许多不同的问题——包括那些我们甚至还没有注意到的问题。

在本简介中,我们将介绍一些不同的方法,通过改进决策,帮助重要机构产生更大的积极影响。

获得自由,一对一的职业建议

我们帮助数百人在他们的选择,获得介绍和长期未来的工作之间进行比较。了解我们的教练是否可以帮助您:

阅读更多

总结

政府和其他重要机构经常必须根据少数人的判决呼唤做出复杂的,高赌注的决定。

我们有理由相信,人类的判断可能在很多方面存在缺陷,但通过使用更系统的流程和技术,可以大幅改进。提高重要机构的决策质量可以提高我们解决几乎所有其他问题的能力。它还可以帮助社会识别“未知的未知”——我们甚至还没有想到的问题——并缓解所有问题的能力全球灾难性风险,我们相信这是非常重要的。

很少有人明确试图改善重要机构的决定,这表明额外的工作可能是特别有价值的。

如果您对开发改进决策的新方法所需的那种研究,这似乎是一个非常有前途的选择,或者如果您在有影响力的机构中工作并测试我们已经了解的内容并测试了我们已经知道的内容。如果您目前不确定最紧迫的问题,这也是一个很好的选择,因为改进的决策可以应用于几乎任何区域。

我们的总体看法

受到推崇的

这是努力的最紧迫的问题之一。

规模Read more.">

我们认为,改善机构决策的工作有可能产生巨大的积极影响,可能导致政府更有效地分配资源,在一些世界最紧迫的问题上取得更快的进展,并通过更好的情报减少冲突或全球灾难的风险如果制度决策接近最优,未来的预期价值将增加0.1%至1%。

忽视Read more.">

这个问题是适度忽视的。目前的支出未知。根据你的统计方式,全职工作了〜100-1,000人。大量的研究人员和咨询公司致力于提高决策,但相对较少的专注于强大地测试最有前途的技术,或在最高杠杆区域实施经过验证的策略。

可加工Read more.">

在改善制度决策方面取得进展似乎比较容易处理。已经有一些技术,我们有强有力的证据可以改善决策,过去的记录表明,更多的研究资金直接用于这个领域的最好的研究人员,可以很快产生额外的见解。然而,目前还不清楚在关键机构实施改进的决策实践有多容易,这第二步可能是一个巨大的挑战。我们预计,在优化机构决策方面加倍努力,将使我们取得大约1%的成果。

剖面深度

探索性

这是我们写的许多个人简介之一,帮助人们找到他们在职业生涯中能够解决的最紧迫的问题。了解更多关于我们如何比较不同的问题,看看我们如何尝试数值为他们打分,看看118金宝搏高手论坛 到目前为止,我们已经考虑过了。

这个问题是什么?

我们解决世界上问题的能力很大程度上依赖于我们做出高质量决策的能力。我们需要能够识别哪些问题需要解决,了解哪些因素导致了这些问题,预测我们的哪些行动会有预期的结果,并对反馈做出反应,改变我们的想法。

我们有足够的理由认为,我们的决策能力目前还不够完美,因为过去几十年的心理学研究已经记录了大量影响判断和决策的认知偏差。

例如,当我们试图判断我们的成功机会时,我们对我们的案件与平均水平不同的所有原因微不足道:尽管大多数初创公司失败了,但大多数潜在的企业家都被说服得很令人信服他们将是成功的不寻常案例。2

我们也常常对自己的预测过于自信3.- 有人认为,无理的信心有助于爆炸空间穿梭挑战者,例如,美国宇航局估计了工程师表达的安全问题。4

世界上许多最重要的问题都极其复杂,需要了解复杂的相互关联的系统,有能力预测不同行动的结果,并平衡相互竞争的考虑因素。这意味着判断失误的空间越来越大。即使是政治预测方面的专家十比简单更糟糕保险精算的预测,当估算未来5年的事件的概率时。5最适合解决世界上最重要问题的组织往往也是高度官僚主义的,这意味着决策者面临许多约束和相互竞争的动机,并不总是与更好的决策相一致。

我们认为,提高企业的决策能力关键机构可能是特别关键的,因为我们面临的风险是社会的迅速增长。

随着核武器、自主武器、生物工程和人工智能技术的发展,我们的破坏力正在迅速增强。战争、恶意行为、甚至意外事故造成的危机可能夺去数十亿人甚至更多的生命。6

It’s not clear that individual decision-making, or the structure of key institutions, has evolved at anything near the pace needed to manage these potential crises – our institutions and decision-making processes look pretty similar to those that failed in the first and second world wars, and yet the worst-case scenarios they need to mitigate are several orders of magnitude larger.

但也有一些好消息。研究开始集中在提高人类判断和决策能力的技术上。研究人员正在研究如何做到这一点提高我们预测未来的能力,如何更好地进行概率思考,以及如何以更结构化的方式思考复杂问题。

似乎是发展和应用改善人类判断和决策的策略可能是非常有价值的 - 特别是如果专注于在特别重要的问题上工作的机构,并结合对这些机构如何运作的彻底了解。

为什么要研究这个问题?

改进决策可以帮助我们解决几乎所有其他问题

税收很无聊。所以在英国,大多数人都会因为没有注意到英国政府的时候而被原谅。行为洞察小组(BIT)开始在2010年进行一些简单的随机对照试验(rct),以增加税收偿还额。但这些简单的试验却产生了巨大的影响——政府在短短一年内带来了超过2.1亿英镑的额外收入。7

这一首次试验有助于双边投资协定制定更多基于证据的政策——现在,随机对照试验正在被用于提高所有政策领域的决策质量。在第一次税收试点的7年之后,BIT在所有政策领域(包括犯罪预防、捐赠和社会行动以及反极端主义)开展了300多项随机对照试验。8

这是一个很好的例子,说明改进判断和决策如何提高我们解决几乎所有其他问题的能力。如果我们能够改善政府官员面对高风险决策的判断——降低他们对各种偏见的敏感性,或者开发更好的汇集专业知识的方法——这将在众多领域产生积极的连锁反应。比如,它可以提高我们避免核危机等威胁的能力,也可以帮助我们将稀缺资源分配给教育和医疗领域最有效的干预措施。

决策的改进可能会影响到广泛的重要问题,这意味着如果你不确定哪些问题是最重要的,这是一个特别好的方法。

有几种方法可以在改进决策方面取得进展

好判断公司在参与者竞争预测未来的情况下运行预测竞赛。

迄今为止的研究已经取得了一些进展,确定了可靠地改进判断和决策的技术,至少在有良好证据的情况下,人们似乎越来越有兴趣在实践中实施这些技术。

Philip Tetlock在预测上的工作,9例如,已经确定了一些方法来提高对真实世界事件的预测的准确性,这些方法已经在大规模随机对照试验中得到了验证。另一个关于预测市场的研究项目表明,让人们对自己的预测“下注”,可以提高政治预测、企业预测和统计天气预测的准确性。10

(顺便提一下我们采访了Tetlock.关于他的研究,什么时候应该信任专家,以及他在播客上为致力于改善机构决策的人们提供的职业建议。)

随着这些效果的证据越来越确凿,使它们切实实施似乎是可以实现的——例如,情报部门已经对预测技术产生了兴趣。188bet金宝博官网网址11这里有一个承诺的下一步是拍摄我们在更具体的上下文中拥有稳健的证据,并在更具体的背景下运行更小规模的飞行员(即,政府的具体组织或部分)

例如,人们的判断可能会过度自信,导致错误的决定——我们已经看到,对伊拉克拥有大规模杀伤性武器不合理的信心产生了巨大的后果。这里的部分问题是人们的身体状况不是很好校准我们的大脑似乎对它的意思没有很好的直觉,所以说,“有70%的可能性”,结果,我们以70%的信心做出的陈述,在70%的时间里是正确的。

但有证据表明,通过培训提高人们的校准能力是有可能的。哈伯德决策研究培训了超过1000人的校准,发现80%的参与者在五次练习后理想地校准。12

这里更多的研究 - 特别是较大规模的RCT,以及看校准训练对现实世界判断的影响(而不是琐事问题) - 可以帮助加强在实践中实施这些技术的情况。

其他可能有希望的技术包括结构化分析方法(SATs)13为了减少判断上的偏差Delphi方法14为了聚合不同的观点 - 我们稍后更详细地讨论这些和其他有前途的方法。

这方面的工作相对被忽视了

在广义上“改进决策”的工作并没有完全被忽视。在工业界和学术界都有很多人在尝试不同的技术来改进决策。的英国政府在管理咨询上花了很多钱15例如,在所有主要大学,包括心理学、经济学、商学、市场营销学和政治学,都有研究人员在研究与决策相关的问题。16然而,似乎很少有工作专注于严格测试不同的技术,以获得强有力的有效性证据,或将最可靠的技术在最有影响力的机构中付诸实践。

例如,已经有大量的工作测试和使用“场景分析”技术,成千上万的论文讨论了通过考虑更广泛的可能场景来纠正过度自信的各种方法。但直到2005年,才有人发表了一项实验,测试情景分析是否能提高预测的准确性——结果证明,并没有。17这说明了如何没有良好的证据对不同技术的有效性,可能浪费了很多关于“改善决策”的善意的努力。

改善决策似乎也比试图“改善系统”的其他方式(如教育)更容易被忽视这项工作更有效.人们经常争辩参与教育,或某些政治改革,因为我们在这里给出的类似原因:因为这些事情会帮助我们更好地解决各种问题。

例如,美国政府将约4.6%的GDP用于教育(8000亿美元),18在赠送美食美国教育的一项调查中,美国教育占支出的15%,仅由医疗保健殴打。19相比之下,没有政府资金或慈善活动的来源明确地以我们讨论过的方式改善机构决策过程。相比之下,尽管人工智能在21世纪具有潜在的重要性,但我们只能确定少数人正在研究预测其发展速度和可能影响的系统方法(我们)采访了其中一个研究人员在我们的播客)。

更重要的是,我们有理由认为,直接关注机构可能是改善决策的更有效方式,而不是通过广泛的方法来改善教育,因为它针对的是已经有很大影响力的少数人,更关注机构的过程。

值得考虑到目前为止,为什么这项工作没有收到很多关注,以及是否有充分理由忽视。一个这样的原因可能是如果它真的难以获得大型机构来采用新的做法 - 我们讨论了下一节中的一些这些潜在障碍。此外,需要严格测试技术所需的大规模控制试验可能是昂贵且耗时的。

然而,也有可能这种工作被忽视,仅仅是因为没有很多人有动力去做——也许大多数学者并不认为这种研究在智力上有回报。这表明,如果你处于有利的位置,并且有动力去做这项工作,那么这样做可能会特别有影响力。

反对这一紧迫性的主要论点是什么?

在实践中很难得到改变

也许这一领域的主要关注点是,目前尚不清楚它在实践中实施更好的决策策略是多么容易 - 特别是在官僚机构中,以及激励措施没有准确。

通常很难让小组在短期要求培训,资源和变化中实施昂贵的练习,以及从现状 - 并且只有承诺长期或抽象利益。例如,在实践中实现的预测市场存在一些抵抗力,因为运行的预测市场具有“真正的钱”,可能是一种非法形式的赌博(即使您可以解决此问题,它也在法律上复杂。20.

然而,如果我们能找到方法向决策者表明技术将帮助他们实现目标,这些问题可能是可以克服的他们关心的。

例如,当行为洞察团队想要表明使用RCT可以提高政策决策的质量时,他们最初专注于一个相对容易地表明改善政府关心的储蓄的地区。

正如我们所看到的,BIT的第一个项目向政府表明,他们可以显著增加纳税人数,为政府节省数亿英镑。21一旦他们证明了他们在这一领域的方法的有效性,他们就能够进入更复杂的政策领域,结果更难衡量,但其影响可能更大,比如教育。22

认识到在实践中取得改变的困难可能也意味着,对思考这个问题的人们来说,深入了解团体和机构的运作有多重要,以及他们面临的激励和障碍的种类,是特别有价值的。克服官僚主义的障碍以实现更好的决策似乎比开发更好的技术更为重要。这是我们计划在未来更多地探索的东西,通过与更多的专家讨论最有效的方法来改变或解决有影响力的决策者在实践中面临的各种限制。

您可能希望在更具体的问题上工作

假设你认为气候变化是当今世界最重要的问题。你可能会认为,我们未能有效应对气候变化的很大一部分原因是,人们倾向于致力于具体的、短期的问题,而不是那些更有可能影响后代的问题。所以你可以考虑研究如何克服这种偏见,希望你可以让重要的机构更有可能解决气候变化问题。

然而,如果你认为与其他问题相比,气候变化的威胁尤其紧迫,那么这可能不是你改变现状的最佳方式——即使你发现了一些有用的方法,可以减少对眼前问题的偏见,可能很难以直接影响气候变化的方式实施这一计划。

相反,将您的气候变化努力更能直接集中,例如为智库进行研究,这些坦克将研究融入最有效的碳排放方式。

决策等广泛干预的优势在于,它们可以应用于广泛的问题。在这一领域工作的缺点是,可能更难将精力集中在某一特定问题上。因此,如果您认为某个特定问题比其他问题更紧迫,并且您有机会更直接地解决该问题,那么这样做可能更有效。

也许有更好的方法来提高我们解决世界问题的能力

在这一领域工作的最大争论之一是,如果你能提高人们在处理重要问题时的生产力或判断力,那么就能提高他们解决这些问题的效率。

但你可能会认为,有更好的方法来提高解决世界上最重要问题的速度和效率。

例如,可能是解决世界问题的最大瓶颈并不是糟糕的决策,而是缺乏信息 - 人们可能不会致力于世界上最大的问题,因为他们缺乏关于这些问题的重要信息。如果他们没有那种信息,更合理不会帮助他们。

还有很多工作要做118博金宝那个真网 可能属于这一类别 - 让人们更好地了解不同原因,干预和职业的有效性。

你能在这个领域做什么?

我们可以将这方面的工作分为几大类:

  1. 更严格测试现有技术看起来很有希望
  2. 做更多基本的研究确定新技术
  3. 培养领养高冲击区域中最佳经过验证的技术
  4. 指导更多资金针对以上所有

所有这些领域似乎都很紧迫,而且似乎都有立即取得进展的空间(例如,我们已经知道了足够多的信息,可以开始尝试实施更好的技术,但更有力的证据将使采用更容易。)这意味着关注哪一个领域将在很大程度上取决于您的个人适合度和机会–我们将在下面详细讨论每一个方面:

1.更严格地测试似乎有前途的现有技术

泰特洛克教授的研究发现,能够导致准确得多的预测的思维方式,他在《超级预测》(Superforecasting)一书中详细阐述了这一点。

这里的想法是,采用看似有前途,但尚未经过严格测试的技术,试图获得更有力的证据,以证明它们在哪里以及是否有效。属于这一类的一些技术或研究领域:

  • 校准培训–提高概率判断的准确性–有合理数量的证据表明其有效。然而,大多数校准培训侧重于琐事问题——测试这是否真的提高了现实世界场景中的判断能力是有希望的,并有助于使这些技术得到更广泛的应用。

  • 结构化分析方法(SAT)是为减少智力分析中的认知偏差而开发的一系列技术。SAT示例包括检查关键假设和质疑共识观点。这些似乎是基于对心理学文献的理解,但很少有人经过严格测试(即,与对照组一起,观察对准确性的影响)。选择其中一些看起来最有希望的技术,并尝试测试哪些技术在改善现实世界判断方面确实有效,这可能是有用的。23尝试直接互相支持一些这些技术并比较他们的成功水平可能特别有趣/有用。

  • 汇总专家判断的方法,包括Roger Cooke's结构化专家判断的古典模型,根据判断的准确性和信息量给不同的判断打分,然后用这些分数把它们组合起来,24Delphi方法,通过使用多次迭代来组建共识的方法,通过多次迭代来收集来自不同组成员的数据。

实际上,这可能意味着尝试在行为科学/研究实验室获得一个职位,对这类问题和研究感兴趣(这很可能需要获得心理学或相关行为科学领域的博士学位)。我们知道的一些实验室和研究人员,他们的研究兴趣似乎在这一领域:

也可能有一些非学术组织资助并有兴趣对已知决策技术进行更严格的测试:

  • IARPA.他可能是该领域目前最大的研究资助者,特别是专注于改善高层决策。
  • 以行为科学为重点的咨询公司,比如行为洞察小组,也可能有资金和兴趣进行此类研究。这些组织通常专注于改进许多小决策,而不是改进一些非常重要决策的质量,但他们可能会对后者做一些工作(例如,如上所述,BIT不仅关注小的“推动”,还关注通过促进RCT的使用来提高高层决策的质量。)26

2.做更多基础研究以确定新技术

你也可以尝试做更多的基础研究;开发新技术和方法,以改善判断和决策,然后测试它们。如果您不认为现有技术非常好,这更紧迫。

这个领域的一个公开问题的一个例子是:当我们没有问题的答案时,我们如何判断“良好的推理”?(即,当我们不能只是根据他们是否导致我们所知道的准确预测或答案来判断答案/贡献。)27与这个问题有关的当前研究计划的两个例子是IARPA的众包证据、论证、思考和评估(创建)程序和菲利普特雷克使谈话更聪明,更快(MCSF)项目,因此您可以尝试参与这些项目的其中一个团队。

上述CREATE计划资助的项目的一个例子是贝叶斯争论通过德尔福这是加州大学学院、伯克贝克大学和蒙纳士大学之间的合作。BARD使用因果贝叶斯网络和自动德尔菲分析来帮助分析员小组开发、改进和展示他们的分析。请注意,该项目中有相当多的软件开发组件,这表明改进决策的一部分可能不仅包括开发心理技术,还包括开发可以帮助决策的软件和工具。

如果您是可以为此提供资金的研究人员,或者如果您正在考虑在与相关领域的学术上工作,您也可以独立地致力于独立的项目。研究人员蒙鸦伦敦大学学院, 和伯克贝克上面提到的是我们知道的一些,但可能还有很多其他的。

第一节所列之学术机构。(测试现有技术)如果你对开发新的决策技术感兴趣,也可能是很有前途的工作场所。

3.培养在高冲击区域中采用最佳验证的技术

Fivethirtyeight.com网站已经推广了数据驱动的预测方法。

或者,您可以更多地关注于实施那些我们目前认为最有可能改进集体决策的技术(如Tetlock对预测的研究、预测市场或校准培训)。28如果您认为某个特定问题特别重要,那么您可能更愿意关注技术的实现(而不是开发新的技术),因为这更容易针对特定领域。

如上所述,“培养采用”的很大一部分可能首先需要更好地理解不同团队在重要问题上的实际限制和激励,以便理解哪些变化可能是可行的。出于这个原因,在以下列出的任何组织或小组中工作,以更好地理解他们面临的障碍,可能是有价值的,即使你不希望处于一个位置,以立即改变决策实践。

如果将重点放在控制大量资源的组织或处理重要问题的组织上,这些努力可能会产生特别大的影响。如果您想这样做,以下是一些可能有助于工作的特定地点的示例:

  • 任何主要的政府,可能尤其在以下领域:(1)情报/国家安全和外交政策;(2)政府在技术政策方面的部分工作政府科学处例如,在英国,或者科学和技术政策局在美国),(3)发展政策(英国国际发展部在英国,你说在美国),或(4)防御国防部在美国,国防部(我们即将对其中一些途径进行职业评估)政府的许多部门现在也在招聘“行为科学”专家,29如果你符合条件,那可能是一个不错的选择(通常意味着心理学或相关学科的硕士/博士学位,理想情况下还有一些政策经验。)
  • 将大量资金用于解决重要世界问题的组织,如基金会或赠款机构。例如盖茨基金会,或者是开放慈善项目.另请参阅我们的个人资料作为工作基金会授予制剂
  • 智库和学术机构关注的是关于人类长期未来的问题,这需要对投机性的长期情景做出判断,比如人文研究所的未来在牛津和存在风险研究中心在剑桥。

您还可以作为顾问,尝试在一系列组织中测试和实施改进的决策技巧。在一些特定的组织中,您可能能够做到这一点,或至少积累相关经验,包括:

  • 在专业的“行为科学”咨询中工作,如行为洞察小组Ideas42.该领域一些成功的学者也成立了规模较小的咨询公司,例如哈伯德决策研究(在校准培训方面有广泛的工作)。30
  • 良好的判断力是一个建立在Tetlock成功的预测研究项目基础上的组织,该组织现在为个人和组织提供培训,应用这些发现改进预测。
  • 超词该组织专注于更广泛地采用预测市场。
  • 进入更一般的咨询公司,目的是尝试专门从事行为科学或决策 - 查看我们的个人资料管理咨询更多细节。

最后,你还可以尝试并倡导在政府和组织中采用更好的做法,或者更广泛地改进决策——如果你认为你可以获得这样做的良好平台的话——作为一名记者、演讲者,或者作为这一领域的学术工作者。

茱莉亚Galef是遵循这条道路的人的一个很好的例子。茱莉亚曾是一名自由撰稿记者应用理性中心她是播客节目的联合主持人理性地讲(她今天仍然运行),并开始了YouTube Channel.她现在正在写一本关于跑步时提高自己判断力的书更新项目它的重点是帮助决策者改善他们的世界模型,更有效地解决分歧。更广泛地说,她的目标是建立一个知识界,由来自不同领域的有影响力的人组成,他们真诚地寻求真理,以富有成效的188bet金宝博官网网址方式解决分歧。你可以通过检查了解茱莉亚的职业道路我们在这里采访她

4.将更多资金指导在该领域进行研究

所有上述领域的一个挑战是,可能难以获得所涉及的工作和研究的资金。因此,在这一领域的另一种方法可能是在链中向后移动一步,并试图在所有上述领域的工作中指导更多的资金:开发,测试和实施更好的决策策略。

我们所知道的主要位置似乎特别感兴趣地指导更多资金来改善决策研究是IARPA.在美国。31成为IARPA的节目经理,如果您是一个很好的契合,并对能够做更多资金的研究领域具有思考,因此是一个非常有前途的机会。也有一些机会开放慈善项目可能会投入更多的时间/资金探索该领域(他们以前资助了一些菲利普特雷克州的预测工作)。否则你可以尝试和在其他大型基金会工作令人兴趣提供资金的科学研究,在那里可能会在这一领域直接资金的空间。

如果你在上面列出的任何一家组织工作,你也可能会尝试争取更多的资金用于测试和实施改进的决策实践,即使你自己没有能力做这项工作。

如果你没有相关的背景来自己做研究或实施更好的实践,但你认为这很重要,而且你正在(或认为你可以努力)在一个重要组织中担任一个有影响力的职位,然后你就可以分配更多的资金用于改善你工作的决策实践(例如,通过资助测试,雇佣能够做这项工作的人)。如果你能够做到这一点,那么这将比在像IARPA这样的地方工作产生更大的影响,因为在那里,似乎已经有很多动力为这些问题提供资金了。

我们目前不认为这方面有许多巨大的直接捐赠机会,因此这可能不是产生影响的最佳方式 - 至少不是对相对较小的捐助者。如果您是一个更大的捐助者,您可能会考虑资助学者,以便在1和2分,甚至试图建立一个组织以进行和/或更多这种研究。

下一个步骤

了解更多信息:

采取行动:

  • 考虑在行为/决策科学中获得一个博士学位以上的小组之一。看看你是否可以找到一个主管和/或资金,允许你对现有技术进行大量的试验,或者研究新的策略来改进决策。
  • 如果你已经有相关的背景(如博士或政策经验),试着在政府(或一个类似的有影响力的组织)工作,在那里你可以直接实施更好的实践,或将资源用于其他人可以做这项工作。

获得自由,一对一的职业建议

我们帮助数百人在他们的选择,获得介绍和长期未来的工作之间进行比较。了解我们的教练是否可以帮助您:

阅读更多

笔记和引用

  1. “情报界表示,伊拉克极有可能存在大规188bet金宝博官网网址模杀伤性武器计划——布什总统等决策者将这些声明解释为100%确定。”Chang等人(2016年)。发展专家政治判断:培训和实践对地缘政治预测比赛判断准确性的影响判断和决策,11,5

  2. Moore, D., Oesch, J., Zietsma, C.(2007)。什么竞争?近视自我焦点在市场入场决策中组织科学.18日,3,pp.440 - 454

  3. 摩尔,D.A.,坦尼,E.R.,和哈兰,U.(2015)。Overprecision审判威利·布莱克威尔判断和决策手册,182-209。“我们回顾了一些关于信念过度精确的证据。这些证据来自实验室和现场,来自专业人士和新手,其后果从琐碎到悲惨。这些证据表明个人的判断过于精确,他们太确信自己知道真相。”

  4. “我认为,真正发生的事情在大型官僚机构中是典型的,在任何大型机构中,坦率地说,你试图在工作中成为英雄。NASA从一开始就有两个反对的理由,其中一个就是他们太成功了。他们得到了。到目前为止,已经有25年的时间了,而且从未在进入太空时失去过一个人,而进入太空被认为是一件非常危险的事情。他们在阿波罗13号到达月球的半路上救起了飞船,当时飞船的一部分爆炸了。这似乎是一个不可能完成的任务,但他们做到了。这会让你有一点本不该有的傲慢。而且牵涉到一大笔钱。但他们还没有跌倒,他们只是继续前进。所以你必须引用"证明它会失败"没人能做到"挑战者号航天飞机:过度自信会阻碍决策吗?

  5. 在政治预测方面,泰特洛克(2005)要求专业人士从1988年的角度估计未来5年事件的概率。南非会以非暴力方式结束种族隔离制度吗?戈尔巴乔夫会在政变中被赶下台吗?美国会在波斯湾发动战争吗?专家们常常很难击败简单的精算模型,甚至是机会基线(参见Green和Armstrong, 2007)。”李志刚,李志刚,等(2015)。情报分析的心理学:世界政治预测准确性的驱动因素《实验心理学杂志》:应用.21,1,pp / 1-14

  6. 特别是,核武器的发展意味着我们现在有能力杀死数百万或甚至数十亿的决定。

  7. 行为洞察税务审判赢得公务员奖

  8. 2015-16的行为见解团队更新报告

  9. Tetlock的书,Superforecasting概述从中学到的教训好的判断项目,人们不同的人员对真实赛事的预测,随机对照试验用于识别一些最有效的预测方法。最准确的2%的预测因素被称为“超级罪名者”。当SuperforeCers一起被分组成球队时,据说他们的预测比专业智能分析师的预测更准确,可以访问分类信息。

  10. 阿罗,K.J.等(2008)。预测市场的承诺.科学杂志。

  11. 良好的判断项目和TETLOCK的其他关于预测研究的研究是由智力高级研究项目活动(IARPA)的资助综合估计(ACE)计划

  12. 哈伯德,D.,Seiersen,R.和Geer,D。(2016)。如何衡量网络安全风险

  13. (A Tradecraft Primer: Structured Analytic Techniques for Improving Intelligence Analysis) (http://www.analysis.org/structured-analytic-techniques.pdf)。由美国政府准备

  14. 赫尔默·赫施伯格,奥拉夫。分析未来:Delphi方法.加利福尼亚州圣塔莫尼卡:兰德公司,1967年。

  15. 虽然管理咨询公司通常在“商业战略”(改善一个组织的战略、结构、管理和运营)方面有很多经验,但他们通常不擅长人类判断的错误和偏见,也不擅长找到克服这些错误和偏见的方法。https://www.theguardian.com/careers/what-does-management-consultant-do

  16. 这项研究倾向于开发人类决策更准确的描述性描述,而在社会科学研究中,侧重于如何改进判断的规定性描述相对较少(尽管这种情况正在逐渐改变)“如果我们想影响企业和政府,我们必须分享有用的建议。然而,其他社会科学领域的大多数研究人员只提供描述性研究……在20世纪70年代末,作为一名研究生,我接受了描述性的培训,处方是给顾问的,而不是给认真的研究人员的。”Bazerman,M.(2005)。进行有影响力的研究:对规范性含义的需要管理评论学会, 30, 1,页25-31

  17. 在政界和商界,情景演练被推崇为对教条主义和过度自信的矫正。到这本书的这一点,这种纠正的必要性不应成为问题。但情景实验表明,情景练习并不是万灵药。事实上,这些实验让我们有理由担心,这样的练习往往不能使倾向于封闭思想的刺猬敞开心扉,却能使已经倾向于开放思想的狐狸迷惑不解——使狐狸迷惑得如此之多,以至于它们的开放思想开始迷惑
    看起来像轻信。”Tetlock,P.E.(2017)。专家政治判断:它有多好?我们怎么能知道?.普林斯顿大学出版社。第7章。

  18. 资料来源:https://data.oecd.org/eduresource/public-spending-on-education.htm#indicator-图表

  19. 资料来源:http://blog.givewell.org/2012/05/08/what-large-scale-philanthropy-focuses-on-today/

  20. https://www.quora.com/Are-prediction-markets-an-illegal-form-of-gambling

  21. 仅在2013年,BIT的税单提示信的改进建议是预计将带来2.1亿英镑的税收收入

  22. 为家长、老师和学校领导提供的实用指南

  23. 现有测试不同SAT有效性的最大项目是创建程序由美国IARPA资助。

  24. http://rogermcooke.net/rogermcooke_files/cross%20validation%20sej%20ress.pdf.

  25. http://www.tandfonline.com/doi/abs/10.1080/08850607.2016.1230706?src=recsys&journalcode=ujic20

  26. 这些组织目前主要关注于使用行为科学来“推动”人们或为公共政策干预提供信息——而不是实际告知公共政策中的决策制定方式——但人们对后者的兴趣很可能越来越大。

  27. 决策者必须做出的许多最重要的决策都不是有明确、客观答案的问题,我们目前也没有很好的方法来判断这些案例中推理的质量。对此的有效解决方案似乎会产生很大的影响,但我们目前不知道这是否可行他们看起来像。

  28. 注意此处有一些重叠与点1.上面 - 更严格地测试现有技术 - 自从部分需要采用的一部分,以为人们提供他们工作的证据!因此,在更加“适用”的组织中,令人兴趣的是严格评估的组织可能会提供有机会为现有技术获得更好的证据,并让他们实施。

  29. 除了行为洞察小组谁在政府部门工作(英国和英国和美国),在英国的许多政府部门(包括教育部运输部,而且情报机构),在白宫

  30. 值得注意的是,尽管许多咨询公司主要与企业客户合作,所以这可能不是立竿见底的最佳机会——但这可能是在不同环境下测试改进的决策策略的好方法,从中我们可以了解如何将这些技术应用到更重要的领域。

  31. 例如,IARPA是许多预测研究的主要资助者,并且过去和公开的许多项目都集中在这一领域,包括高手保险丝锋利的, 和osi.