我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:六合图库 > 多态逻辑 >

自我改善人工智能中自我指导推理的问题

归档日期:05-11       文本归类:多态逻辑      文章编辑:爱尚语录

  在涉及人工智能时,经常会出现关于什么构成“安全”和“不安全”行为的争论。作为拉玛纳库马尔,在AGI安全研究员DeepMind,笔记,术语是主观的,“只能相对于AI系统的使用者和受益者的值来定义。”

  幸运的是,在面对与创建安全AI代理相关的技术问题时,这些问题大多可以回避,因为这些问题与识别正确或道德适当的问题无关。相反,从技术角度来看,术语“安全”最好定义为一种AI代理,它始终采取导致预期结果的行动,而不管这些预期结果如何。

  在这方面,Kumar解释说,当涉及到创建一个负责改进自身的AI代理时,“构建安全代理的技术问题在很大程度上独立于安全意味着什么,因为问题的很大一部分是如何建立一个能够可靠地做某事的代理人,无论那是什么东西,以这种方式继续工作,即使所考虑的代理人越来越有能力。“

  简而言之,制作一个“安全”的AI代理商不应该与制定“道德”AI代理商混为一谈。各自的条款都在讨论不同的事情。

  一般而言,回避道德的安全定义使得AI技术工作变得更加容易它允许研究在道德问题的辩论演变的同时推进。例如,优步的自动驾驶汽车已经上街,尽管我们尚未就是否应该保护驾驶员或行人的框架达成一致。

  然而,当涉及到创建一个能够自我改进的强大而安全的AI系统时,技术工作变得更加困难,并且该领域的研究仍处于最新生阶段。这主要是因为我们不只处理一个 AI代理; 我们正在处理几代未来的自我改善代理人。

  库马尔澄清说,“当AI代理人自我提升时,可以将情况视为涉及两个代理人:种子或父母代理人和父母自我修改的子代理人......及其总数对世界的影响将包括其后代所采取的行动的影响。“因此,为了知道我们已经建立了一个安全的AI代理人,我们需要了解可能来自第一个代理人的所有可能的子代理人。

  并且验证所有未来AI代理商的安全性归结为解决称为“ 自我引用推理 ” 的问题。

  通过根据其两个主要组成部分定义术语,最容易理解自引用推理的问题:自引用和推理。

  自我引用:指某人(或某些东西,如计算机程序或书籍)引用自身的实例。任何提到自己的人或事物都被称为“自我指涉”。

  推理:在人工智能系统中,推理是一个过程,通过这个过程,代理人建立关于世界的“信念”,例如特定行为是否安全或特定推理系统是否合理。“良好的信念”是基于现有证据的合理或可信的信念。使用术语“信念”而不是“知识”,因为代理人认为的事物可能不是事实真实的并且可能随着时间而改变。

  因此,与AI相关,术语“自引用推理”指的是使用推理过程来建立关于同一推理过程的信念的代理。因此,当涉及到自我改进时,“自引用问题”如下:代理使用自己的推理系统来确定其推理系统的未来版本是否安全。

  为了以另一种方式解释问题,Kumar指出,如果AI代理人创建了一个儿童代理来帮助它实现目标,那么在使用它之前,它会想要建立一些关于孩子安全的信念。这必然涉及通过辩论孩子的推理过程是好的来证明对孩子的信念。然而,孩子的推理过程可能与原始代理人的推理过程相似甚至延伸。最终,AI系统无法使用自己的推理来确定其推理是否良好。

  从技术角度来看,问题归结为Godel的第二个不完备性定理,Kumar解释说,“这表明没有足够强大的证明系统可以证明其自身的一致性,因此代理人很难证明他们的继承者已被证明是安全的行为是事实上,安全。“

  迄今为止,已经提出了针对该问题的若干部分解决方案; 但是,我们目前的软件没有足够的自我参照推理支持,使解决方案易于实施和研究。因此,为了提高我们对实施自我推理推理的挑战的理解,Kumar和他的团队旨在使用已经提出的一些部分解决方案来实现AI代理的玩具模型。

  具体而言,他们研究了在具体环境(特别是Botworld)中实施自我参考问题的一种特定方法的可行性,其中可以检查所有细节。选择的方法是模型多态性。模型多态性不需要证明操作对所有未来用例都是安全的,而是仅需要对从证明系统中抽象出来的任意数量的步骤(或后续操作)证明是安全的。

  Kumar指出,总体目标最终是“了解理论与工作实现之间的差距,并加深对模型多态性方法的理解。”这可以通过在HOL中创建一个证明定理来实现(更高阶描述情况的逻辑)定理证明者。

  为了简化这一点,实质上,定理证明是计算机程序,它们有助于数学正确性证明的发展。这些数学正确性证明是该领域中最高的安全标准,表明计算机系统总是为任何给定的输入产生正确的输出(或响应)。定理证明通过使用形式化的数学方法来证明或反驳系统底层控制算法的“正确性”,从而创建了这样的证明。特别是HOL定理证明是一系列交互式定理证明系统,有助于高阶逻辑理论的构建 。高阶逻辑支持对函数,集合,集合等的量化,比其他逻辑更具表现力,允许用户以高抽象级别编写正式语句。

  回想起来,库马尔说,试图在HOL定理证明器中证明关于自我反思的多个步骤的定理是一项艰巨的任务。尽管如此,他断言,在解决自我指涉问题时,团队向前迈进了几步,并指出他们建立了“许多必要的基础设施,并更好地了解了如何证明它以及它需要什么。将基于模型多态性构建原型代理。“

  Kumar补充说,MIRI(机器智能研究所)的逻辑电感器也可以提供令人满意的正式自引用推理版本,从而为自引用问题提供解决方案。

  免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。

  Amnon Shashua博士93讨论了麻省理工学院访问中与自动驾驶汽车相关的挑战

  对于Verge读者来说翻新的Google Pixel 3s和Pixel 3 XL比以往任何时候都便宜

本文链接:http://lcvam.com/duotailuoji/349.html