为什么我们需要AI透明度？

虽然虽然越老越多的企业组织在使用AI技术,但许多企业对它的工作方式尚无清晰的了解。本文中,我们探讨了AI缺乏透明性的利弊。

当基于规则的软件编程不再能够解决计算世界想要解决的问题时,现代AI诞生了。我们不可能对程序必须测量的所有条件进行编码,因此计算专家设计了模仿人类思维方式的机器,从而使AI能够通过观察数据自行学习。这种称为神经网络的方法催生了AI技术,例如人脸识别程序、癌症检测算法和自动驾驶汽车。

但是神经网络带有一个折衷之处:我们无法理解系统的工作方式,AI模型缺乏透明度。这种现象被称为黑匣子AI,事实证明这是个问题,而且可能是严重的问题。

黑盒AI的权衡

AI通常以准确性百分比来衡量,即系统在多大程度上能够给出正确答案。根据手头的任务,所需的最低精度可能会有所不同,但是即使是99%的精度也不能成为AI值的唯一度量。我们还必须考虑到AI的主要缺点,尤其是在将AI应用于商业中时:具有近乎完美准确性的AI模型也可能会出现问题。

随着模型准确性的提高,人工智能解释其得出某个答案的原因的能力下降,这使企业必须面对的一个问题是:缺乏模型的AI透明度,因此,我们人类无法信任其结果。因为,我们可能完全不知道到最终算法底会进化成什么样,是否会造成严重的后果,一切皆有可能。

黑盒问题在AI技术的早期阶段可以接受,但是当发现算法偏差时就失去了它的优点。例如,经过开发的AI可以根据种族对丧失工作能力的人进行分类,而用于银行业务AI根据性别筛选不合格贷款申请者。 AI接受训练的数据并不平衡,无法包含各种人的足够数据,人类决策中存在的历史偏见也传递到了AI算法模型中。

AI还表明,近乎完美的模型仍可能犯下令人震惊的错误。精度为99%的AI模型可能会为剩余的1%产生误差,例如将停车标志分类为限速标志。犹如,千万人级别人口的大城市,1%的数量也不容小觑。

尽管这是错误分类或数据量不足的一些最极端情况,但它们仍然突显了AI算法存在缺陷的可能性。人工智能遵循一种模式来得出答案,其神奇之处在于,它在超越人力的情况下表现出色。出于相同的原因,模式中的异常更改使模型容易受到攻击,这也是我们需要AI透明度的原因,我们需要知道AI如何得出结论。

特别是,当使用AI进行关键决策时,必须了解算法的推理过程与逻辑关系。旨在检测癌症的AI模型(即使错误率仅为1%)也可能威胁生命。在这种情况下,人工智能和人类需要一起协同工作,并且当人工智能模型可以解释其如何达成某个决定时,任务将变得更加容易。 AI的透明度使其成为团队合作者。

从法律的角度来看,有时透明是必要的步骤。

数据分析行业思想领导者Piyanka Jain说:“一些受监管的行业,例如银行,都将模型的可解释性作为在模型投入生产之前获得合规和法律批准的必要步骤。”

其他案例涉及GDPR或《加利福尼亚消费者隐私法》,其中AI处理私人信息。AI软件公司 Stradigi AI首席科学官兼联合创始人Carolina Bessega说:“ GDPR的一个方面是,当使用个人私人数据的算法做出决定时,人类有权提出该决定背后的原因。”

看来AI透明性有很多好处,但是为什么所有的算法都不透明?

人工智能透明度不足

就像可以解释如何实现某个决策的算法一样,它也可以按比例变得更容易被黑客入侵。

通过了解AI的推理,黑客将可以更轻松地欺骗算法。 “在欺诈检测中不鼓励AI透明,” Jain解释说。 “我们希望更少的人知道我们如何抓到欺诈行为-网络安全方面也是如此。总的来说,当我们试图使用AI来抓捕坏人时,我们希望更少的人知道潜在的逻辑,而AI很适合那。”

AI透明度的另一个问题是专有算法的保护,因为研究人员已证明,仅通过查看其解释即可盗窃整个算法。

最后,透明算法更难设计,至少暂时而言,它们只能应用于更简单的模型。如果必须要具有透明度,那么它可能会迫使企业和组织使用不太复杂的算法。

如何达到平衡

与其他任何计算机程序一样,人工智能需要优化。为此,我们要查看特定问题的特定需求,然后调整通用模型以最适合这些需求。

实施AI时,组织必须注意以下四个因素:

法律需求:如果工作需要从法律和法规的角度进行解释,那么除了提供透明度之外别无选择。为此,组织可能必须诉诸更简单但可解释的算法。

严重程度:如果要在生命攸关的任务中使用AI,则必须做到透明。这样的任务很可能不仅仅依赖于AI,因此拥有推理机制可以改善与操作员的团队合作。如果AI影响某人的生活,例如用于工作应用程序的算法,则同样适用。

另一方面,如果AI的任务不是很关键,那么不透明的模型就足够了。考虑一种算法,该算法建议下一个潜在客户接触具有数千个潜在客户的数据库,交叉检查AI的决定根本不值得。

访问权限:根据谁可以访问AI模型,组织可能希望保护算法免受不必要的影响。如果可解释性可以帮助专家得出更好的结论,那么即使在网络安全领域,它也可以是很好的。但是,如果局外人可以访问同一资源并了解该算法的工作原理,则最好使用不透明的模型。

数据集:无论何种情况,组织都必须始终努力拥有最好来自尽可能多的来源的多样化且平衡的数据集。最终,我们将尽可能多地依赖于AI,并且AI仅像训练过的数据一样智能。通过清理训练数据,消除噪声并平衡输入,我们可以帮助减少偏差并提高模型的准确性。(编译/蒙光伟)