一位计算机科学家为我们解释了当ChatGPT和其他人工智能的内部工作被隐藏时，意味着什么。

对一些人来说，“黑匣子”这个词会让人想起飞机上的记录设备，如果发生不可思议的事情，这些设备对事后分析很有价值。而对另一些人来说，它会让人联想到设备最少的小剧院。但是，黑盒子在人工智能领域也是一个重要的术语。

人工智能（AI）黑盒指的是内部工作原理对用户不可见的AI系统。你可以向它们提供输入并获得输出，但是你不能检查产生输出的系统代码或逻辑。

机器学习是人工智能的主要分支。它是ChatGPT和Dell - e2等生成式人工智能系统的基础。机器学习有三个组成部分：一个算法或一组算法、训练数据和模型。算法是一组程序，在机器学习中，算法在接受大量示例（训练数据）的训练后学会识别模式。一旦机器学习算法被训练，结果就是一个机器学习模型。模型就是人们使用的东西。

例如，可以设计机器学习算法来识别图像中的模式，训练数据可以是狗的图像。由此产生的机器学习模型将是一个“狗观察员”。你可以给它一个图像作为输入，并获得图像中一组像素是否以及在哪里代表一只狗作为输出。

机器学习系统的三个组成部分中的任何一个都可以隐藏起来，或者放在一个黑盒子里。通常情况下，算法是公开的，这使得把它放在黑盒里不太有效。因此，为了保护他们的知识产权，人工智能开发者经常把模型放在一个黑盒子里。软件开发人员采用的另一种方法是模糊用于训练模型的数据 —— 换句话说，把训练数据放在一个黑盒子里。

黑盒算法让我们很难理解人工智能是如何工作的，但情况并不是非黑即白的。

黑盒子的反面有时被称为玻璃盒子。人工智能玻璃盒是一个算法、训练数据和模型都可供任何人查看的系统。但研究人员有时也会将它们的某些方面定性为黑匣子。

这是因为研究人员并不完全了解机器学习算法，尤其是深度学习算法是如何运作的。可解释的人工智能领域正在努力开发算法，虽然不一定是玻璃盒子，但人类可以更好地理解这些算法。

为什么人工智能黑匣子很重要

在许多情况下，我们有充分的理由对黑盒子机器学习算法和模型保持警惕。假设一个机器学习模型已经对你的健康做出了诊断。你想要这个模型是黑盒子还是玻璃盒子？医生给你开的疗程怎么样？也许她想知道模型是如何做出决定的。

如果一个决定你是否有资格从银行获得商业贷款的机器学习模型拒绝了你，该怎么办？你不想知道为什么吗？如果你这样做了，你可以更有效地上诉决定，或者改变你的情况，以增加你下次获得贷款的机会。

黑盒对于软件系统安全也有重要的含义。多年来，计算机领域的许多人认为，将软件保存在黑盒中可以防止黑客检查它，因此它会是安全的。这种假设在很大程度上被证明是错误的，因为黑客可以对软件进行逆向工程 —— 也就是说，通过密切观察软件的工作原理来构建一个副本 —— 并发现可利用的漏洞。

如果软件是在一个玻璃盒子里，那么软件测试人员和善意的黑客就可以检查它，并将弱点告知创建者，从而将网络攻击降至最低。