NVIDIA 宣布推出 NeMo Guardrails，这是一款开源软件，可防止ChatGPT等生成式 AI失去理智。制造商的想法是建立一系列指南，以保证应用程序的精确性和安全性。为此，他们将提供一组工具，允许您将规则添加到由广泛的语言模型 (LLM) 驱动的应用程序，例如 GPT-4。
据制造商称，该软件由社区创建的套件组成，例如 LangChain。这些包含易于使用的模板和模式，因此开发人员将能够定义所需的用户操作。这要归功于栏杆 ( guardrails )，这是一组规则，用于监控和规定人们可以与 ChatGPT 等应用程序进行的交互。
NeMo Guardrails 允许您设置限制，包括避免偏离主题的答案、限制不安全的连接或防止恶意代码运行。这些栏杆分为三个级别：
- 外用栏杆。它们可以防止应用程序误入不需要的区域。例如，他们阻止客户服务聊天机器人回答有关天气的问题。
- 安全栏杆。它们确保应用程序以准确和适当的信息响应。他们可以过滤掉不需要的语言并强制只引用可靠的来源
- 护栏。他们限制应用程序仅与已知安全的外部第三方应用程序建立连接。
据 NVIDIA 称，该软件易于使用，任何开发人员都可以在他们的聊天机器人中实施模板。这些规则仅用几行代码创建，适用于任何使用 Python 库的应用程序。
在 NVIDIA 的帮助下，ChatGPT 和其他 AI 将变得更加可靠
安全措施旨在解决我们在 AI 驱动的聊天机器人中看到的主要问题之一。护栏将确保交互不包含虚假信息、不适当的内容或有毒的反应。事实证明，ChatGPT 倾向于捏造信息并将其作为事实呈现，或者在 Bing 的情况下，在多次查询后会生气。
NeMo Guardrails 基于 Colang，这是 NVIDIA 为对话式 AI 开发的一种语言。栏杆放置在用户和应用程序 (ChatGPT) 之间，监控通信并应用措施，以便模型保持在已建立的域中。根据制造商的说法，这些栏杆就像是定义高速公路宽度并防止车辆转弯的限制。
所有这三个类别都在不同级别运作。例如，主题栏杆让您保持主题，并在话题偏离主题时重定向对话。安全栏杆不仅可以确保充分或可靠的响应，还可以防止人类规避规则和获取未经授权的信息，就像我们在 Bing 早期看到的那样。
最后，护栏旨在保护系统免受外部攻击。此类别可防止 LLM 模型执行恶意代码或进行未经授权的应用程序调用。此类别将是最重要的类别之一，因为随着该技术的采用增加，针对 AI 的网络攻击将变得更加复杂。
NVIDIA 透露，NeMo Guardrails 将在 GitHub 以及 NVIDIA AI Enterprise 平台上提供。该软件是开源的，将得到社区的支持以继续其开发。
