英伟达(NVDA.US)推出“护栏”软件以防止AI模型失控-世界头条
发布日期: 2023-04-26 14:54:20 来源: 智通财经


(资料图片仅供参考)

英伟达(NVDA.US)的强大芯片为人工智能(AI)的繁荣奠定了基础。然而,随着ChatGPT等生成式AI的出现,越来越多用户在享受便利的同时发现,AI模型有时会出现“幻觉”,即说出错误的事实、涉及有害的话题或导致安全风险。智通财经APP获悉,为了解决这一问题,英伟达在周二发布了一款名为NeMo Guardrails的新软件,该软件能够为AI模型设置安全“护栏”,避免AI输出一些不良的内容。

资料显示,NeMo Guardrails是一个软件层,位于用户和AI模型之间,可以在模型输出不良内容之前进行拦截和修改。例如,如果用户需要一个针对特定方向的AI,就可以利用该软件来限制AI至输出对应方面的内容,而不谈论不相关的话题。

此外,该软件还能够利用一个AI模型检测另一个AI模型,如果两个模型输出的答案不一致,软件将直接输出“我不知道”的回答。通过这种方式,人工智能“胡说八道”的情况会得到有效降低,一些可能存在危险的回复也能够被直接拦截。

英伟达应用研究副总裁Jonathan Cohen表示:“每个人都意识到生成式大语言模型的力量,以一种安全可靠的方式部署它们非常重要。”英伟达将NeMo Guardrails作为开源软件提供,并将持续对其进行更新。

关键词:

推荐内容