NeMo Guardrails 是一個軟件層，位于用戶和 AI 模型之間，可以在模型輸出不良內(nèi)容之前進行攔截和修改。例如，如果開發(fā)者想要創(chuàng)建一個客服聊天機器人，可以使用 NeMo Guardrails 來限制它只能談論相關(guān)的產(chǎn)品，而不能談論競爭對手的產(chǎn)品或其他不相關(guān)的話題。如果用戶提出這樣的問題，機器人可以引導對話回到開發(fā)者希望的話題上。

　　英偉達還提供了另一個例子，一個用于回答內(nèi)部企業(yè)人力資源問題的聊天機器人。在這個例子中，英偉達能夠使用 NeMo Guardrails 來阻止基于 ChatGPT 的機器人回答關(guān)于公司財務狀況的問題或訪問其他員工的私人數(shù)據(jù)。

　　此外，該軟件還能夠利用一個 AI 模型來檢測另一個 AI 模型的“幻覺”，通過向第二個 AI 模型提問來核實第一個 AI 模型的答案。如果兩個模型給出不一致的答案，那么軟件就會返回“我不知道”的回答。

　　英偉達還表示，這個“護欄”軟件還有助于提高安全性，可以強制 AI 模型只與白名單列表中的第三方軟件進行交互。

　　NeMo Guardrails 是開源的，并通過英偉達服務提供，可以用于商業(yè)應用，開發(fā)者將使用 Golang 編程語言來為 AI 模型編寫自定義規(guī)則。

　　據(jù)搜索了解，包括谷歌和微軟支持的 OpenAI 等其他 AI 公司，也使用了一種稱為強化學習的方法來防止 LLM 應用產(chǎn)生有害的輸出。這種方法使用人類測試者來創(chuàng)建關(guān)于哪些答案是可接受或不可接受的數(shù)據(jù)，然后使用這些數(shù)據(jù)來訓練 AI 模型。

　　英偉達正在將其注意力轉(zhuǎn)向 AI 領(lǐng)域，該公司目前占據(jù)了創(chuàng)建這項技術(shù)所需芯片的市場主導地位，其股價在 2023 年迄今為止上漲了 85%，成為標準普爾 500 指數(shù)中漲幅最大的股票。