學習自然語言規則之所以在實踐中如此有效,其原因(以及何時有效)實際上在於了解意圖和偏好。 核心規範通常最容易用英語描述。但大量的邊緣案例和故障模式通常最容易(也最自然地)透過範例或回饋以分散的方式表達。 但我們該如何將這些轉化為政策呢?對於低層次的機械或運動技能,梯度更新幾乎無可匹敵。而對於高層次的操控或湧現/潛在需求,快速學習則幾乎無可匹敵。 這就是為什麼在人工智慧軟體中,你需要這三者:自然語言簽名、數據驅動的評估/回饋和符號組合,才能完整地*指定*你的系統。 然後,你需要這三者:快速優化、梯度更新和推理時縮放,以最大限度地*調整*你的系統。
如果你認為人工智慧軟體中的學習就是擬合資料集,那麼這種細微差別就完全被忽略了。單憑評估結果(或單憑程序本身)會大大低估問題的嚴重性。