大型語言模型可以編碼關于世界的大量語義知識，這些知識對于機器人來說非常有用，它們的目標是執行用自然語言表達的GJ、臨時擴展的指令，然而，大語言模型在機器人操作上的應用還存在如下問題：

1)語言模型的一個重要弱點是缺乏現實世界的經驗。

2)難在給定的實現中利用它們進行決策制定。

3)大語言模型不以物理世界為基礎，不會觀測到他們產生的結果對任何物理過程的影響。

1、研究方法

通過預訓練技能來提供真實世界的基礎，這些技能用于約束模型，以提出既可行又適合上下文的自然語言動作。機器人可以充當語言模型的“手和眼睛”，而語言模型則提供有關任務的GJ語義知識。展示了如何將低J技能與大型語言模型相結合，以便語言模型提供有關執行復雜和臨時擴展指令的過程的GJ知識，而與這些技能相關的價值函數提供將這些知識連接到特定物理環境所必需的基礎。

2、研究結論

本文提出了SayCan，一種能夠利用和鞏固大型語言模型中豐富的知識來完成具體化任務的方法。對于現實世界的基礎，使用基于RL的價值函數來提供世界上可能存在的個體技能，并使用文本標簽作為這些技能的潛在響應，由語言模型進行評分。本文在許多現實世界的機器人任務中評估了這種方法，這些任務涉及一個移動機械手機器人在真實的廚房中完成大量的長期自然語言指令。 所提出框架的一個限制是LLM只能通過所選技能接收來自環境的反饋，通過成功檢測器、場景描述、直接視覺反饋或視覺語言模型可能進一步提G模型的準確率。