大型語言模型（LLM）被證明擁有豐富的可操作知識，可以以推理和計劃的形式提取用于機器人操作。盡管取得了進展，但大多數仍然依靠預定義的運動基元來執行與環境的物理交互，這仍然是一個主要瓶頸。

在這項工作中，研究的目標是合成機器人軌跡，即密集的6-DoF末端執行器航點序列，用于給定開放指令集和開放對象集的各種操作任務。LLM擅長推斷自由形式的語言教學的提供和約束來實現這一點。更重要的是，通過利用他們的代碼編寫能力，可以與視覺語言模型（VLM）交互，以組合3D價值圖，將知識置于代理的觀察空間中。然后將組合的值圖用于基于模型的計劃框架中，以零鏡頭合成閉環機器人軌跡，并具有對動態擾動的魯棒性。

給定環境的RGB-D觀察和語言指令，LLM生成與VLM交互的代碼，以生成一系列基于機器人觀察空間的3D提供圖和約束圖（統稱為值圖）（a）組合的值圖用作運動規劃器的目標函數，以合成機器人操作的軌跡（b）整個過程不涉及任何額外的訓練。

展示了所提出的框架如何通過有效地學習涉及接觸豐富交互場景的動態模型來在線測試。在模擬和真實機器人環境中對所提出的方法進行了大規模研究，展示了以自由形式的自然語言執行30多種日常操作任務的能力。

估計物理特性：給定兩個未知質量的塊，機器人的任務是使用可用的工具進行物理實驗，以確定哪個塊更重。

行為常識推理：在機器人設置桌子的任務中，用戶可以指定行為偏好，例如“我是左撇子”，這需要機器人在任務的上下文中理解其含義。

細粒度語言校正：對于需要G精度的任務，例如“用蓋子蓋住茶壺”，用戶可以向機器人發出準確的指令，例如“您離開了1cm”。

多步可視化程序：給定一個任務“將抽屜準確地打開一半”，由于對象模型不可用，信息不足，機器人可以根據視覺反饋提出多步驟操作策略，先在記錄手柄位移的同時完全打開抽屜，然后將其關閉回中點以滿足要求。