• 演講時間: 112年10月18日（三） 14:00~16:00
• 演講地點: E6-A207教室
• 演講者: 馬偉雲 副研究員 （中央研究院資訊科學研究所）
• 演講主題: 外掛式語言模型：利用一個簡單的迴歸模型控制文本生成
• 演講大網: 大型預訓練語言模型（LLMs）在海量數據的訓練中展示出無與倫比的能力， 已經能夠生成與人類極為相似的文本。然而，在不進行微調或增加額外參數的條 件下生成符合特定條件的文本，仍然是一個具有挑戰性的任務。 目前避免修改語言模型的策略，主要使用 prompts 或外加的分類器。這些分類器被開發用於決定或預測生成的 token 是否有助於達成所需目標。這些方法通過利用所需屬性的預測分數計算梯度，從而在推理階段改變下一個 token 的輸出分佈。然而，這些分類器模型通常需要使用語言模型的潛在狀態為輸入，這阻礙 了使用許多現成的黑盒模型或工具。 為了克服這些限制，我們提出了外掛式語言模型（PiLM）作為解決方案。 PiLM 利用強化學習直接使用黑盒工具協助調整潛在狀態來達成控制文本生成。同時我們訓練一個簡單的回歸模型取代反向傳播梯度這一緩慢的過程，使 PiLM 幾 乎不會增加生成文本所需時間成本。通過在三種控制生成任務上的驗證，我們的 方法展示出優於現有的基於梯度更新、加權解碼或使用 prompts 的方法的成果。

請研究所一年級的同學當天準時聽講