The Power of Scale for Parameter-Efficient Prompt Tuning
ruatishi
软提示向量 具体是什么
《The Power of Scale for Parameter-Efficient Prompt Tuning》中增加的部分是“软提示(soft prompts)”,这是一种针对特定下游任务,添加到输入文本中的可调参数序列。它与传统离散文本提示不同,通过反向传播学习得到,能够融入来自多个标记示例的信息,从而引导冻结的预训练语言模型完成特定任务。
- 软提示在文本分类任务中的应用:在文本分类任务中,软提示被添加到输入文本之前。假设要对影评进行情感分类(积极或消极),传统方法可能会直接将影评文本输入模型。而在使用软提示的情况下