Created
Aug 16, 2024 12:36 AM
Favorite
Favorite
Priority
备注
推荐
类型
Prompt EngineeringPrompt是用户向模型提供的输入，用于引导模型生成特定类型、主题或格式的文本输出。这种输入可以是一个问题、一个描述、一组关键词或上下文信息，它告诉模型用户希望得到的输出类型和内容。
Prompt提示工程（Prompt Engineering）涉及到如何设计、优化和管理这些Prompt，以确保AI模型能够准确、高效地执行用户的指令。
Prompt Engineering
一、Prompt（提示词）
为什么需要Prompt？大语言模型（LLM）本身已具备极高的性能与复杂性，但还有很大潜力需要挖掘。Prompt如同钥匙一般，能够精确引导模型生成特定需求的输出。调整Prompt，实际上就是在改变我们与模型交流的语言和方式，这种变化往往能带来出乎意料的输出效果差异。更重要的是，这一过程无需微调模型修改参数，只需在外部灵活调整提示词输入。
Prompt
Prompt的核心要素包括：明确的任务指示、相关上下文、示例参考、用户输入以及具体的输出要求。
- 指示（Instructions）：想要模型执行的特定任务或指令。
- 上下文（Context）：包含外部信息或额外的上下文信息，引导语言模型更好地响应。
- 例子（Examples）：通过给出具体示例来展示期望的输出格式或风格。
- 输入（Input）：用户输入的内容或问题。
- 输出（Output）：指定输出的类型或格式。
二、In-context Learning（上下文学习）
什么是In-contxt Learning？In-context learning，即上下文学习，是一种机器学习方法，它利用文本、语音、图像等数据的上下文环境以及数据之间的关系和上下文信息来提高预测和分类的准确性和有效性。
In-context learning的优势在于它不需要对模型进行微调（fine-tuning），从而节省了大量的计算资源和时间。
In-context Learning
在GPT-3中，In-context learning表现为模型能够在给定的任务示例或自然语言指令的上下文中，理解任务要求并生成相应的输出。具体来说，In-context learning可以分为以下几种情况：
- Zero-shot Learning：不给GPT任何样例，仅通过自然语言指令来指导模型完成任务。
- One-shot Learning：给GPT一个任务示例，模型根据这个示例来理解任务并生成输出。
- Few-shot Learning：给GPT多个任务示例，模型通过这些示例来更好地理解任务并生成输出。
In-context Learning
三、Chain-of-Thought（思维链）
什么是Chain-of-Thought？Chain-of-Thought（思维链，简称CoT）是一种改进的提示技术，旨在提升大型语言模型（LLMs）在复杂推理任务上的表现。
Chain-of-Thought要求模型在输出最终答案之前，先展示一系列有逻辑关系的思考步骤或想法，这些步骤相互连接，形成了一个完整的思考过程。
Chain-of-ThoughtChain-of-Thought的概念最早是在2022年由Google发布的论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》中提出的。该论文展示了如何通过思维链提示（chain-of-thought prompting）来引导大型语言模型生成类似人类思维过程的推理链条，从而提升模型在复杂推理任务上的性能。Chain-of-Thought可以通过两种主要方式实现：Zero-Shot CoT和Few-Shot CoT。
Chain-of-Thought
- Zero-Shot CoT：在没有示例的情况下，仅仅在指令中添加一行经典的“Let’s think step by step”，就可以激发大模型的推理能力，生成一个回答问题的思维链。
Zero-Shot CoT
- Few-Shot CoT：通过提供几个包含问题、推理过程与答案的示例，让模型学会如何逐步分解问题并进行推理。这种方式需要少量的示例来引导模型，但通常能够获得更好的效果。
Few-Shot CoT
神经网络架构21
神经网络架构 · 目录
上一篇一文彻底搞懂大模型 - Agent（智能体）