Prompt Engeering | X·myLog

password

URL

type

status

date

slug

summary

Prompt 设计模式

1. 零样本提示Zero-Shot prompt

零样本提示（Zero-Shot prompt），指在人工智能模型进行任务时，没有向模型展示如何完成该任务的具体例子，而是直接要求模型根据其自身的能力去理解和执行任务。例如：

2. 少样本提示Few-Shot prompt

模型在零样本（zero-shot）设置下已经展现出了显著的能力，但在处理更复杂的任务时仍然存在不足。为了改善这一点，可以采用少样本提示（few-shot prompting），以实现上下文学习。在这种方法中，我们在提示中提供示例（demonstrations），以引导模型达到更好的性能。

下面是一个来自论文Language Models are Few-Shot Learners例子，展示了如何使用少次提示来引导模型正确使用新词汇。

Prompt：

首先，给出了一个虚构的单词 "whatpu"，并提供了一个使用该词的句子示例。接着，又给出了另一个虚构的单词 "farduddle"，并要求模型根据给定的示例，构造一个使用该词的句子。

"whatpu" 被描述为一种小型、毛茸茸的动物，原产于坦桑尼亚。使用该词的一个句子示例是："我们正在非洲旅行，看到了这些非常可爱的whatpus。"

"farduddle" 被定义为快速上下跳跃的动作。要求模型使用这个词构造一个句子。

输出：

通过这种方式，模型能够通过观察示例学习如何使用这些新词汇，并在没有额外指导的情况下生成正确的句子。这展示了少次提示如何帮助模型在复杂任务中表现出色，尤其是在需要理解和生成语言的情境中。对于更困难的任务，可以尝试增加示例的数量（例如3-shot、5-shot、10-shot等），以提高模型的性能。

Min等人在2022年的研究论文《Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?》表明，在设计少量样本提示时，考虑标签的准确性、输入文本的代表性以及格式的一致性的重要性。通过精心设计的示例，可以显著提高大型语言模型在特定任务上的表现。

3. 思维链Chain-of-Thought

标准的少量样本提示（few-shot prompting）在很多任务上表现良好，但并不是完美的技术，特别是在处理更复杂的推理任务时。

由Wei等人在2022年《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》论文中提出链式思考（Chain-of-Thought, CoT）提示方法，通过中间推理步骤使得模型具备了复杂的推理能力。你可以将CoT与少量样本提示（few-shot prompting）结合起来，在需要先进行推理再回应的更复杂的任务上获得更好的结果。

思维链分为零样本思维链和小样本思维链两种。零样本思维链，简单地添加 “Let’s think step by step”。小样本思维链可以使大型语言模型更容易跟随预设的指示并得到更好的答案。

零样本思维链示例，在ChatGPT平台输入：

输出：

少样本思维链示例，在ChatGPT平台输入：

输出：

4. 自洽性(Self-Consistency)

在提示工程（prompt engineering）中，自我一致性（self-consistency）是一个较为先进的技术。由Wang等人在2022年在《Self-Consistency Improves Chain of Thought Reasoning in Language Models》中提出的，该方法会为问题生成多条不同的推理路径，并对生成的答案进行众数投票。这种方法在复杂推理任务中表现出了显著的能力，但由于需要推理多次来采样多条推理链，所以可能会消耗很多的时间和资源。

三个步骤：

使用链式思考（Chain-of-thought, CoT）提示语言模型：首先，通过链式思考的方式提示语言模型。这意味着提供给模型一个明确的问题，并要求它逐步展示其思考过程，就像人类解决问题时会逐步推理一样。

替换CoT提示中的“贪婪解码”：在传统的链式思考提示中，模型可能会直接给出一个答案，这被称为“贪婪解码”。为了生成多样化的推理路径，这里建议用从语言模型的解码器中采样的方法来替代贪婪解码，这样可以产生多种不同的推理路径。

边缘化推理路径并聚合最终答案：最后一步是将不同的推理路径边缘化，并通过选择最终答案集中最一致的答案来聚合结果。这意味着在所有生成的答案中，选择出现频率最高或最一致的答案作为最终输出。

Janet的鸭子每天下16个蛋，她每天早上吃3个，为朋友烤4个松饼，剩下的以每个2美元的价格出售。通过计算，她每天通过卖蛋能赚14美元。

论文中给出自洽策略在多个流行基准测试中显著提升了链式思考提示的性能，具体提升百分比为GSM8K（+17.9%）、SVAMP（+11.0%）、AQuA（+12.2%）、StrategyQA（+6.4%）和ARC-challenge（+3.9%）。

这段内容是一个表格，其中包含了两个问题及其不同的回答方式。表格的标题是“Table 4: Examples where self-consistency helps repair the errors over greedy decode, on PaLM-540B. Two sampled reasoning paths that are consistent with the ground truth are shown.” 这句话的意思是：“表4：在PaLM-540B模型上，自我一致性帮助修复了贪婪解码的错误。这里展示了两个与真实情况一致的推理路径样本。”

表格中的第一个问题是关于Henry的自行车旅行，他总共骑行了60英里，第一次停下来是在20英里后，第二次停下来是在旅行结束前15英里。问题是问他在第一次和第二次停下来之间骑行了多少英里。表格中给出了三种不同的回答：

Greedy Decode（贪婪解码）：错误地计算了总距离减去第一次停下来的距离，得出40英里。

Sampled Path 1（样本路径1）：正确地计算了总距离减去第一次停下来的距离再减去第二次停下来前的距离，得出25英里。

Sampled Path 2（样本路径2）：也正确地计算了第二次停下来的位置，然后减去第一次停下来的位置，得出25英里。

第二个问题是关于美国哪个Albany（奥尔巴尼）人口最多。问题是：“Albany, Georgia（乔治亚州奥尔巴尼）是美国人口最多的Albany吗？”表格中给出了两种回答：

Greedy Decode（贪婪解码）：错误地回答“是”。

Sampled Path 1（样本路径1）和Sampled Path 2（样本路径2）：正确地回答“不是”，因为纽约州的Albany人口更多。

这个表格展示了在处理问题时，自我一致性如何帮助修正贪婪解码中的错误，并提供了与真实情况一致的推理路径。

5. 思维树（Tree-of-Thoughts, ToT）

相比一般的CoT方法采样一条推理路径，ToT(Tree-of-Thoughts)允许语言模型同时考虑多种不同的推理路径，通过对推理过程进行自我评估，以及在必要时进行前瞻或回溯以做出全局选择。相关论文：

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

具体的，分为下面四个阶段：

问题分解 (Thought Decomposition)

根据问题的特点，将问题分解成多个中间步骤。每个步骤可以是短语、算式或写作计划，这取决于问题的性质。

推理过程生成 (Thought Generation)

假设解决问题需要k个步骤，有两种方法生成推理内容：

独立采样：对于每个状态，模型会独立地从CoT提示中完整抽取k个推理内容，不依赖于其他的推理内容。

顺序生成：顺序地使用“提示”来逐步引导推理内容生成，每个推理内容都可能依赖于前一个推理内容。

启发式评估 (Heuristic Evaluation)

使用启发式方法评估每个生成的推理内容对问题解决的贡献，这种自我评估基于语言模型的自我反馈，如设计Prompt让模型对多个生成结果进行打分。

选择搜索算法 (Search Algorithm)

根据生成和评估推理内容的方法，选择适当的搜索算法。例如，可以使用广度优先搜索（BFS）或深度优先搜索（DFS）等算法来系统地探索思考树，并进行前瞻和回溯。

微软官方prompt教程

https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/prompt-engineering?tabs=chat
https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/gpt-4-v-prompt-engineering
https://learn.microsoft.com/en-us/training/modules/apply-prompt-engineering-azure-openai

Write more effective prompts编写更有效的提示

Azure OpenAI models are capable of generating responses to natural language queries with remarkable accuracy. However, the quality of the responses depends largely on how well the prompt is written. Developers can optimize the performance of Azure OpenAI models by using different techniques in their prompts, resulting in more accurate and relevant responses.

Azure OpenAI模型能够以惊人的准确度生成针对自然语言查询的响应。然而，响应的质量在很大程度上取决于提示语的编写质量。开发人员可以通过在提示语中使用不同的技术来优化Azure OpenAI模型的性能，从而获得更准确和相关的响应。

Provide clear instructions提供明确的指导

Asking the Azure OpenAI model clearly for what you want is one way to get desired results. By being as descriptive as possible, the model can generate a response that most closely matches what you're looking for.

明确地向Azure OpenAI模型提出你的需求是获得理想结果的一种方法。尽可能详细地描述你的需求，模型可以生成最接近你所需要的响应。

For example, say you want to create a product description for a new water bottle. Consider the answer associated with each prompt:例如，假设你想为一款新的水瓶创建产品描述。考虑每个提示对应的答案：

Prompt 提示

code代码Copy 复制

Response 响应

Versus a similar prompt, with clear instructions.

与一个具有明确指示的类似提示相比。

Prompt 提示

Response 响应

Including specifics that need to be included lets the model know what information to add to the description, making it more accurate to the new product.

包括具体的需要包含的内容可以让模型知道应该在描述中添加哪些信息，使描述更贴近新产品。

This method can be extrapolated to include complex instructions, such as a bulleted list of details to include, length of response, or desired formats to be included in the output. Try asking for exactly what you want to see in the result, and you may be surprised at how well the model satisfies your request.这种方法还可以扩展到包含更复杂的指令，例如包括详细信息的项目列表、所需的响应长度或期望在输出中包含的格式等。尝试明确地要求在结果中看到你想要的内容，你可能会惊讶地发现模型如何满足你的要求。

Format of instructions 操作说明格式

How instructions are formatted can impact how the model interprets the prompt. Recency bias can affect models, where information located towards the end of the prompt can have more influence on the output than information at the beginning. You may get better responses by repeating the instructions at the end of the prompt and assessing how that affects the generated response.指令的格式会影响模型对提示的理解。“近期偏差”也会影响模型，即位于提示末尾的信息对输出的影响可能大于位于开头的信息。可以通过在提示末尾重复指令并评估这如何影响生成的响应来获得更好的响应。

This recency bias can also come into play when using ChatCompletion in a chat scenario, where more recent messages in the conversation included in the prompt have a greater impact on the response. The next unit goes more in depth on using conversations to improve response quality, but putting important information closer to the end of the prompt may result in a better response.在聊天场景中使用 ChatCompletion 时，这种“近期偏差”也可能会发挥作用，即对话中包含在提示中的较新消息对响应的影响更大。下一节将更深入地讨论如何使用对话来提高响应质量，但将重要信息放在提示的末尾可能会产生更好的响应。

Use section markers 使用分段标记

A specific technique for formatting instructions is to split the instructions at the beginning or end of the prompt, and have the user content contained within --- or ### blocks. These tags allow the model to more clearly differentiate between instructions and content. For example:一种格式化指令的具体方法是将指令分割在提示的开头或结尾，并让用户内容包含在 --- 或 ### 块中。这些标签使模型更清楚地区分指令和内容。例如：

code代码Copy 复制

Note 请注意

Best practices for section markers may change with future versions.章节标记的最佳实践可能会随未来的版本而改变。

Primary, supporting, and grounding content主干内容、辅助内容和基础内容

Including content for the model to use to respond with allows it to answer with greater accuracy. This content can be thought of in two ways: primary and supporting content.包括让模型使用的响应内容，可以使模型更准确地回答问题。这种内容可以从两个方面来考虑：主要内容和辅助内容。

Primary content refers to content that is the subject of the query, such as a sentence to translate or an article to summarize. This content is often included at the beginning or end of the prompt (as an instruction and differentiated by --- blocks), with instructions explaining what to do with it.核心内容是指查询的主题内容，例如需要翻译的句子或需要总结的文章等。这种内容通常出现在提示的开头或结尾（作为说明和通过 --- 块进行区分），并附有说明，说明如何处理它。

For example, say we have a long article that we want to summarize. We could put it in a --- block in the prompt, then end with the instruction.例如，如果我们有一篇很长的文章需要概括，我们可以将其放入提示中的 \ --- \\ 块中，然后在最后给出指令。

code代码Copy 复制

Supporting content is content that may alter the response, but isn't the focus or subject of the prompt. Examples of supporting content include things like names, preferences, future date to include in the response, and so on. Providing supporting content allows the model to respond more completely, accurately, and be more likely to include the desired information.辅助内容是指可能会影响响应的内容，但不是提示的焦点或主题。例如，名字、偏好、要包含在响应中的未来日期等。提供辅助内容可以让模型更完整、准确地响应，并且更有可能包含所需的信息。

For example, given a very long promotional email, the model is able to extract key information. If you then add supporting content to the prompt specifying something specific you're looking for, the model can provide a more useful response. In this case the email is the primary content, with the specifics of what you're interested in as the supporting content例如，对于一封很长的促销邮件，该模型能够提取关键信息。如果你再向提示中添加一些具体的内容，说明你正在寻找的内容，那么模型就能提供更有用的响应。在这种情况下，邮件是主要内容，而你感兴趣的具体内容则是辅助内容。

code代码Copy 复制

Grounding content allows the model to provide reliable answers by providing content for the model to draw answer from. Grounding content could be an essay or article that you then ask questions about, a company FAQ document, or information that is more recent than the data the model was trained on. If you need more reliable and current responses, or you need to reference unpublished or specific information, grounding content is highly recommended.使模型能够提供可靠的答案的一种方法是为模型提供可以从中提取答案的内容。这些内容可以是一篇论文或文章，您可以针对这些内容提出问题，也可以是公司的FAQ文档，或者是比模型训练数据更近期的信息。如果您需要更可靠和更及时的响应，或者需要引用未发表或特定的信息，那么使用这些内容进行实例化是非常推荐的。

Grounding content differs from primary content as it's the source of information to answer the prompt query, instead of the content being operated on for things like summarization or translation. For example, when provided an unpublished research paper on the history of AI, it can then answer questions using that grounding content.语义上下文不同于原始内容，它是回答提示性问题的信息来源，而不是用于摘要或翻译等操作的内容。例如，当提供一份关于人工智能历史的未发表的研究论文时，它就可以利用该语义上下文来回答问题。

code代码Copy 复制

This grounding data allows the model to give more accurate and informed answers that may not be part of the dataset it was trained on.这些基础数据使得模型能够给出更准确和有见地的答案，这些答案可能并不包含在它被训练的数据集中。

Cues 提示

Cues are leading words for the model to build upon, and often help shape the response in the right direction. They often are used with instructions, but don't always. Cues are particularly helpful if prompting the model for code generation. Current Azure OpenAI models can generate some interesting code snippets, however code generation will be covered in more depth in a future module.提示是模型构建的基础，通常有助于引导模型生成正确的响应。它们通常与指令一起使用，但并非总是如此。如果需要引导模型生成代码，提示尤其有用。目前，Azure OpenAI模型可以生成一些有趣的代码片段，但代码生成将在未来的模块中进行更深入的讨论。

For example, if you're wanting help creating a SQL query, provide instructions of what you need along with the beginning of the query:例如，如果你需要帮助创建SQL查询，请提供你需要的指令以及查询的开头部分：

code代码Copy 复制

The model response picks up where the prompt left off, continuing in SQL, even though we never asked for a specific language. Other examples could be to help with python code, by giving code comments about the desired app and including import as a leading word at the end of the prompt, or similar in your desired language.该模型的响应会从提示的内容继续下去，继续使用SQL语言，尽管我们从未要求使用特定的语言。其他例子可以是帮助编写Python代码，通过在提示中添加关于所需应用程序的代码注释，并在提示的末尾以 import 作为引导词，或者在您所需的语言中使用类似的方式。

Another example, given a large collection of customer reviews in a prompt, and ending with:另一个例子，假设有一个包含大量客户评论的提示，最后是这样的：

code代码Copy 复制

Summarize the reviews above: Most common complaints:

The model then knows to complete the statements based off the context provided in the reviews.该模型会根据评论中提供的上下文来完成句子。

moonshot prompt 最佳实践

信息来源：https://platform.moonshot.cn/docs/guide/prompt-best-practice

System Prompt最佳实践：system prompt（系统提示）指的是模型在生成文本或响应之前所接收的初始输入或指令，这个提示对于模型的运作至关重要(opens in a new tab)

编写清晰的说明

为什么需要向模型输出清晰的说明？

模型无法读懂你的想法，如果输出内容太长，可要求模型简短回复。如果输出内容太简单，可要求模型进行专家级写作。如果你不喜欢输出的格式，请向模型展示你希望看到的格式。模型越少猜测你的需求，你越有可能得到满意的结果。

在请求中包含更多细节，可以获得更相关的回答

为了获得高度相关的输出，请保证在输入请求中提供所有重要细节和背景。

在请求中要求模型扮演一个角色，可以获得更准确的输出

在 API 请求的'messages' 字段中增加指定模型在回复中使用的角色。

在请求中使用分隔符来明确指出输入的不同部分

例如使用三重引号/XML标签/章节标题等定界符可以帮助区分需要不同处理的文本部分。

明确完成任务所需的步骤

任务建议明确一系列步骤。明确写出这些步骤可以使模型更容易遵循并获得更好的输出。

向模型提供输出示例

向模型提供一般指导的示例描述，通常比展示任务的所有排列让模型的输出更加高效。例如，如果你打算让模型复制一种难以明确描述的风格，来回应用户查询。这被称为“few-shot”提示。

指定期望模型输出的长度

你可以要求模型生成特定目标长度的输出。目标输出长度可以用文数、句子数、段落数、项目符号等来指定。但请注意，指示模型生成特定数量的文字并不具有高精度。模型更擅长生成特定数量的段落或项目符号的输出。

提供参考文本

指导模型使用参考文本来回答问题

如果您可以提供一个包含与当前查询相关的可信信息的模型，那么就可以指导模型使用所提供的信息来回答问题

拆分复杂的任务

通过分类来识别用户查询相关的指令

对于需要大量独立指令集来处理不同情况的任务来说，对查询类型进行分类，并使用该分类来明确需要哪些指令可能会帮助输出。

对于轮次较长的对话应用程序，总结或过滤之前的对话

由于模型有固定的上下文长度显示，所以用户与模型助手之间的对话不能无限期地继续。

针对这个问题，一种解决方案是总结对话中的前几个回合。一旦输入的大小达到预定的阈值，就会触发一个查询来总结先前的对话部分，先前对话的摘要同样可以作为系统消息的一部分包含在内。或者，整个对话过程中的先前对话可以被异步总结。

分块概括长文档，并递归构建完整摘要

要总结一本书的内容，我们可以使用一系列的查询来总结文档的每个章节。部分摘要可以汇总并总结，产生摘要的摘要。这个过程可以递归进行，直到整本书都被总结完毕。如果需要使用前面的章节来理解后面的部分，那么可以在总结书中给定点的内容时，包括对给定点之前的章节的摘要。

Last updated on October 15, 2024

Anthropic 深入探讨

Anthropic公司在提示工程领域的一些专家的讨论和思考的概述，涉及了提示工程的定义、实践技巧、以及对未来发展的预测。
视频地址：AI prompt engineering: A deep dive
中文解读：https://mp.weixin.qq.com/s/v2UeFbzvE4g1\\_Qz90SnEdA

这段内容是关于Anthropic公司的一些提示工程（prompt engineering）专家的讨论。提示工程是人工智能领域中一个专业术语，指的是设计和优化输入提示（prompts）的过程，以便从人工智能模型中获得更好的输出结果。以下是对这段内容的解释：

Anthropic的提示工程专家：提到了四位Anthropic公司的专家，分别是Amanda Askell（负责对齐微调）、Alex Albert（开发者关系）、David Hershey（应用人工智能）和Zack Witten（提示工程）。这些专家在讨论提示工程的发展、实用技巧，以及随着AI能力增长，提示方式可能发生的变化。