Anthropic veröffentlicht automatischen Prompt Improver

Anthropic hat neue Funktionen in seiner Entwicklerkonsole veröffentlicht, um die Qualität der mit seinem Sprachmodell Claude verwendeten Prompts zu verbessern. Der Prompt Improver automatisiert die Verfeinerung bestehender Prompts durch Techniken wie Chain-of-Thought-Reasoning und Standardisierung von Beispielen. Die Konsole ermöglicht es den Nutzern auch, multi-shot Beispiele in einem strukturierten Format zu verwalten, und bietet einen Prompt-Evaluator zum Testen von Prompts mit optionalen idealen Ausgaben. Diese Funktionen sollen die Entwicklung von Prompts vereinfachen und die Genauigkeit, Konsistenz und Leistung von KI-Anwendungen, die mit Claude entwickelt wurden, verbessern.

Wie funktioniert der Prompt Improver?

Der Prompt Improver unterstützt die Entwickler bei der Verfeinerung ihrer Prompts mit verschiedenen Methoden:

Chain-of-thought Reasoning: Der Prompt Improver kann einen Prompt verbessern, indem er einen Abschnitt hinzufügt, in dem Claude, das KI-Modell, systematische Überlegungen anstellen kann, bevor es eine Antwort gibt. Dieser Zusatz verbessert die Genauigkeit und Zuverlässigkeit der Ausgabe des Modells. Wenn ein Entwickler beispielsweise einen Prompt für die Zusammenfassung von Sachverhalten entwickelt, könnte der Prompt-Verbesserer einen Abschnitt hinzufügen, der Claude anweist, zunächst die wichtigsten Fakten im Quellenmaterial zu identifizieren, bevor er die Zusammenfassung erstellt.
Standardisierung von Beispielen: Der Prompt Improver konvertiert vorhandene Beispiele in ein einheitliches XML-Format und verbessert so die Übersichtlichkeit und Verarbeitung. Durch diese Standardisierung wird sichergestellt, dass alle Beispiele dem Modell auf einheitliche Weise präsentiert werden, so dass es für das Modell einfacher ist, aus ihnen zu lernen. Wenn zum Beispiel ein Entwickler Beispiele in verschiedenen Formaten zur Verfügung stellt, standardisiert der Prompt Improver diese in ein einheitliches XML-Format.
Beispielanreicherung: Der Prompt Improver kann vorhandene Beispiele mit einer Gedankenkette anreichern und sie mit dem neu strukturierten Prompt abgleichen. Durch diese Anreicherung stehen dem Modell detailliertere und strukturiertere Beispiele zur Verfügung, aus denen es lernen kann, was seine Leistung weiter verbessert. Wenn ein Entwickler zum Beispiel einen Prompt für die Beantwortung von Fragen entwickelt, könnte der Prompt Improver die vorhandenen Beispiele durch eine schrittweise Argumentation ergänzen, die zeigt, wie man zur richtigen Antwort kommt.
Umschreiben: Der Prompt-Verbesserer kann den Prompt selbst umschreiben, um seine Struktur zu verdeutlichen und kleinere Grammatik- oder Rechtschreibfehler zu korrigieren. Durch diese Umformulierung wird sichergestellt, dass der Prompt klar, prägnant und für das Modell leicht zu verstehen ist. Der Prompt-Verbesserer kann zum Beispiel einen verworrenen Prompt umformulieren, damit er für Claude einfacher zu interpretieren ist.
Prefill-Zusatz: Der Prompt Improver kann die Meldung des Assistenten vorausfüllen, um die Aktionen von Claude zu steuern und bestimmte Ausgabeformate zu erzwingen. Dieses Prefill hilft sicherzustellen, dass die Antworten des Modells konsistent sind und den Anforderungen des Entwicklers entsprechen. Wenn ein Entwickler die Ausgabe im JSON-Format wünscht, kann der Prompt Improver einen Prefill hinzufügen, der Claude anweist, die Antwort entsprechend zu formatieren.

Außerdem können die Prompts und Beispiele auf der Grundlage spezifischer Entwickleranforderungen geändert werden, z. B. durch Änderung des Ausgabeformats von XML in JSON. Dank dieser Flexibilität können Entwickler ihre Prompts genau an ihre Bedürfnisse anpassen.

Hier ist die verbesserte Prompt des obigen Beispiels:

You are an expert blog writer with deep knowledge across various subjects. Your task is to create an engaging and informative blog post on a given topic, while adhering to a specified tone.

Here's the blog topic you'll be writing about:
<blog_topic>
{{blog_topic}}
</blog_topic>

And here's the desired tone for the blog post:
<tone>
{{tone}}
</tone>

Before writing the blog post, take a moment to analyze the topic and plan your approach. Use the <blog_planning> tags to outline your thoughts and strategy.

<blog_planning>
1. Analyze the blog topic:
- What is the main subject?
- Who is the target audience?
- What key points should be covered?
- List 5-7 key words or phrases related to the topic

2. Consider the specified tone:
- How can I adjust my writing style to match this tone?
- What language, sentence structures, or literary devices would be appropriate?

3. Brainstorm potential titles:
- List 3-5 attention-grabbing titles that accurately reflect the content

4. Outline the blog post structure:
- Plan the introduction
- List main points for the body
- Consider potential sources or examples to support each main point
- Plan a compelling conclusion

5. Tone alignment check:
- Review the planned content and ensure it aligns with the specified tone
- Make any necessary adjustments to better match the desired tone
</blog_planning>

Now, write the blog post using the following structure:

1. Title: Choose the most suitable title from your brainstormed list.

2. Introduction: Write a brief introduction that hooks the reader and provides an overview of what the blog post will cover.

3. Main Body: Develop your main points in separate paragraphs. Use subheadings if appropriate. Ensure that your content is informative, engaging, and aligned with the specified tone.

4. Conclusion: Summarize the key points and provide a final thought or call to action.

Remember to maintain the specified tone throughout the blog post. Your writing should be clear, concise, and tailored to the target audience.

Wie gut ist es?

Aus offensichtlichen Gründen hängt die Qualität des Ergebnisses von der jeweiligen Aufgabe ab. Bei einer Zusammenfassungsaufgabe wurde jedoch eine Erfolgsquote von 100 % bei der Einhaltung der Wortzahlvorgaben erreicht. Dies wurde erreicht, nachdem der Prompt Improver zur Verfeinerung des ursprünglichen Prompts eingesetzt wurde.

In dem konkreten Szenario wurden Claude zehn Wikipedia-Artikel vorgelegt. Die Aufgabe bestand darin, diese Artikel innerhalb eines bestimmten Wortumfangs zusammenzufassen. Nach der Anwendung des Prompt Improvers erstellte Claude durchgängig Zusammenfassungen, die sich an die vorgegebene Wortzahl hielten, was zu einer Erfolgsquote von 100 % führte.

Anthropic hat zwar nicht genau angegeben, wie das Ergebnis zustande gekommen ist, aber wir können davon ausgehen, dass Techniken wie Chain-of-Thought und Prefill eine Rolle gespielt haben. Das Chain-of-Thought-Reasoning könnte eingesetzt worden sein, um Claude anzuleiten, systematisch die wichtigsten Punkte in jedem Artikel zu identifizieren, bevor er sie in einer Zusammenfassung innerhalb des vorgegebenen Wortlimits zusammenfasst. Mit Hilfe der Prefill-Addition hätte Claude explizite Anweisungen bezüglich der gewünschten Wortzahl für die Zusammenfassungen geben können, um sicherzustellen, dass die Ausgabe diese Vorgaben einhält.

Fazit

Die Einführung des Prompt Improvers von Anthropic folgt einem typischen Muster in der Welt der KI. Zunächst wird die Einstiegshürde gesenkt und die Prompt-Optimierung vereinfacht, indem Aufgaben automatisiert werden, die zuvor manuellen Aufwand und Fachwissen erforderten. Diese Zugänglichkeit könnte es Entwicklern mit weniger Erfahrung in der Promptentwicklung ermöglichen, effektive Prompts für Claude zu erstellen.

Generell gibt es die Verlagerung von der manuellen Erstellung zur Verfeinerung: Während gut ausgearbeitete Prompts weiterhin wichtig sind, legt der Prompt Improver nahe, dass sich der Schwerpunkt auf die Verfeinerung bestehender oder von anderen KI-Modellen übernommener Prompts verlagern könnte. Dies bedeutet, dass die Entwickler weniger Zeit damit verbringen, Prompts von Grund auf neu zu erstellen, und mehr Zeit damit verbringen, sie mit Hilfe des Tools iterativ zu verbessern.

Insgesamt scheint der Prompt Improver geeignet zu sein, die Promptentwicklung zugänglicher, effizienter und iterativer zu machen. Prompt-Engineering könnte bald ein Handwerk werden, das seine fünf Minuten Ruhm hatte, nur um dann von derselben Technologie, für die es geschaffen wurde, automatisiert zu werden.