Guanaco ist ein fortschrittliches instruktionsfolgendes Sprachmodell, das auf Metas LLaMA 7B-Modell basiert. Aufbauend auf dem ursprünglichen 52K-Datensatz des Alpaca-Modells wurden zusätzlich 534.530 Einträge integriert, die Englisch, Vereinfachtes Chinesisch, Traditionelles Chinesisch (Taiwan), Traditionelles Chinesisch (Hongkong), Japanisch und Deutsch sowie verschiedene linguistische und grammatikalische Aufgaben abdecken. Diese Fülle an Daten ermöglicht es Guanaco, in mehrsprachigen Umgebungen außergewöhnlich gut zu funktionieren.

Um Offenheit und Reproduzierbarkeit in der Forschung zu fördern, haben wir den Guanaco-Datensatz öffentlich zugänglich gemacht und die Modellgewichte veröffentlicht. Durch die Bereitstellung dieser Ressourcen hoffen wir, mehr Forscher zu inspirieren, verwandte Forschung zu betreiben und gemeinsam die Entwicklung instruktionsfolgender Sprachmodelle voranzutreiben.

1. Verbesserte Kontext- und Prompt-Rollenunterstützung:

Das neue Format ist so konzipiert, dass es ChatGPT ähnelt und eine bessere Integration mit dem Alpaca-Format ermöglicht sowie das gesamte Benutzererlebnis verbessert.

Die Instruktion wird als Few-Shot-Kontext verwendet, um vielfältige Eingaben und Antworten zu unterstützen, was es dem Modell erleichtert, Benutzeranfragen zu verstehen und genaue Antworten zu geben.

Das Format ist wie folgt:

### Instruction:
User: Historische Benutzereingabe
Assistant: Historische Assistentenantwort
### Input:
System: Wissen
User: Neue Benutzereingabe
### Response:
Neue Assistentenantwort

Dieses strukturierte Format ermöglicht eine einfachere Verfolgung der Gesprächshistorie und die Aufrechterhaltung des Kontexts während eines mehrstufigen Dialogs.

2. Rollenspiel-Unterstützung:

Guanaco bietet jetzt fortschrittliche Rollenspiel-Unterstützung, ähnlich wie Character.AI, in Englisch, vereinfachtem Chinesisch, traditionellem Chinesisch, Japanisch und Deutsch, was es für Benutzer aus verschiedenen sprachlichen Hintergründen vielseitiger macht.

Benutzer können das Modell anweisen, bestimmte Rollen, historische Figuren oder fiktive Charaktere sowie Persönlichkeiten basierend auf ihrer Eingabe anzunehmen. Dies ermöglicht ansprechendere und immersivere Gespräche.

Das Modell kann verschiedene Informationsquellen nutzen, um Wissen und Kontext für den Hintergrund und das Verhalten des Charakters bereitzustellen, wie z.B. enzyklopädische Einträge, Ich-Erzählungen oder eine Liste von Persönlichkeitsmerkmalen.

Das Modell wird konsequent Antworten im Format „Charaktername: Antwort" ausgeben, um die gewählte Rolle während des gesamten Gesprächs beizubehalten und das Benutzererlebnis zu verbessern.

3. Ablehnung von Antworten und Vermeidung fehlerhafter Reaktionen:

Das Modell wurde aktualisiert, um Situationen, in denen es nicht über ausreichendes Wissen verfügt oder keine gültige Antwort geben kann, effektiver zu handhaben.

Reservierte Schlüsselwörter wurden eingeführt, um verschiedene Szenarien anzuzeigen und eine klarere Kommunikation mit dem Benutzer zu ermöglichen:

• NO IDEA: Zeigt an, dass dem Modell das notwendige Wissen fehlt, um eine genaue Antwort zu geben, und erklärt dies dem Benutzer, wobei er ermutigt wird, alternative Quellen zu suchen.
• FORBIDDEN: Zeigt an, dass das Modell die Beantwortung aus bestimmten Gründen (z.B. rechtliche, ethische oder Sicherheitsbedenken) ablehnt, die basierend auf dem Kontext der Anfrage abgeleitet werden.
• SFW: Zeigt an, dass das Modell die Beantwortung einer Frage ablehnt, weil sie für NSFW-Inhalte gefiltert wurde, um ein sichereres und angemesseneres Benutzererlebnis zu gewährleisten.

4. Fortsetzung von Antworten für laufende Themen:

Das Guanaco-Modell kann jetzt auf Anfrage des Benutzers Fragen weiter beantworten oder Themen diskutieren, was es anpassungsfähiger und besser für erweiterte Gespräche geeignet macht.

Die kontextuelle Struktur bestehend aus System-, Assistenten- und Benutzerrollen ermöglicht es dem Modell, mehrstufige Dialoge zu führen, kontextbewusste Gespräche aufrechtzuerhalten und kohärentere Antworten zu geben.

Das Modell kann jetzt Rollenspezifikationen und Charaktereinstellungen berücksichtigen und ein immersiveres und maßgeschneidertes Gesprächserlebnis basierend auf den Präferenzen des Benutzers bieten.

5. Multimodale Visual Question Answering (VQA) Unterstützung:

Guanaco erweitert seine Fähigkeiten in den Bereich multimodaler Interaktionen und bietet jetzt Unterstützung für Visual Question Answering (VQA). Das Modell erreicht dies durch die Integration von Daten aus blip2-flan-t5-xxl für mehrsprachige VQA-Aufgaben, was einen bedeutenden Meilenstein in der Entwicklung multimodaler Chatbots darstellt.

Diese neue Funktion ermöglicht es dem Modell, Anfragen zu interpretieren und zu beantworten, die sowohl Text- als auch visuelle Eingaben umfassen, und bietet ein reichhaltigeres, interaktiveres und umfassenderes Benutzererlebnis. Benutzer können jetzt Fragen zu einem Bild stellen, und das Modell analysiert den visuellen Inhalt zusammen mit der textuellen Anfrage, um eine Antwort zu geben.

Eine bemerkenswerte Ergänzung ist der Guanaco VQA-Datensatz, der jetzt öffentlich zugänglich ist.

Als multimodaler Chatbot kann Guanaco nun die Lücke zwischen visuellem und sprachlichem Verständnis überbrücken und ist damit ein unglaublich vielseitiges Werkzeug für eine Vielzahl von Anwendungen.