CausalLM Omni Zwischen-Checkpoint-Vorschau

Ein erster Blick auf unser CausalLM Omni Modell: Vorschau unseres Zwischen-Checkpoints für Partner

<a href='https://huggingface.co/datasets/CausalLM/Retrievatar' target='_blank'>Datensatz auf Hugging Face erkunden &rarr;</a>

Retrievatar Datensatz für entitätszentrierte RAG

Retrievatar: Ein multimodaler Datensatz für entitätszentrierte Retrieval-Augmented Generation

LLM Inference on a Static Manifold: A Gauge-Theoretic Framework

LLM Inference on a Static Manifold: A Gauge-Theoretic Framework

<h5>Modell-Highlights</h5> Parameter: 9B LLM (initialisiert von GLM-4-9B-Chat-1M) + optionales 5B ViT Kontextfenster: 1.000.000 Tokens Modalitäten: Text und Bild (mit Locked-Image Tuning) Trainingsdaten: Über 120M Einträge synthetischer Datensatz, generiert aus einem 20B Token Korpus.
<table> <tbody><tr> <th>Fähigkeit</th> <th>Beschreibung</th> <th class='highlight-column highlight-header'>miniG</th> <th>Gemini-Flash</th> <th>GLM-4-9B-Chat</th> <th>Llama 3.1 8B Instruct</th> </tr> <tr> <td class='bold'>MMLU</td> <td>Repräsentation von Fragen in 57 Fächern (inkl. MINT, Geisteswissenschaften und andere)</td> <td class='highlight-column bold'>85,45</td> <td>78,9</td> <td>72,4</td> <td>69,4</td> </tr> <tr> <td class='bold'>IFEval</td> <td>Bewertung der Anweisungsbefolgung mit verifizierbaren Prompts</td> <td class='highlight-column'>74,22</td> <td>-</td> <td>69</td> <td class='bold'>80,4</td> </tr> <tr> <td class='bold'>GSM8K</td> <td>Herausfordernde Mathematikaufgaben (5-Shot-Bewertung)</td> <td class='highlight-column'>75,89 (5-shot)</td> <td class='bold'>86,2 (11-shot)</td> <td>79,6</td> <td>84,5 (8-shot CoT)</td> </tr> <tr> <td class='bold'>HumanEval</td> <td>Python-Code-Generierung auf einem zurückgehaltenen Datensatz (0-shot)</td> <td class='highlight-column bold'>79,88</td> <td>74,3</td> <td>71,8</td> <td>72,6</td> </tr> <tr> <td class='bold'>GPQA</td> <td>Herausfordernder Datensatz mit Fragen aus Biologie, Physik und Chemie</td> <td class='highlight-column'>37,37</td> <td class='bold'>39,5</td> <td>34,3 (base)</td> <td>34,2</td> </tr> <tr> <td class='bold'>Kontextfenster</td> <td>Maximale Kontextlänge, die das Modell verarbeiten kann</td> <td class='highlight-column bold'>1M</td> <td class='bold'>1M</td> <td>128K</td> <td>128K</td> </tr> <tr> <td class='bold'>Eingabe</td> <td>Unterstützte Eingabemodalitäten</td> <td class='highlight-column highlight-footer'>Text, Bild (einzelnes Modell)</td> <td>Text, Bild, Audio, Video</td> <td>Nur Text</td> <td>Nur Text</td> </tr> </tbody></table>
<a href='https://huggingface.co/CausalLM/miniG' target='_blank'>Entdecken Sie das Modell auf Hugging Face &rarr;</a>

miniG 9B VLM mit 1M Kontextfenster

Einführung von miniG 9B

<h5>Die Anime-Präsentation: Ein Proof of Concept</h5> Um unsere Methode zu demonstrieren, haben wir einen umfangreichen Anime-thematisierten Datensatz veröffentlicht. Wichtige Merkmale: <ul> <li>Größe und Umfang: Über 1 Million Einträge und ~440 Millionen GPT-4/3.5 Tokens.</li> <li>Vielfältige Quellen: Aus einer Vielzahl von Online-Anime-Communities und Wikis bezogen.</li> <li>Fortgeschrittene Verfeinerung: Sorgfältig mit GPT-3.5 und GPT-4 verarbeitet, um Klarheit zu verbessern und Rauschen zu reduzieren.</li> <li>Kostenaufschlüsselung: Geschätzte Generierungskosten von ~25.000 $, wobei GPT-4-32K mindestens 25% der Daten ausmacht.</li> </ul> <a href='https://huggingface.co/datasets/CausalLM/Refined-Anime-Text' target='_blank'>Erkunden Sie den Datensatz auf Hugging Face &rarr;</a>

Unsere "Geheimzutat" für synthetische Datensätze

Das LLM-Potenzial mit unserer "Geheimzutat" für synthetische Daten erschließen

<h5>Wichtige Merkmale</h5> <ul> <li>Verbessertes Retrieval: Bessere Fähigkeiten zum Abrufen und Verarbeiten von Informationen.</li> <li>Erweiterte SFT: Fortgeschrittene Supervised-Fine-Tuning-Techniken für verbesserte Leistung.</li> <li>Qwen-7B-Basis: Aufbauend auf der robusten Qwen-7B-Foundation für überlegene Verständnisfähigkeiten.</li> <li>Chat-optimiert: Speziell für konversationelle Interaktionen optimiert.</li> </ul> <a href='https://huggingface.co/CausalLM' target='_blank'>Erkunden Sie unsere Modelle auf Hugging Face &rarr;</a>

CausalLM 7B Chat-Modell

CausalLM 7B - Ein neues Chat-Modell mit verbessertem Retrieval und SFT

<h5>Hinweise zur Nutzung</h5> Das Guanaco-Modell wurde nicht für schädliche, voreingenommene oder explizite Inhalte gefiltert. Daher können Ausgaben generiert werden, die nicht den ethischen Normen entsprechen. Bitte seien Sie bei der Verwendung des Modells in Forschung oder praktischen Anwendungen vorsichtig. <h5>Modellbeschränkungen</h5> Guanaco ist ein 7B-Parameter-Modell, und alle wissensbasierten Inhalte sollten als potenziell ungenau betrachtet werden. Wir empfehlen dringend, überprüfbare Quellen für wissensbasierte Antworten bereitzustellen und Benutzer über diese Einschränkung zu informieren, um die Verbreitung falscher Informationen zu verhindern und Transparenz zu wahren.

Sprache

Forschungsbereiche

Verbinden

Über CausalLM

CausalLM Omni Forschungsinitiative

Gestaltung der Zukunft
künstlicher Intelligenz

Entwicklung von KI-Systemen
der nächsten Generation

Weiterentwicklung
omni-modaler

Künstlicher Intelligenz

Omni-Modale
Basismodelle

Echtzeit
Multi-Stream-Verarbeitung

Mehrsprachige
Wissenssynthese

Millionen-Token
Kontextfenster

Neueste Forschungsupdates:

Ein erster Blick auf unser CausalLM Omni Modell: Vorschau unseres Zwischen-Checkpoints für Partner

Retrievatar: Ein multimodaler Datensatz für entitätszentrierte Retrieval-Augmented Generation

Sprache

Forschungsbereiche

Verbinden

Über CausalLM

CausalLM Omni Forschungsinitiative

Gestaltung der Zukunft künstlicher Intelligenz

Entwicklung von KI-Systemen der nächsten Generation

Weiterentwicklungomni-modaler

Künstlicher Intelligenz

Omni-Modale Basismodelle

Echtzeit Multi-Stream-Verarbeitung

Mehrsprachige Wissenssynthese

Millionen-Token Kontextfenster

Neueste Forschungsupdates:

Ein erster Blick auf unser CausalLM Omni Modell: Vorschau unseres Zwischen-Checkpoints für Partner

Retrievatar: Ein multimodaler Datensatz für entitätszentrierte Retrieval-Augmented Generation

Gestaltung der Zukunft
künstlicher Intelligenz

Entwicklung von KI-Systemen
der nächsten Generation

Weiterentwicklung
omni-modaler

Omni-Modale
Basismodelle

Echtzeit
Multi-Stream-Verarbeitung

Mehrsprachige
Wissenssynthese

Millionen-Token
Kontextfenster