Wir freuen uns, miniG vorzustellen, ein leistungsstarkes neues Modell, das entwickelt wurde, um die Grenzen des groß angelegten synthetischen Datentrainings zu erkunden.

Ein neuer Trainingsansatz

miniG ist ein 9B-Parameter-Sprachmodell (initialisiert von THUDM/glm-4-9b-chat-1m), ergänzt durch ein optionales 5B ViT, was es zu einem leistungsfähigen Vision Language Model (VLM) macht. Seine Grundlage bildet ein einzigartiger Synthesedatensatz mit über 120 Millionen Einträgen. Dieser Datensatz wurde mit modernsten Sprachmodellen mit großen Kontextfenstern generiert, unter Verwendung von Methoden, die der Retrieval-Augmented Generation (RAG) und der Integration von Wissensgraphen ähneln.

Der gesamte Datensyntheseprozess wurde in Clustern durchgeführt, die aus einem kuratierten 20-Milliarden-Token-Vortrainingskorpus abgeleitet wurden, wobei die anschließende Validierung vom Modell selbst durchgeführt wurde. Bemerkenswert ist, dass miniG keiner gründlichen Ausrichtung auf menschliche Präferenzen unterzogen wurde und nicht verpflichtet ist, schlecht konstruierte Prompts oder Benchmark-Klischees zu bedienen.

Kernfunktionen

• Unterstützte Modalitäten: Text und Bild. Das Vision Language Model wurde einem Locked-Image Tuning unterzogen. Für eine reine Textversion verwenden Sie bitte den revision=text-only Branch unter https://huggingface.co/CausalLM/miniG/tree/text-only.
• Massives Kontextfenster: miniG unterstützt ein Kontextfenster von bis zu 1.000.000 Tokens.
• Modellparameter: Das Modell besteht aus einem 9B LLM und einem optionalen 5B ViT.

Verwendung & Inferenz-Empfehlungen

Warnhinweise: Wir empfehlen dringend, eine standardisierte Implementierung wie Hugging Face transformers für die Inferenz zu verwenden. Beschleunigte Kernel wie vllm oder lmdeploy sowie Modellquantisierung können zu erheblichen Leistungseinbußen und potenziell katastrophalen Auswirkungen führen, insbesondere bei der visuellen Inferenz.

Inferenzparameter: Um Ergebnisse mit weniger Halluzinationen zu erzielen, empfehlen wir Sampling mit top_p=0.8 und temperature=0.3 oder reines Temperature-Sampling bei 0.2. Eine niedrigere Temperatur ist im Vergleich zu ähnlichen Modellen generell erforderlich, was wir vorläufig auf Overfitting auf dem riesigen Datensatz zurückführen.

Eingabeformatierung:

1. Stellen Sie sicher, dass der System-Prompt nicht leer ist. Selbst ein einfaches "Sie sind ein hilfreicher Assistent." ist ausreichend.
2. Fügen Sie nach jedem <|role|> Tag immer ein Zeilenumbruchzeichen \n ein, damit die Analyse korrekt funktioniert.

Training & Haftungsausschluss

Die endgültige veröffentlichte Version war eine Zusammenführung mehrerer Kandidatenmodelle. Ein effizientes naives Fine-Tuning kann innerhalb eines Tages auf 16 Knoten mit 8*A100-80G erreicht werden, mit einer geschätzten CO2-Emission von 700 kg CO2-Äquivalent.

Haftungsausschluss: Das Modell wurde mit ungefilterten Internetdaten trainiert und kann anstößige Inhalte enthalten. Wir verfügen nicht über die Ressourcen, um alle Daten zu prüfen oder RLHF für die Sicherheit zu implementieren. Benutzer sind dafür verantwortlich, ihre eigenen Sicherheitsprüfungen durchzuführen und Modellausgaben zu filtern.