Mehr
Auswählen
Sprache
Forschungsbereiche
Verbinden
Über CausalLM

Eine gemeinnützige Forschungsinitiative, die die Grenzen der künstlichen Intelligenz vorantreibt. Wir konzentrieren uns auf omni-modale KI-Systeme, effiziente Architekturen und synthetische Daten im großen Maßstab.

Nach oben

CausalLM Blog

Neueste Beiträge

Beliebte Beiträge

Alle Beiträge anzeigen
Retrievatar: Ein multimodaler Datensatz für entitätszentrierte Retrieval-Augmented Generation
Datasets

Retrievatar: Ein multimodaler Datensatz für entitätszentrierte Retrieval-Augmented Generation

Retrievatar ist ein multimodaler Datensatz, der entwickelt wurde, um die Retrieval-Augmented Generation-Fähigkeiten von Vision-Language-Modellen zu verbessern, wobei der Schwerpunkt speziell auf fiktiven Anime-Charakteren und realen Prominenten liegt.

Mehr lesen
LLM Inference on a Static Manifold: A Gauge-Theoretic Framework
research

LLM Inference on a Static Manifold: A Gauge-Theoretic Framework

A gauge-theoretic framework that reframes LLM inference from a process of physical data movement to one of dynamic coordinate transformation, leveraging the group properties of RoPE to rotate queries over a static KV cache manifold.

Mehr lesen

Kategorien:

Retrievatar: Ein multimodaler Datensatz für entitätszentrierte Retrieval-Augmented Generation
Datasets

Retrievatar: Ein multimodaler Datensatz für entitätszentrierte Retrieval-Augmented Generation

Retrievatar ist ein multimodaler Datensatz, der entwickelt wurde, um die Retrieval-Augmented Generation-Fähigkeiten von Vision-Language-Modellen zu verbessern, wobei der Schwerpunkt speziell auf fiktiven Anime-Charakteren und realen Prominenten liegt.

Weiterlesen
LLM Inference on a Static Manifold: A Gauge-Theoretic Framework
research

LLM Inference on a Static Manifold: A Gauge-Theoretic Framework

A gauge-theoretic framework that reframes LLM inference from a process of physical data movement to one of dynamic coordinate transformation, leveraging the group properties of RoPE to rotate queries over a static KV cache manifold.

Weiterlesen
Einführung von miniG 9B
Models

Einführung von miniG 9B

Lernen Sie miniG kennen, ein 9B-Parameter Vision Language Model mit einem 1M Token Kontextfenster. Trainiert auf einem massiven synthetischen Datensatz mit über 120 Millionen Einträgen, verschiebt miniG die Grenzen der Leistung ohne umfangreiche Ausrichtung auf menschliche Präferenzen.

Weiterlesen
Das LLM-Potenzial mit unserer "Geheimzutat" für synthetische Daten erschließen
Datasets

Das LLM-Potenzial mit unserer "Geheimzutat" für synthetische Daten erschließen

Wir stellen unser einzigartiges Rezept zur Generierung hochwertiger synthetischer Datensätze vor, um die LLM-Leistung zu steigern, mit unserem neuen Anime-Datensatz mit über 1 Million Einträgen als Proof of Concept.

Weiterlesen
CausalLM 7B - Ein neues Chat-Modell mit verbessertem Retrieval und SFT
Models

CausalLM 7B - Ein neues Chat-Modell mit verbessertem Retrieval und SFT

Wir stellen CausalLM 7B vor, ein neues Chat-Modell, das auf Qwen-7B feinabgestimmt wurde. Es präsentiert verbesserte Retrieval-Fähigkeiten und nutzt unsere besondere Expertise im Supervised Fine-Tuning.

Weiterlesen
Guanaco: Ein Open-Source, mehrsprachiges und multimodales LLM
Models

Guanaco: Ein Open-Source, mehrsprachiges und multimodales LLM

Ein Überblick über Guanaco, ein fortschrittliches instruktionsfolgendes Sprachmodell, das auf LLaMA 7B basiert. Es bietet einen massiven, mehrsprachigen Datensatz, Rollenspiel-Unterstützung, multimodale VQA-Funktionen und einen offenen Forschungsansatz.

Weiterlesen
1