更多
选择
语言
研究领域
关注我们
关于 CausalLM

一个致力于推动人工智能前沿发展的非营利研究组织。我们专注于全模态AI系统、高效架构和大规模合成数据。

返回顶部

CausalLM 博客

最新文章

精选文章

查看所有文章
Retrievatar：面向实体检索增强生成的多模态数据集
Datasets

Retrievatar：面向实体检索增强生成的多模态数据集

Retrievatar 是一个多模态数据集，旨在增强视觉语言模型的检索增强生成能力，特别关注虚构的动漫角色和现实世界的各界名人。

阅读更多
LLM Inference on a Static Manifold: A Gauge-Theoretic Framework
research

LLM Inference on a Static Manifold: A Gauge-Theoretic Framework

A gauge-theoretic framework that reframes LLM inference from a process of physical data movement to one of dynamic coordinate transformation, leveraging the group properties of RoPE to rotate queries over a static KV cache manifold.

阅读更多

分类：

Retrievatar：面向实体检索增强生成的多模态数据集
Datasets

Retrievatar：面向实体检索增强生成的多模态数据集

Retrievatar 是一个多模态数据集，旨在增强视觉语言模型的检索增强生成能力，特别关注虚构的动漫角色和现实世界的各界名人。

阅读更多
LLM Inference on a Static Manifold: A Gauge-Theoretic Framework
research

LLM Inference on a Static Manifold: A Gauge-Theoretic Framework

A gauge-theoretic framework that reframes LLM inference from a process of physical data movement to one of dynamic coordinate transformation, leveraging the group properties of RoPE to rotate queries over a static KV cache manifold.

阅读更多
miniG 9B 介绍
Models

miniG 9B 介绍

认识 miniG，一个拥有 1M token 上下文窗口的 90 亿参数视觉语言模型。基于超过 1.2 亿条合成数据集训练，miniG 在无需大量人类偏好对齐的情况下突破了性能边界。

阅读更多
用我们的合成数据"秘方"释放大语言模型潜力
Datasets

用我们的合成数据"秘方"释放大语言模型潜力

我们介绍了生成高质量合成数据集以提升大语言模型性能的独特方法，并以我们新的 100 万+条目动漫数据集作为概念验证。

阅读更多
CausalLM 7B - 具有增强检索和SFT的新型聊天模型
Models

CausalLM 7B - 具有增强检索和SFT的新型聊天模型

介绍 CausalLM 7B，基于 Qwen-7B 微调的新型聊天模型。它展示了增强的检索能力，并利用了我们在监督微调方面的专业知识。

阅读更多
Guanaco：一个开源、多语言、多模态大语言模型
Models

Guanaco：一个开源、多语言、多模态大语言模型

Guanaco 概述：一个基于 LLaMA 7B 构建的先进指令遵循语言模型。它具有海量多语言数据集、角色扮演功能、多模态 VQA 支持，以及开放的研究理念。

阅读更多
1