人工知能の最前線を推進する非営利研究イニシアチブです。オムニモーダルAIシステム、効率的なアーキテクチャ、大規模合成データに焦点を当てています。
テキスト、画像、音声、動画をほぼゼロレイテンシーで理解・生成する大規模言語モデルを開発。
ターンテイキングの制約なく、複数の音声、動画、データ入力ストリームを同時に処理するシステムを構築。
言語、文書、長文脈シナリオにわたる事実知識に基づいた大規模合成データセットの作成。
効率的なアテンションメカニズムを100万トークン以上にスケーリングし、終日のタスクメモリとインコンテキスト学習を実現。