私たちは、テキスト、視覚、音声、動画の理解を統一アーキテクチャでシームレスに統合する基盤モデルを構築しています。私たちの研究は、最小のレイテンシーで真のオムニモーダル推論を達成し、すべてのモダリティ間でのリアルタイムインタラクションを可能にすることに焦点を当てています。
私たちのオムニモーダルモデルは、共有表現空間を通じてすべてのモダリティを処理する統一されたTransformerアーキテクチャを採用しています。このアプローチにより、モダリティ固有のモデルを超える創発的なクロスモーダル推論能力が可能になります。
テキスト、画像、音声、動画にわたる結合埋め込みを学習することで、私たちのモデルはゼロショットのクロスモーダルタスクを実行し、異なる感覚入力間の関係についての高度な理解を示すことができます。
私たちは、マルチモーダルシナリオにおける推論レイテンシーを削減するための専門的な技術を開発しました。最適化されたアテンションメカニズム、効率的なトークン表現、ハードウェアを意識した設計により、私たちのモデルはほぼ瞬時の応答を実現します。
私たちのストリーミングアーキテクチャは、完全なシーケンスを待つことなく、音声と動画入力のリアルタイム処理を可能にし、真にインタラクティブなマルチモーダル体験を実現します。
Vision Transformers (ViT) に大きく依存する従来のアプローチとは異なり、私たちの研究は視覚理解のための代替アーキテクチャを探求しています。計算要件を削減しながら、ViTのパフォーマンスを維持または超える効率的な代替案を調査しています。
このアプローチにより、より柔軟なモデル設計が可能になり、エッジ展開やリアルタイムアプリケーションの新しい可能性が開かれます。
私たちは、トレーニングの安定性を維持しながら、数十億のパラメータに効率的にスケールする新しい事前学習戦略を開発しました。私たちの方法は、モダリティ間の自己教師あり学習と、慎重にキュレーションされた合成データを組み合わせています。
NVIDIA GPUとGoogle TPUにわたる分散トレーニングを通じて、異種ハードウェアプラットフォームの効率的な利用を実現しています。