私たちの研究は、従来のターンテイキングの制限から解放されたAIシステムを可能にします。私たちは、フルデュプレックス通信と動的ストリーム優先順位付けにより、複数の同時音声、動画、データストリームをリアルタイムで処理できるアーキテクチャを開発しています。
私たちのストリーミングアーキテクチャは、完全な発話やフレームを待つことなく、入力が到着した時点で処理します。これにより、新しい入力を受信しながら同時に応答できる、真にインタラクティブなシステムが可能になります。
システムは各ストリームに対して個別のアテンションコンテキストを維持しながら、同時入力間で効率的に計算を共有し、複数のアクティブストリームがある場合でもリアルタイムパフォーマンスを実現します。
私たちは、非同期APIレスポンスとデータベースクエリをリアルタイム推論パイプラインに統合するための新しいメカニズムを開発しました。モデルはクエリを発行し、他のストリームの処理を継続し、返された結果をシームレスに組み込むことができます。
この機能により、会話の流れを中断することなく、リアルタイムのファクトチェック、知識検索、外部ツールの使用などの高度なエージェント動作が可能になります。
私たちのシステムは、コンテキスト、緊急性、関連性に基づいて、複数の同時ストリーム間でインテリジェントにアテンションを優先順位付けします。この適応的な割り当てにより、高い計算負荷下でも応答性の高いインタラクションが確保されます。
優先順位付けメカニズムはインタラクションパターンから学習し、異なるアプリケーション要件に合わせて設定できます。
従来のチャットボットアーキテクチャとは異なり、私たちのモデルは、人間の会話と同様に、聞きながら話すことができる真のフルデュプレックス通信をサポートします。これにより、自然な割り込み、バックチャネリング、重複発話が可能になります。