近年，パソコンや携帯端末の一般家庭への普及やインターネットの発展に伴い， 大量の電子情報が蓄積されるようになった．一方，そのことにより，ユーザが必 要なデータを検索する際に多大な労力を費やすという結果をもたらすことになっ た．これを軽減するために様々な検索システムが構築されている．特に，話し言 葉を含む複数の入力手段を活用したマルチモーダルインタフェースを利用するこ とにより，一般のユーザにとっても使いやすい検索システムが構築されている． しかし，従来のマルチモーダル検索システムは，話し言葉による入力を一文単位 で処理していたため，入力してから結果が出力されるまでに長い待ち時間が発生 する場合がある．そのため，ユーザに不安や不満を与えることになる．
本論文では，話し言葉を漸進的解釈，すなわち，その出現順序に従いできる限り 語単位で解釈し，その結果を随時フィードバックするマルチモーダルインターフェー スの枠組を提案する． この枠組では，話し言葉やポインティングなどを入力と 同時進行的に解析し，処理に必要な情報が決まり次第，それを実行する．そのた め，発話中におけるシステムの処理結果の確認やその結果に応じた入力の変更が 可能となる．高い対話性の実現により，ユーザの不安や不満が解消され，検索作 業の効率化が期待される．
本枠組の実現可能性と有効性を検証するために，プロトタイプシステムとしてファ イル検索システムSync/Search及びメール検索ツールSync/Mailを実現した． Sync/Searchは，マルチモーダル入力に対する単語入力毎の応答を実現したが， オブジェクトと呼ばれる意味表現を使用したため，検索タスクにおける検索の実 行タイミングを判定するための処理が特別に必要であった．この点を考慮し，タ スクの処理単位に注目して実現したシステムがSync/Mailである．Sync/Mailでは， メール処理の最小単位をメール処理言語として定めた．Sync/Mailは，マルチモー ダル入力をメール処理言語へ漸進的に変換し，検索や返信などの処理に必要な情 報が得られ次第，それを実行する．Sync/Mailを用いた評価実験により，文単位 での処理の枠組に比べ，本枠組が検索作業の効率において優れていることを確認 した．