本論文では，自然言語を漸進的解釈，すなわち，出現順序に従い できる限り語単位で解釈していき，その結果を随時フィードバックする マルチモーダルインターフェースの枠組を提案する． この枠組により， (1)システムの認識を確認しながら操作を進めること， (2)システムの反応により文の発声途中に言い直すこと， (3)過去の対話内容を言語的に参照すること， が可能となる．
また，本枠組の有用性を検証するため，図形エディタSync/Drawを作成した． Sync/Drawは， 単語ごとに分割された日本語とマウスのポインティングを入力にとり， 入力に対して内部表現を遷移させ， その遷移結果をもとに図形を出力する． Sync/Drawの特長は， (1)漸進的な日本語解析・描画処理により，入力と同時進行的に作図結果を出力する， (2)図形の描画，移動，削除，操作の取り消しなどのユーザの要求に対して 柔軟に応答する， (3)単語の生起順序の入れ代りや照応表現，省略などの言語現象に対して 頑健に処理する， の3点にまとめられる．