近年，深層学習技術の発展により自動音声認識の精度は飛躍的に向上しました．当研究室では，言い誤りや言い淀み，発音誤りが多く含まれる外国語学習者の音声認識，発音・韻律の自動評価技術の研究を進めています．最近では，吃音音声の認識技術も研究しています．

　日本の英語教育は徐々に早期化され，2020年度より小学校3・4年生で「外国語に親しむ活動」，小学校5・6年生では教科として「外国語（英語）」が教えられています．小学校での英語教育ではリスニングとスピーキングに力が入れられていますが，児童の聴き取り，発音はほとんど定量的に測られておらず，どのような成長曲線を描くのか，明らかにされていません．当研究室では，かねてより英語教育に力を入れてきた同志社小学校，京都府内の公立小学校，様々な言語的背景の生徒が所属する同志社国際中高の協力を得て，児童・生徒の英語音声を継続的に録音し，その変化を分析しています．

　グローバル社会における言葉の壁を取り除くことを目指し，機械翻訳（異なる言語間の翻訳をコンピュータで自動的に行う技術）の研究を行っています．テキストのみを用いた機械翻訳の精度向上に加え，画像などの情報も活用するマルチモーダル機械翻訳にも取り組んでいます．例えば，翻訳する文に関連する画像を利用して単語の意味の曖昧さを解消する機械翻訳技術や，国際会議での発表や講義などにおいて，スライドや論文などの資料を手がかりに発話を高精度に翻訳する技術を研究しています．

　精神的な悩みを抱える人々を支援するため，大規模言語モデル（LLM）を用いた認知行動療法（CBT）に基づくカウンセリングの研究を行っています．近年，カウンセリングの需要が高まる一方で，専門的なカウンセラーの不足や，相談することへの心理的なハードルが課題となっています．そこで，心理学の専門知識を取り入れ，認知行動療法に基づいた対話を適切に行えるLLMの構築を目指しています．特に，CBTの一種で，ネガティブなことを繰り返し考える「反すう」に着目した反すう焦点化認知行動療法（RFCBT）に基づくカウンセリングを実現するための研究に取り組んでいます．

　日本人学習者向けにコンピュータを用いて効果的な英会話訓練が行えるコンピュータ支援言語学習(Computer-Assisted Language Learning, CALL)システムの実現を目指し，学習者が2体のアバターと英会話を行うJoining-in-type CALLシステムを開発しています．英語構文の組み立てが苦手な日本人学習者向けに，模範回答の繰り返しと発展的な応用の組み合わせ，誤りに対する適応的なフィードバックの方法などを検討・実装し，日本人大学生を対象とする学習効果測定を行っています．

　生成AIの発展により一般的なテキスト対話は行えるようになりましたが，生成AI任せにしない計画的な対話，音声対話向けの研究を行っています．本プロジェクトの成果は，同志社大学公式チャットボットとして実用化されています．

　スマートウォッチを中心に制約のある環境で快適なテキスト入力を実現するインタフェースを検討しています．スマートウォッチにおけるカナ入力用のインタフェースは検討を重ねたため，現在はかな漢字変換の高精度化に取り組んでいます．