先端情報学研究科 博士後期課程1年次の滝沢 力さん（平井研究室）が、国立研究開発法人産業技術総合研究所（産総研）による若手研究人材育成事業「覚醒プロジェクト」の研究実施者に選出されました。

「覚醒プロジェクト」は、若手人材が産業技術総合研究所の保有する先端的研究設備を活用することで、ディープテック（※）分野における独創的かつ斬新な研究開発を推進し、社会課題解決にチャレンジするプロジェクトです。2024年度は、4つの研究領域（AI、生命工学、材料・化学、量子）について、若手研究者による独創的かつ斬新なディープテック研究の開発テーマが募集され、先進的で独創的な24件（研究実施者24名）が採択されました。

滝沢さんは、本事業のプロジェクトマネージャー(PM)やスーパーバイザー（SV）の伴走支援、研究費の支援、産業技術総合研究所が保有する最先端研究環境の無償利用、そして採択者や経験豊富な支援人材とのネットワーク形成支援などを受けながら、研究を推進していきます。

※ディープテックとは、事業化あるいは社会実装を実現できれば、社会課題の解決など社会に大きなインパクトを与える潜在力のある科学的な発見や、革新的な技術開発を指します。

ゲームやアニメーション、映画などのコンテンツ作品では、効果音を入れることが必要ですが、プロでもその制作には手間がかかることが多いです。ましてや、経験が少ない人にとっては所望の効果音を制作したりサウンドライブラリから選び出すことは大変骨の折れることであり、思い通りの音が作成・入手できるとは限りません。ですが、イメージする音を擬音語としてニュアンス含めて口で表現することは比較的容易であり、誰でもある程度はものまねとして表現できます（例：金属のぶつかる音、サイレンの音、爆発音など）。

採択された研究テーマは、擬音的な口真似音声（特にボイスパーカッション的に似せた音）から、生成系の深層学習技術を用いて効果音を合成する手法について取り組むものです。文字（記号）では表現しきれない発音を含めた音の種類（音韻情報）のほか、音の高さや抑揚の変化・タイミングなどの情報（韻律情報）も含め、通常の音声言語以上の人の発音能力を最大限活用する形の音響合成技術の研究であり、言語情報を用いずに、音声のみから音響合成を行います（Voice-to-SFX）。現時点では、多種多様な効果音の種類の中でも特に「爆発音」に焦点を当てた内容に取り組んでおり、ある程度は実現できています。この合成手法が想定する有効な使い方は、頭でイメージした音を発音し、合成された音を聞いてニュアンスの違いがあれば、再度発音し直して合成し、を繰り返して所望する音を得ていくというものです。

採択されたプロジェクトでは、様々な人の様々な発音の仕方にも追従して合成ができるよう改良していくほか、爆発音以外の効果音にも適用しつつ、手法の有効性・有用性を示していく予定です。

• 国立研究開発法人産業技術総合研究所「覚醒プロジェクト」公式Webサイト
• 【先端情報学研究科】滝沢 力さんがWISS2022でチームラボ賞を受賞！
• 平井研究室Webページ
• 表現のニュアンスを含めた擬音的模倣音声からの効果音合成（平井研究室Webページ）
• 爆発音の口真似と合成例