オノマトペン

オノマトペを声に出しながら線を引くことで、そのオノマトペに応じた質感で線を描けるインタフェースです。 例えば「モコモコ〜」と言いながら線を引くと、モコモコした線を描くことができます。

• 高解像度版 (QuickTime, H.264)
• ニコニコ動画版

機能

オノマトペに応じて以下のようなブラシで線を描くことができます。
また、コピー＆ペーストのような編集操作や、 写真の変形といった画像加工にもオノマトペを使います。

ブラシ	編集・画像加工
	「消し消し」 消しゴム 「チョキチョキ」 切り取り 「ペタペタ」 貼り付け 「コピコピ」 コピー 「びよ〜ん」 変形

特徴

マルチモーダル・モードレス

ボタンやショートカットを使った明示的な切り替えが必要ありません。 操作から操作へスムーズに移行できます。

機能と入力の感覚的なマッピング

機能と入力の対応付けが分かりやすく、入力した結果描かれる線をイメージしやすくなっています。

エンターテイメント

絵を描くのが楽しくなるかも

実装

音声認識にはオープンソースの音声認識エンジンJuliusを使っています。 Julius用認識文法を作成することで、「ギザギザ」といったオノマトペだけを認識しています。
また、Juliusをモジュールモード (サーバーモード) で動かすことで、 クライアントのペイントソフトにTCP/IP経由で音声認識結果を送っています。

応用

オノマトペンの技術・操作方法を応用して、オノマトペを声に出すことで操作するゲーム：オノマトゲー「忍者オノマトくん」を作りました。

ニコニコ動画版

ダウンロード

Windows版のみ
Windows版 + Linux版
ソースコード（github.com）

論文

• 神原啓介, 塚田浩二, "オノマトペを用いたマルチモーダルインタラクション", 2011年度 人工知能学会全国大会（第25回, JSAI2011）論文集, 1C2-OS4b-12, Jun. 2011. (PDF)
• 神原啓介, 塚田浩二, "オノマトペン", 日本ソフトウェア科学会 論文誌（コンピュータソフトウェア）, Vol.27, No.1, pp.48-55, 岩波書店, Feb. 2010. (PDF)
• 神原啓介, 塚田浩二, "オノマトペン", ソフトウェア科学会 WISS 2008 登壇発表, pp.79-84, Nov.2008. (PDF)