オノマトペン

concept image オノマトペを声に出しながら線を引くことで、そのオノマトペに応じた質感で線を描けるインタフェースです。例えば「モコモコ〜」と言いながら線を引くと、モコモコした線を描くことができます。

高解像度版 (QuickTime, H.264)
ニコニコ動画版

機能

オノマトペに応じて以下のようなブラシで線を描くことができます。
また、コピー＆ペーストのような編集操作や、写真の変形といった画像加工にもオノマトペを使います。

ブラシ編集・画像加工

「消し消し」
消しゴム

「チョキチョキ」
切り取り

「ペタペタ」
貼り付け

「コピコピ」
コピー

「びよ〜ん」
変形

ブラシ	編集・画像加工
	「消し消し」消しゴム「チョキチョキ」切り取り「ペタペタ」貼り付け「コピコピ」コピー「びよ〜ん」変形

特徴

マルチモーダル・モードレス: ボタンやショートカットを使った明示的な切り替えが必要ありません。操作から操作へスムーズに移行できます。
機能と入力の感覚的なマッピング: 機能と入力の対応付けが分かりやすく、入力した結果描かれる線をイメージしやすくなっています。
エンターテイメント: 絵を描くのが楽しくなるかも

実装

音声認識にはオープンソースの音声認識エンジンJulianを使っています。 Julian用認識文法を作成することで、「ギザギザ」といったオノマトペだけを認識しています。
また、Julianをモジュールモード (サーバーモード) で動かすことで、クライアントのペイントソフトにTCP/IP経由で音声認識結果を送っています。

論文

神原啓介, 塚田浩二, "オノマトペン", 日本ソフトウェア科学会論文誌（コンピュータソフトウェア）, Vol.27, No.1, pp.48-55, 岩波書店, Feb. 2010. (PDF)
神原啓介, 塚田浩二, "オノマトペン", ソフトウェア科学会 WISS 2008 登壇発表, pp.79-84, Nov.2008. (PDF)