ノートのページに音声がリンクされる。 ノートのページを開いて書いた字の場所を指すと その音声の部分へ飛ぶ。

「開いたページ認識」の技法が使われている。

音声及び非音声インタフェースの概要。

自動車内のオーディオを音声で制御する装置。 音楽の音が認識にとって一番問題になるので、 非認識期間に音量レベルを調べて閾値を変更する機能や だんだん認識の基準を甘くする言い直し機能などを もうけている。商品になっている。

計算機と人間のインタフェースは、文化の異なる者の間の 通訳者のようなものと考え、表情やジェスチャなどいろいろな 表現をインタフェースに活用しようとする試み。 ビデオカメラで顔や手の動きを認識したり音声認識したり する。(Human Reader = Head Reader + Hand Reader + ...)

音声認識器をモジュール分けしてつくるアーキテクチャ。 ブロック図しか書いていないが、音声用UIMSのようなもの のようである。それ自体はちっとも面白くない。

マルチウィンドウはひとつの画面にたくさんのアプリを出すのに 成功しているから、ひとつの音声チャネルにたくさんの音声 出力をすることも可能だろう、という話らしい。特定の音声を 強調するためにエフェクタを使ったりするようである。

カナダの電話会社で実際に電話局に設置した音声認識装置を 使って各種サービスをした実験。例えば「増井」という客が デパートにコレクトコールをする場合は、 客: "0-(店の番号)"をダイヤル システム: 「コレクトコールなら1を押して下さい」 客: "1"をダイヤル システム: 「あなたのお名前は？」 客: 「増井」 という問答がある。最後の名前はシステムにより録音される。 この後システムは録音された名前を使ってデパートに電話をかける。 デパート: 「なんとかデパートです。」 システム: 「「増井」さんからコレクトコールが入ってます。 受けますか？」 デパート: 「え？」 システム: 「「増井」という人からコレクトコールが入ってます。 受けるかどうか、「はい」「いいえ」で答えて下さい」 デパート: 「はい」 という感じである。 ここで認識システムは「はい」「いいえ」を正しく認識し、 関係ない答えをはじくように注意する。運用結果はなかなか 良好である。 上の例でわかるように、対話の設計がとても重要である。

「増井です」とか答えたらどうなるのだろうか。

音声インタフェースにおいてユーザをうまく騙す方法。 (その1)「Phone Slave」…留守番電話が品質の良い音で 「どなたですか？」などと順番に聞くことにより、その後の 応答に名前が入っていると期待する。音声認識などは一切 行なわないが、これが意外とうまく動く。 (その2)「Conversational Desktop」音声認識機械は 自分が必要とされているかどうか判断するのが難しいが、 声の大小で音声認識機構をON/OFFする。 (その3)「Grunt」…音声合成で機械が人間に解説をする システムであるが、人間が無反応だったりすると「聞いて るの？」などと質問する。人間が「うん」などと短い応答 をしたときは聞いていると判断してどんどん続けていくが、 「もう一度説明して」のように長い応答をしたときは 問題があったと判断して説明を繰り返す。「何？」のように 応答は短いが問題がある場合は、声の調子が肯定の場合と 異なることを利用して、問題があったと判断する。 これらのシステムはすべてまともな音声認識を行なって いないにもかかわらず、いかにもまともに動いているように ユーザが感じるように工夫をしている。

メールを読みあげる前にシステムがいくつかしゃべるので、 その間にユーザが合成音に慣れるのではないか、と書いてある。

「Put that there」と同じように、音声とジェスチャを くみあわせるとうまくいくという話らしい。

「計算機つき電話」といったところか。PBXを計算機で制御 したり、グラフィック画面で転送電話を指定できたりする。 (例えば転送電話の場合、画面上のアイコン間に線をひくだけ でよい)

音声特集号の巻頭解説。 ○ 音声を計算機で使うといっても計算機屋と通信(電話)屋 では見方がかなり違う。(Kamel氏本人は電話屋である。) 音声処理には以下のようなカテゴリがある。 ● 電話制御 ・電話帳を調べる ・自動的に電話をかけて商売する(テレマーケッティング) ・転送電話、多者間電話などを簡単に設定できるようにする ・電話をかけてきた人を調べる ● 音声録再 計算機は音声を切りかえるだけのものが多いが、データと して扱うことにより以下のようなことが可能になる。 ・計算機による留守番電話 ・音声つき文書 ・すぐれたテレマーケティング ● 音声処理 ・電話で音声認識、合成をやる ● 音声UI ・認識はまだ使えるレベルでないのでいろいろ工夫が必要である。 ○ 音声ワークステーションKamel_PX

電話屋というのは音声中心で、計算機を使って音声を操作 しやすくなればよいと考えているようだが、計算機屋はマルチ メディアの一部としか考えていないのだろう。 Kamel氏が電話屋ということでどうも音声中心主義で、私のような 計算機屋とはかなり考え方が違うようである。分類法もなじまない。 大体テレマーケッティングなんてやってほしくない！

障害者用インタフェースのいろいろ。単音節音声タイプ ライタ(CQ出版の本のやつ)の紹介が出ている。

音声で商品オーダーを入力する場合の修正手法と評価。 複数の項目のうちいくつかだけ間違ったとき、その項目だけ 入力し直せるようにする。 認識率が変わると何度言いなおさなければならないとか 計算しているが、それがどうした?

文章内の一部を強調する音声合成器。強調のため、音量/速度 (遅くする)/ピッチ/ポーズで実験したら、速度/音量/ピッチ/ ポーズの順で強調を感じる。速度と音量を組みあわせると さらに良い。

電話をインタフェースに使う(Phone-Based Interaction:PBI) ときのガイドラインについて。 ○ 電話の特徴 ・音声入出力しかできない ・どこにでもある ○ 電話のインタフェース ・入力：キーパッドまたは音声 出力：録音音声または合成音声 ・対話型式(プロンプトの方法、対話の構造、...)の設計がむずかしい ○ Self Help: 電話による計算機のガイダンスシステム ○ 入力 音声認識では以下の条件が満たされるところのでないと使えない (本当か?異論がありそう)ので、電話のキーパッドをもっぱら使用 することにする。 ・目または手が使えること ・特定話者 ・トレーニングの時間が充分あること ・語彙が小さいこと ・静かなところで使われること ・認識を間違っても被害が少ないこと ・間違いをみつけるのと訂正するのが簡単なこと ○ 出力 可能なかぎり録音音声を使うのがよい 合成音声を使うときは、 ・メニューを示す場合は、示される単語についてユーザが 前もって知っていることが必要 ・ユーザをあらかじめ合成音声に慣らせておく ・ユーザが合成音声の抑揚に慣れるようにするため、最初に 冗長な文句を付加しておく。 ○ 対話方式の選択 ・コマンドベースとプロンプトベースの２種類が可能。 ・コマンドベース 以下のようなとき使うのがよい(c.f. SFS[4]) ・モード数が少ない(4ー5) ・モード内では多くの機能がある ・ちょくちょくモードを移動する ・そのPBIがよく使われる ・プロンプトベース 以下のような場合に使う。Self Helpはこちらの場合に属する。 ・モードが多い(6以上) ・モード内の構造は単純 ・モードの移動があまり行なわれない ・PBIがたまにしか使われない ○ プロンプト ・初心者には詳しい音声メニューを使い、熟練者には何も言わ なくてよい ・熟練者の場合でも、メッセージの途中で割り込み可能ならば 音声メニュー方式でも問題ない。 ・音声メニューはメニューのタイトル、選択枝、終了メッセージ で構成する。タイトルによって自分が今どこにいるのかを知らせる。 ・「To do function X, enter Y」というメッセージを使う。 ("Enter Y for function X"とはしない。日本語なら自然にこう なるだろう。) ・初心者にとっては音声メニュープロンプト方式が一番である。 ○ メッセージでシステムの状態を知らせる。 ○ ユーザに選択させるとき、よく使われるものは最初に出す (あたりまえ？) ○ 音声認識が便利な点 →CHI87のパネル[2]を参照

・こういう電話インタフェースだと盲人でも使えるはず。 ・それにしてもこんなあたりまえのような話が論文になる？ ・米国の大きな会社に電話するとこの手の音声メニューで応答 されることがある。(ヨセミテに宿を予約しようと思ったら 全然つながらないうえにやっとつながったと思ったらこの手の 電話で応対されてしまった。メッセージがわかりにくいのを我慢 してやっと予約デスクまでたどりついたと思ったら「満室です」の ひとこと。Fuck you! 最初から人間が応対せい！) ・確かにどこのシステムも「To do something, press X」とは 言っていた。だからといって嬉しくも何ともないが。 ・銀行の「Bank by Phone」というシステムを時々使っていた。 預金残高が電話で調べられて便利。音声メッセージ＋キーパッド で操作するが、熟練者は最初からメッセージを無視して コマンドをバシバシ入力して一度で目的の応答を得ることが できるので結構便利だった。(国際電話でも使えるのかしら)

銀行業務を電話でできるようにした実験らしい

SoundTrack = Mac上の盲人用テキストエディタ ・マウスで音声フィードバック付きの階層的メニューを操作する。 ・画面に大きなブロックで「Document」「File」「Edit」など Macで使われるようなメニューが表示されており、マウスが その上に行くとメニューによりピッチの異なる音がする。 クリックするとそれが何であるか音声で読みあげられ、ダブル クリックすると次のレベルのメニューが出る(「Edit」を選択 すると「Copy」「Paste」などが出る)。 ・「Document」「New」を選択すると文書作成が可能になる。 ・文書作成中に入力した単語は読みあげられる。 ・文書は階層的になっておりレベルを上下左右に移動する。 ・「Thumb Bar」というスライダで文書内を移動できる。 ・例えば単語を消去するには、まず単語を選択し、編集メニュー を選択し、消去メニューを選択する。(大変そう!!)

・PhD Thesisの抄録だそうである。やれやれ。 ・何故無理してメニューやスライダなどを動かさなければなら ないのか。全然違うインタフェースにすべきでは。 ・盲人にとって画面の折り返しとか画面上の位置とかは意味が あるか？見えない画面上をマウスとかで移動させてどうしようと いうのだろうか。 ・Editメニューを選んでからCopyメニューを選ぶなど愚の骨頂 である。最初から「Copy」と言えばいいではないか！ ・大体ポインティングデバイスなんて不要ではないのか。 ・盲人はペンを操作するのに慣れているとは考えられないが？ だからタブレットが使えないのでは？ ・マルチモーダルかつ冗長なインタフェースが必要だという 点は同意する。 ・盲人は読みでサーチするのだろうか？そういうエディタも 提案してた人がいた。

Degen_MarkerTapeをテレコを使わず全て音声だけで 操作できるようにしたシステム。命令もAckも音声で行なわれる。 これでなんとか階層的に(カテゴリ分けなどして)音声データを 機械に格納しようとしているが、現在どのモードにいるのか わからなくなってユーザが混乱することもあるという。

Schmandt氏はPhoneSlave(Schmandt_Illusion参照) などといった(割としょうもない)音声IFをずっと研究している ようである。

画面上の点をつなぐという仕事をするのに、マウスとメニュー を使う場合と音声を使う場合とどちらが速かったか実験した、 とかいうだけの話。それがどうした??

テープレコーダを改造して、テープにマーキングができる ようにした。時々ユーザがマークボタンを押すことにより 片チャネルに特殊信号が録音され、それを後で検索できる ようになっている。

音声認識技術の現状・有効なマンマシンインターフェイスの 構築と音声認識との関係・音声認識技術をうまく活用している アプリケーションの特徴について述べている。 ● 企業は音声IF製品に熱心だが実際の要求は高くない ● 音声IFがうまくいくかどうかは音声処理技術と仕事の内容が マッチしていることが大事である ● データ入力では音声入力が有効なことがある ● 手や目が忙しいときに音声入力は有効である ● 音声ダイヤラーは有効である ● 対話IFの設計が重要である。プロンプト・構文解析・フィード バック・編集方法・出力バッファ処理・ヘルプ・トレーニング 手法などに注意した対話設計ツールが必要である。 ● ユーザが音声入力を使いたいと思っており、多少のトレー ニング期間を受け入れ、また音声により仕事が効率化した ことを実感できるような場合に音声IFはうまくいく。

電話の音声インタフェースについてのパネル ○ Debbie Lawrence (NYNEX,音声ダイアラーサービス) ・役にたつ ・システムが認識に失敗したときユーザはゆっくり喋ったり 大きな声で喋ったりするが、こうするとかえって認識が悪くなる ・「Robert」で登録しておいて「Bob」とか言う奴がいる ・よくある名前の方が認識しやすいと勘違いする奴がいる ○ Gerhard Deffner (TI,ボイスメール) ・ユーザは音声コマンドは使わないが数字読みあげは使う。 ○ Monica A. Marics (Bell) ・音声インタフェースが使われないのは認識率の問題ではない。 ・勝手に「Please」をつけ足したり自然言語でしゃべる奴がいる ・「Yes」のかわりに「Okay」という奴もいる ・プロンプトのトーン音を待たずにしゃべり出す奴もいる ・自然言語認識が欲しいところである ○ Marita Franzke (U S West,ボイスメール) ・タッチトーンでやるより音声で指示する方が意外と速い ・音声認識はタッチトーンよりエラー率は高いが、別の仕事と 同時にやらせると逆に音声指示の方がエラーが少なくなる ・主観評価では音声指示を好む人の方が多い ・自然言語処理なんか適当で良い

Xspeakは音声でXウィンドウのウィンドウ操作を実現する。 ウィンドウ名を呼ぶとそのアプリが(見えない場合でも)前面に 出てくる。結果は以下のとおり。 ・ヘッドセットを使っていないので認識率が悪い。50-80%程度 ・特に音声インタフェースは好まれない。 ・隠れたウィンドウの選択は速い ・ウインドウ操作の上手な人には役にたたない ・マウス操作全部を音声でできるわけではない ということで、Xのイベントマクロ言語のようなものを作って あらゆるマウス操作を音声でできるようにしたXspeakIIを作った。 ・コンテキスト依存認識 ・イベント記述言語X-GL

・イベント記述言語は繰返しや条件も書くことができるが、音声 とは全然関係がない！ ・音声合成についてはどう考えているのだろうか ・とにかく全然便利そうでない！「Simon says」は便利だと いうけれど...