1. SiriでChromeを操作してみる

    音声を使ってハンズフリーでアプリケーションを操作するサンプル


    Siriのprivate APIを叩けるというのをこちらの記事で拝見しましたので、試しにChromeを操作してみました。



     

    処理の流れとしては次のようなかんじになっています。

    1.一定以上の音声入力があるのを待ち受ける。(動画内でいちいち「シリ」と呼びかけているのはこのためです。)

    2.入力があった場合、siriのAPIを呼び出してdictationを開始。

    3.あらかじめ登録しておいた言葉(「検索」「戻って」など)にマッチするかどうかを調べる。

    4.マッチする場合、Chrome(にインストールしたpackaged appのhttpserver)にメッセージを送る。(こちらを使わせていただきました。chrome上で、Webサーバーを動かしてみた

    5.ChromeExtensionでブラウザに対してそれぞれの操作をする。

    というかんじです。

    サーバーとの通信時間があるので快適に操作するというわけにはいかないですね。Leap Motion なんかと組み合わせたらわりと面白いかもしれません。Leap Motion持ってませんが。

    コレまでの道はまだまだ遠そうです。

     


     

    Posted by Takeya Hikage on 2013年04月19日
    Categories chrome iOS