2013年11月2日土曜日

Raspberry Pi用カメラモジュールおよび赤外線カメラPi NoIRの映像をandroidで表示してみた

0. はじめに

Raspberry Pi用の赤外線カメラPi NoIRが発売されました。
赤外線カメラは使ったことがないので興味があり、早速注文してみました。

既存のカメラと同じくraspistillコマンドなどで使えるのですが、
今回、その映像をmjpg-streamerで配信し、androidで見てみることにします。
なお、本ページの内容は、Pi NoIRだけでなく通常のRaspberry Pi用カメラでも全く同様に成り立ちます。

なお、2016年4月、Raspberry Piのカメラモジュールのバージョン2が発売になりました。こちらでも本ページのプログラムは動作するのですが、NOOBS1.9.0までのRaspbianでは映像の向きが上下逆転してしまいます。次のRaspbianが出るまで待つことをお勧めします。上級者の方には「sudo rpi-update」でカーネルを最新にすれば正常動作することをお知らせしておきます。


1. 新しい方法


ここから解説するのは、下記のサイトで紹介されている方法です。
解像度640x480、30fpsで高画質で動作するのでおすすめの方法です。

1.1 カメラモジュール対応のmjpg-streamerのインストール

まず、あらかじめraspi-config でカメラを有効にしておいてください。
そして、下記の要領で、カメラモジュール対応のmjpg-streamerをインストールします。


sudo apt-get update
sudo apt-get install libjpeg8-dev cmake
git clone https://github.com/jacksonliam/mjpg-streamer.git mjpg-streamer
cd mjpg-streamer/mjpg-streamer-experimental
make
cd
sudo mv mjpg-streamer/mjpg-streamer-experimental /opt/mjpg-streamer

インストールが完了したら、下記の内容をユーザーpiのホームディレクトリ/home/piにstart_steam.shという名前で保存します。なお、このスクリプトでは解像度640x480、フレームレート15fpsでmjpg-streamerを起動します。お好みで設定を変更してください(解像度640x480、30fpsまでは安定動作を確認しました)

#!/bin/bash
 
if pgrep mjpg_streamer > /dev/null
then
  echo "mjpg_streamer already running"
else
  LD_LIBRARY_PATH=/opt/mjpg-streamer/ /opt/mjpg-streamer/mjpg_streamer -i "input_raspicam.so -fps 15 -q 50 -x 640 -y 480" -o "output_http.so -p 9000 -w /opt/mjpg-streamer/www" > /dev/null 2>&1&
  echo "mjpg_streamer started"
fi

次に、このスクリプトを/etc/rc.localに記述することで、自動起動します。そのために、エディタで/etc/rc.localを編集するのですが、その際、管理者モードでないと保存できませんので注意してください。viで編集する場合は下記のようにsudoをつけて起動します。

sudo vi /etc/rc.local

もともと、「exit 0」という行が最後に記されているのですが、その手前に下記のように1行追記します。

(中略)

sh /home/pi/start_steam.sh

exit 0  # ←この行はもともとある行

以上でRaspberry Piを再起動すると、mjpg-streamerが自動で起動します。


1.2 android側アプリで閲覧

PCのブラウザで、Raspberry Piが動いているIPアドレスの9000ポートを見ると(http://xx.xx.xx.xx:9000/)、
映像が配信されていることがわかります。このポート番号は、上のスクリプトstart_stream.shの内部で決定されています。

この映像をandroidで受け取るには、手前味噌ですが簡単MJPEGビューアを使うと簡単です。
このアプリのソースはこちらにあります。

アプリを起動したら、メニューから「設定」を選択し、下図のように、解像度を640x480に、「ポート番号」を9000に(キーボードで記述)、コマンドを「?action=stream」に設定してください。


設定を保存すると下記のように、Raspberry Piのカメラから配信された映像がandroid上に表示されます。
なお、この映像は暗い部屋で人形にテレビのリモコンの赤外線を当てて撮影しました。


以上で目的は達成です。

冒頭で紹介した「Raspberry Piで学ぶ電子工作」ではこのRaspberry Piとカメラモジュールの組み合わせをキャタピラ式模型に搭載し、iPadなどのタブレットのウェブブラウザから映像を見ながら操作する、という演習を取り入れています。下記の内容紹介動画のおよそ1:38からその様子が示されています。



若干映像が詰まるところが見られますが(およそ1:57)、これはRaspberry Piと用いたWifiドングルの相性の問題と考えています。

「Raspberry Pi 2 + kernel 4.1 / 4.4 系列で5GHz対応WifiドングルGW-450Dを動かした」 を参考にGW-450Dを用いるとこの「映像の詰まり」は解消されるのですが、kernelの再構築が必要なので、書籍では紹介できませんでした。

以上です。


なお、以下に記すのは古い内容なので読み飛ばして頂いて構いません。


2. 古い方法

ここから先は、このエントリを執筆した2013年11月当時の古い方法です。今この方法を用いる必要性はないのですが、記録として残しておきます。

2.1Raspbian側の準備

まず、あらかじめraspi-config でカメラを有効にしておいてください。

次に、OSを最新にします。

sudo apt-get update
sudo apt-get upgrade

さらに、ファームウェアを最新にします。 これを実行しておかないと後でmjpg-streamerを起動するときに「ERROR opening V4L interface: Interrupted system call」というエラーがでます。
(2014.6.5追記:なお、2014.5.6のRaspbianを用いたところ、このプロセスは不要になっていました)

sudo rpi-update

なお、アップデートを実行すると、Raspberry Piの起動時の「Mounting local filesystems」の際にmmcblk0に関するエラーが出て起動しなくなる場合があります。その場合、こちらに関連情報がありますが、SDカードを変更すれば状況が改善する場合があります。

私の場合、Transcend SDHC 8GB(class 10)で起動しなくなったので、古いTranscend SDHC 8GB(class 2)に変更したところ、問題が解決しました。

2.2 Video4Linuxの有効化

次に、Rapsberry PiのカメラをVideo4Linuxで用いるために、こちらを参考にVideo4Linuxを有効にします。まず、以下を実行。

wget http://www.linux-projects.org/listing/uv4l_repo/lrkey.asc && sudo apt-key add ./lrkey.asc

次に、/etc/apt/sources.listの末尾に下記の行を加えます。

deb http://www.linux-projects.org/listing/uv4l_repo/raspbian/ wheezy main

そして、以下を実行します。

sudo apt-get update
sudo apt-get install uv4l uv4l-raspicam

2.3 mjpg-streamerのインストール

こちらを参考に、mjpg-streamerをインストールします。

まず、インストールに必要なライブラリやヘッダなどをインストールします。

sudo apt-get install libjpeg8-dev libv4l-dev
sudo apt-get install imagemagick

ヘッダにリンクを貼ります。

sudo ln -s /usr/include/linux/videodev2.h /usr/include/linux/videodev.h

次に、mjpg-streamerの最新のソースをダウンロードするため、subversionをインストールします。

sudo apt-get install subversion

そしてmjpg-streamerのソースをダウンロードします。

svn co https://svn.code.sf.net/p/mjpg-streamer/code/mjpg-streamer mjpg-streamer

そして、以下のようにmakeします。

cd mjpg-streamer
make

エラーが出ずにビルドが完了すれば次に進みます。

2.4 mjpg-streamerの起動

mjpg-streamerをビルドしたディレクトリで作業します。

まず、Video4Linuxを有効にします(このコマンドはどのディレクトリでもOK)。なお、無効にするには pkill uv4lを実行します。この例は解像度320x240、フレームレート10fpsです。

uv4l --driver raspicam --auto-video_nr --width 320 --height 240 --framerate 10

そして、mjpg-streamerを起動します。やはり解像度320x240、フレームレート10fpsを指定しています。

export LD_LIBRARY_PATH="$(pwd)"
LD_PRELOAD=/usr/lib/uv4l/uv4lext/armv6l/libuv4lext.so ./mjpg_streamer -i "input_uvc.so -d /dev/video0 -r 320x240 -f 10 -no_dynctrl" -o "output_http.so -w ./www"

色々試してみたところ、フレームレートを大きくすると不安定になるようで、mjpg-streamerが落ちます。私の環境では解像度320x240、フレームレート10fpsでは安定して動きますので、どこまでいけるか色々試してみてください。

2.5 android側アプリで閲覧

PCのブラウザで、Raspberry Piが動いているIPアドレスの8080ポートを見ると(http://xx.xx.xx.xx:8080/)、
映像が配信されていることがわかります。

この映像をandroidで受け取るには、手前味噌ですが簡単MJPEGビューアを使うと簡単です。
このアプリのソースはこちらにあります。

アプリを起動したら、メニューから「設定」を選択し、下図のように、解像度を320x240に、ポート番号を8080に設定します。

設定を保存すると下記のように、Raspberry Piのカメラから配信された映像がandroid上に表示されます。
なお、この映像は暗い部屋で人形にテレビのリモコンの赤外線を当てて撮影しました。




2.6  mjpg-streamerの自動起動

さて、動作が確認できたところで、必要な方はRaspberry Piが起動するときにmjpg-streamerが自動で起動するようにしておきましょう。以下、Raspberry Piでの操作です。

mjpg-streamerのディレクトリが/home/pi/mjpg-streamerであるという前提で話を進めます。

cd ~/mjpg-streamer

このディレクトリに、start-mjpg-streamer.shというファイルを作成し、下記の内容を記述します。エディタはviでもnanoでも、お好みのもので構いません。

#!/bin/sh

uv4l --driver raspicam --auto-video_nr --width 320 --height 240 --framerate 10

cd /home/pi/mjpg-streamer

export LD_LIBRARY_PATH="$(pwd)"

LD_PRELOAD=/usr/lib/uv4l/uv4lext/armv6l/libuv4lext.so ./mjpg_streamer -i "input_uvc.so -d /dev/video0 -r 320x240 -f 10 -no_dynctrl" -o "output_http.so -w ./www"

次に、このスクリプトを/etc/rc.localに記述することで、自動起動します。そのために、エディタで/etc/rc.localを編集するのですが、その際、管理者モードでないと保存できませんので注意してください。viで編集する場合は下記のようにsudoをつけて起動します。

sudo vi /etc/rc.local

もともと、「exit 0」という行が最後に記されているのですが、その手前に下記のように1行追記します。

(中略)

sh /home/pi/mjpg-streamer/start-mjpg-streamer.sh &

exit 0  # ←この行はもともとある行

保存したらRaspberry Piを再起動してみてください。mjpg-streamerが自動で起動しているはずです。お疲れ様でした。



「カラー図解 最新 Raspberry Piで学ぶ電子工作」、「実例で学ぶRaspberry Pi電子工作」を執筆しました。


2013年10月10日木曜日

enchantMOONで三輪オムニロボットを操作してみた

はじめに

enchantMOONで三輪オムニロボットを操作してみました。
動画はこちら。




経緯など

以前、「Firefox OSとRaspberry Piで三輪オムニホイールロボットを操作してみた」というエントリで、JavaScriptの勉強のために、Firefox OSで三輪ロボットを操作するという実験を行いました。

三輪ロボット側のRaspberry Piでnode.jsを動かし、websocket.ioを用いてFirefox OSと通信を行う、というものでした。

Firefox OS+JavaScriptという組み合わせで操作できるなら、enchantMOON+JavaScriptでもいけるのでは?というのが今回の着想です。

しかし、それほど簡単ではなかったので、以下に注意点をまとめます。

注意点

公式のsocket.io.jsでは通信ができませんでした。また、サーバーであるロボット側は前回はwebsocket.ioを用いましたが、enchantMOONに合わせてサーバー側もsocket.io.jsを用いるように変更しました(こちらは公式のものでOK)。
  • enchantMOONのバージョンはver.2.6.0 (r1880)以上を用いる
これより前のバージョンでは、つながったりつながらなかったりと、通信が不安定でしたが、ver.2.6.0では安定しています。その理由は「enchantMOONのXHRでresponseTextの末尾にゴミデータがつく」問題が、version 2.6.0で改善されたからだそうです。esmasuiさん、ありがとうございます。

ソースの構成など

enchantMOON側のソースの構成は下記のようにしました。

hack.js
main.js
lib/MOON.js
lib/socket.io.js  : esmasuiさんのもの
lib/enchant.js

タッチイベントを使いたかったので、parachesさんの『enchantMOONで「簡易版とことんぷよぷよ」を遊べるようにしてみた』を参考にenchant.jsを使ってみました。

hack.jsの内容
importJS(['lib/MOON.js', 'lib/enchant.js', "lib/socket.io.js"], function() {

    var sticker = Sticker.create();
    sticker.ontap = function() {
        var script=document.createElement('script');
        script.src="main.js";
        script.type='text/javascript';
        script.language='javascript';
        document.body.appendChild(script);
    };
    sticker.register();
});

main.jsの内容の一部
enchant();

var URL = 'http://192.168.1.5:8888'; // サーバーのアドレス
var width = 240
var height = 320
var socket;
var game = new Game(width,height);

game.onload = function () {
    socket = io.connect(URL, {'transports': ["xhr-polling"]});

    var touchPanel = new Sprite(width,height);
    touchPanel.x = 0;
    touchPanel.y = 0;
    touchPanel.addEventListener('touchstart', function(e) {
        moonTouched(e.x, e.y);
    });
    touchPanel.addEventListener('touchmove', function(e) {
        moonTouched(e.x, e.y);
    });
    touchPanel.addEventListener('touchend', function(e) {
        stopMotors();
    });

    game.rootScene.addChild(touchPanel);
}
game.start();

function moonTouched(keyx, keyy) {
    //ここにタッチエリアに応じた処理を書く。
    //上の動画では、4つのモーターにデータを送りたいので、
    //コンマ区切りの数値を送っている。

    //例えば以下のように
    //socket.send('90,0,0,0');
}
function stopMotors() {
    //例えば以下のようにモーターを停止させている
    //socket.send('90,0,0,0');
}

コントロール画面はこんな感じです。やっつけで書きました。絵心がある人だったら、面白いコントロール画面を描けると思います。


2013年10月8日火曜日

Xperia arc/rayとGalaxy S2/S3向けFirefox OS 1.1のビルド法を更新し、ビルド済みファイルを公開した話

はじめに

10/20(日)に東京電機大学で開催されるAndroid Bazaar and Coneference 2013 Autumnで展示するために、
安定して動作するFirefox OS端末が必要になったので、これまでビルド法を公開してきたGalaxy S2/S3、Xperia arc/ray へのビルドを試してみました。
ビルド法を公開した当時とは色々と状況が変わっているので、変更点などをメモ。
ついでにビルド済みファイルを公開。

これまでの経緯

2013年の6月に、下記の通りGalaxys S2/S3、Xperia arc/ray へのFirefox OSのビルド法を公開しました。

このビルド法は、下記の構成でソースを取得してビルドするようになっていました。
  • gaia:masterブランチの最新
  • gecko:gecko-18ブランチの最新
  • gonk:android 4.0 または cyanogenmod 9

しかし、7月以降、高解像度端末では上のままでは正しい解像度でのビルドができなくなっていました。


正しい解像度(6月頃) 正しくない解像度(7月以降)


このあたりのコミットとかこのあたりのコメントを追っていくと情報が得られますが、
gaiaでの簡易的な高解像度端末への対応を削除して、
gecko(masterとv1.1.0hdブランチ)の高解像度端末への対応度を高めていくということのようです。

Xperia arcとGalaxy S2への対応

ということで、まず、Xperia arcとGalaxy S2はビルド法を下記の構成に変更しました。
  • gaia:v1.1.0hdブランチの最新
  • gecko:v1.1.0hdブランチの最新(gecko 18.1)
  • gonk:android 4.0 または cyanogenmod 9

この2つは素直な端末なのか、トラブルは少ないです。Firefox OSのバージョンでいうと1.1ですね。

gaiaをmasterにしなかったのは、変更が頻繁すぎるため、
geckoをmasterにしなかったのは、gonkをcyanogenmod 9のままにしておきたかったからです。
(cyanogenmod 9のままgeckoをmasterにすると、WifiやSIMが使えなくなったりと、残念な感じになります)

Boot 2 JCROMの方は下記のようにしています。
  • gaia:master-jcブランチの最新
  • gecko:v1.1.0hdブランチの最新
  • gonk:android 4.0 または cyanogenmod 9

基本的には上記の方法でビルドするのですが、下記のように、端末ごとにいくつか例外があります。

Xperia rayへの対応

まず、Xperia rayではgecko v1.1.0hdでの解像度の取り扱いがうまくいっていないようなので、
geckoをgecko-18、gaiaを6月末の時点のものに固定していくつか修正を加えます。
  • gaia:masterブランチの6月末+いくつかの修正(ココ
  • gecko:gecko-18ブランチの最新
  • gonk:android 4.0 または cyanogenmod 9

Boot 2 JCROMは下記の通りです。
  • gaia:master-jcブランチの6月末+いくつかの修正(ココ
  • gecko:gecko-18ブランチの最新
  • gonk:android 4.0 または cyanogenmod 9

Galaxy S3への対応

この中では一番解像度が高い端末なのですが、Xperia ray同様、
gecko  v1.1.0hdでの解像度の取扱いがうまくいっておらず、さらに
gecko-18でも8月以降、起動が途中で止まってしまうコードが入っているようで、
gecko-18の7月末頃のコードを利用します。
  • gaia:masterブランチの6月末+いくつかの修正(ココ
  • gecko:gecko-18ブランチの7月末頃
  • gonk:android 4.0 または cyanogenmod 9

Boot 2 JCROMも同様です。
  • gaia:master-jcブランチの6月末+いくつかの修正(ココ
  • gecko:gecko-18ブランチの7月末頃
  • gonk:android 4.0 または cyanogenmod 9

ビルド済みパッケージ公開について

せっかくなので今日の時点でのビルド済みファイルをダウンロード可能にしました。
下記の各端末のページでダウンロード可能です。

なお、アップデートは無効にしてあるので、OTAアップデートは飛んできません。

これは、海外から「OTAアップデートしたらカメラが使えた!」というコメントが多くて困ったためです。
OTAアップデートすると解像度が狂ったり、こちらで修正した問題点が復活したりするのでOTAアップデートすべきではないです。
そもそも非公式端末にOTAアップデートが降ってきて適用できること自体問題だと思います。

おわりに

非公式端末へのインストールなので仕方ないのですが、特にXperia rayとGalaxy S3で
ビルド時のトラブルが多いです。

Galaxy S3の場合はgaiaとgeckoを両方masterにしてFirefox OS 1.2ベースにすると
状況は改善するようなのですが、gonkをJelly Beanベースにしなければいけないので、
作業に手を付けるのはいつになるか、わかりません。

Xperia rayについては、Firefox OS 1.2にするのは難しそうだし、このあたりが限界かも?
という気がしてきました。

というわけで、おしまい。

2013年9月28日土曜日

ガンダムAGE風に改造したドロイド君の写真をまとめてみた

はじめに


twitterやGoogle+のアイコンを自分独自のドロイド君にしたい、ということで作り始めたガンダムAGE風ドロイド君。チョコチョコ作っているうちに数が増えてきて、写真もtwitterに貼ったりGoogle+に貼ったりしてたらどこに何があるのかわからなくなってきたので、一か所にまとめてみることにしました。

技術ネタ以外を書くのは初ですが、まあたまにはいいよね、ということで。

集合写真


初めて作ったタイタスドロイド。左はfigmaバッファローベルHG ガンダムAGE1タイタスの手足をつけたもの。無改造でこの違和感のなさ。
ドロイドタイタスが気に入ったので、一気にたくさん作ったもの。一時期この写真をGoogle+のトップ画像にしていた。
Android Bazaar and Conference 2013 Spring(東京立川・明星大学)の展示にて。i'm watchというスマートウォッチでプラレールを動かしているのですが、色々持ち込んで何の展示だかわからなくしてしまうのがいつもの癖。
ガンダムAGE1フルグランサと共に、フルグランサドロイド君。これとダークハウンド、FXバーストは2つ以上のプラモデルをミックスして作っている。
最近作ったFXバーストドロイド君。周りを取り巻いているのはHG ガンダムAGE-FXバーストの付属パーツのCファンネルだけど、これが思いのほかカッコいい。今これをGoogle+のトップ画像にしてる
HG ガンダムAGE-FXバーストとFXバーストドロイド君。

個別写真とその構成


AGE1ドロイド

android mini collectibles series 02 ICEBERG
BB戦士 ガンダムAGE1
タイタスドロイド

android mini collectibles series 01 Android
BB戦士 ガンダムAGE1
タイタスドロイド(赤)

android mini collectibles series 03 Red
BB戦士 ガンダムAGE1
スパロードロイド

android mini collectibles series 02 Bluebot
BB戦士 ガンダムAGE1
フォートレスドロイド

android mini collectibles series 01 Android
BB戦士 ガンダムAGE3
FXドロイド

android mini collectibles series 02 Greeneon
BB戦士 ガンダムAGE-FX
レギルスドロイド

android mini collectibles series 01 Android
BB戦士 ガンダムレギルス
ダークハウンドドロイド

android mini collectibles series 03 Nexus
BB戦士 ガンダムAGE2
HG ガンダムAGE2ダークハウンド

このあたりからBB戦士のキットにないものを作り始めた
フルグランサドロイド

android mini collectibles series 02 Greeneon
BB戦士 ガンダムAGE1
HG ガンダムAGE1フルグランサ
HG ガンダムAGE1(短いビームサーベルのみ)

今のところ背負いものを持っているのはこれだけ
FXバーストドロイド

android mini collectibles series 02 ICEBERG
BB戦士 ガンダムAGE-FX
HG ガンダムAGE-FX バースト
アクションベース2グレー


作り方

作り方は簡単。ドロイド君の腕を切り取り、デザインナイフなどで5mm角くらいの穴を開けます。そこにBB戦士のポリキャップCを加工してはめ込み、瞬間接着剤で固めます。

頭は取り外しが容易になるよう、出っぱりをデザインナイフで削っておくと、作業が効率的に行えます。クリアタイプのドロイド君は頭が簡単に外せるのですけどね。

なお、android mini collectiblesはebayで買ってます。




おしまい


並べてみるとわかるのですが、これ結構カネかかってるよね…、ということでおしまい。

こちらもどうぞ




2013年8月27日火曜日

Firefox OSとRaspberry Piで三輪オムニホイールロボットを操作してみた

Firefox OSを載せたXperia arcと、node.jsが動作するRaspberry Piで三輪オムニホイールロボットを操作してみました。動画はこちら。



以下、動画について解説していきます。

はじめに

最近、Google Glass、Firefox OS、Windows ストアアプリ、enchantMOONのようにJavaScriptを用いて開発する環境が増えています。

私のWeb関係の知識ははHTML3.2時代で止まっていて、このままではとてもこれらの流れについていけそうにないので、少し知識をアップデートすることにしました。

また、別ジャンルで名刺サイズの小型PCであるRaspberry Piが去年から流行っていますが、この流行にも乗り遅れた感があるので、合わせて触ってみようと思い立ちました。

というわけで、これらを満たす目標として
  • Firefox OSでnode.jsが動作するRaspberry PiとWebSocket通信し、ロボットを動かす
ことを目指してみます。

動かすロボットは、
で用いた三輪オムニホイールロボットとします。こちらはandroidアプリでbluetooth通信してロボットを動かしていましたが、こちらと同じ動作を目指します。

なお、androidでは画像処理による対象物追跡を行いましたが、さすがにJavaScriptで画像処理はキツイ気がするので今回は割愛しました。

システム

こんな感じのシステムとしました。Firefox OSを載せた端末としては、「Xperia arcとXperia ray向けにFirefox OSをビルドしてみた」で紹介したXperia arcを用います。

基本的に、Android上のChromeやFirefoxでも動作するように作成しているので、自前ビルド端末を使ったことによる影響は多分ないと思います。


node.jsを動かしてモーターを動かすなら、こちらでやられているようにmbedを用いた方がスマートな気がしますが、mbedは未体験ということもあり今回は見送りました。

方針が決まれば、あとは様々な方の成果を活用させて頂くだけ、ということで、以下でそれらへのポインタを示したいと思います。


Raspberry Pi上のnode.js

Raspberry Piにnode.jsをインストールし、Firefox OS(というよりブラウザ)からの指令を受け取れるようにする方法はInterface誌2013年9月号の記事「ARMコンピュータRaspberryPi×HTML5でスマートI/O」に書いてあります。

この例では、指令に基づいてRaspberry Piのピンに接続したLEDを点灯させていましたが、その部分をシリアル通信でのaruduinoへの指令に変更します。

Raspberry Piからのシリアル通信は、こちらのページのC言語のプログラムを用いました。リンク先の例ではRaspberry Pi上のピンでシリアル通信しているので/dev/ttyAMA0を用いていますが、今回私はUSBシリアルアダプタを用いたので/dev/ttyUSB0を指定します。(3.3V←→5Vのレベル変換が面倒だったので)

また、送る文字列ですが、コマンドラインの引数で与えた文字列をそのままaruduinoに送りたかったので、以下のようにしました。

main関数の引数部
int main(int argc, char *argv[]){

送信文字列の定義部
  p_tx_buffer = &tx_buffer[0];
  char *num_buffer = argv[1];

  while(*num_buffer != '\0')
  {
     *p_tx_buffer++ = *num_buffer++;
  }
  *p_tx_buffer++ = '\0';


なお、このシリアル通信プログラムを起動する部分のJavaScriptは以下のような感じです。「[value]」の部分がブラウザから送られる文字列で、serialtestという名前をつけた上のシリアル通信用プログラムの引数となります。

server.on('connection', function(socket) {
        socket.on('message', function(data){
                console.log('Receive: ' + data);
                send_to_arduino(data);
        });
});

var send_to_arduino = function (value){
        var spawn = require('child_process').spawn;
        var sendexec = spawn('./serialtest', [value]);
        sendexec.stdout.on('data', function(data){});
}

なお、「Raspberry PiとNode.jsで作る独立稼働モバイルサーバ (Think IT)」によると、node-serialportを用いるとnode.jsを通してRaspberry Pi/arduino間でJavaScriptで通信できるそうなので、そちらでもよさそうですね。

Firefox OSアプリ

Firefox OSアプリは実質Webアプリなので、HTML/CSS/JavaScriptで記述します。
  • Raspberry PiにSSHでログインしてエディタでJavaScriptを編集
  • Android上のChromeとFirefoxで動作確認
という手順で開発しました。ブラウザのリロードでアプリのアップデートが完了するのは、当たり前といえ新鮮な体験です。

AndroidのFirefoxで動作確認するとFirefox OSでもほぼ同じ動作をするので、あまりFirefox OSの出番はなく開発を進められました(Firefox OSの存在意義は…)。

今回は小さなアプリなのでそれほど苦労する部分はありませんでしたが、端末の画面の回転の検出にChromeとFirefoxで違いがあったので注意が必要でした。

  var mqOrientation = window.matchMedia("(orientation: portrait)");

  mqOrientation.addListener(function() {
    // 画面回転検出時の処理
  });
によってChromeとFirefox両方で画面回転を検出できます。

また、IP Webcamからの画像取得ですが、今回は簡易的に済まそうということで、IP Webcamのスナップショット画像を得る機能をひたすら呼び出してcanvasに描画し続けるという方法を取っています。


Firefox OSアプリのpackaged app化

Firefox OSでは、通常ブラウザ上で動作するWeb アプリを、zipで固めたpackaged appとして端末にインストールすることができます。

packaged appを作成するためのテンプレートとして今回はkassy-kzさんのFirefoxOS_Templateを用いました。

packaged appをインストールする方法としては
  1. マーケットからインストール
  2. Firefox OSシミュレーターからインストール
  3. ローカルネットワーク上のサーバーからのインストール
などがあります。私は公式端末であるKeonやPeakを購入しておらず、Nexus SやGalaxy S2などといった端末に自分でビルドしたFirefox OSをインストールするという方法でFirefox OSを試しています。

この自前ビルドの端末ですが、上記の2の方法でのインストールがうまくいきませんでした。Remote Debuggingを有効にしてはいるのですが。

仕方ないので、3の方法でインストールしました。リンク先の解説の通りですが、package.manifest は、アプリのmanifest.webappをコピーして、package_pathの行を追加するだけで良さそうでした。インストール後、「XXXX downloading...」という通知が、端末を再起動するまで消えないのですが、気にしないことにします。



感想など

Androidアプリで行っていたbluetoothでのロボット操作を、Firefox OSでも実現できました。ただし、いくつか気になる点もありました。

まず、モーターへ指令が到達するまでのステップ数がかなり増えているので若干遅延が発生することがあります。Wifiを利用しているので、Wifiの干渉が大きい場所ではこの遅延がより大きくなることが予想されます。

また、タッチイベントを全て送ると処理が追いつかなくなり、やはり遅延が大きくなるので、指令を送信する回数を減らすなどの工夫が必要な場面がありました。

一方、良い面ですが、Firefox OS用に作成したアプリはWebアプリなので、androidでもiOSデバイスでも動作する(はず)というのはなかなか魅力的に思えました。

ただ、どうしても機能が最大公約数的になりますし、結局各端末でデバッグしなければいけないということも起こりがちなので良し悪しかなあと思います。なんだかこの辺はJavaが出てきたときに言われたことの繰り返しですね。

あと個人的には、ビルドだけして放っておいたFirefox OS端末の使いみちができてよかったな、と。

そんな感じで今回は以上です。

こちらもどうぞ


2013年7月1日月曜日

Boot to JCROMをGalaxy S2/S3、Xperia arc/ray向けにビルドしてみた

androidsolaさんが開発されているFirefox OSベースのカスタムロム
Boot to JCROMをGalaxy S2、Galaxy S3、Xperia arc、Xperia ray向けにビルドしてみました。

ビルド法はFirefox OSのビルド法に近いので下記のページに追記する形でまとめました。


動作している様子は下記の写真のようになります。

SDカード領域にテーマ画像を配置することで、
ロック画面、壁紙、通知画面、ステータスバーに画像が貼れていることがわかります。

テーマのサンプルはBoot to JCROM公式ページのこちらから入手できます。

左からGalaxy S2、Galaxy S3、Xperia ray、Xperia arc


開発者向け端末が出たばかりという時期でカスタムロム開発を始める
androidsolaさんのスピード感が素晴らしいと思います。

2013年6月24日月曜日

Xperia arcとXperia ray向けにFirefox OSをビルドしてみた

はじめに

docomo Galaxy S2 (SC-02C) docomo Galaxy S3 (SC-06D) に引き続き、
Xperia arcとXperia rayに対してFirefox OSをビルドしてみました。

動画はこちら


写真はこちら
Xperia arc


Xperia ray


ビルドの前に

日本版のXperia arcとXperia rayに対して、Firefox OSを含む非公式のロムをインストールするためには
bootloader unlockをする必要があります。私はOmniusというツールを使って行いました。
arc向けの解説はこちら、ray向けの解説はこちらが参考になります。
無料のunlockツールとしてはs1toolというものがあるようなので、そちらでも良いかもしれません。

なお、経験上ですが、Xperia rayを公式の最新OSにアップデートするとbootloader unlockできなくなるように見えました。
古い公式OSに焼きなおしても状況は変わらないので、穴がふさがれる?
なお、新品のrayの白ロムを買えば問題なくbootloader unlockできました。
Xperia arcの場合どうなのかはちょっとわかりません。

このあたりは自己責任でお願いします。

というわけで、ビルド法は以下の通りです。これまでと同様、
solaさんによる「Keon と Peak が届かないので、Nexus S を Firefox OS 端末にしてみた
によるビルド法を踏襲したものになっています。
また、ビルド環境の構築にも上記のsolaさんのページを参考にしてみてください。

なお、以下では通常のFirefox OSとsolaさんによるBoot to JCROMのビルド法の
両方を解説します。

ソースの準備

ソースを下記のようにダウンロードします(環境によりますが30分~1時間くらいかかります)。

$ mkdir ~/b2g_work
$ cd ~/b2g_work
$ export B2G_WORK=`pwd`

(arc用にビルドするときは)
$ export DEVICE=anzu

(ray用にビルドするときは)
$ export DEVICE=urushi

$ git clone https://github.com/neuralassembly/B2JC.git B2G
$ cd B2G

通常のFirefox OSをビルドする場合は下記を、
$ ./config.sh $DEVICE

Boot to JCROMをビルドする場合は下記を実行します。
$ ./config.sh $DEVICE-b2jc

次に、Xperia arcまたはrayの /system ディレクトリのダンプを
ソースツリーに配置するのですが、ここではビルド済みCyanogenMod9のファイルを用いることにします。

$ mkdir $B2G_WORK/B2G/backup-$DEVICE
$ cd $B2G_WORK/B2G/backup-$DEVICE

(arcの場合、http://download.cyanogenmod.com/?device=anzu から
cm-9.1.0-anzu.zip をダウンロードしてここに配置、
 rayの場合、http://download.cyanogenmod.com/?device=urushi から
cm-9.1.0-urushi.zip をダウンロードしてここに配置)

$ unzip cm-9.1.0-$DEVICE.zip
$ cd $B2G_WORK/B2G/device/semc/$DEVICE/
$ ./extract-files.sh

以上の操作により、以下が作成されます。
$B2G_WORK/B2G/vendor/semc/anzu/  (arcの場合)
$B2G_WORK/B2G/vendor/semc/urushi/  (rayの場合)

さらに、Xperia rayでは傾きセンサの向きが逆になる(海外版と日本版の違い?)ので、 以下のパッチ当てを行います(rayのみ)。

$ cd $B2G_WORK/B2G/vendor/semc/urushi/proprietary/etc/
$ wget https://dl.dropboxusercontent.com/u/69652790/patch/b2g-urushi-sensors-conf.patch
$ patch < b2g-urushi-sensors-conf.patch

高解像度対応、日本語対応など

この章で行う操作はsolaさんによるものを流用させて頂いております。

また、この章の内容は、通常のFirefox OSをビルドするときのみ行ってください。
Boot to JCROMをビルドする場合は次の「いくつかの修正」へ進んでください。

下記のように日本語辞書を用意します。

$ cd $B2G_WORK
(naist-jdic-0.4.3.tar.gzを http://sourceforge.jp/projects/naist-jdic/releases/ からダウンロードして配置)
$ tar zxvf naist-jdic-0.4.3.tar.gz
$ cd $B2G_WORK/B2G/gaia/apps/keyboard/js/imes/jskanji/dict
$ mkdir ipadic
$ cp $B2G_WORK/naist-jdic-0.4.3/naist-jdic.dic ipadic/
$ make json (この命令は環境変数LANGの値によっては失敗します。ja_JP.utf8 にセットすればよいです)

いくつかの修正

Xperia arcとrayに固有な問題の修正を行います。

電池残量や充電状況の取得に失敗する点、
画面ON時にHOMEボタン裏のLEDが光りっぱなしになる点を以下で修正します。
以下のようにパッチをあてます。
$ cd $B2G_WORK/B2G/gecko/hal/gonk/
$ wget https://dl.dropboxusercontent.com/u/69652790/patch/b2g-GonkHal.patch
$ patch < b2g-GonkHal.patch

また、Xperia arcのみ、下記でOTAアップデートを無効にします。
Xperia rayでは既にこのパッチは適用済みなので不要です。
$ cd $B2G_WORK/B2G/gaia/apps/system/js/
$ wget https://dl.dropboxusercontent.com/u/69652790/patch/b2g-update_manager.patch
$ patch < b2g-update_manager.patch

環境変数設定

環境変数設定を行います。

$ export LOCALE_BASEDIR=$B2G_WORK/B2G/multilocale/gaia-l10n
$ export LOCALES_FILE=$B2G_WORK/B2G/multilocale/languages-japan.json
$ export PATH="$PATH:$B2G_WORK/B2G/multilocale/compare-locales/scripts"
$ export PYTHONPATH="$B2G_WORK/B2G/multilocale/compare-locales/lib"
$ export MOZILLA_OFFICIAL=1
$ export GAIA_DEV_PIXELS_PER_PX=2

kernel のビルド

ここは自分でkernelをビルドしたい人のみ行って下さい。
既に日本版のkernelを配置済みなので飛ばしても問題ないです。

kernelはCyanogenMod9のkernelを用います。

$ cd $B2G_WORK
$ git clone https://github.com/CyanogenMod/semc-kernel-msm7x30 -b ics
$ cd semc-kernel-msm7x30

$ export ARCH=arm
$ export CROSS_COMPILE=$B2G_WORK/B2G/prebuilt/linux-x86/toolchain/arm-eabi-4.4.3/bin/arm-eabi-

$ make cyanogen_$DEVICE_defconfig
$ make -j16
$ cp `find drivers net -name "*.ko"` $B2G_WORK/B2G/device/semc/$DEVICE/
$ cp arch/arm/boot/zImage $B2G_WORK/B2G/device/semc/$DEVICE/kernel

ビルドと書き込み

以下のようにビルドを行います。

$ cd $B2G_WORK/B2G
$ ./build.sh otapackage

ビルドが終わると、
arcの場合  out/target/product/anzu/full_anzu-ota-eng.username.zip
rayの場合  out/target/product/urushi/full_urushi-ota-eng.username.zip
ができていますので、これを焼きます。

ダウンロード

ビルド済みパッケージはこちら

Xperia arc


Xperia ray



書き込み


あらかじめ、端末にfastbootとadbで接続できるよう、ドライバをインストールしておいてください。
まず、ビルドしてできたzipファイルをSDカードに配置しておきます。
また、あらかじめzipファイルからboot.imgを取り出しておき、PC上に置いておきます。 

次に、端末の電源を切り、arcの場合はメニューを押しながら、
rayの場合はボリュームアップキーを押しながらPCのUSBポートに接続します。
fastbootモードに入り、arcはUSBポートの横のLEDが、rayはホームボタンの周囲が
青く光るはずです。 そこで

$ fastboot flash boot boot.img

を実行し、boot.imgを焼きます。次に、以下のコマンドで再起動します。

$ fastboot reboot

Free Xperia Projectのロゴが見えている状態で、arcはメニューボタンを連打、
rayはボリュームダウンキーを連打します。 どちらも、成功するとホームキー周囲のLEDが点灯し、
CWM recoveryに入ります。

 CWM recoveryにて、wipe data/factory reset を実行後、
install zip from sdcardから、作成したzipファイルを焼いてください。

できることとできないこと

下記のような感じです。ほぼグローバル端末と変わらないからでしょうか、通話と3Gが使えます。
アップデートの通知が来ますが、アップデートしないでください。

arcもrayも解像度は480×854なのですが、これくらいの画面サイズが
Firefox OSには適しているようで、結構快適です。

あとはカメラをなんとかしたいですね。

通話-
3G通信-
Wifi-
SDカード-
カメラ×アプリ起動しないです
音楽再生-
動画再生-


おしまい

日本語化や高解像度の設定、odapackageの作成などにはsolaさんによる変更を
使わせて頂きました。感謝です。

Xperia arcとXperia rayでドッキング


こちらもどうぞ


Link to xda developers

このページを元にした議論やビルド成果へのリンク

Discussions and binaries based on this page are available in the following URLs.
Please note that these threads are not offered by me. My account in XDA is neuralassembly.

Many people are reporting that they applied OTA update, but it should not be applied to your device
because this update is for another device (maybe for unagi), not for arc nor ray.
When you applied the OTA update, the resolution of the Firefox OS becomes wrong.
The correct resolution is shown in the pictures in this page.



2013年6月10日月曜日

docomo Galaxy S3 (SC-06D) 向けにFirefox OSをビルドしてみた

はじめに

前回、docomo Galaxy S2 (SC-02C) にFirefox OSをビルドし、感覚をつかみました。
これに基づいて Galaxy S3 (SC-06D) にFirefox OSをビルドしてみます。

Galaxy S2は(海外版とは言え)公式にサポートされている端末でしたが、
Galaxy S3はそうではありません。そこで問題となるのが、ハードウェア絡みのドライバを
どう用意するかです。

mozilla-b2g / b2g-manifestのリポジトリを見ると、公式ではlinaroやcodeauroraなどのコードを利用していますが、
それと同じことをし、さらにdevice以下のmkファイルを自分で用意するのは私の手に負えないと考え、
既に動作が確認されている CyanogenMod9 からハードウェア依存のコードを全て持ってくるようにしました。
CyanogenMod9は依存関係が深いので、framework/base や system/core まで
CyanogenMod9のものを持ってくる羽目になりましたが、結果的に動いたのでよしとします。
(詳細はneuralassembly / b2g-manifest / sc06d.xml を見て下さい)

動画はこちら



というわけで、ビルド法は以下の通りです。Galaxy S2のときと同様、
solaさんによる「Keon と Peak が届かないので、Nexus S を Firefox OS 端末にしてみた
によるビルド法を踏襲したものになっています。
また、ビルド環境の構築にも上記のsolaさんのページを参考にしてみてください。

なお、通常のFirefox OSと、solaさんによるカスタムロムであるBoot to JCROM
両方のビルド法を以下で解説します。




ソースの準備

ソースを下記のようにダウンロードします(環境によりますが30分~1時間くらいかかります)。

$ mkdir ~/b2g_work
$ cd ~/b2g_work
$ export B2G_WORK=`pwd`
$ git clone https://github.com/neuralassembly/B2JC.git B2G
$ cd B2G

通常のFirefox OSのビルドの際は以下のコマンドを、
$ ./config.sh sc06d

solaさんによるBoot to JCROMのビルドの際は以下のコマンドを実行します。
$ ./config.sh sc06d-b2jc

次に、Galaxy S3 の /system ディレクトリのダンプを
ソースツリーに配置するのですが、ここではHomuHomu さんらが開発されている一撃ツールと
ビルド済みCyanogenMod9のファイルを用いることにします。

$ mkdir $B2G_WORK/B2G/backup-sc06d
$ cd $B2G_WORK/B2G/backup-sc06d
$ wget http://dl.dropbox.com/u/14219187/make_JP_CompleteROM_SC06D.zip
$ unzip make_JP_CompleteROM_SC06D.zip
(http://goo.im/devs/cm/d2att/nightly/ から cm-9-20120916-NIGHTLY-d2att.zip
をダウンロードしてここに配置)
$ unzip cm-9-20120916-NIGHTLY-d2att.zip
$ cd $B2G_WORK/B2G/device/samsung/sc06d/
$ ./extract-files.sh

以上の操作により、以下が作成されます。
$B2G_WORK/B2G/vendor/samsung/sc06d/

高解像度対応、日本語対応など

この章で行う操作はsolaさんによるものを流用させて頂いております。

また、この章の内容は、通常のFirefox OSをビルドするときのみ行ってください。
Boot to JCROMをビルドする場合は次の「いくつかの修正」へ進んでください。

下記のように日本語辞書を用意します。

$ cd $B2G_WORK
(naist-jdic-0.4.3.tar.gzを http://sourceforge.jp/projects/naist-jdic/releases/ からダウンロードして配置)
$ tar zxvf naist-jdic-0.4.3.tar.gz
$ cd $B2G_WORK/B2G/gaia/apps/keyboard/js/imes/jskanji/dict
$ mkdir ipadic
$ cp $B2G_WORK/naist-jdic-0.4.3/naist-jdic.dic ipadic/
$ make json (この命令は環境変数LANGの値によっては失敗します。ja_JP.utf8 にセットすればよいです)

いくつかの修正

画面ON時にHOMEボタン裏のLEDが光りっぱなしになるのが気になるので以下で修正します。

$ cd $B2G_WORK/B2G/gecko/hal/gonk/
$ wget https://dl.dropboxusercontent.com/u/69652790/patch/b2g-GonkHal.patch
$ patch < b2g-GonkHal.patch

環境変数設定

次に、環境変数設定を行います。

$ export LOCALE_BASEDIR=$B2G_WORK/B2G/multilocale/gaia-l10n
$ export LOCALES_FILE=$B2G_WORK/B2G/multilocale/languages-japan.json
$ export PATH="$PATH:$B2G_WORK/B2G/multilocale/compare-locales/scripts"
$ export PYTHONPATH="$B2G_WORK/B2G/multilocale/compare-locales/lib"
$ export MOZILLA_OFFICIAL=1
$ export GAIA_DEV_PIXELS_PER_PX=2

kernel のビルド

ここは自分でkernelをビルドしたい人のみ行って下さい。
既に日本版のkernelを配置済みなので飛ばしても問題ないです。

kernelはsakuramilkさんの公開されているSC-06D用kernelを使わせていただきます。

$ cd $B2G_WORK
$ git clone https://github.com/sakuramilk/sc06d_kernel_ics.git -b android-linux-3.0-master
$ cd sc06d_kernel_ics
$ wget https://dl.dropboxusercontent.com/u/69652790/patch/sc06d_kernel_makefile.patch
$ patch < sc06d_kernel_makefile.patch

$ export ARCH=arm
$ export CROSS_COMPILE=$B2G_WORK/B2G/prebuilt/linux-x86/toolchain/arm-eabi-4.4.3/bin/arm-eabi-

$ make sc06d_aosp_defconfig
$ make -j16
$ cp `find drivers -name "*.ko" ` $B2G_WORK/B2G/device/samsung/sc06d/
$ cp arch/arm/boot/zImage $B2G_WORK/B2G/device/samsung/sc06d/kernel

ビルドと書き込み

以下のようにビルドを行います。

$ cd $B2G_WORK/B2G
$ ./build.sh otapackage

ビルドが終わると、
  out/target/product/sc06d/full_sc06d-ota-eng.username.zip
ができていますので、これをCWM recoveryで書き込んでください。
heimdallでの書き込みには私は成功していません。
 (heimdall detect での検出には成功するが、書き込みできない)

ビルド済みパッケージ


できることとできないこと

下記のような感じです。Wifiが使えるので、それなりに遊べます。アップデートの通知が来ますが、アップデートしないでください。

通話×-
3G通信×-
Wifi-
SDカード内蔵メモリではなく、外付けのSDカードを使用
カメラ×アプリ起動しないです
音楽再生-
動画再生-

そういえば、端末をつないでからadbで接続できるようになるまで、1~2分待たされます。なぜ?

技術的なこと&ハマったこと

Galaxy S2でotapackageを作るために必要な変更は前頁にて紹介しましたが、
ここではさらに以下を追加しました。


 ramdisk のアドレスをdeviceディレクトリの各端末のmkファイルで指定できるようにしています。
 (CyanogenMod 9由来)

Galaxy S3 でFirefox OSを動かすにあたり、まず必要なことはkernelを正常に動作させることです。
kernelが起動して起動スクリプトが実行されれば、次のステップであるgaiaが起動しなくても、
adb shellで端末の中身を見ることができるので、問題を発見しやすくなります。
(ただしこの際、画面は真っ黒なまま)

次に、gaiaの起動ですが、Galaxy S2の起動法に従えば、以下の手順で起動プロセスが進みます。

(1) init.b2g.rc のインポート
(2) /system/b2g/b2g などに実行パーミッションを与える
(3) check-sysimage.shを実行し、OSがandroidかFirefox OSかを判定する
(4) 判定結果に基づき、 servicemanager-g というサービスを起動する
(5) /system/bin/b2g.sh が起動される
(6) /system/b2g/b2g が実行される

(2)の /system/b2g/b2g に実行パーミッションを与えるのが曲者で、
この時点で/system パーティションが読み書きできる状態でなければ
実行権限が与えられず、(6)の起動に失敗します。これに気づくまで数日かかりました。

また、実行パーミッションをうまく与えても、数回に一回しか起動しない、という
状態になりました。これは起動プロセスのタイミングの問題だろうと考え、
上の、やや回りくどい起動プロセスを下記のように簡略化しました。
(init.b2g.rcやcheck-sysimage.shは残してありますが、実行されていない)
これにより、確実に起動するようになりました。

(1) /system/b2g/b2g などに実行パーミッションを与える
(2)  servicemanager-g というサービスを起動する
(3) /system/bin/b2g.sh が起動される
(4) /system/b2g/b2g が実行される

使ってみた感想など

Galaxy S2とGalaxy S3とでは、その性能差からS3の方が快適だろうと予想していたのですが、
必ずしもそうではありませんでした。S3の解像度(720x1280)はS2の解像度(480×800)より
高いのですが、そのためにブラウザなどの文字表示が小さくなり、またタッチに反応する
エリアが狭くなってしまっていることが何度もありました(反応するまで何度もタッチする)。
また、画面が大きいせいもあるのか、もっさり感を感じる場面も多くありました。

また、Firefox OSとandroidとを比較した場合(比較してはいけないのでしょうが)、
androidでは快適に見られていた動画がFirefox OSではカクカクになるなど、
ネイティブまで触れるandroidと、HTML5メインのFirefox OSの差を感じさせられました。

もちろん、これらは自分でビルドした端末での評価なので、
公式のKEONやPEAKでは異なるのかもしれません。

「ネイティブ vs HTML5」という図式を見ると、Java1.1~Java2の頃の「C++ vs Java」
のどちらが速いかという論争を思い出してしまいます。
当時は「(ベンチマークの内容によっては)JavaはC++よりも高速」なんてよく言われてましたね。

結局Javaは「クライアントサイドでは遅い」というイメージを今でも払拭できていないと私は思いますが、
HTML5はどうなるか、気になるところです。

おしまい

日本語化や高解像度の設定、odapackageの作成などにはsolaさんいよる変更を、
プロプライエタリファイル周りではHomuHomuさんの一撃ツールを、
kernelはsakuramilkさんのものを
使わせて頂きました。

docomo Galaxy S2 (SC-02C) 向けにFirefox OSをビルドしてみた

はじめに

solaさんによる「Keon と Peak が届かないので、Nexus S を Firefox OS 端末にしてみた
から始まるFirefox OSについての連続投稿を見て、自分でも何かビルドしてみようと思い立ちました。

Firefox OSはandroid 4.0 (ICS)ベースであり、ICSが動く端末ならばFirefox OSを載せることは
技術的には可能、ということなので、手持ちのGalaxy S2とGalaxy S3に載せることを目標にします。
どちらの端末にもCyanogenMod 9 (ICSベースのカスタムロム) をビルドして
載せたことがあるので、多分なんとかなるだろう、との予測からです。

なお、「Firefox OS ビルドの必要条件」にあるように、Galaxy S2は優先度は低いとはいえ
公式にサポートされている端末なので、これでビルドの手順を把握してから
Galaxy S3に進むという手順を取ります。

Galaxy S2は去年9月にもビルドしたことがあって、その時はまだ完成度が低かったものが
どれくらい変化したか見たい、というのもあります。

目標

ビルドするにあたって、目標にしたのは下記の2点です。
  • kernelは自分でビルドしたものを用いる
  • ビルド用PCと端末に焼くPCとを別にしたい
一つ目のkernelについてですが、海外版と日本版のGalaxy S2ではバードウェア構成が
若干異なるので、日本版に対応したkernelをビルドして載せないと、
電池持ちが悪くなるなどの問題が起こるだろう、との判断からです。

また、二つ目ですが、Galaxy S2はFirefox OSのgaiaのインストールにadb接続を用います。
そのため、ビルド用PCだけではなく、端末に焼くPCにも
gaiaのソース一式が必要なので、取扱いがちょっと面倒でした。
この部分にはsolaさんによるodapackageの対応などを活用させて頂き、
CWM recoveryで焼けるzipファイルを作成するようにしています。
(odapackageとCWM recoveryによるインストールはGalaxy S3では必須になります)

手順は以下の通りです。
なお、ビルドのための環境構築はsolaさんによる
Keon と Peak が届かないので、Nexus S を Firefox OS 端末にしてみた
を参考にしてみてください。

なお、通常のFirefox OSと、solaさんによるカスタムロムのBoot to JCROM
両方のビルド法をともに記します。

ソースの準備

ソースを下記のようにダウンロードします(環境によりますが30分~1時間くらいかかります)。

$ mkdir ~/b2g_work
$ cd ~/b2g_work
$ export B2G_WORK=`pwd`
$ git clone https://github.com/neuralassembly/B2JC.git B2G
$ cd B2G

Firefox OSをダウンロードする場合は以下のコマンドを、
$ ./config.sh sc02c

Boot to JCROMをダウンロードする場合は以下のコマンドを実行します。
$ ./config.sh sc02c-b2jc

次に、Galaxy S2 (SC-02C)の /system ディレクトリのダンプを
ソースツリーに配置します。

$ mkdir -p $B2G_WORK/B2G/backup-sc02c/system
$ cd $B2G_WORK/B2G/backup-sc02c/system
(端末がつながっていれば)
$ adb pull /system/. .

もし端末がビルド用のPCにつながっていない場合、あらかじめsystemを
ダンプしておき、何らかの方法でビルド用のマシンの
$B2G_WORK/B2G/backup-sc02c/system
に配置してください。できたら、以下のように/systemから抜き出したファイルをソースツリー上に配置します。

$ cd $B2G_WORK/B2G/device/samsung/sc02c/
$ ./extract-files.sh

この操作により、下記のディレクトリにプロプライエタリファイルなどが配置されます。
$B2G_WORK/B2G/vendor/samsung/sc02c/
$B2G_WORK/B2G/vendor/samsung/sc02c-common/

高解像度対応、日本語対応など

この章で行う操作はsolaさんによるものを流用させて頂いております。

また、この章の内容は、通常のFirefox OSをビルドするときのみ行ってください。
Boot to JCROMをビルドする場合は次の「いくつかの修正」へ進んでください。

下記のように日本語辞書を用意します。

$ cd $B2G_WORK
(naist-jdic-0.4.3.tar.gzを http://sourceforge.jp/projects/naist-jdic/releases/ からダウンロードして配置)
$ tar zxvf naist-jdic-0.4.3.tar.gz
$ cd $B2G_WORK/B2G/gaia/apps/keyboard/js/imes/jskanji/dict
$ mkdir ipadic
$ cp $B2G_WORK/naist-jdic-0.4.3/naist-jdic.dic ipadic/
$ make json (この命令は環境変数LANGの値によっては失敗します。ja_JP.utf8 にセットすればよいです)

いくつかの修正

また、画面ON時にHOMEボタン裏のLEDが光りっぱなしになるのが気になるので以下で修正します。

$ cd $B2G_WORK/B2G/gecko/hal/gonk/
$ wget https://dl.dropboxusercontent.com/u/69652790/patch/b2g-GonkHal.patch
$ patch < b2g-GonkHal.patch

また、下記でOTAアップデートを無効にします。
$ cd $B2G_WORK/B2G/gaia/apps/system/js/
$ wget https://dl.dropboxusercontent.com/u/69652790/patch/b2g-update_manager.patch
$ patch < b2g-update_manager.patch

環境変数の設定

環境変数を設定します。

$ export LOCALE_BASEDIR=$B2G_WORK/B2G/multilocale/gaia-l10n
$ export LOCALES_FILE=$B2G_WORK/B2G/multilocale/languages-japan.json
$ export PATH="$PATH:$B2G_WORK/B2G/multilocale/compare-locales/scripts"
$ export PYTHONPATH="$B2G_WORK/B2G/multilocale/compare-locales/lib"
$ export MOZILLA_OFFICIAL=1
$ export GAIA_DEV_PIXELS_PER_PX=2

kernel のビルド

ここは自分でkernelをビルドしたい人のみ行って下さい。
既に日本版のkernelを配置済みなので飛ばしても問題ないです。

http://opensource.samsung.com/ からMobile→Mobile Phoneと辿り、
SC-02C_ICS_Opensource_Update1.zipを $B2G_WORKにダウンロードしておきます。

$ cd $B2G_WORK
$ unzip SC-02C_ICS_Opensource_Update1.zip
$ mkdir kernel
$ cd kernel
$ tar zxf ../Kernel.tar.gz

$ wget https://dl.dropboxusercontent.com/u/69652790/patch/b2g_jpn_ntt_defconfig -O arch/arm/configs/b2g_jpn_ntt_defconfig
$ git clone https://github.com/neuralassembly/initramfs-sc02c-b2g.git
$ rm -rf initramfs-sc02c-b2g/.git
$ rm -f initramfs-sc02c-b2g/README.md
 (initramfs-sc02c-b2gディレクトリがそのままrootfsになるので、
 不要なファイルを削除します。残しておいても影響ないので、
 気になる方は削除しないでもよいです)

$ export ARCH=arm
$ export CROSS_COMPILE=$B2G_WORK/B2G/prebuilt/linux-x86/toolchain/arm-eabi-4.4.3/bin/arm-eabi-

$ make b2g_jpn_ntt_defconfig
$ make -j16

$ cp `find drivers -name "*.ko"` initramfs-sc02c-b2g/lib/modules/

$ make -j16

$ cp `find drivers -name "*.ko"` $B2G_WORK/B2G/device/samsung/sc02c/
$ cp arch/arm/boot/zImage $B2G_WORK/B2G/device/samsung/sc02c/kernel

ビルドと書き込み

以下のようにビルドを行います。

$ cd $B2G_WORK/B2G
$ ./build.sh otapackage

ビルドが終わると、
 out/target/product/sc02c/full_sc02c-ota-eng.username.zip
ができていますので、これをCWM recoveryで書き込んでください。

heimdallで焼きたい方は
 out/target/product/sc02c/ にある kernel と system.img を
heimdall flash --kernel kernel --factoryfs system.img
で焼いてもOKです。ただし、この場合heimdallのバージョンは1.3.1を用いてください。
1.3.2を用いると、system.img を焼く際に失敗します。

ビルド済みパッケージ

できることとできないこと

下記のような感じです。3GとWifiが使えるので、それなりに遊べます。アップデートの通知が来ますが、アップデートしないでください。

通話×-
3G通信docomo SIMでmopera.netに接続
Wifi-
SDカード内蔵メモリが使われる
カメラ×カメラアプリを起動して放っておくと数分間隔で絵は撮れてるので、努力次第でなんとかなるかも?
音楽再生-
動画再生R, G, B の各成分の画像が縦にずれて表示される


技術的なこと

少し細かな話ですが、「目標」で述べた2点について少し補足します。

kernelですが、Galaxy S2ではkernel (zImage) をそのままboot.imgにコピーして用います。
その際、rootfs は initramfs に配置します。
また、kernelをビルドするためのコンパイラはarm-eabi-4.4.3のものにしましたが、
これを用いないと、起動しないkernelができたり、insmodで読み込めない
カーネルモジュールができたりしました(よくあることのようです)。

また、otapackageの作成ですが、関連するコミットやリポジトリへのリンクを貼っておきます。
<solaさんによるもの>
sola-dolphin1 / B2JC / Supports build otapackage.
sola-dolphin1 / platform_build / Supports build otapackage.
sola-dolphin1 / platform_external_genext2fs
sola-dolphin1 / platform_external_e2fsprogs

<私による追加>
neuralassembly / platform_build / add support for BOARD_CUSTOM_BOOTIMG_MK
  例えば「kernelをそのままコピーしてboot.imgとする」というような指定を
 deviceディレクトリの端末毎のmkファイルで行えるようにした (CyanogenMod 9 由来)
neuralassembly / platform_build / skip common.CheckSize when creating otapackage
 こちらはエラー回避のため

ということで、公式にサポート端末である Galaxy S2 によって
ビルド法をある程度理解できたので、次回の Galaxy S3 へと続きます。

こちらもどうぞ


2013年5月14日火曜日

スマートウォッチi'm watchのマーケットi'marketでアプリを公開してみた

スマートウォッチi'm watchを使ってこれまで
してきましたが、せっかくなのでマーケットであるi'marketにアプリを出してみることにしました。

モノはこの前GooglePlayに出しSimpleMjpegViewのi'm watch版で名前をMjpegViewとしました(名前の長さに制限があります)。

i'm watchはスマートフォンと連携して使うのですが、そのスマートフォンからネットワーク的にアクセスできるネットワークカメラからのMJPEGストリームを表示するアプリです。

スクリーンショットはこんな感じ。
ネットワークの設定画面はこんな感じです。
そして使用イメージはこんな感じ。
なお、i'm watchはbluetoothで母艦のスマートフォンと接続するため、データ量を極力小さくする必要があります。そのため、解像度やフレームレートなどを細かく設定可能なIP Webcamというアプリをandroid上で動かしてネットワークカメラとするのが現実的です。

IP Webcamの設定は以下の程度とするのが良いと思います。
  • Resolution: 320x240
  • Quality: 20-30
  • Orientation: Landscape
  • FPS Limit: 5
スマートウォッチi'm WatchでMJPEGストリームを表示してみた」や「スマートウォッチi'm WatchでタミヤのRCモデルを操作してみた」でやったように、ものを動かすコントローラーとしてi'm watchを使う場合、一緒にカメラ映像も表示してあげると、程よい未来感が出てカッコいいかなあ、なんて思います。

ソースはGitHubで公開してます。

2013年4月30日火曜日

簡単MJPEGビューア(SimpleMjpegView)をGoogle Playに公開してみた

Trek Ai-BallIP Webcam (Google Play)のようにMJPEGストリーミングを行うネットワークカメラをandroidで表示するためのサンプルアプリのソースを以前から公開していました(詳細)。

何人かの方が使ってくださっているようなのですが、カメラのIPアドレスがソースに直書きされているので使いにくいという意見がありました。

サンプルだからシンプルな方が良いだろう、と思ってIPアドレス変更用のインターフェイスをつけていなかったのですが、せっかくなので必要な機能を追加した上でGoogle Playに公開してみました。ソースもこれまで通り公開しています。

以下、リンクなど

<実行ファイル>
簡単MJPEGビューア(Google Play)

<ソース>
SimpleMjpegView (bitbucket)

<解説>
AndroidでWifiカメラからのMJPEGストリームを表示する

<画像処理の方法>
AndroidでWifiカメラから受け取った動画を画像処理する(1)ピクセルを直接操作する方法
AndroidでWifiカメラから受け取った動画を画像処理する(2)OpenCVを用いる方法

以前との違いは下記の通りです。

  • カメラのIPアドレスを設定するインターフェイスをつけた(デフォルトは http://192.168.2.1:80/?action=stream になっており、Trek Ai-Ballにつながる)
  • 解像度を可変にした(デフォルトは640x480だが、任意の解像度を指定可能)
ロボットなどに搭載して遊ぶのに良いと思います。

注意点としては、映像を受信する端末によって映像の滑らかさに差が出ることが挙げられます。これは以前の解説ページに書いた通りですが、Nexus 4 は特に遅い印象がありました。快適なのは以前も書いた通りXperia Arcなどです。




2013年4月22日月曜日

スマートウォッチi'm WatchでタミヤのRCモデルを操作してみた

スマートウォッチI'm WatchでタミヤのRCモデルを操作してみました。
動画はこちら


経緯


卒業生がTAMIYAのRCモデル「初音ミク Studie GLAD BMW Z4」を遺産として残してくれました。塗装もデカール貼りも気合いが入っています。


androidからbluetooth経由で操作できるよう改造されているのですが、スマートフォンでのラジコン操作は2010年の時点で既にいわたんさんによるすごい動画があるのでどう使おうか迷いどころでした。

しかしこのまま眠らせるのも惜しいと思い、手持ちのスマートウォッチi'm Watchで操作してみることにしました。ものを動かすためにi'm watchを利用するのは下記のプラレール操作に引き続き2つ目ということになります。
i'm Watchは血迷って2つ購入してしまったので、無理にでも積極的に活用しないと損をした気になってしまうのです。



i'm Watchと回路を連携するためには、母艦となるスマートフォンに中継してもらう方法を用いており、これは上記のプラレールと本質的には変わりません。

ただし、そのままではつまづくポイントがあったので、以下ではそれらをメモします。

技術的なこと


実現したいことは以下の通りです。

  • i'm WatchでRCモデルを操作できること
  • RCモデルにカメラを搭載し、i'm Watchから閲覧できること
プラレールの時に用いた方法を用いるなら、こんな感じになるでしょう。



なお、Xperia RayでBluetoothテザリングを行うには、カスタムロムをインストールする必要があります(ここではCM10-basedなJCROM)。が、実際に試してみると、i'm Watchのbluetoothは2、3m程度しか飛ばないことがわかり、RCモデルの操作には適していないことがわかります(プラレールの場合はi'm Watchを常にプラレールの近くに置いて操作していたので問題なかったのですが)。

そこで、実際に採用したのは以下の第2案です。


…なんというか、必要以上に複雑なシステムになってしまいました。実用性よりも「i'm Watchを無理にでも使うこと」が目的になってしまっている感がありますが、とにかくこうなっています(という自分用のメモ)。なお、Xperia ArcでBluetoothテザリングを行ってi'm watchの母艦とするために、カスタムロムをインストールして用いています(ここではCM10-basedなJCROM)。このXperia Arcは動画ではシャツの胸ポケットに入っています。

なお、RCモデル上のカメラを省略すれば、Xperia Rayは不要になって若干シンプルになります。

図では省略していますが、RCモデルの操作はオリジナルの操作系をそのまま活用するため、プロポの基板+ESCをそのまま車体内に搭載し、プロポ基板に対してPIC24F+DA変換チップ(MAX525)からアナログ電圧を与えることで操作しています。

Xperia ArcとPIC24FとのBluetooth通信には、いつも通りhrdakinoriさんのBT_DROIDを活用させて頂いております。

おしまい


i'm WatchでRCモデルを操作してみましたが、スマートウォッチとしての本来の目的(メール、スケジュール管理、SNS連携など)はどうかというと、何をやるにしてもスマホの使い勝手には敵わないというのが現実です。そのあたりの事情はWiredの「Smartwatchは本当に革新的なのだろうか?」という記事が参考になります。

そうはいっても、腕時計で通信をしたりものを動かしたりというのは「古き良き未来」を感じさせてワクワクさせるものがあります。個人的にはウルトラセブンのモロボシダンがキリシマ隊長とビデオシーバーを使ってテレビ電話をしていたのを良く覚えています。また、この作業をしているときにたまたま読んでいた「ファイブスター物語リブート1」でザ・ナイト・オブ・ゴールドの外部からの操作にやはりこの手のスマートウォッチ風のデバイスを用いていたのもイイ感じでした(1986年頃の作品です)。

今後数年でスマートウォッチがより進化して、我々の生活に浸透してくると面白いですね。

2013年1月24日木曜日

スマートウォッチi'm WatchでMJPEGストリームを表示してみた

前回のエントリでi'm Watchを用いてプラレールを操作する方法を紹介しました。今回は、MJPEGをストリーミングするタイプのWifiカメラの映像をi'm Watchで受け取って表示してみます。

いつものプラレールですが、使用例の動画が下記になります。


今回のポイントは、プラレール上のXperia Rayからの映像がMJPEGストリームとして送信され、i'm Watchがそれをデコードして表示している点です。以下で解説するように、動画はBluetoothテザリングで送られてきますので高速にはできず、毎秒5フレーム程度です。

なお、同時にプラレールの操作もi'm Watchで行っていますが、これは前回のエントリに基づいています。

仕組みとサンプルソース

システムの大まかな流れは下の図のようになります。

動画を送信するXperia Rayでは、Google PlayからインストールできるIP Webcamというソフトウェアを導入して実行しています。IPWebcamはサービスとしてバックグラウンドで実行できますので、他のアプリ(ここではBluetoothでPICマイコンに命令を送信するもの)を同時に実行できます。IP Webcamの設定の注意点は以下の通りです。上図で分かるようにデータはBluetoothで送られますので、データ量を減らすことが重要です。
  • Resolution: 320x240に。データ量削減のため
  • Quality: 30~50程度。低いほど画質が下がるが、データ量は減るので有効
  • Orientation: Landscape
  • FPS limit: 5以下に。一秒間に送られる画像の枚数
i'm Watch用の受信アプリですが、MJPEGのデコードに特化したサンプルのソースを
に置きました。このアプリをi'm Watchにインストールして利用します。注意点は以下の通りです。
  • i'm Watchを母艦(上の図ではXperia Ray)と接続し、Xperia Ray側でBluetoothテザリングを有効にします。なお、今回はXperia Rayにはカスタムロムをインストールしています(CM10-based JCROM)。
  • i'm Watch側のアプリから母艦のIPアドレスを指定する必要があります。GUIによる設定画面を用意しましたので、そちらで設定を行います(追記2013.4.30)。なお、androidでBluetoothテザリングを行うと母艦側は192.168.44.1になるようなので、その値を初期値としてあります。
このサンプルを使用しているイメージは下図のようになります。いい感じです。この図では母艦はCM10-based JCROMをインストールしたGalaxy S3です。


おわりに

届いた当初は何に使ったらよいのか途方に暮れたi'm Watchでしたが、adbが入ったファームウェアが公開され、自作アプリを試せるようになると俄然愛着がわきますね。時計としてはまあちょっと残念ですが(毎日充電しなきゃいけないし)。

expansysには色によって在庫があるようなので、気になる人は試してみては?

こちらもどうぞ