M5 StickC – Giardino Familiare

2021年12月12日

タグ: M5 StickC, python, プログラミング, 読書

M5StickCで速読リーダーを作ってみた

こんにちは、Lineaです。最近は買い物レ […]

こんにちは、Lineaです。

最近は買い物レビュー記事が続いていましたが、久々にプログラミングの記事です。

この前、普段観ているEテレの2355という番組で面白い生理現象?が紹介されていました。
文章の位置が変わらなければ人間は高速に文章が読めるという内容です。文章を読むときには目線を動かして文を追っているのですが、位置が変わらずに文章が切り替わると目線を動かさなくて良いので読めるそうです。Youtubeに同じ効果を紹介した動画がありました。

この効果を知って、本を速読するのに使えるのではと思いました。ちょうどM5StickCだとコンパクトで１行分の文字を表示できるサイズの画面を持ってるので、これで速読リーダーを作ってみたのが今回の内容になります。

青空文庫からダウンロードした本のテキストデータを加工して表示させています。メニュー画面で内部に保存しているテキストファイルを一覧から選択して読むことができます。1行ずつテキスト表示を切り替えていくので動画と同様に高速で読むことができます。進行度の保存機能もあるので電源を切っても続きから読むことができます。

とりあえずデバッグで使っている「吾輩は猫である」のテキストを読んでいますが、読む速度自体は結構早くても読めますね。ただ、古い本だと感じが旧字で見慣れなかったり、言い回しが古いので内容を理解するのが追いつかないときがあります。あらすじレベルでは頭に入ってきますが細かいニュアンスを考える時間がなく次に進んでいくので一長一短な感じはあります。

以下あまり需要なさそうな解説になります

プログラムを一応GitHubに上げてます。M5StickCPlus用にしか書いてないのでM5StickCではそのまま動かないと思います。本のデータは念のため抜いているので、別途用意が必要になります。

表示や状態管理で結構がっつりとファイル数が多くなったので今回は仕組みとポイントだけ解説していきます。

大まかな仕組み

大まかな流れとして次のような流れです。

元のテキストを形態素解析して文節で改行したテキストを作る
M5StickCに加工済みテキストをSPIFFS領域にアップロードする
M5StickC側でテキストデータを読み出し、1行ずつ表示する

テキストの加工は形態素解析で行うためM5StickCでは荷が重いので、pythonで前処理としてPCで行うようにしています。

テキストデータの加工

本を速読するのが目的なので、青空文庫からダウンロードしたテキストデータを表示用に加工するプログラムもpythonで作りました。ちなみに文を単語ごとに区切ることを分かち書きっていうんですね。

pythonで形態素解析ができるJanomeというライブラリを利用しています。これを使った理由としてはpythonでインストールが簡単でサクッと使えるためです。
形態素解析ではmecabが有名ですが、インストールが面倒そうだったのでこちらにしました。

Janomeは解析器のTokenizerをメインに前処理、後処理のフィルターを組み合わせたAnalayzerを作成してテキストを渡すだけで解析してくれます。解析で単語ごとに分かれたリストで返してくれるのでfor文などで必要な処理をします。上の例では解析した単語ごとに”/”で区切りを入れて表示します。

今回はM5StickCで表示する最大文字数を超えるか、助詞が来たら改行して表示用テキストを作っています。青空文庫から落とした「我輩は猫である」の例だとこんな感じです。

吾輩は猫である。名前はまだ無い。
↓
吾輩は
猫である
名前は
まだ無い

例だとうまくいっていますが、人物名など区切れない長い単語やセリフの「」の扱いなどまだ対応しきれていないところもあるので今後考えたいところです。

また、青空文庫のテキストデータにはフリガナや底本の情報などが乗っています。本文だけで読みたいのと形態素解析が正確にできないので、前処理として正規表現などで本文だけ抜き出す作業もしています。

M5StickCにテキストアップロード

本1冊分となるとテキストデータも数百KB~1MBほどと結構なサイズになります。吾輩は猫であるを加工したテキストデータは900KBほどになりました。

これをプログラムのソースコードとして一緒に書き込むとメモリサイズが心配になったので、SPIFFS領域というデータ保存用の領域に別途書き込むことにしました。ちなみにM5StickC全体ではメモリは4MBです。そのうちアプリ領域が1.2MBらしいのでやはり足りなくなりそうですね。SPIFFSは1.5MBなので1冊分は余裕そうですが、2冊入るかは本の組み合わせ次第になりそうです。

M5StickCへのデータのアップロードはPlatformIOを使っているととても簡単です。
プロジェクトのディレクトリ直下にdataフォルダを作成し、その下にアップロードしたいファイルを配置します。今回はdata/books/以下にテキストを配置しました。

次にPlatformIOのメニューを開き、「PromiseTasks」→「Platform」→「Upload FileSyste Image」でアップロードすることができます。アップロードしたデータはプログラムの変更に関係なく保存され続け、プログラム上からアクセスすることができます。

M5StickCでの表示

ここが今回一番頑張った部分ですが、結構がっつりと表示周りや機能を書いた結果解説しきれないものになってしまいました。
そこでいくつかM5StickCならではの部分だけ紹介したいと思います。

テキストデータの読み出し

先程SPIFFS領域に保存したテキストデータの読み出し方法です。SPIFFS領域にアクセスするには、そのままなSPIFFSクラスを使用します。

SPIFFSでスタティックなインスタンスを操作します。 SPIFFS.begin()で初期化しておいて、 SPIFFS.open()でアップロード時のdataフォルダをルートとしてたパスを渡すことでファイルにアクセスできます。Fileクラスで返ってくるので扱いやすいです。

進捗状況の保存

テキストの読み進め具合を保存する機能は読んだテキストのデータ位置を記録することで実装しています。

M5Stickで簡単に情報の保存をするにはPreferencesクラスを使用します。こちらはスタティックな変数が用意されてないので自分で適当にインスタンスを作ります。
Begin()で保存先のグループ名を指定します。get〇〇()で取得、put〇〇で保存になります。〇〇の部分はIntやFloatなど保存する型ごとに分かれています。

テキストファイルを1バイトずつread()で読んでいるので、同時にカウントアップしてデータ位置を保持しています。実際は毎行で保存するのもちょっと無駄に感じたので変数で位置を保持だけしておき、テキスト選択画面に戻る際にPreferencesで保存するようにしています。

日本語フォント表示

実はM5StickCは公式ライブラリ単体では日本語フォントがないので表示できないです。（簡体字はある）
M5StickCには他にTTFフォントなどを自由に使える機能もなさそうだったのでLangShipさんのライブラリを使用させてもらいました。

多言語(日本語)フォント表示
https://lang-ship.com/reference/unofficial/M5StickC/UseCase/UnicodeFont/

ヘッダファイルにフォントデータごと入っているのでライブラリとして組み込むだけで使うことができます。
ですが、現状でライブラリを落として組み込むと自分の環境ではビルドエラーが出るので少し修正が必要でした。

ライブラリに含まれるefontWrapperクラスでなんでかソースとヘッダ両方に実装が書かれているのでエラーになります。自分はラッパークラスを使わなかったのでとりあえずソースのefontWrapper.cppを消して解消しました。

また、実装がすべてヘッダに書かれているので複数のソースでefont.hを直接インクルードするとリンカエラーになりました。この対策として以下のように関数を更にラップした関数を作成してそちらはソースとヘッダに分けることで回避しました。

ソース側でefontライブラリのヘッダを読むようにしています。こうすることでefontライブラリのヘッダはソースで1回しか読まれないのでヘッダの多重読み込みが防止されます。
ヘッダに実装書かれるとインクルードガードしてもそれぞれのオブジェクトコンパイルで読まれてしまうのでリンカで多重読み込みエラーになるんですね。main.cppだけで大体書く実装なら問題ないんでしょうけどね

最後に

解説しきれないのですがM5Stickでの表示部分は結構頑張りました。以前作った魚釣りゲームのオブジェクト管理から流用してアップグレードしたので、シーン単位でオブジェクト管理や遷移ができるようになっています。UIのボタン選択なども作ったので、今後他にもリッチなアプリケーションも作っていけそうです。

ただ色々リッチにしようとするとメモリ管理がシビアになってくるので難しいですね。今回もメモリリークに悩まされたり、画像を扱うメモリ余裕がなかったりと色々難しさを体験しました。

また、本のテキスト加工をPCで前処理で分けて行っていますが新しい本を追加しようとすると手作業になるのでローカルサーバーで処理して自動化できたらいいなとも思いました。今後の挑戦目標としようと思います。

それではまた！

M5 / プログラミング

2021年8月15日

タグ: M5 StickC, ガーデニング, プログラミング

M5StickCでガーデニングの水やりセンサを作る ~その4 【ケースと電源編】

こんにちは、Lineaです　前回はスリープ […]

こんにちは、Lineaです　

前回はスリープを使用しての長時間計測のプログラムを作成しました。システムとしては完成したのですが、M5Stickやセンサをむき出しで外で使うのはあまりにも心配なので、風雨対策のケースを自作してみました。
また、さらに動作時間を延ばすためにモバイルバッテリーなどの外部電源を試してみてわかったことも書いていきます。

前回の記事はこちらです.

M5StickCでガーデニングの水やりセンサを作る ~その3 【スリープで長時間稼働】

ケース作成

屋外用のケーズですが、あまりコストをかけずに作ることを目的とします。そこでホームセンターで売っていたジップロックのタッパーを使います。タッパーの側面に水分センサのコネクタが通るサイズの穴（2㎝四方ほど）をカッターで開けます。

ホームセンターで買ったゴムシートを穴のサイズより一まわり大きくカットします。ゴムシートの中央にカッターで十字に切り込みを入れます。この切込みでケーブルを通します。ゴムシートをタッパーの穴を塞ぐように貼れば完成です

水分センサーの方は100円ショップなどで売られているチャック式の小袋を使います。センサの電極を袋の底を破って突き出させます。ケーブル部分はチャックを閉じれないので養生テープで覆って密封しました。

タッパーにM5StickCとモバイルバッテリーを入れてみました。スティックタイプのモバイルバッテリーならM5StickCと一緒に入ります。USBケーブルは短くて柔らかいものを使うと収納しやすいです。
早速ベランダーのポットに設置してみました。自作DIYなので完全な防水ではないですが、ベランダなど屋根があるところでなら使用していけそうです。2,3日外で動かしてみましたが問題ありませんでした。

電源まわり

内前回の検証では内蔵バッテリーでは7時間程度の稼働時間だったので、1日中放置しておくことができませんでした。そこで手持ちのモバイルバッテリーをUSB経由でつないで給電しながら放置してみました。
その結果ですが8時間程度と内蔵バッテリーとあまり変わらない稼働時間でした。原因を探るためにバッテリーとUSBの電圧をAmbientへのデータ送信に含めて再度試してみました。

d3=M5バッテリー電圧　d4=M5バッテリー電流
d5=USB電圧　d6=USB電流

上のグラフを見るとバッテリー電圧が約4.2VになるまではUSBから電流が流れていますが、その後USB電流が0になっています。モバイルバッテリーからの給電によってM5StickC自体の充電が終わると、消費電力が少なくなることでモバイルバッテリーの給電が止まってしまうようです。

調べてみると、ほとんどのモバイルバッテリーは消費電力が少ない場合には自動で電源を切る機能が備わっているようです。スマホの充電のように普段の用途なら無駄な消耗や過放電を防げてうれしい機能ですが今回のような電子工作の電源としては扱いにくいですね。

自動オフ機能のない5v電源として乾電池と昇圧コンバーターで自作しようかとも思ったのですが、100円ショップで乾電池USBチャージャーが使えると聞いたので探して購入しました。ちなみに何店か回りましたがセリアでしか売ってませんでした。他の100円ショップだともうモバイルバッテリーにとってかわられてました（100円じゃないけど）。

M5StickCに接続して使ってみました。電池はアルカリ乾電池とNi-MH充電池の両方を試してみました。どちらも長時間給電し続けることが可能でした。給電できた時間は以下の通りでした（グラフは期間が長いので割愛）

電池の種類	給電時間
Ni-MH充電池	24時間
アルカリ電池	34時間

乾電池のほうが動作時間が長いのが意外でした。充電池は1本あたりの電圧が低いので動作電圧が維持できなくなるまでが早いのかなと推測してます。とはいえ充電池でも1日持つのでランニングコストを考えると充電池で運用しようかなと思います。

ひとまず屋外設置の対策ができたので一旦これで完成としてしばらく運用してみます。水分量の変化の関係性が分かってきたら水やりの通知なども手を出してみたいですね。

それではまた！

M5 / プログラミング

2021年8月8日

タグ: IoT, M5 StickC, プログラミング

M5StickCでガーデニングの水やりセンサを作る ~その3 【スリープで長時間稼働】

こんにちは、Lineaです　前回は計測した […]

こんにちは、Lineaです　

前回は計測した水分量データをAmbientというIoTログサービスに送信してデータの可視化まで行いました。ですが、課題としてM5StickCの内蔵バッテリーで常時ネットワーク接続して稼働させ続けると1時間弱しか保ちませんでした。
今回はM5StickCのスリープ機能を使って解決してみようと思います。計測してデータ送信⇒15分スリープ⇒計測してデータ送信…と繰り返す動作を作っていきます。
スリープ機能はUIFlowでは使用できなかったので、今回からArduino環境（C/C++)でつくっていきます

前回の記事はこちらです

M5StickCでガーデニングの水やりセンサを作る ~その2 【Ambientでデータ保存編】

M5StickCのスリープ機能

M5StickC（に内蔵されるマイコン）には2段階のスリープがあります。

ディープスリープ
ライトスリープ

どちらも復帰にはタイマーやボタンの入力が使えます。一定時間後やボタンが押されたらといった条件で復帰させることができます。
2つのスリープの差は電力以外に復帰時の挙動に大きな違いがあります。

ディープスリープ

名前の通り機能をほぼ停止させることで電力消費を大きく抑えます。
復帰時にはプログラムを最初から実行し直すことになります。また、データもスローメモリという特殊領域に保存しておかないと維持されないです。スリープから復帰したかどうかを判別する事はできるのでプログラムの先頭でスリープ復帰時に処理を切り替える事はできます。

ライトスリープ

ディープスリープより色々停止しないので消費電力は少し大きくなります。その代わりスリープの復帰時に継続してプログラムが動作します。変数なども普通に維持された状態で復帰します。どちらかというとこっちの方が「スリープ」っぽい動作ですね。

今回は実行する機能としては数十分おきに測って送信するだけなので、状態を維持する必要がないのでディープスリープを使います。

プログラミング

最初にも書きましたがUIFlowではスリープが使えないのでC言語でプログラミングします。
M5StickCはArduino環境でC言語でプログラミングできます。ArduinoIDEでもプログラミングできますが、自分はVSCode+PlatformIOを使用しています。そのうちPlatformIOでのスタート手順も書かないとですね。

今回作成したプログラムがこちらです。

#include <M5StickCPlus.h>
#include <WiFi.h>
#include <Ambient.h>

//define
//pin定義
const uint8_t kEarthPin = 33;
const uint8_t kEarthDigiPin = 32;
//スリープ時間
const uint sleepMin = 15; //15分
//wifi情報
const char wifi_ssid[32]="SSID";
const char wifi_key[64]="アクセスポイントのキー";
//ambient情報
const unsigned int channelId = 0; // AmbientのチャネルID
const char* writeKey = "ライトキー"
//static変数
WiFiClient client;
Ambient ambient;

//functions
//測定
void measureEarth(){
  //濡れているほうが値が低くなるので反転させる
  uint16_t earthVal = 1024 - analogRead(kEarthPin);
  int earthDigi = digitalRead(kEarthDigiPin);

  //表示
  M5.lcd.fillScreen(BLACK);//クリア
  M5.Lcd.setTextColor(WHITE, BLACK);
  int32_t drawX=4 ,drawY = 16;
  char valStr[32];
  M5.lcd.drawString("Earth Sensor",drawX,drawY);
  drawY += 24;
  sprintf(valStr,"value : %d",earthVal);
  M5.lcd.drawString(valStr,drawX,drawY);
  drawY += 24;
  M5.lcd.fillRect(drawX,drawY,(earthVal/1024.0)*(M5.Lcd.width()-32),16,BLUE);
  drawY += 24;
  sprintf(valStr,"wet? : %d",earthDigi);
  M5.lcd.drawString(valStr,drawX,drawY);
  drawY += 24;
  sprintf(valStr,"wifi? : %d",WiFi.status());
  M5.lcd.drawString(valStr,drawX,drawY);

  //Ambient送信
  ambient.set(1,earthVal);
  ambient.set(2,earthDigi);
  ambient.send();
  
}

//カウントダウン
void countDown(const char *dispTxt,const int sec)
{
  int count = sec;
  char countStr[16];
  M5.Lcd.setTextColor(WHITE, GREEN);
  M5.Lcd.fillRect(24,24,M5.Lcd.width()-48,M5.Lcd.height()-48,GREEN);
  while (count >= 0)
  {
    sprintf(countStr,"%s %ds...",dispTxt,count);
    M5.lcd.drawCentreString(countStr,M5.Lcd.width()/2,M5.Lcd.height()/2,2);
    count--;
    //1秒待つ
    delay(1000);
  }
}

//setup関数　ディープスリープ復帰時もここから再開する
void setup() {
  //M5スタート
  M5.begin();
  M5.Lcd.setRotation(1);
  // 画面をつける（スリープ復帰用）
  M5.Axp.ScreenBreath(10);

  //水分センサのピンをセットアップ
  pinMode(kEarthPin,ANALOG);
  pinMode(kEarthDigiPin,INPUT);

  //アナログ値の解像度を1024段階に設定
  analogSetWidth(10); //10bit(1024)

  //文字サイズを少し大きくしておく
  M5.lcd.setTextFont(2);

  // WiFi接続
  Serial.printf("Connecting to %s ", wifi_ssid);
  WiFi.begin(wifi_ssid, wifi_key);
  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
    Serial.print(".");
  }
  Serial.println("CONNECTED");

  //Ambient setup
  ambient.begin(channelId, writeKey, &client); // チャネルIDとライトキーを指定してAmbientの初期化
}

void loop() {
  //計測カウントダウン
  countDown("measure",5);

  //計測
  measureEarth();
  
  //wait
  delay(5000);

  //スリープカウントダウン
  countDown("sleep",5);

  //スリープ
  Serial.println("Enter sleep");
  // 画面を消す
  M5.Axp.ScreenBreath(0);
  esp_sleep_enable_timer_wakeup(SLEEP_MIN(sleepMin));
  esp_deep_sleep_start();
}

重要なところをいくつか解説します

スリープ処理

//スリープ時間
const uint sleepMin = 15; //15分

//setup関数　ディープスリープ復帰時もここから再開する
void setup() {
  //中略...
  // 画面をつける（スリープ復帰用）
  M5.Axp.ScreenBreath(10);
}

void loop() {
  //計測
  measureEarth();
　//中略...

  //スリープ
  Serial.println("Enter sleep");
  // 画面を消す　スリープに入るだけでは画面は点いたままになる
  M5.Axp.ScreenBreath(0);
  //スリープ復帰方法を設定　タイマー版
  esp_sleep_enable_timer_wakeup(SLEEP_MIN(sleepMin));
　//スリープ開始
  esp_deep_sleep_start();
}

スリープはesp_sleep_enable_xxx_wakeup()で復帰方法を指定後にesp_deep_sleep_start()で開始します。xxxの部分は復帰方法毎に関数が分かれています。今回は復帰方法にタイマーを使用します。タイマーの時間はマイクロ秒で指定するので注意が必要です。SLEEP_MIN()など変換マクロ関数が用意されているのでこちらを使うと指定が楽です。

ディープスリープからの復帰はsetup()からやり直されることになるのでこの中に復帰した際の処理はここに書く必要があります。

スリープでは液晶画面のオンオフは管理されないので、スリープ突入時に画面をオフにする場合はM5.Axp.ScreenBreath()で画面の明るさを0にして消す必要があります。また、スリープからの復帰時には再度ScreenBreath()で明るさを設定してオンにする必要がありますのでsetup()に書いてあります。

Wifi & Ambient

//ヘッダ
#include <WiFi.h>
#include <Ambient.h>
//wifi情報
const char wifi_ssid[32]="SSID";
const char wifi_key[64]="アクセスポイントのキー";
//ambient情報
const unsigned int channelId = 0; // AmbientのチャネルID
const char* writeKey = "ライトキー"
//static変数
WiFiClient client; //Ambientで使うので必要
Ambient ambient;

void setup() {
  // WiFi接続
  WiFi.begin(wifi_ssid, wifi_key);
  while (WiFi.status() != WL_CONNECTED) {
    delay(500);
  }
  //Ambient setup
  ambient.begin(channelId, writeKey, &client); // チャネルIDとライトキーを指定してAmbientの初期化
}

Ambientに送信するにはWifi接続も必要なので合わせて解説します。Ambientを使うにはライブラリをインストールする必要があります。ArduinoIDEやPlatformIOのライブラリ検索で「Ambient ESP32 ESP8266 lib」を検索してインストールします。インストールできたらWifi.hとAmbient.hをインクルードしておきます。

ENVⅡHAT
https://www.switch-science.com/catalog/6559/

WiFi.begin()の引数にSSIDとパスワードを渡して呼ぶことで接続します。接続には時間がかかるので、すぐに次の処理を始めてしまうとエラーの原因になります。WiFi.status()で状態を取得して、接続状態WL_CONNECTEDになるまでループして接続できるまで待機します。

AmbientはAmbient型のクラスから制御します。static変数などでインスタンスを作っておき、Ambient::begin()にチャネルIDとライトキーを渡して初期化します。 Ambient::begin() にはWifiClientのポインタも渡す必要がありますのでWifi接続後に呼ぶ必要があります。

測定 & データ送信

//pin定義
const uint8_t kEarthPin = 33; //アナログ値ピン
const uint8_t kEarthDigiPin = 32;　//デジタル値ピン

void setup() {
  //水分センサのピンをセットアップ
  pinMode(kEarthPin,ANALOG);
  pinMode(kEarthDigiPin,INPUT);
  //アナログ値の解像度を1024段階に設定
  analogSetWidth(10); //10bit(1024)
}

void measureEarth(){
　//計測
  //濡れているほうが値が低くなるので反転させる
  uint16_t earthVal = 1024 - analogRead(kEarthPin); //アナログ値
  int earthDigi = digitalRead(kEarthDigiPin);　//デジタル値

  //Ambient送信
  ambient.set(1,earthVal); //データスロット1
  ambient.set(2,earthDigi); //データスロット2
  ambient.send();
  
}

水分センサの値は接続しているピンの値を直接読み取ります。32,33ピンが対応するピンです。32はデジタル値で一定値を境に0-1で取得できます。33はアナログ値で細かい数値が取得できます。基本的には細かく取れる33ピンの方を使用すると思います。pinMode()でピンとモードを適したものに設定します。
アナログ値はanalogSetWidth()でAD変換の解像度を設定することで値の範囲を変更できます。デフォルトでは0-4096になっていますが、UIFlowでは0-1024だったのでそれに合わせて変更しています。

センサからの値の取得はanalogRead(),digitalRead()でそれぞれ設定したピンから取得します。
Ambientへのデータ送信はAmbient::set()にデータのスロットと値を渡してセットします。Ambient::send()でセットした値を送信します。

動作

動かしてみたところをGif動画にしてみました。

Wifiの接続完了後に計測までのカウントダウンが表示されます。Wifi接続までは数秒かかります。接続中の表示を足しても良かったかもしれないです。
測定後にカウントダウンしてスリープに入ります。画面もオフにしているので見た目では電源が切れているのと差がわからないのが難点ですね。運用上はプランターに挿して放置するので目視確認することもないので気にしない方針。

さて、肝心の稼働時間です。Ambientのデータにどれだけデータ送信が続けられたかで確認します。

満充電で17:30ごろから動かして24:30ごろまでデータが送信されていました。内蔵バッテリーだけで約7時間ほど稼働できました。前回の1時間に比べれば7倍ですのでかなり伸ばすことができました！！
これならモバイルバッテリーを接続することで数日は動かし続けられそうです。計測の間隔を伸ばせば実行時間が減るので更に稼働時間を増やせるかもしれないですね。