Nature Remo API

2019-01-18

参考
ブログもとに試す
- センサーの値を取り出してみる
- Python化
ローカルAPIを試してみる

参考

ブログもとに試す

home.nature.global につなぎ、アクセストークンを発行する。なお、アクセストークンは決して漏らしてはならない。ここではローカルファイルシステムにna.txtとして保存して利用することにする。

$ curl -X GET "https://api.nature.global/1/devices" -H "accept: application/json" -k --header "Authorization: Bearer `cat na.txt`" | jq
[
  {
    "name": "リビング",
    "id": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "created_at": "xxxxxxxxxxxxxxxxxxxx",
    "updated_at": "xxxxxxxxxxxxxxxxxxxx",
    "mac_address": "xxxxxxxxxxxxxxxxxx",
    "serial_number": "xxxxxxxxxxxxxxxxxxxxx",
    "firmware_version": "Remo/1.0.62-gabbf5bd",
    "temperature_offset": 0,
    "humidity_offset": 0,
    "users": [
      {
        "id": "xxxxxxxxxxxxxxxxxxxxxxx",
        "nickname": "xxxxxxxxxxxxxxxxxxx",
        "superuser": xxxxxx
      }
    ],
    "newest_events": {
      "hu": {
        "val": 20,
        "created_at": "xxxxxxxxxxxxxxx"
      },
      "il": {
        "val": 104.4,
        "created_at": "xxxxxxxxxxxxxxxxxx"
      },
      "te": {
        "val": 22.2,
        "created_at": "xxxxxxxxxxxxxxxxxxxxxx"
      }
    }
  }
]

1	$ curl -X GET "https://api.nature.global/1/appliances" -H "accept: application/json" -k --header "Authorization: Bearer `cat na.txt`" \| jq

センサーの値を取り出してみる

Nature Remo で温度超過時にアラート通知をするを参考に試す。先の例と同様に、/1/devicesを叩くと、その戻りの中にセンサーの値が含まれているようだ。そこでjqコマンドを使って取り出す。

1	$ curl -X GET "https://api.nature.global/1/devices" -H "accept: application/json" -k --header "Authorization: Bearer `cat na.txt`" \| jq '.[].newest_events'

結果の例

{
  "hu": {
    "val": 20,
    "created_at": "2019-01-18T15:01:43Z"
  },
  "il": {
    "val": 104.4,
    "created_at": "2019-01-18T13:26:58Z"
  },
  "te": {
    "val": 21,
    "created_at": "2019-01-18T14:24:23Z"
  }
}

これを保存しておけばよさそう。

Python化

curl to python のサイトを利用し、上記curlをPythonスクリプトに変換した。

ローカルAPIを試してみる

Remoを探すため、公式サイトでは以下のように示されていた。

1	% dns-sd -B _remo._tcp

代わりに以下のコマンドで確認した。

1 2	dobachi@home:~$ avahi-browse _remo._tcp + xxxxx IPv4 Remo-xxxxxx _remo._tcp local

Open Messaging Benchmark

2019-01-16

Messaging System

Kafka, Open Messaging Benchmark, Pulsar

参考
メモ
GitHubを見てみる

参考

メモ

ウェブサイトを確認してみる。

所感

あくまでメッセージングシステムに負荷をかけ、その特性を見るためのベンチマークに見える。したがって負荷をかけるクライアントはシンプルであり、ただしワークロードを調整するためのパラメータは一通り揃っている、という様子。

パラメータ

The number of topics
The size of the messages being produced and consumed
The number of subscriptions per topic
The number of producers per topic
The rate at which producers produce messages (per second). Note: a value of 0 means that messages are produced as quickly as possible, with no rate limiting.
The size of the consumer’s backlog (in gigabytes)
The total duration of the test (in minutes)

「BENCHMARKING WORKLOADS」の章に代表的な組み合わせパターンの記載がある。

その他

「warm-up」とあったが、何をしているのだろう。
構成はTerraformとAnsibleでやるようだ

GitHubを見てみる

Kafkaのドライバ

openmessaging-benchmarkのGitHub を眺めてみる。 Kafkaのドライバを除くとデプロイ用のTerraformコンフィグとAnsibleプレイブックがあった。

Kafka構築のTerraformコンフィグの通り、一通りAWSインスタンスをデプロイ。 Kafka構築のAnsible Playbook の通り、ひととおりKafkaクラスタから負荷がけクライアントまで構成。

なお、ソースコードとしてベンチマークのドライバが含まれているが、その親クラスが BenchmarkDriver だった。

bin

bin以下には、ベンチマークを実行すると思われる、 benchmarkが含まれていた。

Benchmarkクラス

以下の通り、ワークロードごとに、指定されたドライバのコンフィグレーションに基づき、負荷をかけるようになっているようだ。

io/openmessaging/benchmark/Benchmark.java:126

1 2	workloads.forEach((workloadName, workload) -> { arguments.drivers.forEach(driverConfig -> {

また以下の通り、WorkloadGeneratorを通じて、ワークロードがかけられるようだ。

io/openmessaging/benchmark/Benchmark.java:140

1
2
3

WorkloadGenerator generator = new WorkloadGenerator(driverConfiguration.name, workload, worker);

TestResult result = generator.run();

コントリビュータ

yahoo、alibaba、streamlioあたりからコントリビュータが出ている。ただし主要な開発者は数名。最初にYahooの若干名が活発に開発し、それに加わった人がいるようだ。

イシュー

エンハンスを中心に、いくつか挙げられていた（2019/1/18時点）

Docker on WSL

2019-01-14

WSLDocker

Docker, Ubuntu, WSL

参考
メモ
- Docker
- docker-compose

参考

メモ

Docker

WSLでDockerをインストールする手順を示したブログを参考に、geerlingguy/docker を用いてAnsibleでDockerをインストールしてみたが、

2019/01現在のWSLでは17.09.0以前のDockerを用いる必要がある（Dockerのバージョンについての言及参照）
自身のUbuntu18系の環境に置ける geerlingguy/docker では18系のDockerしかインストールできない

ということから、 Dockerのバージョンについての言及を参考に17系のDockerを無理やりインストールしたところ一応動いた。

まず 管理者権限で WSLを立ち上げる。つづいて、以下のとおりインストールする。

1 2	$ curl -O https://download.docker.com/linux/debian/dists/stretch/pool/stable/amd64/docker-ce_17.09.0~ce-0~debian_amd64.deb $ sudo dpkg -i docker-ce_17.09.0\~ce-0\~debian_amd64.deb

サービスを起動して動作確認。

1 2	$ sudo service docker start $ sudo docker run hello-world

なお、WSLでDockerをインストールする手順を示したブログでは「管理者権限でWSLを起動する」ことがポイントとあげられていたので、それは守ることにした。が、インストール後は管理者権限でなくても動いたので、このあたり真偽の確認が必要そうだ。

docker-compose

おおむね docker-composeのインストール手順のとおりにインストールする。

1 2	$ sudo su - -c "curl -L https://github.com/docker/compose/releases/download/1.6.2/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose" $ sudo chmod +x /usr/local/bin/docker-compose

docker-composeの公式ドキュメントの通りためしてみるが、以下のようなエラーが生じた。

$ sudo docker-compose up
Creating network "composetest_default" with the default driver
ERROR: Failed to Setup IP tables: Unable to enable NAT rule:  (iptables failed: iptables --wait -t nat -I POSTROUTING -s 172.18.0.0/16 ! -o br-3a6517e292d4 -j MASQUERADE: iptables: Invalid argument. Run `dmesg' for more information.
 (exit status 1))

WSLがLinuxカーネルではないことに起因しているのだろう可。（iptablesまわりは期待したとおりに動かない？）

terminal prompt disabled on vim

2019-01-13

vim

git, vim

参考
メモ

参考

メモ

gvimで deol.vim を使ってターミナルを開き、git push origin master をしたら、以下のようなエラーが生じた。

1	fatal: could not read Password for 'https://xxxxxxxxx@github.com': terminal prompts disabled

CODE Q&Aの質疑応答にも記載があるが

1	$ GIT_TERMINAL_PROMPT=1 git push origin master

のように、GIT_TERMINAL_PROMPT=1でOK。

Jupyter with Spark

2019-01-11

参考
メモ

参考

Sparkのドキュメント（Configuration）

メモ

よく忘れると思われる、Jupyterをクライアントとしての起動方法をメモ。

Sparkのドキュメント（Environment Variables）の記載の通り、環境変数PYSPARK_DRIVER_PYTHONを使い、ドライバが用いるPythonを指定する。 GitHub上のpysparkの実装#27 の通り、環境変数PYSPARK_DRIVER_PYTHON_OPTSを使い、オプションを指定する。

例

1	PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS='notebook' ~/Spark/default/bin/pyspark

ちなみに、ガイドにも一応記載されている。

https://github.com/apache/spark/blob/9ccae0c9e7d1a0a704e8cd7574ba508419e05e30/docs/rdd-programming-guide.md#using-the-shell

気になるカンファレンスのメモ2019年版(WIP)

2019-01-05

ResearchConference

Academia, Big Data, Conference

まとめサイト
IEEE関連
USENIX
O'Reilly
- Strata
- AI Conference
  - AI Conference New York 2019
  - AI Conference San Jose 2019
VLDB
- VLDB 2019
情報処理学会
電子情報通信学会
- IBISML
  - LOIS
  - SC
機械学習工学研究会（MLSE）
その他

ちゃんとしたまとめは後で実施するつもり。

まとめサイト

HPC Japan

http://www.hpcwire.jp/events

List of Machine Learning / Deep Learning conferences in 2019

https://tryolabs.com/blog/machine-learning-deep-learning-conferences/

The 16 AI and ML conferences you should attend in 2019

https://www.hpe.com/us/en/insights/articles/the-16-ai-and-ml-conferences-you-should-attend-in-2019-1811.html

IEEE関連

IEEE Congress 2019

http://conferences.computer.org/bigdatacongress/2019/

JULY 8-13, 2019, MILAN, ITALY

2019 International Congress on Big Data (BigData Congress 2019) aims to provide an international forum that formally explores various business insights of all kinds of value-added “services.” Big Data is a key enabler of exploring business insights and economics of services.

The 6th IEEE International Conference on Big Data and Smart Computing

February 27th - March 2nd, 2019 Kyoto, JAPAN

http://www.bigcomputing.org/

IEEE 2019 Summit On Future Technology For Smart Cities

April 6, 2019

San Francisco East Bay, California, USA

http://www.big-dataservice.net/html/summit.html

The IEEE International Conference on Cloud Engineering (IC2E)

June 24-27, 2019, Prague, Czech Republic

http://conferences.computer.org/IC2E/2019/index.htm http://www.hpcwire.jp/event/international-conference-on-cloud-engineering-ic2e-2019

The 5th IEEE International Conference on Cloud and Big Data Computing (CBDCom 2019)

August 5-8 2019, Fukuoka, Japan

http://cyber-science.org/2019/cbdcom/

USENIX

2019 USENIX Conference on Operational Machine Learning

MAY 20, 2019 SANTA CLARA, CA, USA

https://www.usenix.org/conference/opml19

2019 USENIX Annual Technical Conference

JULY 10–12, 2019 RENTON, WA, USA

https://www.usenix.org/conference/atc19

2019 USENIX Conference on Operational Machine Learning

MAY 20, 2019 SANTA CLARA, CA, USA Papers and talk proposals due Wednesday, February 13, 2019

https://www.usenix.org/conference/opml19

O'Reilly

Strata

Strata San Francisco 2019

https://conferences.oreilly.com/strata/strata-ca

March 25-28, 2019 San Francisco, CA

Strata London 2019

https://conferences.oreilly.com/strata/strata-eu

29 April–2 May 2019 London, UK

Strata New York 2019

https://conferences.oreilly.com/strata/strata-ny

Sep 23-26, 2019 New York, NY

AI Conference

https://conferences.oreilly.com/artificial-intelligence

AI Conference New York 2019

April 15-18, 2019 New York, NY

AI Conference San Jose 2019

Sep 9-12, 2019 San Jose, CA

VLDB

VLDB 2019

http://vldb.org/2019/

Los Angeles, California - August 26-30, 2019

情報処理学会

https://www.ipsj.or.jp/kenkyukai/sig-plan2018.html

電子情報通信学会

https://www.ieice.org/ken/program/index.php

IBISML

https://www.ieice.org/ken/form/index.php?tgs_regid=552bd5f74c86aa9e100ee3878422e7760e89f6c41f180eebb9271daee1030b58&cmd=info&lang=

LOIS

2019年3月7日(木) - 3月8日(金) 宮古島市中央公民館視聴覚室ライフログ活用技術、オフィスインフォメーションシステム、ライフインテリジェンス、および一般

SC

開催日 2019-03-15 - 2019-03-15 会場国立情報学研究所発表申込締切日 2019-01-07 議題「サービスと機械学習」および一般

機械学習工学研究会 ★重要と共催

機械学習工学研究会（MLSE）

https://mlxse.connpass.com/

その他

SysML 2019

March 31 - April 2, 2019 Stanford, CA

(Registration opens: January 16, 2019)

https://www.sysml.cc/

AI for Government Summit

https://www.re-work.co/events/ai-for-government-summit-canada-2018

Toronto 25 - 26 OCTOBER 2018

MLCONF NEW YORK

https://mlconf.com/events/mlconf-new-york-2019/

March 29, 2019

AI World Conference & Expo

https://aiworld.com/

October 23-25, 2019 Boston, MA

Global Artificial Intelligence Conference

http://www.globalbigdataconference.com/

January 6-11, 2019, Santa Clara, CA;

Applied Artificial Intelligence Conference

https://bootstraplabs.com/artificial-intelligence/applied-artificial-intelligence-conference-2019/

April 18, 2019

AI Toronto/Big Data Toronto

https://ai-toronto.com/

June 12-13, 2019, Toronto

WSL向けのターミナルツール

2019-01-01

WSLTerminal tool

Hyper, WSL

参考
Hyper
ConEmu
cmder

参考

Hyper

ウェブ界隈の技術を活用したターミナル。 Hyper からダウンロードできる。

インストールすると %USERPROFILE%\.hyper.js に設定ファイルが作成される。デフォルトはcmd.exeが起動されるようになっているので、WSLを使うように変更する。

$ diff -u /mnt/c/Users/dobachi/.hyper.js{.2018010101,}
--- /mnt/c/Users/dobachi/.hyper.js.2018010101   2019-01-01 23:26:47.691869000 +0900
+++ /mnt/c/Users/dobachi/.hyper.js      2019-01-01 23:28:25.273185100 +0900
@@ -9,7 +9,7 @@
     updateChannel: 'stable',

     // default font size in pixels for all tabs
-    fontSize: 12,
+    fontSize: 15,

     // font family with optional fallbacks
     fontFamily: 'Menlo, "DejaVu Sans Mono", Consolas, "Lucida Console", monospace',
@@ -107,7 +107,7 @@

     // for setting shell arguments (i.e. for using interactive shellArgs: `['-i']`)
     // by default `['--login']` will be used
-    shellArgs: ['--login'],
+    shellArgs: ['/C', 'wsl'],

     // for environment variables
     env: {},

ConEmu

ConEmu からダウンロードできる。ただし、手元のGPD Pocket上のWSLで使用した時には、ctrl + lで画面クリアするときに意図と異なる動作をした。

cmder

cmder からダウンロードできる。ただし、手元のGPD Pocket上のWSLで使用した時には、ctrl + lで画面クリアするときに意図と異なる動作をした。

Ubuntu上のgvimでフォントが重なる現象

2018-12-31

Home serverUbuntuvim

vim

参考
メモ

参考

現象についての議論

メモ

現象についての議論の通り、~/.vimrcに以下を追記して回避した。

1	set ambiwidth=double

X Window on wsl for Ubuntu

2018-12-30

WSLX Window

WSL, X Window

参考
メモ
- Windows側
- WSL側

参考

一通りの流れが説明されたブログ
VcXsrvのダウンロード
VcXsrvの自動起動設定
WSLを使ってWindowsでmikutterを動かす -> こちらの方が良いかも
お前らのWSLはそれじゃダメだ -> こちらの方が良いかも
Ubuntu 18.04 な WSL 上に日本語入力環境を構築する
fcitxで作るWSL日本語開発環境
WSL で gnome-terminal を動かすお話
Xサーバーを自動起動しよう！

メモ

Windows側

一通りの流れが説明されたブログに記載の通り試した。 VcXsrvのダウンロードからダウンロードしたパッケージをインストールする。

なお、インストールすると「XLaunch」がスタートメニューに追加される。これを都度起動することになるが、スタートアップメニューにショートカットを登録し、自動起動するようにした。（ Xサーバーを自動起動しよう！を参考にする）

WSL側

最低限のインストール

関連パッケージのインストール

1	$ sudo apt install git build-essential libssl-dev libreadline-dev zlib1g-dev x11-apps x11-utils x11-xserver-utils libsqlite3-dev nodejs fonts-ipafont libxml2-dev libxslt1-dev

~/.bashrcに環境変数DISPLAYの値を追加

--- /home/dobachi/.bashrc.2018123001    2018-12-30 23:21:48.626055900 +0900
+++ /home/dobachi/.bashrc       2018-12-30 23:20:26.333894000 +0900
@@ -115,3 +115,5 @@
     . /etc/bash_completion
   fi
 fi
+
+export DISPLAY=localhost:0.0

日本語関連

上記手順だけでは日本語入力環境が整わないので、 WSLを使ってWindowsでmikutterを動かすとお前らのWSLはそれじゃダメだを参考に日本語環境を構築する。まず、WSLを使ってWindowsでmikutterを動かすのとおり、uim-anthyをインストールし、お前らのWSLはそれじゃダメだのとおり、~/.uimを設定する。結局は、お前らのWSLはそれじゃダメだのとおりで良さそうではある。

$ sudo apt install language-pack-ja
$ sudo update-locale LANG=ja_JP.UTF-8
$ sudo apt install -y uim uim-xim uim-fep uim-anthy dbus-x11
$ cat << EOF > ~/.uim
  (define default-im-name 'anthy)
  (define-key generic-on-key? '("<Control> "))
  (define-key generic-off-key? '("<Control> "))
  EOF
$ cat << EOF >> ~/.profile
  export GTK_IM_MODULE=uim
  EOF

例：GUI vimのインストール

使いたいツールをインストール。

$ sudo apt install vim-gui-common

(snip)

$ gvim

GPD PocketでBluetoothトラックボールを使うと途中で使用できなくなる現象

2018-12-30

GPD PocketDeviceBluetooth

Bluetooth, GPD Pocket, Mouse

参考
当たった症状
対処
- 備考：ブログとの差分

参考

関連情報を含むブログ記事

当たった症状

Digio2のBluetoothトラックボールを使っていたところ、唐突に使用できなくなる現象にあたった。そのとき、Windowsの設定画面「Bluetoothとその他のデバイス」を開いたところ、当該トラックボールは「接続済み」と表示されていた。デバイスの削除と再度追加、ドライバの更新（結局最新版だった）を試みるも現象は収まらなかった。

対処

関連情報を含むブログ記事で記載の通り、デバイスマネージャから節電関係の機能をオフにすることで現象は解消したように見える。おおむね上記ブログのとおりだが、一部デバイス名に差分があったので、手元で試した方法を記載する。

Windowsのランチャーからデバイスマネージャを開く
「ヒューマンインターフェイスデバイス」-> 「Bluetooth HID デバイス」のプロパティを開く。
- 「電源の管理」を開き、「電力の節電のために…（省略）」のチェックボックスを外す
- なお、手元の環境では当該デバイスは2件表示されたので両方とも対応した
おなじくデバイスマネージャ上で「bluetooth」->「Bluetooth 無線」のプロパティを開く。
- 「電源の管理」を開き、「電力の節電のために…（省略）」のチェックボックスを外す

備考：ブログとの差分

なお、関連情報を含むブログ記事では、「Bluetooth HID デバイス」のところが「Bluetooth 低エネルギーGTT 対応 HID デバイス」となっていたようだ。