【雑談】NTTの光モデムがやばい

自分が何時、家のネット回線をADSLから光に変えたか忘れてしまいましたが、昔からずっとNTTです。当時の光は３台装置が必要だったんです。光-電気変換器（正式な名称があるんだろうけど忘れました^^;）、CTU、最後にモデムです。この当時は1portしかEtherがなく、複数台のPCで使いたい場合はその1portをブリッジに繋げるしかありませんでした。（本当はルータにして、そこでproxy噛ませたかったんですが、NTTはDHCPの機能はNTTが持つので、ブリッジしか許してくれませんでした。）

１、２回雷が誘雷したのか壊れて交換しましたが、数年前CTUとモデムを一体型にした新型に交換してくれと電話がきたことがありました。その時は交換が面倒だったので断りましたが、数ヶ月前NTTの携帯と回線の契約をまとめると少し料金がお得になりますという甘言に負けて、契約したらその一体型のモデムに無理やり交換させられてしまいました。開通の設定が少し手間がかかりましたが無事使える様にしました。この新しいモデムですが、無線LANのカードを別売りで追加することはできるは、Etherも4port持ってます。さすがに１０年以上前みたいに一家にPCが１台だけだとは思わなくなった様です。
ただLANの配線をし直すのも大変なので、従来のブリッジからの1portとメインのPCをモデムにつなぎました。（ブリッジ経由より、少しは速度が有利なんじゃないかという軽い気持ちでした）

ここからが本題なんですが、家ではNASを使っていて、半年〜１年に１回くらいUSB-HDDにバックアップをとってます。半日くらいかかりますが、まあしかたありません。ところが、今回バックアップをメインのPCにUSB-HDDをつないで行うと、なんかむちゃくちゃ遅い…。しかもよくNASからレスがなくなり、コピーできませんと言ってきます。どうしたのか、色々調べました。NAS周りのLAN回線がどこか接触不良した様子もありませんでした。しかも別の部屋（そこまでWiFiが届かないので、別途回線を通して別のWiFi親機を設置しています）でタブレット等でネットに繋ごうとすると、何時もは何も問題が起きないのに今日に限って全然つながりません。しばらく試していて、どうも別の部屋でタブレットを使うタイミングで、メインPCとNASの接続がおかしくなる様です。

ここまできてやっと推測ができました。メインPCはNTTのモデムに直結しています。4portあるうち、1portの通信量が増えて、他のportからのDHCPの要求に応えれなくなった様です。（能力がこのモデム足りなさすぎ）NASもDHCP機能を使って家庭内LANに接続してますから、時々DHCPアドレスの更新要求を出していますが、その時に別の部屋でタブレットがアクセスしようとすると、両方のDHCP応答が時間内にできない状態になっていたようです。メインPCをNTTのモデムに直結はやめ、NTTのモデムにはブリッジだけつなぎ、あとはブリッジ経由にしました。そうしたところ、NASのバックアップの速度が速くなり、別の部屋でのタブレット使用も問題なくなりました。

しかし、このNTTのモデム一体どんな回路構造になっているのやら。4portつけても、どれかが大量にデータ転送すると（まあ普通の一般家庭では、まずそんなことしないかもしれませんが）、他のportの機能の応答に支障がでるとは。かなりおそまつなCPUを使ってるんだろうな。

Pythonで地図を描く：Basemap

anaconda関係で色々調べていたら、Basemapというパッケージのことを知りました。これは地図を描画してくれるライブラリとのこと。昔から、地図のGUIには苦労していたので、早速試してみました。（ちなみにコードはpython3でかいてます。遂に2.7から3系に移行する決心をつけました）

とりあえず実行例を示します。

環境はmac OSXです。（最近は、Linuxよりmacの方が楽になってきました(^_^;)）
これは、matplotlibというグラフ描画パッケージが元にあり、その上で動くようです。しかもGUIまで自分で持ってます。以下にコードを示します。

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap

# 緯度経度で範囲を指定する
north = 46.
south = 30.
east = 147.
#west = 128.
west = 128.

# 地図の表示('merc"は純粋に緯度経度を直行座標系にplotしている）
m = Basemap( projection='merc', llcrnrlat=south, urcrnrlat=north, llcrnrlon=west, urcrnrlon=east, resolution='l' )

# 陸地を茶色に, 湖を水色に
#m.fillcontinents(color='#8B4513', lake_color='#90FEFF')
m.fillcontinents(color='coral', lake_color='aqua')

# 海を濃い青に
#m.drawlsmask(ocean_color='#00008b')
#m.drawlsmask(ocean_color='blue')
m.drawmapboundary(fill_color='blue')

# NASA 'Blue marble' image
#m.bluemarble()

# 海岸線を引く
m.drawcoastlines(linewidth=0.5, color='black')

# 5度ごとに緯度線を描く
m.drawparallels(np.arange(25, 50, 5), labels = [1, 0, 0, 0], fontsize=10)

# 5度ごとに経度線を描く
m.drawmeridians(np.arange(125, 150, 5), labels = [0, 0, 0, 1], fontsize=10)

# 画面に表示
plt.show()

ちょっと色々試行錯誤したあとがコメントに残ってます。面白いのはNASA 'Blue marble'で、衛星写真ぽいテクスチャを貼り付けてくれます。

さて、実際に使うときは任意の緯度経度にマークをつけたくなります。定番の日本標準時の明石の位置に赤丸を表示してみました。

コードは以下を追加することになります。

# 地図に色をつけると見えなくなる！ zorderが配置の意味をつけるらしい
x = 135.
y = 35.
m.scatter(x, y, s=200, c='red', latlon=True, zorder=10)

これはかなり苦労しました。scatterというメソッドを最初は例題を見ていると、matplotlibのpltのメソッドをcallする例が多数でしたが、どうもうまくいきません。大体、なんで表示領域の座標系をpltが理解できるんだ？ということに気づき、継承しているBasemapからcallしてみたらやっとうまくいきました。（latlon=Trueという引数があり、これを呼ばないと全然位置があいません）また更に罠なのが、zorderという引数です。よく考えれば当たり前なんですが、どう見てもこれ大元にOpenGL使ってるよねという感じです。（引数の中にはalphaまでありました）だったら、描画位置の指定をしないと隠れてしまいます。ですから、マークは少しZ軸で手前に置いて描きます。

座標のXYはリストで与えてもいいようなので、簡単にGISデータの描画ができます。

PS
ただ気になったのは、これの海岸前の元データはどこからきたんだろう？ということです。自分が知っている限り、（日本のは）国土地理院しかありません。あそこは基本、利用はプライベートの利用は許可していますが、著作権はどこかに表示してね、というスタンスだったはずです。同様なデータがNatural Earthというサイトにありますが、この海岸線（及び国境線）のデータに関するライセンスの記述がありません。自分が見つけられないだけ？ならいいんですが、少しグレーな気がします。

Pythonのanacondaを導入してみる

pyenv, spyderをmac osxに導入してみる。

SpyderはpythonのIDEで、anacondaパッケージ内に一緒に入っている。

（というか、anaconda内にpython,numpy等全部入ってしまっている模様。逆に事前に入れてあるpythonやライブラリとは独立した生態系になってしまい、混乱することもあり）

とりあえず、macではpyenvのインストールが必須とのこと

$ brew install pyenv

.bash_profileを修正（赤字部分を追加）

export PYENV_ROOT="${HOME}/.pyenv"

export PATH=/opt/lo/bin:/sbin:$PATH:/usr/local/share/python:${PYENV_ROOT}/bin

eval "$(pyenv init -)"

$ pyenv install -lで、インストール可能なバージョン一覧がでるので、確認。

Python3系を使いたい方

$ pyenv install anaconda3-4.0.0

$ pyenv global anaconda3-4.0.0

Python2系を使いたい方

$ pyenv install anaconda-4.0.0

$ pyenv global anaconda-4.0.0

pyenv globalは全体の環境で、anacondaの使うバージョンを指定しています。特定ディレクトリ以下では別のバージョンが使いたい場合、当該ディレクトリでpyenv local （バージョン）としてやります。

condaというバッケージ管理システムがあり、anaconda内のpythonやライブラリはcondaコマンドで管理します。（brewと共存してしまうのがややこしい。気をつけないと何を動かしているのかわからなくなりそう）

それまでbrewでインストールしたpythonはpipコマンドでライブラリのパッケージ管理をします。
（補足：anacondaの環境にはこれまで使っていたchainerが当然入っていません。anaconda内にもpipコマンドがありますので、こいつでanaconda環境内に再度chainerをインストールしてやれば、とりあえずこれまで通りchainerを動かすことはできますが。。。）

またpythonの仮装環境を作るvirtualenvに対する、pyenv-virtualenvというのもあり、condaのpyenv localとsource activateがバッティングしても、こちらが解決してくれるとのこと。

これまでpython2系ばかり使ってきましたが、そろそろpython3系にも手を出したいと考えていました。しかし、このあちこちに異なるバージョンのpythonが入ってしまう状況、頭が混乱しそうで使い方を整理してから始めないと。。。

c++におけるclassの相互参照について

大きなプログラムを長年メンテナンスしていて、改修を繰り返しているとclassの相互参照が必要になってくることがあります。しかも、互いのclassは昔は関係なかったために、別headerで作成していて、相互に#includeしないといけなくなったりします。
ただ、普通にそれをやってしまうとcompilerがやはり「そのclassわからない」というようなエラーを返してきます。

undefined classA
has incomplete classA

とかいってきます。まあ当たり前とは思うんですが、それでもそれを解決しないと先に進みません。色々なキーワードでぐぐってみましたが、やっと理解できたのでメモしておきます。とりあえず、以下にclass Aとclass Bが相互参照しているサンプルを示します。


複数のファイル（classA.h, classA.cpp, classB.h, classB.cpp, main.cpp）で構成されています。この相互参照を可能にするために重要なのが３点あります。

第１点
classA.hの１０行目、class B;の参照を宣言しておく。

これはclassA.h内でclass Bを使うために#include "classB.h"をやっているんですが、classA.hをコンパイル時にはまだclass Bのコンパイルは行っていないため、class Bの定義内容がコンパイラにはわかりません。そこで、「とりあえず」class Bというのがあるよ、とプロトタイプ宣言だけしてコンパイラを誤魔化しているようなものです。当然、classB.hでも同じような処置をしておきます。

第２点
class A(class B)の実装は.cppファイルで別に行っておく。

理由はよくわかりませんが、楽しようとしてheaderファイル内にclassの実装もしてしまうとダメなそうです。（大きなプログラムだと大体そうなっているとは思いますが）

第３点
15行目にあるように、相互参照するclassのメンバーはポインタでしか保持できない。

これもコンパイラの問題で、プロトタイプ宣言で当該classがあるよとは誤魔化しましたが、詳細なタイプの定義まではまだこの時点ではわかっていません。そのため、ポインタであれば実体はプログラム実行中に「後で」なんとかできるので、コンパイラはパスします。
あと、重要なのは相互参照しているclassのメンバの実体化は135, 136行目の様にsetUp()関数を使ってやらないといけません。面倒臭がってclass AやBのコンストラクタでnewしてしまうと、実行時に互いをnewしあい、無限loopに入ります。（PCが暴走状態になり、再起動に苦労しました）

大抵こういう時は、調べる情報源にstackoverflow（英語のほうね）が役に立ちますが、今回はぐぐるキーワードでちょっと苦労しました。

chainerの学習データ、保存と読込

このところ人気なDeep learningです。よくサンプルプログラムがネットに出ていて、試してみては動いて喜んでいますが、基本的にサンプルプログラムは以下の構造をしています。

①modelクラスの定義
②学習データ、試験データの準備
③modelで学習（ここが１時間単位で時間のかかるもの多数）
④学習した結果で、試験データを試し学習結果の確認

それでまあ、④の学習結果が80%以上の正答率が出力され「素晴らしい」で終わってしまいます。でも、実用にしようと思うと通常のサンプルプログラムでは③の学習が外せません。（たまに、学習結果のデータも公開されていて、それよ読み込んで④の結果を出すサンプルもありますが、今度は学習部分の実態がわかりません）

ということで、実用的には③の部分が以下の２つの機能に分かれてほしいのです。

③A 学習した結果(model)をファイルに保存
③B 保存されたデータを読込、試験データで学習結果の確認

以外と、ここをピンポイントで説明したものがなかったので、ここでまとめみました。

⒈pickleを使う
pythonの汎用的なオブジェクトの保存・読込ライブラリです。詳しい説明は省きますが、単純に学習modelオブジェクトをpickleで保存・読込をする方法です。普通に、openしてread/writeします。

⒉chainerの保存機能を使う
これがあるはずなんですが、これまでぐぐっても出てきませんでした。方法は以下の通りです。（ファイル名は、"iris-learn.data"で保存しています。modelはpythonプログラムにおける実際のクラス名です。）

③A

# save                                                                                                                

serializers.save_npz("iris-learn.data", model)

③B

# load                                                                                                                 

serializers.load_npz("iris-learn.data", model)

普通にserializersモジュールを使えばよかっただけでした。（ただ、その詳細例が全然見つかりませんでした）

c++ ログ出力について：stringstream

プログラムの動作ログとしてよく文字列のログファイルを作成します。これまではよくcからのくせで、sprintf()文を使ってきました。
しかしこれって、char*を使っていますから危ないですよね。（メモリ破壊やセキュリティ上も）できれば、c++のbasic_stringを使った方がいいです。そこで、stringstrream型を使います。（それにM$のVisualStudioだと微妙に文法がg++と違い、やたらwarningを出してきます。両方で動作するプログラムを作成するとき嫌な思いをこれまでしてきました。）

改めてサンプルを作ろうと思い調べてみたら、stringstreamにはヘッダとして、strstreamとsstreamの２つがあるとのこと。違いは、strstreamの方が先輩なんですが実装にchar*を使っているとのこと。危険なので、内部の実装をbasic_stringなsstreamを使えとのことです。

まあ面倒なことはおいといて、一目でわかるサンプルを以下に示します。

実行すると以下の様な感じになります。

bash-3.2$ ./sstream
3.14000, 4.14000
123, 123456

まず、文字列をdoubleに変換して+1.0しています。次が数値をstirngsttreamに取り込み、string型でappendしています。これで大概のことはできます。

Doxygenを使ってみる

仕事で長年維持してきたプログラム（C++です）を久しぶりに大改造する機会ができそうなので、ちょっとリバースしたくなりました。（昔つくったもので、ドキュメントがほとんどない！しかも、その時々で人が変わって手をいれてきたので、かなり怪しい構造になってきている可能性があり、維持性に問題がでてきています。

真っ先に確認したいのが、誰からもCallされなくなった関数のチェックです。こういうのが残っていると、後から維持に携わる人も、うっかり触れなくなってしまい余分な手間が増えるだけです。
まあ、この手の機能は静的解析ツールなら大抵は持っていますが、Doxygenでやってみることにしました。（個人的に使ったことはなかったんですよね）

windowsのバイナリをDLするのが簡単そうなんですが、とりあえず慣れているLinuxでやってみます。（調べたら、macでもbrewコマンドでできそうです）

Ubuntuなら、apt-getで簡単にインストールできます。

$ sudo apt-get install doxygen doxygen-gui graphviz

doxygenが本体のパッケージ、doxygen-guiはGUIのユーザーインターフェース、graphvizはコーリングリストのツリーを図で生成するのに必要なパッケージになります。

インストールが終わったら、以下のコマンドで起動。

$ doxywizard

Step1の動作領域がよくわかりませんが、何らかの作業用ファイルを作るエリアなんでしょう。（注：これは設定ファイル：Doxyfileをここに置きます）Project nameとかは適当に入力して、解析したいプログラムのフォルダと、生成したドキュメントを格納するフォルダだけはきちんと入力します。

ここの設定で、コーリングリストを生成してくれます。（これが今回の目的）デフォルトはオフなので注意。

あとは、その他のオプションを設定して、runするだけです。

大層なGUIがついていますが、やってることはDoxyfileの設定をしているだけなので、必要な設定だけテキストエディタで手動でできるなら、そちらのほうが早いかも。以下に、設定ファイルで設定したほうがいい主な項目を挙げておきます。

option	default	description
PROJECT_NAME	"My Project"	クラス図を作成したいプロジェクトの名前
EXTRACT_PRIVATE	NO	privateなメンバ変数・メンバ関数も出力する
EXTRACT_STATIC	NO	staticなメンバ変数・メンバ関数も出力する
EXTRACT_ANON_NSPACES	NO	匿名の名前空間についても出力する
RECURSIVE	NO	ソースコードを再帰的に検索する
HAVE_DOT	NO	YESに設定するとgraphvizなどの描画ツールを使用してクラス図を出力する
DOT_NUM_THREAD	0	スレッド数
CALL_GRAPH	NO	関数やメソッドを呼び出す側の依存関係を描画する
CALLER_GRAPH	NO	関数やメソッドを呼び出される側の依存関係を描画する

面倒くさい人は、解析したプログラムのソースコードのルートに設定ファイルを以下のコマンドで作り、

$ doxygen -g

できたDoxyfileの上記項目を好みで設定して、

$ doxygen

と実行してやれば、解析結果が出力されます。