ちょっと3Dのプログラムを作ろうとしてUnityをかじっています。（大昔はInventorでやってましたが、今時は流行らないしそもそも皆、OpenGLでガリガリ書く時代に逆戻りしちゃってます）
少し癖が強いですが、わかってくると楽にできそうです。ちょっと難点はスクリプトをべったりと1階層にしか置けなさそうな点。複数人で開発するとき困るんだけど。（それともできるんだろうか？VisualStudioも階層構造が見た目と、実際のディレクトリとはまるで別に管理しているのを見て驚きましたが。Unix系から始めていると、ディレクトリ構造をストレートに見た目に反映してくれたほうが分かりやすいんですが。）
ところで別にゲームを作る気は全然なくて、3DのViewerが作りたいので、カメラコントロールをどうしようかと思い、探してみました。（Inventorだと標準についているViewerで簡単にできて、楽だったんですが）ありました、マウスで簡単に制御できるスクリプトが。本格的にやるならそれ用のボタンも作った方がいいんですが、とりあえずは十分です。このスクリプトをCameraにコンポーネントとしてアタッチするだけで、機能してくれます。
2017年11月25日土曜日
2017年10月14日土曜日
anaconda内のQt
久しぶりに、少しQtを復習しようかと思いました。とりあえず、まずは慣れているmacで初めて、簡単なプログラム（signal, SLOTの復習です）を入力し、
$ qmake
としたら、何かmacx用のテンプレートがない、というようなことを言われました。
はて？macには今年の春、Qt5.8をインストールしたはずと思い、試しにwhichでqmakeの場所を調べてみると、何とanaconda内のqmakeになっています。どうもanaconda内のpythonパッケージに含まれるPyQtが最低限のバイナリとして持っていて、そこにPATHが通ってしまっています。ぐぐってみると、結構記事があり、PyQtでQtの勉強しよう、というのもありましたが、とりあえずanacondaのqtでは単独で使用するのは難しそうです。（独自にPyQt5をbrewでインストールしてしまう、という荒技もありますが、今度はanacondaのパッケージ管理で問題が出そうなのでやめておきます。）
win10にもanacondaをインストールしていたので、調べてみるとこっちも同じ状況です。win10にはQt5.9をanacondaの後にインストールしていますが、なぜかPATHが通ってません。（元々、コンソールで使うつもりなかったし、そのためかな）試しにPATHを通して見ましたが、デフォルトがg++を使う設定で、win10にはcygwinは入れてありません。（Visual Studioで開発するつもりでしたから、それにcygwin好きじゃないし）
これはおそらくLinuxも同じ様な状況になっているんだろうな。仕方ないので、再度Macに戻り、PATH設定をしてqmakeしました。今度はうまく行きましたが、anacondaのpythonでPyQt使う時何か問題でるかな？（今の所、全然使う予定ないので、逆にanacondaからPyQt外した方がいいかもしれません）
PS
ところで、最後にmacでバイナリが作れましたが、macのqmakeでビルド後にできるバイナリは、Finderからクリックできる構造の*.appになっているのにびっくりしました。コンソールから試すだけだから、そんな構造にインストールしてくれなくてもいいのに… .proに何かオプションを追加すればいいのかもしれません。
2017年9月23日土曜日
Visual StudioでのPython（win10でのpython環境）
いつの間にかVisualStudio上でpythonが開発できることに今更気づきました。このところVSCodeでpythonのデバッグ環境を作っていたので、これなら本家のVisual Studioだってできるだろうと思いつき、調べてみたら2013くらいからできるようになったようです。
win10上でのpython環境は、Visual StudioではPython Toolsのパッケージをインストールしないとデバッグできませんが、pythonインタープリタ自体は自分で好きなものをインストールしろとのこと。runtimeには含めていないようです。配布を考えると、どっちが楽なんだろうか微妙なところですが、これまでwindowsではpythonはメジャーではなかったし、元々OS非依存で開発されていましたからこんな形になったんでしょう。
うちにある最新のwin10マシンにはVisual Stuido 2017 Communityが入れてありますが、真っ先にAnacondaが入れてあるため、そちらがデフォルトのpythonインタープリタになっています。もう一つのマシンには2015 Communityが入っていて、2013年に入れたおそらくpython.orgのpython27が入っていました。
しかしおかげで一つのマシン内に複数のpythonがインストールされている状態です。実際、Visual Studioの機能でｄ「python環境」というwindowがあり、そこでデバッグ/実行するときのpython環境を選べるようになっているくらいです。（いや、それCLIで実行するときはどうするんだよ、と突っ込みを入れたくなりますがそれも含めて考えてデバッグしろということでしょう。面倒くさい。）
この際、古いマシンの方のpythonをpython3にしようかと考えたんですが、ちょっとググってみたら、M$の推奨は悩んだらAnacondaが無難、Visual StudioのC++, C#と連携を考えるならIronPythonとのこと。調べると、IronPythonって、C#で実装されているとのこと。そのおかげで、Cythonもいけるらしい。しかしながら、python3がなくいまだに2.7というところが悲しいですが、ちょっと連携を試してみたいのでIronPythonを入れてみます。
Macもpythonは多数のバージョンがpyenvのおかげで入っていてひどいことになっています。python好きなんだけど、バージョン管理をなんとかして。（配布の時のハードルがかなり高いです）
win10上でのpython環境は、Visual StudioではPython Toolsのパッケージをインストールしないとデバッグできませんが、pythonインタープリタ自体は自分で好きなものをインストールしろとのこと。runtimeには含めていないようです。配布を考えると、どっちが楽なんだろうか微妙なところですが、これまでwindowsではpythonはメジャーではなかったし、元々OS非依存で開発されていましたからこんな形になったんでしょう。
うちにある最新のwin10マシンにはVisual Stuido 2017 Communityが入れてありますが、真っ先にAnacondaが入れてあるため、そちらがデフォルトのpythonインタープリタになっています。もう一つのマシンには2015 Communityが入っていて、2013年に入れたおそらくpython.orgのpython27が入っていました。
しかしおかげで一つのマシン内に複数のpythonがインストールされている状態です。実際、Visual Studioの機能でｄ「python環境」というwindowがあり、そこでデバッグ/実行するときのpython環境を選べるようになっているくらいです。（いや、それCLIで実行するときはどうするんだよ、と突っ込みを入れたくなりますがそれも含めて考えてデバッグしろということでしょう。面倒くさい。）
この際、古いマシンの方のpythonをpython3にしようかと考えたんですが、ちょっとググってみたら、M$の推奨は悩んだらAnacondaが無難、Visual StudioのC++, C#と連携を考えるならIronPythonとのこと。調べると、IronPythonって、C#で実装されているとのこと。そのおかげで、Cythonもいけるらしい。しかしながら、python3がなくいまだに2.7というところが悲しいですが、ちょっと連携を試してみたいのでIronPythonを入れてみます。
Macもpythonは多数のバージョンがpyenvのおかげで入っていてひどいことになっています。python好きなんだけど、バージョン管理をなんとかして。（配布の時のハードルがかなり高いです）
2017年8月23日水曜日
win10 VSCodeでpython（githubへup）
これまで基本自分はLinuxかMacでプログラムを作り、gitでコード管理、githubへupしていました。ただ一応、windowsでもeclipseではgithubにupしてました。
しかし、このところどうにもwindowsでプログラムを作らないとやっていけなさそうな状況になってきて、更にM$がVScodeをOpenSourceにしてきて、ずいぶん力を入れてきています。まだまだ、eclipseにはかないませんが、かなり頑張ってきています。これは一つ、今のうちに使い方を覚えていこうと試してみました。
とりあえず、せっかくVScodeを使うので言語は好きなpythonで行ってみます。（これはまた設定でかなり悩みましたが、それは別の時に）VScode自体は、ローカルではgitの管理機能を持っていますが、eclipseと違い、残念ながらまだリモートへのpush/pullの手段を持っていません。
そのために、VScodeの「統合ターミナル」で直にgitコマンドを実行しないといけません。しかし、更に問題なのがwindowsは標準ではsshのアクセスコントロール機能を持っていません。つまり、githubにアクセスするRSAキーを素では扱えないんです。
ネットでぐぐると、その他のGUIツール（例えば亀とか）を使えと書いてありますが、それもいやなので、しばらく考えてみました。
思いついたのが、gitのremote originを登録するとき、git@ではなく、https://github.com/ならどうだろうか？ということです。試してみたら、pushしたところで、githubのアカウントとパスワードを問い合わせるDialogが出てきて、入力したらうまくいきました。
一応、1回pushできればアクセス・コントロールは通るので、次からはVScodeのUIでいけるようです。（まあダメでも、アカウントとパスワードの入力くらいなら構いません）
ただ、ローカルのgitの初期化後の最初のcommitもかなり苦労しました(;^_^A もう何度、統合ターミナルで直にgitコマンド打ち込んでやろうと思ったことか。（元々、gitは直にコマンド打ち込む方が好きなんです）しかし、なんかそれでは負けなような気がして、VScodeのエラーログや画面をにらめっこして、やっとうまくいきました。（実は、本日いきなりVScodeの更新が入り、なんか少し設定ファイルやら変わったよう。それもあってかネットの情報そのままでは素直に動いてくれませんでした）
しかし、このところどうにもwindowsでプログラムを作らないとやっていけなさそうな状況になってきて、更にM$がVScodeをOpenSourceにしてきて、ずいぶん力を入れてきています。まだまだ、eclipseにはかないませんが、かなり頑張ってきています。これは一つ、今のうちに使い方を覚えていこうと試してみました。
とりあえず、せっかくVScodeを使うので言語は好きなpythonで行ってみます。（これはまた設定でかなり悩みましたが、それは別の時に）VScode自体は、ローカルではgitの管理機能を持っていますが、eclipseと違い、残念ながらまだリモートへのpush/pullの手段を持っていません。
そのために、VScodeの「統合ターミナル」で直にgitコマンドを実行しないといけません。しかし、更に問題なのがwindowsは標準ではsshのアクセスコントロール機能を持っていません。つまり、githubにアクセスするRSAキーを素では扱えないんです。
ネットでぐぐると、その他のGUIツール（例えば亀とか）を使えと書いてありますが、それもいやなので、しばらく考えてみました。
思いついたのが、gitのremote originを登録するとき、git@ではなく、https://github.com/ならどうだろうか？ということです。試してみたら、pushしたところで、githubのアカウントとパスワードを問い合わせるDialogが出てきて、入力したらうまくいきました。
一応、1回pushできればアクセス・コントロールは通るので、次からはVScodeのUIでいけるようです。（まあダメでも、アカウントとパスワードの入力くらいなら構いません）
ただ、ローカルのgitの初期化後の最初のcommitもかなり苦労しました(;^_^A もう何度、統合ターミナルで直にgitコマンド打ち込んでやろうと思ったことか。（元々、gitは直にコマンド打ち込む方が好きなんです）しかし、なんかそれでは負けなような気がして、VScodeのエラーログや画面をにらめっこして、やっとうまくいきました。（実は、本日いきなりVScodeの更新が入り、なんか少し設定ファイルやら変わったよう。それもあってかネットの情報そのままでは素直に動いてくれませんでした）
2017年8月12日土曜日
Win10でPython
今まではPython使うときは、基本MacかLinuxでした。しかし、大抵の人はWindowsで動くプログラムを希望します。
仕方ないので、Windows10でのPython環境を構築することを考えて、anacondaで試してみました。特に地図表示が欲しいので、basemapパッケージをインストールしたいのですが、これまでwindowsだけは単にinstallコマンドだけではダメでした。しかし、最近やっと一発で行けるようになったようです。以下のコマンドでできました。
> conda install -c conda-forge basemap
> conda install -c conda-forge basemap-data-hires （地図データです）
参考にしたHPでは、basemapのバージョン指定をしていましたが、元のHPを見ると、バージョン番号は省いても最新のものを入れてくれるように今はなっていました。
ただ、このconda-forgeを使うと、conda自体を古いバージョンにしてしまうらしく、再度最新のものにしておかないと、今後の管理に支障をきたす恐れがあります。
> conda update conda
実際、自分が試した時もconda-forgeを使うと一つ古いバージョンに戻されていました。
さて実際に使ってみましたが（Python入門にあったロケットシミュレーションです）、なんかグラフの軸のラベルが文字化けして、□が出てくるだけです。（どうも日本語がダメです）おかしいと思い、半年くらい前に最初に試したMacで動かしてみると、packageのimportでエラーが出ます。どうもいくつか更新したものの相互依存関係が壊れているようなので、全部最新に更新します。それで動かしてみると、あれ？windowsと同じようにグラフの軸のラベルが文字化けしています。最初からこうだったけ？どうも何か問題が起きているようです。（どうも最新のmatplotlibのデフォルトフォントが日本語対応していないようです。plt.rcParams['font.family']='IPAexGothic'とフォントを指定していますが、システムにそれがない模様。）
ただ、windowsでもほぼ同様なpython環境が実現できているようです。
fontについてその後
少し調べてみましたが、以下のコマンドでシステムに登録されているTTFのフォントリストが得られます。
>> import matplotlib.font_manager
>> print([f.name for f in matplotlib.font_manager.fontManager.ttflist])
大量にフォントが出力されてきて、どれが日本語に対応しているのかわかりませんが以下で日本語が出力されました。
・win10
mpl.rcParams['font.family'] = 'HGMaruGothicMPRO'
・Mac
mpl.rcParams['font.family'] = 'AppleGothic'
（一部文字がまだ豆腐でした。Macは少し前にOSがSierraに変わったときにフォントが変わってしまったようです。）
conda-forgeとは
anacondaは元々、continuum社がパッケージをまとめたものですが、github社がその他のグループのリポジトリを集めて公開しているもののようです。そのため、より先進的なパッケージが集まっています。今回試したbasemap（windows版）が、anaconda.orgにはなくても、conda-forgeにはありました。
仕方ないので、Windows10でのPython環境を構築することを考えて、anacondaで試してみました。特に地図表示が欲しいので、basemapパッケージをインストールしたいのですが、これまでwindowsだけは単にinstallコマンドだけではダメでした。しかし、最近やっと一発で行けるようになったようです。以下のコマンドでできました。
> conda install -c conda-forge basemap
> conda install -c conda-forge basemap-data-hires （地図データです）
参考にしたHPでは、basemapのバージョン指定をしていましたが、元のHPを見ると、バージョン番号は省いても最新のものを入れてくれるように今はなっていました。
ただ、このconda-forgeを使うと、conda自体を古いバージョンにしてしまうらしく、再度最新のものにしておかないと、今後の管理に支障をきたす恐れがあります。
> conda update conda
実際、自分が試した時もconda-forgeを使うと一つ古いバージョンに戻されていました。
さて実際に使ってみましたが（Python入門にあったロケットシミュレーションです）、なんかグラフの軸のラベルが文字化けして、□が出てくるだけです。（どうも日本語がダメです）おかしいと思い、半年くらい前に最初に試したMacで動かしてみると、packageのimportでエラーが出ます。どうもいくつか更新したものの相互依存関係が壊れているようなので、全部最新に更新します。それで動かしてみると、あれ？windowsと同じようにグラフの軸のラベルが文字化けしています。最初からこうだったけ？どうも何か問題が起きているようです。（どうも最新のmatplotlibのデフォルトフォントが日本語対応していないようです。plt.rcParams['font.family']='IPAexGothic'とフォントを指定していますが、システムにそれがない模様。）
ただ、windowsでもほぼ同様なpython環境が実現できているようです。
fontについてその後
少し調べてみましたが、以下のコマンドでシステムに登録されているTTFのフォントリストが得られます。
>> import matplotlib.font_manager
>> print([f.name for f in matplotlib.font_manager.fontManager.ttflist])
大量にフォントが出力されてきて、どれが日本語に対応しているのかわかりませんが以下で日本語が出力されました。
・win10
mpl.rcParams['font.family'] = 'HGMaruGothicMPRO'
・Mac
mpl.rcParams['font.family'] = 'AppleGothic'
（一部文字がまだ豆腐でした。Macは少し前にOSがSierraに変わったときにフォントが変わってしまったようです。）
conda-forgeとは
anacondaは元々、continuum社がパッケージをまとめたものですが、github社がその他のグループのリポジトリを集めて公開しているもののようです。そのため、より先進的なパッケージが集まっています。今回試したbasemap（windows版）が、anaconda.orgにはなくても、conda-forgeにはありました。
2017年8月5日土曜日
MacBookのバッテリー交換
2010年より前に購入（つまり10年くらいたってる）したMacBookがあります。当時、Intel搭載の最初のMacBookとして非常に人気が高かったものです。今ではもうOSの更新はとうにできませんが、時々使っています。（さすがにネットサーフィンは怖くて、これではしません）
いや～、見事に膨張していますね。上にのっけたWalkmanが傾いています。これはもう使用は危険です。いつ爆発するかもしれません。（最悪の話ですが）爆発はしなくても、煙くらい吹いてもおかしくありません。これは使用中止かと思いましたが、特定用途でまだ使っているので、試しにバッテリーなしで100Vをつないだ状態で電源を入れてみたら動きます。
それでも、その状態で使い続けるのも危ないので、AMAZONで探してみたら、互換品ですがまだ売ってるんですね交換用バッテリー。早速注文しました。
PS
交換用バッテリー届きました。もちろん純正品ではなく、チャイナ系のメーカーです。容量も少し大きくなっています。早速セットしてみると、微妙にサイズが厚いようで、ロックするのに苦労しました。まあ、それくらいは想定内、ちょっとおそるおそる電源を入れてみると普通に動きます。しばらくは様子に注意しながらの運用です。
今日、持ってみたら何か裏面に違和感が… バッテリーが膨らんでいる！？
いや～、見事に膨張していますね。上にのっけたWalkmanが傾いています。これはもう使用は危険です。いつ爆発するかもしれません。（最悪の話ですが）爆発はしなくても、煙くらい吹いてもおかしくありません。これは使用中止かと思いましたが、特定用途でまだ使っているので、試しにバッテリーなしで100Vをつないだ状態で電源を入れてみたら動きます。
それでも、その状態で使い続けるのも危ないので、AMAZONで探してみたら、互換品ですがまだ売ってるんですね交換用バッテリー。早速注文しました。
PS
交換用バッテリー届きました。もちろん純正品ではなく、チャイナ系のメーカーです。容量も少し大きくなっています。早速セットしてみると、微妙にサイズが厚いようで、ロックするのに苦労しました。まあ、それくらいは想定内、ちょっとおそるおそる電源を入れてみると普通に動きます。しばらくは様子に注意しながらの運用です。
2017年7月22日土曜日
Windows Visual StudioによるPython環境について
自分はよくPythonでプログラムを作っているんですが、ほとんどMacかLinuxでした。WindowsでPythonやろうと思うと、パッケージを別途インストールしないといけないし、そのメンテンナンスも面倒だし。（Macなんてbrewで更新一発ですよ。最近は、anacondaも試しています。）
ところが、この前Visual StudioでもPython開発環境ができたことを知りました。いや不勉強にも、Visual Studio 2015くらいからあったようです。いや、何だかんだ言っても、仕事でプログラムを作っていると、お客さんはどうしてもWindowsで動くようにして欲しいという要望が多いんです。はっきり言って、システム作る方はWindowsでは作りたくありません。動作環境がM$の都合でコロコロ変わり、動作保証するのが大変なんです。おまけに、余分なプロセスが一杯動いていて、自分の作ったプログラムがどうしても遅くなるし。
ただまあ、お客様の希望は聞かないといけません。ちょっとWindowsでのPython開発環境を試してみました。ただ、その辺は色んなHPに一杯書かれているので省き、一番大事な問題、作ったPythonプログラムをどうやって動かすかです。
どのHPみても（M$のドキュメント見ても）、皆Visual Studioから起動することしか教えてくれません。いやいや、開発中はそれでもいいんですが、開発終わったらアイコン等から直接動かしたいでしょう。ところが肝心の、直接動かす設定に関する情報がどうしても見つかりません。仕方ないので、ちょっと調べてみました。（イリーガルなところがあるかもしれません）
まずそもそもVisual Studio自体が、Python環境としてどこを使っているのかが問題です。（コマンドプロンプトではpythonがどこにあるのかわからない、と言ってきます）実際、anacondaインストールすると、Visual Studioは自動的にその環境を検出してくれて、元々Visual Studioが持っているPython環境とどちらを使うか選択させてくれます。色々ぐぐってみましたが、全然情報が見つからないので、やむなくC:\から「検索」で調べてみました。すると以下の所にPython.exeがありました。
C:\Program Files\Python36\
64bitのPythonインタープリタなのに、何故こちら？とは思うんですが、どうもここです。まあ、PATH設定に追加してしまうのが簡単なんですが、ちょっと場所が気持ち悪いところにあるので何時変わるかもしれません。どうせ単独動作させるときは.batファイルから起動することが多いでしょうから、そこだけPATHを設定してしまいましょう。
Pythonのプログラムを起動する.batファイルを作り、最初に以下を入れておきます。
set PATH=C:\Program Files\Python36;%PATH%
これで、この.batファイルから起動されるプロセスだけにPythonのPATHが通ります。この後、Pythonプログラムの起動プログラムを書いてやればいいだけです。
ところが、この前Visual StudioでもPython開発環境ができたことを知りました。いや不勉強にも、Visual Studio 2015くらいからあったようです。いや、何だかんだ言っても、仕事でプログラムを作っていると、お客さんはどうしてもWindowsで動くようにして欲しいという要望が多いんです。はっきり言って、システム作る方はWindowsでは作りたくありません。動作環境がM$の都合でコロコロ変わり、動作保証するのが大変なんです。おまけに、余分なプロセスが一杯動いていて、自分の作ったプログラムがどうしても遅くなるし。
ただまあ、お客様の希望は聞かないといけません。ちょっとWindowsでのPython開発環境を試してみました。ただ、その辺は色んなHPに一杯書かれているので省き、一番大事な問題、作ったPythonプログラムをどうやって動かすかです。
どのHPみても（M$のドキュメント見ても）、皆Visual Studioから起動することしか教えてくれません。いやいや、開発中はそれでもいいんですが、開発終わったらアイコン等から直接動かしたいでしょう。ところが肝心の、直接動かす設定に関する情報がどうしても見つかりません。仕方ないので、ちょっと調べてみました。（イリーガルなところがあるかもしれません）
まずそもそもVisual Studio自体が、Python環境としてどこを使っているのかが問題です。（コマンドプロンプトではpythonがどこにあるのかわからない、と言ってきます）実際、anacondaインストールすると、Visual Studioは自動的にその環境を検出してくれて、元々Visual Studioが持っているPython環境とどちらを使うか選択させてくれます。色々ぐぐってみましたが、全然情報が見つからないので、やむなくC:\から「検索」で調べてみました。すると以下の所にPython.exeがありました。
C:\Program Files\Python36\
64bitのPythonインタープリタなのに、何故こちら？とは思うんですが、どうもここです。まあ、PATH設定に追加してしまうのが簡単なんですが、ちょっと場所が気持ち悪いところにあるので何時変わるかもしれません。どうせ単独動作させるときは.batファイルから起動することが多いでしょうから、そこだけPATHを設定してしまいましょう。
Pythonのプログラムを起動する.batファイルを作り、最初に以下を入れておきます。
set PATH=C:\Program Files\Python36;%PATH%
これで、この.batファイルから起動されるプロセスだけにPythonのPATHが通ります。この後、Pythonプログラムの起動プログラムを書いてやればいいだけです。
2017年5月18日木曜日
【雑談】NTTの光モデムがやばい
自分が何時、家のネット回線をADSLから光に変えたか忘れてしまいましたが、昔からずっとNTTです。当時の光は３台装置が必要だったんです。光-電気変換器（正式な名称があるんだろうけど忘れました^^;）、CTU、最後にモデムです。この当時は1portしかEtherがなく、複数台のPCで使いたい場合はその1portをブリッジに繋げるしかありませんでした。（本当はルータにして、そこでproxy噛ませたかったんですが、NTTはDHCPの機能はNTTが持つので、ブリッジしか許してくれませんでした。）
１、２回雷が誘雷したのか壊れて交換しましたが、数年前CTUとモデムを一体型にした新型に交換してくれと電話がきたことがありました。その時は交換が面倒だったので断りましたが、数ヶ月前NTTの携帯と回線の契約をまとめると少し料金がお得になりますという甘言に負けて、契約したらその一体型のモデムに無理やり交換させられてしまいました。開通の設定が少し手間がかかりましたが無事使える様にしました。この新しいモデムですが、無線LANのカードを別売りで追加することはできるは、Etherも4port持ってます。さすがに１０年以上前みたいに一家にPCが１台だけだとは思わなくなった様です。
ただLANの配線をし直すのも大変なので、従来のブリッジからの1portとメインのPCをモデムにつなぎました。（ブリッジ経由より、少しは速度が有利なんじゃないかという軽い気持ちでした）
ここからが本題なんですが、家ではNASを使っていて、半年〜１年に１回くらいUSB-HDDにバックアップをとってます。半日くらいかかりますが、まあしかたありません。ところが、今回バックアップをメインのPCにUSB-HDDをつないで行うと、なんかむちゃくちゃ遅い…。しかもよくNASからレスがなくなり、コピーできませんと言ってきます。どうしたのか、色々調べました。NAS周りのLAN回線がどこか接触不良した様子もありませんでした。しかも別の部屋（そこまでWiFiが届かないので、別途回線を通して別のWiFi親機を設置しています）でタブレット等でネットに繋ごうとすると、何時もは何も問題が起きないのに今日に限って全然つながりません。しばらく試していて、どうも別の部屋でタブレットを使うタイミングで、メインPCとNASの接続がおかしくなる様です。
ここまできてやっと推測ができました。メインPCはNTTのモデムに直結しています。4portあるうち、1portの通信量が増えて、他のportからのDHCPの要求に応えれなくなった様です。（能力がこのモデム足りなさすぎ）NASもDHCP機能を使って家庭内LANに接続してますから、時々DHCPアドレスの更新要求を出していますが、その時に別の部屋でタブレットがアクセスしようとすると、両方のDHCP応答が時間内にできない状態になっていたようです。メインPCをNTTのモデムに直結はやめ、NTTのモデムにはブリッジだけつなぎ、あとはブリッジ経由にしました。そうしたところ、NASのバックアップの速度が速くなり、別の部屋でのタブレット使用も問題なくなりました。
しかし、このNTTのモデム一体どんな回路構造になっているのやら。4portつけても、どれかが大量にデータ転送すると（まあ普通の一般家庭では、まずそんなことしないかもしれませんが）、他のportの機能の応答に支障がでるとは。かなりおそまつなCPUを使ってるんだろうな。
１、２回雷が誘雷したのか壊れて交換しましたが、数年前CTUとモデムを一体型にした新型に交換してくれと電話がきたことがありました。その時は交換が面倒だったので断りましたが、数ヶ月前NTTの携帯と回線の契約をまとめると少し料金がお得になりますという甘言に負けて、契約したらその一体型のモデムに無理やり交換させられてしまいました。開通の設定が少し手間がかかりましたが無事使える様にしました。この新しいモデムですが、無線LANのカードを別売りで追加することはできるは、Etherも4port持ってます。さすがに１０年以上前みたいに一家にPCが１台だけだとは思わなくなった様です。
ただLANの配線をし直すのも大変なので、従来のブリッジからの1portとメインのPCをモデムにつなぎました。（ブリッジ経由より、少しは速度が有利なんじゃないかという軽い気持ちでした）
ここからが本題なんですが、家ではNASを使っていて、半年〜１年に１回くらいUSB-HDDにバックアップをとってます。半日くらいかかりますが、まあしかたありません。ところが、今回バックアップをメインのPCにUSB-HDDをつないで行うと、なんかむちゃくちゃ遅い…。しかもよくNASからレスがなくなり、コピーできませんと言ってきます。どうしたのか、色々調べました。NAS周りのLAN回線がどこか接触不良した様子もありませんでした。しかも別の部屋（そこまでWiFiが届かないので、別途回線を通して別のWiFi親機を設置しています）でタブレット等でネットに繋ごうとすると、何時もは何も問題が起きないのに今日に限って全然つながりません。しばらく試していて、どうも別の部屋でタブレットを使うタイミングで、メインPCとNASの接続がおかしくなる様です。
ここまできてやっと推測ができました。メインPCはNTTのモデムに直結しています。4portあるうち、1portの通信量が増えて、他のportからのDHCPの要求に応えれなくなった様です。（能力がこのモデム足りなさすぎ）NASもDHCP機能を使って家庭内LANに接続してますから、時々DHCPアドレスの更新要求を出していますが、その時に別の部屋でタブレットがアクセスしようとすると、両方のDHCP応答が時間内にできない状態になっていたようです。メインPCをNTTのモデムに直結はやめ、NTTのモデムにはブリッジだけつなぎ、あとはブリッジ経由にしました。そうしたところ、NASのバックアップの速度が速くなり、別の部屋でのタブレット使用も問題なくなりました。
しかし、このNTTのモデム一体どんな回路構造になっているのやら。4portつけても、どれかが大量にデータ転送すると（まあ普通の一般家庭では、まずそんなことしないかもしれませんが）、他のportの機能の応答に支障がでるとは。かなりおそまつなCPUを使ってるんだろうな。
2017年4月9日日曜日
Pythonで地図を描く：Basemap
anaconda関係で色々調べていたら、Basemapというパッケージのことを知りました。これは地図を描画してくれるライブラリとのこと。昔から、地図のGUIには苦労していたので、早速試してみました。（ちなみにコードはpython3でかいてます。遂に2.7から3系に移行する決心をつけました）
とりあえず実行例を示します。
環境はmac OSXです。（最近は、Linuxよりmacの方が楽になってきました(^_^;)）
これは、matplotlibというグラフ描画パッケージが元にあり、その上で動くようです。しかもGUIまで自分で持ってます。以下にコードを示します。
さて、実際に使うときは任意の緯度経度にマークをつけたくなります。定番の日本標準時の明石の位置に赤丸を表示してみました。
コードは以下を追加することになります。
座標のXYはリストで与えてもいいようなので、簡単にGISデータの描画ができます。
PS
ただ気になったのは、これの海岸前の元データはどこからきたんだろう？ということです。自分が知っている限り、（日本のは）国土地理院しかありません。あそこは基本、利用はプライベートの利用は許可していますが、著作権はどこかに表示してね、というスタンスだったはずです。同様なデータがNatural Earthというサイトにありますが、この海岸線（及び国境線）のデータに関するライセンスの記述がありません。自分が見つけられないだけ？ならいいんですが、少しグレーな気がします。
とりあえず実行例を示します。
これは、matplotlibというグラフ描画パッケージが元にあり、その上で動くようです。しかもGUIまで自分で持ってます。以下にコードを示します。
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.basemap import Basemap
# 緯度経度で範囲を指定する
north = 46.
south = 30.
east = 147.
#west = 128.
west = 128.
# 地図の表示('merc"は純粋に緯度経度を直行座標系にplotしている）
m = Basemap( projection='merc', llcrnrlat=south, urcrnrlat=north, llcrnrlon=west, urcrnrlon=east, resolution='l' )
# 陸地を茶色に, 湖を水色に
#m.fillcontinents(color='#8B4513', lake_color='#90FEFF')
m.fillcontinents(color='coral', lake_color='aqua')
# 海を濃い青に
#m.drawlsmask(ocean_color='#00008b')
#m.drawlsmask(ocean_color='blue')
m.drawmapboundary(fill_color='blue')
# NASA 'Blue marble' image
#m.bluemarble()
# 海岸線を引く
m.drawcoastlines(linewidth=0.5, color='black')
# 5度ごとに緯度線を描く
m.drawparallels(np.arange(25, 50, 5), labels = [1, 0, 0, 0], fontsize=10)
# 5度ごとに経度線を描く
m.drawmeridians(np.arange(125, 150, 5), labels = [0, 0, 0, 1], fontsize=10)
# 画面に表示
plt.show()
さて、実際に使うときは任意の緯度経度にマークをつけたくなります。定番の日本標準時の明石の位置に赤丸を表示してみました。
# 地図に色をつけると見えなくなる！ zorderが配置の意味をつけるらしい
x = 135.
y = 35.
m.scatter(x, y, s=200, c='red', latlon=True, zorder=10)
座標のXYはリストで与えてもいいようなので、簡単にGISデータの描画ができます。
PS
ただ気になったのは、これの海岸前の元データはどこからきたんだろう？ということです。自分が知っている限り、（日本のは）国土地理院しかありません。あそこは基本、利用はプライベートの利用は許可していますが、著作権はどこかに表示してね、というスタンスだったはずです。同様なデータがNatural Earthというサイトにありますが、この海岸線（及び国境線）のデータに関するライセンスの記述がありません。自分が見つけられないだけ？ならいいんですが、少しグレーな気がします。
2017年3月20日月曜日
Pythonのanacondaを導入してみる
pyenv, spyderをmac osxに導入してみる。
SpyderはpythonのIDEで、anacondaパッケージ内に一緒に入っている。
（というか、anaconda内にpython,numpy等全部入ってしまっている模様。逆に事前に入れてあるpythonやライブラリとは独立した生態系になってしまい、混乱することもあり）
とりあえず、macではpyenvのインストールが必須とのこと
$ brew install pyenv
.bash_profileを修正（赤字部分を追加）
export PYENV_ROOT="${HOME}/.pyenv"
export PATH=/opt/lo/bin:/sbin:$PATH:/usr/local/share/python:${PYENV_ROOT}/bin
eval "$(pyenv init -)"
$ pyenv install -lで、インストール可能なバージョン一覧がでるので、確認。
Python3系を使いたい方
$ pyenv install anaconda3-4.0.0
$ pyenv global anaconda3-4.0.0
Python2系を使いたい方
$ pyenv install anaconda-4.0.0
$ pyenv global anaconda-4.0.0
pyenv globalは全体の環境で、anacondaの使うバージョンを指定しています。特定ディレクトリ以下では別のバージョンが使いたい場合、当該ディレクトリでpyenv local （バージョン）としてやります。
condaというバッケージ管理システムがあり、anaconda内のpythonやライブラリはcondaコマンドで管理します。（brewと共存してしまうのがややこしい。気をつけないと何を動かしているのかわからなくなりそう）
それまでbrewでインストールしたpythonはpipコマンドでライブラリのパッケージ管理をします。
（補足：anacondaの環境にはこれまで使っていたchainerが当然入っていません。anaconda内にもpipコマンドがありますので、こいつでanaconda環境内に再度chainerをインストールしてやれば、とりあえずこれまで通りchainerを動かすことはできますが。。。）
（補足：anacondaの環境にはこれまで使っていたchainerが当然入っていません。anaconda内にもpipコマンドがありますので、こいつでanaconda環境内に再度chainerをインストールしてやれば、とりあえずこれまで通りchainerを動かすことはできますが。。。）
またpythonの仮装環境を作るvirtualenvに対する、pyenv-virtualenvというのもあり、condaのpyenv localとsource activateがバッティングしても、こちらが解決してくれるとのこと。
これまでpython2系ばかり使ってきましたが、そろそろpython3系にも手を出したいと考えていました。しかし、このあちこちに異なるバージョンのpythonが入ってしまう状況、頭が混乱しそうで使い方を整理してから始めないと。。。
2017年2月11日土曜日
c++におけるclassの相互参照について
大きなプログラムを長年メンテナンスしていて、改修を繰り返しているとclassの相互参照が必要になってくることがあります。しかも、互いのclassは昔は関係なかったために、別headerで作成していて、相互に#includeしないといけなくなったりします。
ただ、普通にそれをやってしまうとcompilerがやはり「そのclassわからない」というようなエラーを返してきます。
undefined classA
has incomplete classA
とかいってきます。まあ当たり前とは思うんですが、それでもそれを解決しないと先に進みません。色々なキーワードでぐぐってみましたが、やっと理解できたのでメモしておきます。とりあえず、以下にclass Aとclass Bが相互参照しているサンプルを示します。
複数のファイル（classA.h, classA.cpp, classB.h, classB.cpp, main.cpp）で構成されています。この相互参照を可能にするために重要なのが３点あります。
第１点
classA.hの１０行目、class B;の参照を宣言しておく。
これはclassA.h内でclass Bを使うために#include "classB.h"をやっているんですが、classA.hをコンパイル時にはまだclass Bのコンパイルは行っていないため、class Bの定義内容がコンパイラにはわかりません。そこで、「とりあえず」class Bというのがあるよ、とプロトタイプ宣言だけしてコンパイラを誤魔化しているようなものです。当然、classB.hでも同じような処置をしておきます。
第２点
class A(class B)の実装は.cppファイルで別に行っておく。
理由はよくわかりませんが、楽しようとしてheaderファイル内にclassの実装もしてしまうとダメなそうです。（大きなプログラムだと大体そうなっているとは思いますが）
第３点
15行目にあるように、相互参照するclassのメンバーはポインタでしか保持できない。
これもコンパイラの問題で、プロトタイプ宣言で当該classがあるよとは誤魔化しましたが、詳細なタイプの定義まではまだこの時点ではわかっていません。そのため、ポインタであれば実体はプログラム実行中に「後で」なんとかできるので、コンパイラはパスします。
あと、重要なのは相互参照しているclassのメンバの実体化は135, 136行目の様にsetUp()関数を使ってやらないといけません。面倒臭がってclass AやBのコンストラクタでnewしてしまうと、実行時に互いをnewしあい、無限loopに入ります。（PCが暴走状態になり、再起動に苦労しました）
大抵こういう時は、調べる情報源にstackoverflow（英語のほうね）が役に立ちますが、今回はぐぐるキーワードでちょっと苦労しました。
ただ、普通にそれをやってしまうとcompilerがやはり「そのclassわからない」というようなエラーを返してきます。
undefined classA
has incomplete classA
とかいってきます。まあ当たり前とは思うんですが、それでもそれを解決しないと先に進みません。色々なキーワードでぐぐってみましたが、やっと理解できたのでメモしておきます。とりあえず、以下にclass Aとclass Bが相互参照しているサンプルを示します。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| classA.h | |
| #ifndef CLASSA_H_INCLUDE | |
| #define CLASSA_H_INCLUDE | |
| #include <iostream> | |
| #include "classB.h" | |
| using namespace std; | |
| class B; // 参照の宣言が必要 | |
| class A | |
| { | |
| public: | |
| B* b; // class Bはここをコンパイル時点では完全な定義ができていないので、ポインタでしか持てない | |
| A(); | |
| ~A(); | |
| void setUp(); | |
| void print(); | |
| void printB(); | |
| }; | |
| #endif | |
| classA.cpp | |
| #include "classA.h" | |
| class B; | |
| A::A() | |
| { | |
| } | |
| A::~A() | |
| { | |
| } | |
| void A::setUp() | |
| { | |
| b = new B; | |
| } | |
| void A::print() | |
| { | |
| cout << "this is classA" << endl; | |
| } | |
| void A::printB() | |
| { | |
| b->print(); | |
| } | |
| classB.h | |
| #ifndef CLASSB_H_INCLUDE | |
| #define CLASSB_H_INCLUDE | |
| #include <iostream> | |
| #include "classA.h" | |
| using namespace std; | |
| class A; | |
| class B | |
| { | |
| public: | |
| A* a; | |
| B(); | |
| ~B(); | |
| void setUp(); | |
| void print(); | |
| void printA(); | |
| }; | |
| #endif | |
| classB.cpp | |
| #include "classB.h" | |
| class A; | |
| B::B() | |
| { | |
| } | |
| B::~B() | |
| { | |
| } | |
| void B::setUp() | |
| { | |
| a = new A; | |
| } | |
| void B::print() | |
| { | |
| cout << "this is classB" << endl; | |
| } | |
| void B::printA() | |
| { | |
| a->print(); | |
| } | |
| main.cpp | |
| #include <iostream> | |
| #include "classA.h" | |
| #include "classB.h" | |
| using namespace std; | |
| int main() | |
| { | |
| A a; | |
| B b; | |
| a.setUp(); | |
| b.setUp(); | |
| a.printB(); | |
| b.printA(); | |
| return 0; | |
| } |
複数のファイル（classA.h, classA.cpp, classB.h, classB.cpp, main.cpp）で構成されています。この相互参照を可能にするために重要なのが３点あります。
第１点
classA.hの１０行目、class B;の参照を宣言しておく。
これはclassA.h内でclass Bを使うために#include "classB.h"をやっているんですが、classA.hをコンパイル時にはまだclass Bのコンパイルは行っていないため、class Bの定義内容がコンパイラにはわかりません。そこで、「とりあえず」class Bというのがあるよ、とプロトタイプ宣言だけしてコンパイラを誤魔化しているようなものです。当然、classB.hでも同じような処置をしておきます。
第２点
class A(class B)の実装は.cppファイルで別に行っておく。
理由はよくわかりませんが、楽しようとしてheaderファイル内にclassの実装もしてしまうとダメなそうです。（大きなプログラムだと大体そうなっているとは思いますが）
第３点
15行目にあるように、相互参照するclassのメンバーはポインタでしか保持できない。
これもコンパイラの問題で、プロトタイプ宣言で当該classがあるよとは誤魔化しましたが、詳細なタイプの定義まではまだこの時点ではわかっていません。そのため、ポインタであれば実体はプログラム実行中に「後で」なんとかできるので、コンパイラはパスします。
あと、重要なのは相互参照しているclassのメンバの実体化は135, 136行目の様にsetUp()関数を使ってやらないといけません。面倒臭がってclass AやBのコンストラクタでnewしてしまうと、実行時に互いをnewしあい、無限loopに入ります。（PCが暴走状態になり、再起動に苦労しました）
大抵こういう時は、調べる情報源にstackoverflow（英語のほうね）が役に立ちますが、今回はぐぐるキーワードでちょっと苦労しました。
2017年1月7日土曜日
chainerの学習データ、保存と読込
このところ人気なDeep learningです。よくサンプルプログラムがネットに出ていて、試してみては動いて喜んでいますが、基本的にサンプルプログラムは以下の構造をしています。
①modelクラスの定義
②学習データ、試験データの準備
③modelで学習（ここが１時間単位で時間のかかるもの多数）
④学習した結果で、試験データを試し学習結果の確認
それでまあ、④の学習結果が80%以上の正答率が出力され「素晴らしい」で終わってしまいます。でも、実用にしようと思うと通常のサンプルプログラムでは③の学習が外せません。（たまに、学習結果のデータも公開されていて、それよ読み込んで④の結果を出すサンプルもありますが、今度は学習部分の実態がわかりません）
ということで、実用的には③の部分が以下の２つの機能に分かれてほしいのです。
③A 学習した結果(model)をファイルに保存
③B 保存されたデータを読込、試験データで学習結果の確認
以外と、ここをピンポイントで説明したものがなかったので、ここでまとめみました。
⒈pickleを使う
pythonの汎用的なオブジェクトの保存・読込ライブラリです。詳しい説明は省きますが、単純に学習modelオブジェクトをpickleで保存・読込をする方法です。普通に、openしてread/writeします。
⒉chainerの保存機能を使う
これがあるはずなんですが、これまでぐぐっても出てきませんでした。方法は以下の通りです。（ファイル名は、"iris-learn.data"で保存しています。modelはpythonプログラムにおける実際のクラス名です。）
③A
①modelクラスの定義
②学習データ、試験データの準備
③modelで学習（ここが１時間単位で時間のかかるもの多数）
④学習した結果で、試験データを試し学習結果の確認
それでまあ、④の学習結果が80%以上の正答率が出力され「素晴らしい」で終わってしまいます。でも、実用にしようと思うと通常のサンプルプログラムでは③の学習が外せません。（たまに、学習結果のデータも公開されていて、それよ読み込んで④の結果を出すサンプルもありますが、今度は学習部分の実態がわかりません）
ということで、実用的には③の部分が以下の２つの機能に分かれてほしいのです。
③A 学習した結果(model)をファイルに保存
③B 保存されたデータを読込、試験データで学習結果の確認
以外と、ここをピンポイントで説明したものがなかったので、ここでまとめみました。
⒈pickleを使う
pythonの汎用的なオブジェクトの保存・読込ライブラリです。詳しい説明は省きますが、単純に学習modelオブジェクトをpickleで保存・読込をする方法です。普通に、openしてread/writeします。
⒉chainerの保存機能を使う
これがあるはずなんですが、これまでぐぐっても出てきませんでした。方法は以下の通りです。（ファイル名は、"iris-learn.data"で保存しています。modelはpythonプログラムにおける実際のクラス名です。）
③A
# save
serializers.save_npz("iris-learn.data", model)
③B
普通にserializersモジュールを使えばよかっただけでした。（ただ、その詳細例が全然見つかりませんでした）
# load
serializers.load_npz("iris-learn.data", model)
普通にserializersモジュールを使えばよかっただけでした。（ただ、その詳細例が全然見つかりませんでした）
c++ ログ出力について：stringstream
プログラムの動作ログとしてよく文字列のログファイルを作成します。これまではよくcからのくせで、sprintf()文を使ってきました。
しかしこれって、char*を使っていますから危ないですよね。（メモリ破壊やセキュリティ上も）できれば、c++のbasic_stringを使った方がいいです。そこで、stringstrream型を使います。（それにM$のVisualStudioだと微妙に文法がg++と違い、やたらwarningを出してきます。両方で動作するプログラムを作成するとき嫌な思いをこれまでしてきました。）
改めてサンプルを作ろうと思い調べてみたら、stringstreamにはヘッダとして、strstreamとsstreamの２つがあるとのこと。違いは、strstreamの方が先輩なんですが実装にchar*を使っているとのこと。危険なので、内部の実装をbasic_stringなsstreamを使えとのことです。
まあ面倒なことはおいといて、一目でわかるサンプルを以下に示します。
実行すると以下の様な感じになります。
まず、文字列をdoubleに変換して+1.0しています。次が数値をstirngsttreamに取り込み、string型でappendしています。これで大概のことはできます。
しかしこれって、char*を使っていますから危ないですよね。（メモリ破壊やセキュリティ上も）できれば、c++のbasic_stringを使った方がいいです。そこで、stringstrream型を使います。（それにM$のVisualStudioだと微妙に文法がg++と違い、やたらwarningを出してきます。両方で動作するプログラムを作成するとき嫌な思いをこれまでしてきました。）
改めてサンプルを作ろうと思い調べてみたら、stringstreamにはヘッダとして、strstreamとsstreamの２つがあるとのこと。違いは、strstreamの方が先輩なんですが実装にchar*を使っているとのこと。危険なので、内部の実装をbasic_stringなsstreamを使えとのことです。
まあ面倒なことはおいといて、一目でわかるサンプルを以下に示します。
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| // sstreamのサンプル | |
| // ：strstreamは内部でchar*を使っているので、basic_stringを使っているsstreamが推奨されている | |
| #include <iostream> | |
| #include <sstream> | |
| int main() | |
| { | |
| std::stringstream ss; | |
| double pi; | |
| double pi1; | |
| // 文字列から数値に変換. | |
| ss << "3.14"; | |
| ss >> pi; | |
| pi1 = pi + 1.0; // 数値型になっているので演算できます | |
| std::cout << std::showpoint << pi << ", " << pi1 << std::endl; | |
| ss.clear(); // 状態をクリア. | |
| ss.str(""); // 文字列をクリア. ここが注意、clear()だけでは内部の文字列は消去できません. | |
| // 数値から文字列に変換. | |
| std::string ss1; | |
| ss << 123 ; | |
| ss1 = ss.str() + "456"; // stirng型として演算します | |
| std::cout << ss.str() << ", " << ss1 << std::endl; | |
| return 0; | |
| } |
bash-3.2$ ./sstream 3.14000, 4.14000 123, 123456
まず、文字列をdoubleに変換して+1.0しています。次が数値をstirngsttreamに取り込み、string型でappendしています。これで大概のことはできます。
登録:
投稿 (Atom)