くれなゐの雑記

身の回りの人や自分が困っていたことを記事にしています

pythonでなんか配布するときにいい感じにパッケージをインストールできるようにする(pipenv, requirements.txt 入門)

動機

インターンPythonを使って業務をしていたのだが,今までrequirements.txtを作ったことがなかったのでちょっと困った. ちゃんと仮想環境立ち上げて動くことは確認しよう!!!(戒め)

pipenv

Pipenv: 人間のためのPython開発ワークフロー — pipenv 9.0.1 ドキュメント

Pythonの仮想環境を使用するというとvirtualenv+pipでしょみたいな記事をよく見る(要出典). 個人的に,この組み合わせは導入が少し面倒だった印象がある.(virtualenvとpipをそれぞれ使うひつようもある) pipenvは簡単に導入でき,また簡単に仮想環境を立ち上げることができる.

pipenvは

pip install pipenv

でインストールすることができる.

バージョン情報

$ pip --version
pip 9.0.1 from /home/koh/.pyenv/versions/anaconda3-5.0.1/lib/python3.6/site-packages (python 3.6)
$ pipenv --version
pipenv, version 9.0.1

pipenv install

該当するリポジトリに移動し,

$ cd project_repository
$ pipenv install --three

これでpipenvの環境が構築できた. 楽ちん.

pipenv shell , pipenv run python

pipenv run pythonをすると,仮想環境のpythonが実行できる. 私はAnacondaを使っているので matplotlib がimportできるはずだが…

$ pipenv run python
>>> import matplotlib
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'matplotlib'

てなかんじでimportできなくなっている.これで指定したpythonであれば,この仮想環境上で動けば多分大丈夫!

pythonではなく,普通に仮想環境のshellに入りたいときは

pipenv shell

とする.

pipenv install package

ではimport matplotlibができるようにするためにはどうすればいいだろうか

pipenv install matplotlib

とする.これは

pip intall matplotlib

と似たような意味で,仮想環境上にmatplotlibを導入し,pipfileを更新してくれる

ではもう一度確認してみよう

import matplotlib

matplotlibも入った.

pipenv lock -r

さて,必要なパッケージをインストールして動作をすることが確認できたら次は requirements.txt を作成する. このファイルはそのライブラリに必要なパッケージをまとめて(バージョンを含めて)記載し,利用者側はコマンド一発でまとめてインストールすることができるというすぐれものである.

通常バージョンの記載等は面倒なのだが,pipenvを使用するとここがとても簡単にできる (catコマンドはファイルの中身を見ているという明示であって必要なコマンドではない)

$ pipenv lock -r > requirements.txt
$ cat requirements.txt
cycler==0.10.0 --hash=sha256:1d8a5ae1ff6c5cf9b93e8811e581232ad8920aeec647c37316ceac982b08cb2d  --hash=sha256:cd7b2d1018258d7247a71425e9f26463dfb444d411c39569972f4ce586b0c9d8
matplotlib==2.1.1 --hash=sha256:83a56f713c8126492081ec6b9e885fafb387e966e5c79b88bcdb15e41ca8dd33  --hash=sha256:769ccc141fb1891ecc2d39300ebb0efde16e7b4ce3d621fd61894a58676e23d4  --hash=sha256:c83c2009648e1cffde4a1fbd09718a6ae788040ea30f9024bff66fd66262ef39  --hash=sha256:d6bcda04e8eecac0286e2e893dd025f677a5b49f98872f6646b804e648e9da38  --hash=sha256:82d4b630f2b73f7282a5c18d64a3a4b2ad2fb9141e43309beb68893770b7127f  --hash=sha256:4871f85541b559ef10ab0f69f2251d2ac1dca4f14b0819f016191e6daf1ba03c  --hash=sha256:61107a27999fd6af94c5043f8493335b8b93e788a99ccd5e850bfaaa994a5a57  --hash=sha256:b8f516d63d81c6b0049bdb72d49e8d7f71b2cbb8f2c8e157354a12c728da20df  --hash=sha256:6271352603a629d0a1d50fdd98362575043058d354739a6d746eb699be7f81b9  --hash=sha256:6330d4923351be834abaf4e64ec3c6240947f7dd05d80ce932e09636939cead5  --hash=sha256:81de6cc0c1053e9439613475436504df1e5ea1d8072b49ab0dd1f41526085f6e  --hash=sha256:2c66b11ccd48b0aba68b6b8d2045536ff3368b178259762826e2fe2c6bc74b90  --hash=sha256:168c4fbccd155863ac37a6ccfe3b206a8267c34bc1c46d8e5901f72f6c160ee2  --hash=sha256:673acab3ea8733e639ddde7baf4ec665763e92871571d254fe00b592cfad99d4  --hash=sha256:c3a9e2699d63ae18e8c0242359b67725473e92fd60af73d334819dc52e1b53d4  --hash=sha256:4028fc0d48cc602fc8a0c399d41c20d052034763622d49ddf784da21315adec8  --hash=sha256:e4524148786bcdf936f8d431925073470d47197483bad69a21f217bb1e79d776  --hash=sha256:659f5e1aa0e0f01488c61eff47560c43b8be511c6a29293d7f3896ae17bd8b23
numpy==1.14.0 --hash=sha256:428cd3c0b197cf857671353d8c85833193921af9fafcc169a1f29c7185833d50  --hash=sha256:a476e437d73e5754aa66e1e75840d0163119c3911b7361f4cd06985212a3c3fb  --hash=sha256:289ff717138cd9aa133adcbd3c3e284458b9c8230db4d42b39083a3407370317  --hash=sha256:c5eccb4bf96dbb2436c61bb3c2658139e779679b6ae0d04c5e268e6608b58053  --hash=sha256:75471acf298d455b035226cc609a92aee42c4bb6aa71def85f77fa2c2b646b61  --hash=sha256:5c54fb98ecf42da59ed93736d1c071842482b18657eb16ba6e466bd873e1b923  --hash=sha256:9ddf384ac3aacb72e122a8207775cc29727cbd9c531ee1a4b95754f24f42f7f3  --hash=sha256:781d3197da49c421a07f250750de70a52c42af08ca02a2f7bdb571c0625ae7eb  --hash=sha256:93b26d6c06a22e64d56aaca32aaaffd27a4143db0ac2f21a048f0b571f2bfc55  --hash=sha256:b2547f57d05ba59df4289493254f29f4c9082d255f1f97b7e286f40f453e33a1  --hash=sha256:eef6af1c752eef538a96018ef9bdf8e37bbf28aab50a1436501a4aa47a6467df  --hash=sha256:ff8a4b2c3ac831964f529a2da506c28d002562b230261ae5c16885f5f53d2e75  --hash=sha256:194074058c22a4066e1b6a4ea432486ee468d24ab16f13630c1030409e6b8666  --hash=sha256:4e13f1a848fde960dea33702770265837c72b796a6a3eaac7528cfe75ddefadd  --hash=sha256:91101216d72749df63968d86611b549438fb18af2c63849c01f9a897516133c7  --hash=sha256:97507349abb7d1f6b76b877258defe8720833881dc7e7fd052bac90c88587387  --hash=sha256:1479b46b6040b5c689831496354c8859c456b152d37315673a0c18720b41223b  --hash=sha256:98b1ac79c160e36093d7914244e40ee1e7164223e795aa2c71dcce367554e646  --hash=sha256:24bbec9a199f938eab75de8390f410969bc33c218e5430fa1ae9401b00865255  --hash=sha256:7880f412543e96548374a4bb1d75e4cdb8cad80f3a101ed0f8d0e0428f719c1c  --hash=sha256:6112f152b76a28c450bbf665da11757078a724a90330112f5b7ea2d6b6cefd67  --hash=sha256:7c5276763646480143d5f3a6c2acb2885460c765051a1baf4d5070f63d05010f  --hash=sha256:3de643935b212307b420248018323a44ec51987a336d1d747c1322afc3c099fb
pyparsing==2.2.0 --hash=sha256:fee43f17a9c4087e7ed1605bd6df994c6173c1e977d7ade7b651292fab2bd010  --hash=sha256:0832bcf47acd283788593e7a0f542407bd9550a55a8a8435214a1960e04bcb04  --hash=sha256:9e8143a3e15c13713506886badd96ca4b579a87fbdf49e550dbfc057d6cb218e  --hash=sha256:281683241b25fe9b80ec9d66017485f6deff1af5cde372469134b56ca8447a07  --hash=sha256:b8b3117ed9bdf45e14dcc89345ce638ec7e0e29b2b579fa1ecf32ce45ebac8a5  --hash=sha256:8f1e18d3fd36c6795bb7e02a39fd05c611ffc2596c1e0d995d34d67630426c18  --hash=sha256:e4d45427c6e20a59bf4f88c639dcc03ce30d193112047f94012102f235853a58
python-dateutil==2.6.1 --hash=sha256:95511bae634d69bc7329ba55e646499a842bc4ec342ad54a8cdb65645a0aad3c  --hash=sha256:891c38b2a02f5bb1be3e4793866c8df49c7d19baabf9c1bad62547e0b4866aca
pytz==2017.3 --hash=sha256:80af0f3008046b9975242012a985f04c5df1f01eed4ec1633d56cc47a75a6a48  --hash=sha256:feb2365914948b8620347784b6b6da356f31c9d03560259070b2f30cff3d469d  --hash=sha256:59707844a9825589878236ff2f4e0dc9958511b7ffaae94dc615da07d4a68d33  --hash=sha256:d0ef5ef55ed3d37854320d4926b04a4cb42a2e88f71da9ddfdacfde8e364f027  --hash=sha256:c41c62827ce9cafacd6f2f7018e4f83a6f1986e87bfd000b8cfbd4ab5da95f1a  --hash=sha256:8cc90340159b5d7ced6f2ba77694d946fc975b09f1a51d93f3ce3bb399396f94  --hash=sha256:dd2e4ca6ce3785c8dd342d1853dd9052b19290d5bf66060846e5dc6b8d6667f7  --hash=sha256:699d18a2a56f19ee5698ab1123bbcc1d269d061996aeb1eda6d89248d3542b82  --hash=sha256:fae4cffc040921b8a2d60c6cf0b5d662c1190fe54d718271db4eb17d44a185b7
six==1.11.0 --hash=sha256:832dc0e10feb1aa2c68dcc57dbb658f1c7e65b9b61af69048abc87a2db00a0eb  --hash=sha256:70e8a77beed4562e7f14fe23a786b54f6296e34344c23bc42f07b15018ff98e9

なんか大量に出てきたがこれは いまpipenv上で動いている matplotlibと,その愉快な仲間たちが入っている. requirements.txtがあれば,Pipfileはなくても必要なパッケージをインストールすることができるし,requirements.txtからまたpipfileを生成できる. そのため,パッケージ関連はrequirements.txtのみ上げれば良い.

requirements.txtから読み込み(人のリポジトリをgit cloneした後の話)

ではrequirements.txtからデータを読み込むためにはどうすれば良いか. 以下の二通りの方法がある

  • pipを使う方法
  • pipenvを使う方法

pipを使う方法

pipを使う方法では,

$ pip install -r requirements.txt

でできる.

pipenvを使う方法

pipenvを使う方法では

$ pipenv install

で可能(requirements.txtは明記しなくて良い. 自動的に探してくれる) この方法で行った場合は,pipfile が生成されるため,またpythonを実行する際は

  • pipenv run python
  • pipenv shell
  • pipenv run python xxxx.py

などとする.

ParaviewをX転送を使わずに遠隔で使用する

Motivation

Paraviewにはserver-clientな可視化が用意されており,実は並列実行もできます. CFDのデータも工夫しなければ重いので,ダウンロード等も非常に大変です. やはりぱっとデータを遠隔で確認したい でもX転送は重い… ということでParaviewの機能を使ってやってみました.

やり方

準備(Paraviewのインストール)

clientとserverのParaviewのバージョンを一致させる必要があります. こちらの環境では,Paraview-4.1.0を使用していたのですが動かなかったので新しい環境では多分バージョンは新しい方が良さそうです

client側はUbuntu16.04, Server側はCentos7 を使用しています.

Paraviewは2018-01-09現在の最新ver. Paraview-5.4.1-Qt5-MPI-Linuxを使用しています.

https://www.paraview.org/download/

こちらからダウンロード可能で,Linuxであればダウンロードしたbinをそのまま実行可能です.

clientとserverにディレクトリをダウンロードして使えるようにしておいてください

実際に使ってみる

まずはサーバーにトンネルを掘りつつssh接続をします. ポートはとくにこだわりがなければ11111が何も考えられなくて済むので楽です.

[client]$ ssh -L 11111:localhost:11111 user@hostname
[server]$ path/to/Paraview-5.4.1/bin/pvserver
Connection URL: cs://localhost.localdomain:11111
Accepting connection(s): localhost.localdomain:11111

これでサーバーのセットアップは完了しました.新しくターミナルを起動して

(create new terminal)[f:id:kurenaif:20180109154828p:plain]
[client]$ path/to/Paraview-5.4.1/paraview

でParaviewを起動した後は,

[Menu bar]->File->Connect (Alt f, c)

あるいは f:id:kurenaif:20180109154828p:plain ボタンを押して

でダイアログを出し,

cs://localhost:11111

f:id:kurenaif:20180109154923p:plain

にConnectするとサーバにつながります. その後Openを開くとserver側のファイルが見れるので,そこから該当するファイルを開きParaviewで可視化すると良いです.

f:id:kurenaif:20180109155529p:plainf:id:kurenaif:20180109155033p:plain

ちなみにSave Animationをすると,local側のディレクトリに保存されます.

東京で食べたうまい飯の話

この記事は kosen10s Advent Calender の 22日目の記事です
adventar.org

(重要な割り込みタスク(某社の試験)が入ってしまい遅くなってしまいましたすみません)

この記事を書くきっかけ

某Rのインターンに行ってきたのですが、噂通りとても美味しいご飯を食べることができました。
予算は3000円付近で食べられるものが多く、自分みたいにお酒が苦手な人が飲み会的な感じで食べるのにちょうどいいものが多かったです。 モリモリレビュー ユクゾッ

うなぎ 伊勢定 (大丸東京店)

菊は5000円くらいするが、サイズを少し妥協すれば3000円くらいで食べることが出来る。

大丸の一番上の階にあるうなぎ屋、写真のやつは確かうな重の菊(一番でかいやつ)と赤だし(別に注文する) これは大盛りにしていないが、店員さんに言えば大盛りにしてくれる(菊の大盛りは結構多いのでかなり空腹の状態で挑むべし)
うなぎがかなり肉厚で食べごたえがありとても美味しかった。

tabelog.com

f:id:kurenaif:20170912123301j:plain

筑紫樓 銀座店

すごく高そうな店だが、実は3000円くらいで食べられるコースがあるっぽい このコースで3000円くらいなら本当にコスパが良いのでおすすめ(ただし昼時のみみたい?)
フカヒレとかめっちゃ美味しかった。
最初に支配人っていうプレートを胸につけたおじいちゃんがでてきて、いま新鮮な魚のカルパッチョがありますがいかがですかという趣旨の質問をされたので食べたら身がぷりぷりしてて新鮮な感じだった。
おじいちゃんイケメンだったので僕もああいうおじいちゃんになりたいと思った。

tabelog.com

f:id:kurenaif:20170823134505j:plain

叙々苑 游玄亭 銀座並木通り店


すごく高いと有名な叙々苑だが、実は3000円くらいのランチがある。
油がすごく乗ってて美味しい。 でも連続して行き過ぎるとちょっと重いことがわかった。
芸能人とかがテレビで食べてるのは焼いてもらってるやつが多いが、自分たちの行ったコースは自分で焼いて食べた。

www.jojoen.co.jp

f:id:kurenaif:20170824123329j:plain

黒かつ亭 東京駅店

東京駅地下の店すげぇ分厚いとんかつが出てくる。(黒豚?)
そとはサクッとしていて、なんかばい梅塩とか黒ソースとかおろしポン酢とかでてきていろんな味が楽しめるシリーズのやつだった。
お腹いっぱい食べれるお店

tabelog.com

f:id:kurenaif:20170825121709j:plain

海賓亭 八重洲

とてもおいしい海鮮料理のお店
ぱっとみとても高そうに見えるが、ランチであれば3000円以内で海鮮丼食べることが出来る。
魚の美味しさを伝えるのは非常に難しいのだが、とにかく美味しかったのでぜひ食べてみてほしい。
ちなみに、丼に直接醤油をかけようとすると店員さんが皿に入れてとおすすめしてくる。
写真のやつは海賓弁当(1800円)

tabelog.com

f:id:kurenaif:20170828121419j:plain

美國屋

ここもうなぎのお店。 伊勢定 とはまた違った味のうなぎでやはり店ごとに違っていて面白い。
この店はこの店で美味しいので、ぜひ機会があれば食べて比べてみてほしい
どう違ってどう美味しかったのかは忘れた(ごめん)
高くて4000円くらいで食べることが出来る。
ちなみにおじいちゃんが電卓を弾いて会計をしており、クレジットカードは使えないので現金はしっかり持っていこう。

tabelog.com

f:id:kurenaif:20170904131013j:plain

f:id:kurenaif:20170904132106j:plain

浅草今半 (東京駅グランルーフ点)

5000円弱ですき焼き、3000円付近のランチがある。
かなり店が狭いので、大人数では行きにくい。(2名x3テーブル, 4名x2テーブル)
すき焼きを注文すると、店員さんが焼いてくれる(!)
自分でも少し焼く。
卵もとても美味しく、インターン中で一番お気に入りのお店。

f:id:kurenaif:20170907123757j:plain

米沢牛黄木 東京店

これまたちょっと高めの焼肉屋(写真のやつの値段は忘れてしまった… 3000円くらいで食べれるメニューもあった)
叙々苑は重量級という感じだが、こちらはミドルという感じの重さだった気がする
肉が溶ける… という感じではなく、しっかり弾力がある感じだった気がする

tabelog.com

f:id:kurenaif:20170915120504j:plain

鶏味座 ダイバーシティ東京プラザ

インターン最後のメンターとの食事で行った思い出の深い場所(でもその時初めて行った)。
お昼は1000円程度で食べれる気軽な店(金銭感覚麻痺)
ここは卵がすごく新鮮・濃厚で鶏も非常においしく、まじで1000円ですか!?!?みたいな気持ちになったのでぜひちょっと高いランチ食べてみようかな?という気持ちの時に食べてみてほしい。
知り合いに聞いた所、なんか割引的な物があるらしくもっと安く食べれるらしいが詳細はわからない。

tabelog.com


f:id:kurenaif:20170920131059j:plain

f:id:kurenaif:20170920125111j:plain

亀戸餃子

ここは個人的に気になったので行った場所。
亀戸といえばホルモンだが、自分はホルモンはあまり好きではないのでその店のレビューはない。
一皿250円でただひたすら餃子が出てくる。
注文するときも、もうひとさら餃子を頼むか、終わるかの二択。
最初にドリンクも注文できるが、当然水も注文可能だ。

tabelog.com

キッチンオリジン

インターン中に見つけた朝/夕ご飯の最適解
コンビニで買うよりも安く、さらに量があり、その場で作ってくれるので温かいご飯が食べられる。
なんと朝の忙しい時は電話で予約することが可能!待ち時間を減らして時間を有効に使おう。

tabelog.com

[番外編] DDR (エターナルアミューズメントタワー (旧トラタワ))

ご飯を食べたら体を動かさなければならない。
ご飯を食べるためには体を動かさなければならない。
体を楽しく動かすためにはDDRが良いことは古事記にも書かれている。
インターン期間中はトラタワにDDRをしにいっていた。
大変メンテが良いのだが、癖の強い媒体で大変底が高い。PIUみたいになってる。
ここでやると三ノ宮でやるよりもクリアしやすく、大変お気に入りにの店である。

[番外編] シンカンセンスゴクカタイアイス

スジャータのバニラアイスクリーム 濃厚で美味しい
300円くらい

f:id:kurenaif:20170921200042j:plain

[番外編] アズーリ(神戸のお店)

僕が特別な時に美味しくご飯を食べたい時に行く店。
彼女が出来たら(無限時間先の話)絶対連れて行くという強い意志を持っている。
ピザは1枚3000円だが、サイ○リアのように複数枚ピザを食べるとカロリーが高すぎて死が訪れる。
一人一枚程度にしておこう(なので人数を引き連れてみんなでシェアして食べよう!)
ちなみに、名前だけではピンとこないイタリアの食材が大量に並んでおり、わりと注文して届くまで何がくるかわからない。
よっぽど苦手な食材がないかぎり、美味しさは保証できるので困ったら適当に注文してみよう。

tabelog.com

OpenFOAMの終了時間予測ツールを作ってみた

動機(ポエム)

よく先生にこのような質問をされる 「その計算はいつ終わるんですか」 と 僕はこたえる 「今まで通りならだいたい6時間くらいで終わります」 と じゃあメッシュを細かくしたらどうか 計算条件が変わっても同じでも同じとは言えるのか そういう場合今あるterminalの出力を

tail log

してその場で線形補間をする では実際に線形補間でよいのか? その計算時間は直線的に変化しているのか? そういったことも調べる必要がある. そこで,

  • 過去n個の幅のデータを取ってきて
  • 分単位程度の精度で線形補間をし
  • 線形補間した分はどれくらい線形なのかを調べる

みたいなツールを作ることにした

簡単な構成

  • バックエンドはFlask
  • 通信はwebsocket
  • フロントエンドはEpoch

を使った.webを介することで,例えば研究室のワークステーション等で計算を回して,その場でこのスクリプトを回すことで計算結果をwebブラウザで見ることができるようになると思った. (後でCUIだけで出力できたほうがいいことに気づいた)

技術的な話

技術的にはそんなに難しいことはやっておらず,

qiita.com

qiita.com

の2つの記事と線形補間を組み合わせた感じ

使用方法やデモ

こちらの記事を見て欲しい

github.com

今後の話

最近OpenFOAMのファイルを読み込んでいい感じに設定するelectron製のツールを作っているけどtypescriptに移行したいという気持ちになってきた. あとコードの品質が最近良くないような気がしていて,その周りの本を3冊ほど読むことにした. ので,今後のツール開発等は少しお休みすると思う.

高専から大学編入をしてやったこと変わったこと

藤童子(@fwarashi)だったりkurenaifだったりと呼ばれています. 高専の方は5年生だったらギリギリ私のことを知っているかもしれません 神戸高専の出身で,神戸大学に編入してそのまま神戸大学の大学院にいます.

ちょっと技術的な話のストックがマニアックな奴しか無いので,クソポエム書きます

対象

  • KCCTの電算部の方
  • 大学編入のメリットを知りたい方
  • 私の生存確認をしたい方

大学編入前

大阪大学の編入試験に落ちて悲しい気持ちで神戸大学を受けたら運良く受かった.

勉強した参考書等はこちら http://kurenaif.hatenablog.com/entry/2014/11/13/174335

大学編入してから

編入の同期にハッカソンのやべーやつとセキュリティのやべーやつがいたり, 入った部活に同人のやべーやつがいたりしてなんか周りがやべーやつばっかりだった

高専より大学のほうが人数多いし,その分やべーやつが多いのかなという印象. タイトルどおり,大学に入ってからやり始めたことを列挙すると以下の通り

  • ほぼC++しか書いてなかったけどいろんな言語に手をつけ始めた(Python, Rust)
  • TOEICの点数が何故突然か上がった
  • CTFに触れてみた語彙力を失った
  • 部活の人にめっちゃ煽られて同人イベントにサークル参加して24人規模の合同も主催した

総じて,それに通じてる人がいたから誘われてやってみた感じでいろいろやっていくうちにいろいろ見れてよかった.周りの人間変えるとやっぱり自分も変わるんだなという感じそういう意味では専攻科に進むよりは大学編入はとても良かったと思ってます.(そもそも機械に残るつもりは微塵もなかったですが…)

大学入って,イベントに積極的に参加して,いろんな人にあって,いろんな技術に触れるのが相当大切だと思いました.競技プログラミングとかだとそこそこ実力ないとオンサイト出れなかったりしますが,ハッカソンとかのイベントだと比較的出やすかったり,創作やってる人は同人イベント等でうまくつながりを作ったりしてきっかけを作ると良いと思います.

リクルートインターンもいったのですが,いろんな人に会えていろんな技術に触れる機会ができてよかったです.

特に大学では基礎的な数学を少し触ることができてよかった.やっぱ大学の数学はレベル高いんやなって…

研究室配属されてから

高専の頃は朝から夜までずっと研究室に張り付いていたが,大学では19:00にはほとんど研究室を出るようにした. 結果いろんなアイデアがいろいろ出てきて研究をいい感じに進めることができた. やはり短期間で詰めたほうが集中力的な意味でも健康的な意味でもいい

研究室内でredmineだとかgitlabだとかのサーバーがなかったのでdocker突っ込んでモリモリ管理したり,計算機のサーバーにジョブスケジューラとか入れて管理したりしていて,サーバーの不調があると対応をしていた. インターンをしてプログラミングとかをしてお金をもらう経験をしてから,僕はなんでこの作業を無料でやっているんだろうと最近疑問に思ってしまい,大変モチベーションが下がってしまったのでボランティアで 作業をする/人に頼む ときはこういうことがあるので注意して欲しい.

まとめ

  1. 高専のころは外のイベントに余り出ずに,ひたすら引きこもってずっと作業をしていた.
  2. インターンに行ったり,大学に入っていろんなやべーやつに会って,いろんな技術に触れた
  3. 大学で数学力のなさを実感したり,突然英語の点数が上がった

いろいろ書きましたけど,意外と外に出るのはハードルが低いし,歓迎してくれるのでいろんなイベントに出て刺激を受けるといいと思います! ハードルが高いなと思ったら(私の趣味と一致するものなら)一緒にイベント参加しましょう!! twitterでリプDM待ってます

RECRUIT HOLDINGS SUMMER INTERNSHIP 2017 の ENGINEER コースに参加してきました

学業ガチ勢おじさんですが、気が変わったのでインターンに行ってきました。 結果として、とても楽しいインターンでよかったです。

動機

来年の就活が不安で仕方がないというツイートをポストしたら、知り合いから就活のしかたについて「インターンに行く。 終わり。」みたいな内容が飛んできたので、インターンに行くことにした。

いちおう競技プログラマではあるので、競技プログラミングを主催している企業に申し込むことにした。

2つ通ってどちらかを切らなければならない状態になったが、待遇面や噂、知人の体験談を聞いてリクルートに決めた。

インターン

インターンの内容自体は、社内ツールの作成みたいなことをした。htmlだとかjsだとかを使ってwebページ的なのを作った。 フロントエンドはあまり開発していなかったが、javascriptが気づいたら結構進化していて勉強しようと思った。

他のインターン生とご飯を食べたりLT会をして、話を聞いたりしたのだが、未踏で開発してた人とか、有名なjavascriptフレームワーク製作者とか明らかに周りのスペックが高すぎてなんで自分が通ったのかよくわからない気持ちになった。いい刺激になった。

リクルートインターンはご飯がすごいという噂を聞いていたが、毎食3000円くらいの予算で食べられて至福だった。 あとで食事だけのブログをアップする。 ご飯を食べるときは、社員さんと一緒にいくことになっているのだが、いろんな社員といろんな話をすることができてとても良かった。美味しいご飯も食べれるし、社員さんとも話ができるしとても良かった。前々から話したかった人ともお話できてよかった。

インターン期間中のプライベートな時間

宿は提供されているが、土日はちゃんと休みだし夜も帰ろうと思えば早く帰れる環境だったので、豪遊した。 毎週土日になにかしらイベントを目標に予定を入れまくった。 具体的にはLT会にネタLTをしに行ったり、某社に見学に行ったり、某社の飯会に行ったり、オタクイベントに参加したり本当にいろいろなことをやった。

インターンを終わってみて

  • 蓋を開けてみると待遇がwebページに書いているより良く、残業等も考慮されていてよかった。
  • 業務に関わることだけではなくて、いろんな社員さんと話したり、他の学生と話たりすることでいろんな技術に触れるきっかけになった。
  • ご飯おいしい
  • 東京駅八重洲口から丸の内口まで移動する難易度が高い(丸の内口側にあるサブウェイが遠い)
  • JRで電車からおりてから八重洲口まで距離が遠くてつらい

という感想だった。 本当に良いインターンだと思うので、参加を検討している人は申し込んでほしい

ご飯情報 (2017-12-24 追記)

ご飯情報を以下のURLにのっけた。 ご飯のシステムが残っていれば、ここに行きたいとメンターさんに見せれば連れて行ってもらえると思う。 是非参考にしてほしい

kurenaif.hatenablog.com

OpenFOAMのcase fileをgitで管理する

OpenFOAMのcase fileをgitで管理する

お久しぶりです。くれなゐです
gitをソースコードの管理以外で使ったことがない方っていませんか?
gitは非常に便利なツールで、様々な履歴を残すことができます。
今日はOpenFOAMのケースファイルを例に、ソースコードだけじゃないんだぞと言うところをお見せしたいと思います。

このブログの対象

  • gitの使い方をまだ良くわかっていない人
  • ソースコードの管理以外にgitの使用価値を見いだせない人
  • OpenFOAMの計算条件の履歴を残したい人

バージョンを管理する対象

今回も、いつものcavityを使用しています。 OpenFOAMのバージョンはちょっと古いですが2.4.0を使用しています。 gitのバージョン管理をする本質ではバージョンはあまり関係ないと考えています(blockMesh等のパスは少し変わりますが…)

OpenFOAM/OpenFOAM-2.4.0/tutorials/incompressible/icoFoam/cavity

あと忘れないうちに

blockMesh

しておきましょう

まずは init, first commit

init

gitでバージョン管理していくために、まずはバージョン管理の環境を用意してあげる必要があります。 それをするコマンドが

git init

です。

こんなメッセージが出てればOKです

Initialized empty Git repository in /home/kurenaif/Desktop/cavity/.git/

add

とりあえず今の状態をcommitしておきましょう commitとは簡単に言うとセーブポイントを設置するような感じです。こうしておくことあとでこの状態に復元できますね。

commitをする前に、どのファイルをコミットするか選択しなければなりません。それがaddになります。すべてのファイルをaddする場合は、

git add --all

などとしましょう。

status

addをしたら、 statusを確認しましょう

git status

addされたファイルが確認できます。

On branch master

Initial commit

Changes to be committed:
  (use "git rm --cached <file>..." to unstage)

    new file:   0/U
    new file:   0/p
    new file:   constant/polyMesh/blockMeshDict
    new file:   constant/polyMesh/boundary
    new file:   constant/polyMesh/faces
    new file:   constant/polyMesh/neighbour
    new file:   constant/polyMesh/owner
    new file:   constant/polyMesh/points
    new file:   constant/transportProperties
    new file:   system/controlDict
    new file:   system/fvSchemes
    new file:   system/fvSoluti

commit

commitメッセージは必ず付けなければなりません。 commitメッセージは、その変更に対する理由付けだとかそういうものです。あとでこのコミットメッセージを参照して、必要なときに戻ってきたりするわけです。 たとえば、今回の場合、「計算が回ってくれた」「良い計算結果が出た」、「前つまっていたTimeが突破できた」 などなどといったケースで使うことができます。

最初のcommitはfirst commitとすることが通例です。(これも流派があるので、一概にfirst commitではないです。)

git commit -m "first commit"

計算結果をバージョン履歴に残さないようにする

これで最初の準備が整いました。それではicoFoamを実行しましょう。

icoFoam

blockMesh忘れてなければ実行できると思います。忘れてたらblockMeshしてからicoFoamしましょう。

計算結果は出ましたが、これは私はバージョン管理対象に含めるべきではないと考えています。(というのは、ファイルが膨大になることがおおいため、.gitディレクトリが大変になることが予想される)

では、計算結果がgit add --allの対象に含まれないようにしてあげましょう そのために、.gitignoreを設定します。

現在、

git status

を見てみると、

On branch master
Untracked files:
  (use "git add <file>..." to include in what will be committed)

    0.1/
    0.2/
    0.3/
    0.4/
    0.5/

nothing added to commit but untracked files present (use "git add" to track)

このようになっています。このメッセージは、addされてないよーという趣旨ですので、これからの目標はstatusをした時にこいつらを消してやることにあります。

消すためには、以下のように.gitignoreを書きます。 .gitignoreファイルがない場合は、ファイルを作ってディレクトリに配置しましょう。

[0-9]*/
!0

そしてふたたび

git status

をすると、

On branch master
Untracked files:
  (use "git add <file>..." to include in what will be committed)

    .gitignore

nothing added to commit but untracked files present (use "git add" to track)

というメッセージが出てきます。 .gitignoreがaddされてないよーというメッセージですね。 .gitignoreはバージョン管理したほうがいいので、追加しましょう

 git add .gitignore # .gitignoreを選択
 git commit -m "[add] git ignore" # コミット

ではここでgit logを見てみましょう

git log
commit 6a3b160619f88ec23816b707e32e61b2ade96848
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:08:56 2017 +0900

    [add] git ignore

commit 30351f767bce8d5665d0a1dc95f3d1a35fa1d927
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:00:40 2017 +0900

    first commit

2つのコミットが確認できますね

では、計算条件を変えてみましょう。

変更を加えてそれをcommitする

流速を100m/sにしてみましょうかね

0/Uの該当する部分を100m/sに変更してみましょう。

そして、

git diff

コマンドを入力します。 すると前回の計算と今のどこが違うのかわかるようになります。

diff --git a/0/U b/0/U
index a12d708..5a2a2a0 100644
--- a/0/U
+++ b/0/U
@@ -23,7 +23,7 @@ boundaryField
     movingWall
     {
         type            fixedValue;
-        value           uniform (1 0 0);
+        value           uniform (100 0 0);
     }
 
     fixedWalls

解説不要ですね。では

icoFoam

計算は止まります。流速が早すぎるからですね では、その旨をコミットしてみましょう

git add --all
git commit -m "流速を100m/sに変更 計算が止まりました。"
git log
commit b699f012c914037fb499dad001737234cbe2478f
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:18:28 2017 +0900

    流速を100m/sに変更 計算が止まりました。

commit 6a3b160619f88ec23816b707e32e61b2ade96848
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:08:56 2017 +0900

    [add] git ignore

commit 30351f767bce8d5665d0a1dc95f3d1a35fa1d927
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:00:40 2017 +0900

    first commit

追加されましたね。 計算が失敗したので、計算が動いていた頃に戻したいです。そういう場合はgit resetを使用します。 "[add] git ignore"のcommit id が "commit b699f012c914037fb499dad001737234cbe2478f" となっていますので、最初数文字をとって

git reset --hard 6a3b160

としてやります。このidは人によって違うと思うので、自分でlogをして確認してください。 0/Uのディレクトリを見ていると、確かに流速が1m/sに戻ってますね。

ではもう一度icoFoamを実行してみましょう

icoFoam

計算が回りましたね。

ケースファイルをコピーして編集してみる

こういう事例、ありませんか?

ある計算Aの計算結果がイマイチでした。 原因の候補はいくつか思い当たるのですが、どれが正しいのかはわかりません。

よくある話だと思います。 この際によくやる手続きとして、

  1. 計算結果を"含めずに"コピーを行う
  2. 編集を行う。
  3. 良かった結果を今後採用する

があると思います。

では順番にやっていきましょう。

計算結果を含めずにコピーする

計算結果をgitignoreしてますので、実は

cd .. # gitで管理してるディレクトリの一個上へ
git clone cavity cavity-A
git clone cavity cavity-B

こんな感じで複製できます。計算結果は入っていないはずです。

編集を行う。

それでは、cavity-Aを編集しましょう。 cavity-Aでは、出力タイムステップを短くしてみましょう. このように、cloneしてファイルを編集する場合は、branchを切ります。利点は後でわかります。

バージョンが枝分かれするイメージですね

git checkout -b fine-delta

こうするとfine-deltaというブランチを作ってそのブランチに移動することができます。 masterに戻りたいときは

git checkout master

となります。移動したらまたfine-deltaに戻っておきましょう

git checkout fine-delta

では、controlDictを以下のように編集して

diff --git a/system/controlDict b/system/controlDict
index 084dc33..b8f6631 100644
--- a/system/controlDict
+++ b/system/controlDict
@@ -25,7 +25,7 @@ stopAt          endTime;
 
 endTime         0.5;
 
-deltaT          0.0005;
+deltaT          0.005;
 
 writeControl    timeStep;
icoFoam # ねんのため確認
git add --all
git commit -m "出力タイムステップを短くしました"

良かった結果を今後採用する

よいな!と思ったら元のディレクトリに変更に還元しましょう

git push origin fine-delta

これはfine-deltaブランチを元のディレクトリにアップロードするという意味です。

元のディレクトリはmasterブランチ(デフォルト)で作成してますので、新しくブランチが生成されます。(即座にmasterに反映されるわけではありません。)

cavity-Bでも変更する

cavity-Bでも同湯に変更を加えます。 今回はmesh幅を変えましょう

diff --git a/constant/polyMesh/blockMeshDict b/constant/polyMesh/blockMeshDict
index aac305a..5fdcfd2 100644
--- a/constant/polyMesh/blockMeshDict
+++ b/constant/polyMesh/blockMeshDict
@@ -30,7 +30,7 @@ vertices
 
 blocks
 (
-    hex (0 1 2 3 4 5 6 7) (20 20 1) simpleGrading (1 1 1)
+    hex (0 1 2 3 4 5 6 7) (40 40 1) simpleGrading (1 1 1)
 );
 
 edges

倍細かくなりましたね

git checkout -b fine-mesh
blockMesh
icoFoam
git add --all
git commit -m "メッシュを細かくしました"
git push origin fine-mesh

元のディレクトリで変更を反映する

cd ..
cd cavity # もとのディレクトリ
git br

とすると、

  fine-delta
  fine-mesh
* master

となっていることがわかります。 時間間隔を短くしたやつとメッシュを細かくしたやつがいますね。 ここから

git checkout fine-mesh

とすると、メッシュが細かい計算のケースファイルに移行しますし、

git checkout fine-delta

とるすと出力の時間間隔が短い計算のケースファイルに移行することができます。 もちろん

git checkout master

とすると、大本の状態にもどることができます さて、それでは変更をmasterに反映します。反映するためには、mergeを使います

git checkout master # masterに移動
git merge fine-delta

これでmasterに時間間隔が短くなる変更が適応されました。

git log
commit 39611f0253452a1165b26b62fa358435e41cac2c
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:31:28 2017 +0900

    出力タイムステップを短くしました

commit 6a3b160619f88ec23816b707e32e61b2ade96848
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:08:56 2017 +0900

    [add] git ignore

commit 30351f767bce8d5665d0a1dc95f3d1a35fa1d927
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:00:40 2017 +0900

    first commit

logを見てもいい感じですね。 実際に実行してみると

icoFoam

確かに時間間隔が短くなってます。

mergeができたものは削除してOKです

git br -d fine-delta

それでは、メッシュの方も反映しちゃいましょう

git merge fine-mesh

先ほどとは違い、なんかテキストエディタが出てきますが今回は気にせず閉じちゃってOKです

これは"mergeが走る"という現象ですが、説明するのはそろそろ手がつかれたので割愛します。 変更が衝突したりした時に、いろいろしなければならくなるやつです。(例えばcavity-Aとcavity-Bで同じUを編集した場合、どちらを採用するのか等)

git log

をみてみると

commit 24e3b70e11e407086533ed4ae9d42b096d71e6e3
Merge: 39611f0 35c342c
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:49:32 2017 +0900

    Merge branch 'fine-mesh'

commit 35c342c111ecd706f10b0bf6c0fdbc8a28800578
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:43:17 2017 +0900

    メッシュを細かくしました

commit 39611f0253452a1165b26b62fa358435e41cac2c
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:31:28 2017 +0900

    出力タイムステップを短くしました

commit 6a3b160619f88ec23816b707e32e61b2ade96848
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:08:56 2017 +0900

    [add] git ignore

commit 30351f767bce8d5665d0a1dc95f3d1a35fa1d927
Author: kurenaif <antyobido@gmail.com>
Date:   Thu Nov 2 14:00:40 2017 +0900

    first commit

のように、なんか変なのが混じってますがメッシュを細かくした内容が反映されています。

icoFoam
paraFoam

とすると、確かに時間ステップも短いし、メッシュも細かいケースができました。

おわりに

研究する上で、研究ノートやログを取る。という試行錯誤を残すことは非常に重要なことです。 今回のように、gitを使えば、直接ファイルを見ながらバージョン管理できますし、コメントアウトしながら計算条件をバックアップする必要はなくなります。

commitごとに計算結果を残しておきたい場合は, commit idに対応したディレクトリを用意して、gitignoreすると良いでしょう。 そのcommit idに対応したcommitに移動した時にそれを戻してくればいいです。

このようなgitの使い方はまだまだ初歩の初歩で、git-flowやgitHubを有効にあつかったGitHub-Flow. 編集の衝突などちょくちょく問題が起きるのでそれの対応が必要になります。

もしこの記事がgitの使用価値について気づける機会になれば幸いです。