pythonでなんか配布するときにいい感じにパッケージをインストールできるようにする(pipenv, requirements.txt 入門)
動機
インターンでPythonを使って業務をしていたのだが,今までrequirements.txtを作ったことがなかったのでちょっと困った. ちゃんと仮想環境立ち上げて動くことは確認しよう!!!(戒め)
pipenv
Pipenv: 人間のためのPython開発ワークフロー — pipenv 9.0.1 ドキュメント
Pythonの仮想環境を使用するというとvirtualenv+pipでしょみたいな記事をよく見る(要出典). 個人的に,この組み合わせは導入が少し面倒だった印象がある.(virtualenvとpipをそれぞれ使うひつようもある) pipenvは簡単に導入でき,また簡単に仮想環境を立ち上げることができる.
pipenvは
pip install pipenv
でインストールすることができる.
バージョン情報
$ pip --version pip 9.0.1 from /home/koh/.pyenv/versions/anaconda3-5.0.1/lib/python3.6/site-packages (python 3.6) $ pipenv --version pipenv, version 9.0.1
pipenv install
該当するリポジトリに移動し,
$ cd project_repository $ pipenv install --three
これでpipenvの環境が構築できた. 楽ちん.
pipenv shell , pipenv run python
pipenv run python
をすると,仮想環境のpythonが実行できる.
私はAnacondaを使っているので matplotlib
がimportできるはずだが…
$ pipenv run python >>> import matplotlib Traceback (most recent call last): File "<stdin>", line 1, in <module> ModuleNotFoundError: No module named 'matplotlib'
てなかんじでimportできなくなっている.これで指定したpythonであれば,この仮想環境上で動けば多分大丈夫!
pythonではなく,普通に仮想環境のshellに入りたいときは
pipenv shell
とする.
pipenv install package
ではimport matplotlib
ができるようにするためにはどうすればいいだろうか
pipenv install matplotlib
とする.これは
pip intall matplotlib
と似たような意味で,仮想環境上にmatplotlibを導入し,pipfileを更新してくれる
ではもう一度確認してみよう
import matplotlib
matplotlibも入った.
pipenv lock -r
さて,必要なパッケージをインストールして動作をすることが確認できたら次は requirements.txt
を作成する.
このファイルはそのライブラリに必要なパッケージをまとめて(バージョンを含めて)記載し,利用者側はコマンド一発でまとめてインストールすることができるというすぐれものである.
通常バージョンの記載等は面倒なのだが,pipenvを使用するとここがとても簡単にできる (catコマンドはファイルの中身を見ているという明示であって必要なコマンドではない)
$ pipenv lock -r > requirements.txt $ cat requirements.txt cycler==0.10.0 --hash=sha256:1d8a5ae1ff6c5cf9b93e8811e581232ad8920aeec647c37316ceac982b08cb2d --hash=sha256:cd7b2d1018258d7247a71425e9f26463dfb444d411c39569972f4ce586b0c9d8 matplotlib==2.1.1 --hash=sha256:83a56f713c8126492081ec6b9e885fafb387e966e5c79b88bcdb15e41ca8dd33 --hash=sha256:769ccc141fb1891ecc2d39300ebb0efde16e7b4ce3d621fd61894a58676e23d4 --hash=sha256:c83c2009648e1cffde4a1fbd09718a6ae788040ea30f9024bff66fd66262ef39 --hash=sha256:d6bcda04e8eecac0286e2e893dd025f677a5b49f98872f6646b804e648e9da38 --hash=sha256:82d4b630f2b73f7282a5c18d64a3a4b2ad2fb9141e43309beb68893770b7127f --hash=sha256:4871f85541b559ef10ab0f69f2251d2ac1dca4f14b0819f016191e6daf1ba03c --hash=sha256:61107a27999fd6af94c5043f8493335b8b93e788a99ccd5e850bfaaa994a5a57 --hash=sha256:b8f516d63d81c6b0049bdb72d49e8d7f71b2cbb8f2c8e157354a12c728da20df --hash=sha256:6271352603a629d0a1d50fdd98362575043058d354739a6d746eb699be7f81b9 --hash=sha256:6330d4923351be834abaf4e64ec3c6240947f7dd05d80ce932e09636939cead5 --hash=sha256:81de6cc0c1053e9439613475436504df1e5ea1d8072b49ab0dd1f41526085f6e --hash=sha256:2c66b11ccd48b0aba68b6b8d2045536ff3368b178259762826e2fe2c6bc74b90 --hash=sha256:168c4fbccd155863ac37a6ccfe3b206a8267c34bc1c46d8e5901f72f6c160ee2 --hash=sha256:673acab3ea8733e639ddde7baf4ec665763e92871571d254fe00b592cfad99d4 --hash=sha256:c3a9e2699d63ae18e8c0242359b67725473e92fd60af73d334819dc52e1b53d4 --hash=sha256:4028fc0d48cc602fc8a0c399d41c20d052034763622d49ddf784da21315adec8 --hash=sha256:e4524148786bcdf936f8d431925073470d47197483bad69a21f217bb1e79d776 --hash=sha256:659f5e1aa0e0f01488c61eff47560c43b8be511c6a29293d7f3896ae17bd8b23 numpy==1.14.0 --hash=sha256:428cd3c0b197cf857671353d8c85833193921af9fafcc169a1f29c7185833d50 --hash=sha256:a476e437d73e5754aa66e1e75840d0163119c3911b7361f4cd06985212a3c3fb --hash=sha256:289ff717138cd9aa133adcbd3c3e284458b9c8230db4d42b39083a3407370317 --hash=sha256:c5eccb4bf96dbb2436c61bb3c2658139e779679b6ae0d04c5e268e6608b58053 --hash=sha256:75471acf298d455b035226cc609a92aee42c4bb6aa71def85f77fa2c2b646b61 --hash=sha256:5c54fb98ecf42da59ed93736d1c071842482b18657eb16ba6e466bd873e1b923 --hash=sha256:9ddf384ac3aacb72e122a8207775cc29727cbd9c531ee1a4b95754f24f42f7f3 --hash=sha256:781d3197da49c421a07f250750de70a52c42af08ca02a2f7bdb571c0625ae7eb --hash=sha256:93b26d6c06a22e64d56aaca32aaaffd27a4143db0ac2f21a048f0b571f2bfc55 --hash=sha256:b2547f57d05ba59df4289493254f29f4c9082d255f1f97b7e286f40f453e33a1 --hash=sha256:eef6af1c752eef538a96018ef9bdf8e37bbf28aab50a1436501a4aa47a6467df --hash=sha256:ff8a4b2c3ac831964f529a2da506c28d002562b230261ae5c16885f5f53d2e75 --hash=sha256:194074058c22a4066e1b6a4ea432486ee468d24ab16f13630c1030409e6b8666 --hash=sha256:4e13f1a848fde960dea33702770265837c72b796a6a3eaac7528cfe75ddefadd --hash=sha256:91101216d72749df63968d86611b549438fb18af2c63849c01f9a897516133c7 --hash=sha256:97507349abb7d1f6b76b877258defe8720833881dc7e7fd052bac90c88587387 --hash=sha256:1479b46b6040b5c689831496354c8859c456b152d37315673a0c18720b41223b --hash=sha256:98b1ac79c160e36093d7914244e40ee1e7164223e795aa2c71dcce367554e646 --hash=sha256:24bbec9a199f938eab75de8390f410969bc33c218e5430fa1ae9401b00865255 --hash=sha256:7880f412543e96548374a4bb1d75e4cdb8cad80f3a101ed0f8d0e0428f719c1c --hash=sha256:6112f152b76a28c450bbf665da11757078a724a90330112f5b7ea2d6b6cefd67 --hash=sha256:7c5276763646480143d5f3a6c2acb2885460c765051a1baf4d5070f63d05010f --hash=sha256:3de643935b212307b420248018323a44ec51987a336d1d747c1322afc3c099fb pyparsing==2.2.0 --hash=sha256:fee43f17a9c4087e7ed1605bd6df994c6173c1e977d7ade7b651292fab2bd010 --hash=sha256:0832bcf47acd283788593e7a0f542407bd9550a55a8a8435214a1960e04bcb04 --hash=sha256:9e8143a3e15c13713506886badd96ca4b579a87fbdf49e550dbfc057d6cb218e --hash=sha256:281683241b25fe9b80ec9d66017485f6deff1af5cde372469134b56ca8447a07 --hash=sha256:b8b3117ed9bdf45e14dcc89345ce638ec7e0e29b2b579fa1ecf32ce45ebac8a5 --hash=sha256:8f1e18d3fd36c6795bb7e02a39fd05c611ffc2596c1e0d995d34d67630426c18 --hash=sha256:e4d45427c6e20a59bf4f88c639dcc03ce30d193112047f94012102f235853a58 python-dateutil==2.6.1 --hash=sha256:95511bae634d69bc7329ba55e646499a842bc4ec342ad54a8cdb65645a0aad3c --hash=sha256:891c38b2a02f5bb1be3e4793866c8df49c7d19baabf9c1bad62547e0b4866aca pytz==2017.3 --hash=sha256:80af0f3008046b9975242012a985f04c5df1f01eed4ec1633d56cc47a75a6a48 --hash=sha256:feb2365914948b8620347784b6b6da356f31c9d03560259070b2f30cff3d469d --hash=sha256:59707844a9825589878236ff2f4e0dc9958511b7ffaae94dc615da07d4a68d33 --hash=sha256:d0ef5ef55ed3d37854320d4926b04a4cb42a2e88f71da9ddfdacfde8e364f027 --hash=sha256:c41c62827ce9cafacd6f2f7018e4f83a6f1986e87bfd000b8cfbd4ab5da95f1a --hash=sha256:8cc90340159b5d7ced6f2ba77694d946fc975b09f1a51d93f3ce3bb399396f94 --hash=sha256:dd2e4ca6ce3785c8dd342d1853dd9052b19290d5bf66060846e5dc6b8d6667f7 --hash=sha256:699d18a2a56f19ee5698ab1123bbcc1d269d061996aeb1eda6d89248d3542b82 --hash=sha256:fae4cffc040921b8a2d60c6cf0b5d662c1190fe54d718271db4eb17d44a185b7 six==1.11.0 --hash=sha256:832dc0e10feb1aa2c68dcc57dbb658f1c7e65b9b61af69048abc87a2db00a0eb --hash=sha256:70e8a77beed4562e7f14fe23a786b54f6296e34344c23bc42f07b15018ff98e9
なんか大量に出てきたがこれは いまpipenv上で動いている matplotlib
と,その愉快な仲間たちが入っている.
requirements.txtがあれば,Pipfileはなくても必要なパッケージをインストールすることができるし,requirements.txtからまたpipfileを生成できる.
そのため,パッケージ関連はrequirements.txtのみ上げれば良い.
requirements.txtから読み込み(人のリポジトリをgit cloneした後の話)
ではrequirements.txtからデータを読み込むためにはどうすれば良いか. 以下の二通りの方法がある
- pipを使う方法
- pipenvを使う方法
pipを使う方法
pipを使う方法では,
$ pip install -r requirements.txt
でできる.
pipenvを使う方法
pipenvを使う方法では
$ pipenv install
で可能(requirements.txtは明記しなくて良い. 自動的に探してくれる)
この方法で行った場合は,pipfile
が生成されるため,またpythonを実行する際は
pipenv run python
pipenv shell
pipenv run python xxxx.py
などとする.
ParaviewをX転送を使わずに遠隔で使用する
Motivation
Paraviewにはserver-clientな可視化が用意されており,実は並列実行もできます. CFDのデータも工夫しなければ重いので,ダウンロード等も非常に大変です. やはりぱっとデータを遠隔で確認したい でもX転送は重い… ということでParaviewの機能を使ってやってみました.
やり方
準備(Paraviewのインストール)
clientとserverのParaviewのバージョンを一致させる必要があります. こちらの環境では,Paraview-4.1.0を使用していたのですが動かなかったので新しい環境では多分バージョンは新しい方が良さそうです
client側はUbuntu16.04, Server側はCentos7 を使用しています.
Paraviewは2018-01-09現在の最新ver. Paraview-5.4.1-Qt5-MPI-Linuxを使用しています.
https://www.paraview.org/download/
こちらからダウンロード可能で,Linuxであればダウンロードしたbinをそのまま実行可能です.
clientとserverにディレクトリをダウンロードして使えるようにしておいてください
実際に使ってみる
まずはサーバーにトンネルを掘りつつssh接続をします. ポートはとくにこだわりがなければ11111が何も考えられなくて済むので楽です.
[client]$ ssh -L 11111:localhost:11111 user@hostname [server]$ path/to/Paraview-5.4.1/bin/pvserver Connection URL: cs://localhost.localdomain:11111 Accepting connection(s): localhost.localdomain:11111
これでサーバーのセットアップは完了しました.新しくターミナルを起動して
(create new terminal)[f:id:kurenaif:20180109154828p:plain] [client]$ path/to/Paraview-5.4.1/paraview
でParaviewを起動した後は,
[Menu bar]->File->Connect (Alt f, c)
あるいは ボタンを押して
でダイアログを出し,
cs://localhost:11111
にConnectするとサーバにつながります. その後Openを開くとserver側のファイルが見れるので,そこから該当するファイルを開きParaviewで可視化すると良いです.
ちなみにSave Animationをすると,local側のディレクトリに保存されます.
東京で食べたうまい飯の話
この記事は kosen10s Advent Calender の 22日目の記事です
adventar.org
(重要な割り込みタスク(某社の試験)が入ってしまい遅くなってしまいましたすみません)
この記事を書くきっかけ
某Rのインターンに行ってきたのですが、噂通りとても美味しいご飯を食べることができました。
予算は3000円付近で食べられるものが多く、自分みたいにお酒が苦手な人が飲み会的な感じで食べるのにちょうどいいものが多かったです。 モリモリレビュー ユクゾッ
うなぎ 伊勢定 (大丸東京店)
菊は5000円くらいするが、サイズを少し妥協すれば3000円くらいで食べることが出来る。
大丸の一番上の階にあるうなぎ屋、写真のやつは確かうな重の菊(一番でかいやつ)と赤だし(別に注文する) これは大盛りにしていないが、店員さんに言えば大盛りにしてくれる(菊の大盛りは結構多いのでかなり空腹の状態で挑むべし)
うなぎがかなり肉厚で食べごたえがありとても美味しかった。
筑紫樓 銀座店
すごく高そうな店だが、実は3000円くらいで食べられるコースがあるっぽい このコースで3000円くらいなら本当にコスパが良いのでおすすめ(ただし昼時のみみたい?)
フカヒレとかめっちゃ美味しかった。
最初に支配人っていうプレートを胸につけたおじいちゃんがでてきて、いま新鮮な魚のカルパッチョがありますがいかがですかという趣旨の質問をされたので食べたら身がぷりぷりしてて新鮮な感じだった。
おじいちゃんイケメンだったので僕もああいうおじいちゃんになりたいと思った。
叙々苑 游玄亭 銀座並木通り店
すごく高いと有名な叙々苑だが、実は3000円くらいのランチがある。
油がすごく乗ってて美味しい。 でも連続して行き過ぎるとちょっと重いことがわかった。
芸能人とかがテレビで食べてるのは焼いてもらってるやつが多いが、自分たちの行ったコースは自分で焼いて食べた。
黒かつ亭 東京駅店
東京駅地下の店すげぇ分厚いとんかつが出てくる。(黒豚?)
そとはサクッとしていて、なんかばい梅塩とか黒ソースとかおろしポン酢とかでてきていろんな味が楽しめるシリーズのやつだった。
お腹いっぱい食べれるお店
海賓亭 八重洲店
とてもおいしい海鮮料理のお店
ぱっとみとても高そうに見えるが、ランチであれば3000円以内で海鮮丼食べることが出来る。
魚の美味しさを伝えるのは非常に難しいのだが、とにかく美味しかったのでぜひ食べてみてほしい。
ちなみに、丼に直接醤油をかけようとすると店員さんが皿に入れてとおすすめしてくる。
写真のやつは海賓弁当(1800円)
美國屋
ここもうなぎのお店。 伊勢定 とはまた違った味のうなぎでやはり店ごとに違っていて面白い。
この店はこの店で美味しいので、ぜひ機会があれば食べて比べてみてほしい
どう違ってどう美味しかったのかは忘れた(ごめん)
高くて4000円くらいで食べることが出来る。
ちなみにおじいちゃんが電卓を弾いて会計をしており、クレジットカードは使えないので現金はしっかり持っていこう。
浅草今半 (東京駅グランルーフ点)
5000円弱ですき焼き、3000円付近のランチがある。
かなり店が狭いので、大人数では行きにくい。(2名x3テーブル, 4名x2テーブル)
すき焼きを注文すると、店員さんが焼いてくれる(!)
自分でも少し焼く。
卵もとても美味しく、インターン中で一番お気に入りのお店。
米沢牛黄木 東京店
これまたちょっと高めの焼肉屋(写真のやつの値段は忘れてしまった… 3000円くらいで食べれるメニューもあった)
叙々苑は重量級という感じだが、こちらはミドルという感じの重さだった気がする
肉が溶ける… という感じではなく、しっかり弾力がある感じだった気がする
鶏味座 京橋エドグラン店
インターン最後のメンターとの食事で行った思い出の深い場所(でもその時初めて行った)。
お昼は1000円程度で食べれる気軽な店(金銭感覚麻痺)
ここは卵がすごく新鮮・濃厚で鶏も非常においしく、まじで1000円ですか!?!?みたいな気持ちになったのでぜひちょっと高いランチ食べてみようかな?という気持ちの時に食べてみてほしい。
知り合いに聞いた所、なんか割引的な物があるらしくもっと安く食べれるらしいが詳細はわからない。
亀戸餃子
ここは個人的に気になったので行った場所。
亀戸といえばホルモンだが、自分はホルモンはあまり好きではないのでその店のレビューはない。
一皿250円でただひたすら餃子が出てくる。
注文するときも、もうひとさら餃子を頼むか、終わるかの二択。
最初にドリンクも注文できるが、当然水も注文可能だ。
キッチンオリジン
インターン中に見つけた朝/夕ご飯の最適解
コンビニで買うよりも安く、さらに量があり、その場で作ってくれるので温かいご飯が食べられる。
なんと朝の忙しい時は電話で予約することが可能!待ち時間を減らして時間を有効に使おう。
[番外編] DDR (エターナルアミューズメントタワー (旧トラタワ))
ご飯を食べたら体を動かさなければならない。
ご飯を食べるためには体を動かさなければならない。
体を楽しく動かすためにはDDRが良いことは古事記にも書かれている。
インターン期間中はトラタワにDDRをしにいっていた。
大変メンテが良いのだが、癖の強い媒体で大変底が高い。PIUみたいになってる。
ここでやると三ノ宮でやるよりもクリアしやすく、大変お気に入りにの店である。
[番外編] アズーリ(神戸のお店)
僕が特別な時に美味しくご飯を食べたい時に行く店。
彼女が出来たら(無限時間先の話)絶対連れて行くという強い意志を持っている。
ピザは1枚3000円だが、サイ○リアのように複数枚ピザを食べるとカロリーが高すぎて死が訪れる。
一人一枚程度にしておこう(なので人数を引き連れてみんなでシェアして食べよう!)
ちなみに、名前だけではピンとこないイタリアの食材が大量に並んでおり、わりと注文して届くまで何がくるかわからない。
よっぽど苦手な食材がないかぎり、美味しさは保証できるので困ったら適当に注文してみよう。
OpenFOAMの終了時間予測ツールを作ってみた
動機(ポエム)
よく先生にこのような質問をされる 「その計算はいつ終わるんですか」 と 僕はこたえる 「今まで通りならだいたい6時間くらいで終わります」 と じゃあメッシュを細かくしたらどうか 計算条件が変わっても同じでも同じとは言えるのか そういう場合今あるterminalの出力を
tail log
してその場で線形補間をする では実際に線形補間でよいのか? その計算時間は直線的に変化しているのか? そういったことも調べる必要がある. そこで,
- 過去n個の幅のデータを取ってきて
- 分単位程度の精度で線形補間をし
- 線形補間した分はどれくらい線形なのかを調べる
みたいなツールを作ることにした
簡単な構成
- バックエンドはFlask
- 通信はwebsocket
- フロントエンドはEpoch
を使った.webを介することで,例えば研究室のワークステーション等で計算を回して,その場でこのスクリプトを回すことで計算結果をwebブラウザで見ることができるようになると思った. (後でCUIだけで出力できたほうがいいことに気づいた)
技術的な話
技術的にはそんなに難しいことはやっておらず,
の2つの記事と線形補間を組み合わせた感じ
使用方法やデモ
こちらの記事を見て欲しい
今後の話
最近OpenFOAMのファイルを読み込んでいい感じに設定するelectron製のツールを作っているけどtypescriptに移行したいという気持ちになってきた. あとコードの品質が最近良くないような気がしていて,その周りの本を3冊ほど読むことにした. ので,今後のツール開発等は少しお休みすると思う.
高専から大学編入をしてやったこと変わったこと
藤童子(@fwarashi)だったりkurenaifだったりと呼ばれています. 高専の方は5年生だったらギリギリ私のことを知っているかもしれません 神戸高専の出身で,神戸大学に編入してそのまま神戸大学の大学院にいます.
ちょっと技術的な話のストックがマニアックな奴しか無いので,クソポエム書きます
対象
- KCCTの電算部の方
- 大学編入のメリットを知りたい方
- 私の生存確認をしたい方
大学編入前
大阪大学の編入試験に落ちて悲しい気持ちで神戸大学を受けたら運良く受かった.
勉強した参考書等はこちら http://kurenaif.hatenablog.com/entry/2014/11/13/174335
大学編入してから
編入の同期にハッカソンのやべーやつとセキュリティのやべーやつがいたり, 入った部活に同人のやべーやつがいたりしてなんか周りがやべーやつばっかりだった
高専より大学のほうが人数多いし,その分やべーやつが多いのかなという印象. タイトルどおり,大学に入ってからやり始めたことを列挙すると以下の通り
- ほぼC++しか書いてなかったけどいろんな言語に手をつけ始めた(Python, Rust)
- TOEICの点数が何故突然か上がった
- CTFに触れてみた語彙力を失った
- 部活の人にめっちゃ煽られて同人イベントにサークル参加して24人規模の合同も主催した
総じて,それに通じてる人がいたから誘われてやってみた感じでいろいろやっていくうちにいろいろ見れてよかった.周りの人間変えるとやっぱり自分も変わるんだなという感じそういう意味では専攻科に進むよりは大学編入はとても良かったと思ってます.(そもそも機械に残るつもりは微塵もなかったですが…)
大学入って,イベントに積極的に参加して,いろんな人にあって,いろんな技術に触れるのが相当大切だと思いました.競技プログラミングとかだとそこそこ実力ないとオンサイト出れなかったりしますが,ハッカソンとかのイベントだと比較的出やすかったり,創作やってる人は同人イベント等でうまくつながりを作ったりしてきっかけを作ると良いと思います.
リクルートのインターンもいったのですが,いろんな人に会えていろんな技術に触れる機会ができてよかったです.
特に大学では基礎的な数学を少し触ることができてよかった.やっぱ大学の数学はレベル高いんやなって…
研究室配属されてから
高専の頃は朝から夜までずっと研究室に張り付いていたが,大学では19:00にはほとんど研究室を出るようにした. 結果いろんなアイデアがいろいろ出てきて研究をいい感じに進めることができた. やはり短期間で詰めたほうが集中力的な意味でも健康的な意味でもいい
研究室内でredmineだとかgitlabだとかのサーバーがなかったのでdocker突っ込んでモリモリ管理したり,計算機のサーバーにジョブスケジューラとか入れて管理したりしていて,サーバーの不調があると対応をしていた. インターンをしてプログラミングとかをしてお金をもらう経験をしてから,僕はなんでこの作業を無料でやっているんだろうと最近疑問に思ってしまい,大変モチベーションが下がってしまったのでボランティアで 作業をする/人に頼む ときはこういうことがあるので注意して欲しい.
まとめ
- 高専のころは外のイベントに余り出ずに,ひたすら引きこもってずっと作業をしていた.
- インターンに行ったり,大学に入っていろんなやべーやつに会って,いろんな技術に触れた
- 大学で数学力のなさを実感したり,突然英語の点数が上がった
いろいろ書きましたけど,意外と外に出るのはハードルが低いし,歓迎してくれるのでいろんなイベントに出て刺激を受けるといいと思います! ハードルが高いなと思ったら(私の趣味と一致するものなら)一緒にイベント参加しましょう!! twitterでリプDM待ってます
RECRUIT HOLDINGS SUMMER INTERNSHIP 2017 の ENGINEER コースに参加してきました
学業ガチ勢おじさんですが、気が変わったのでインターンに行ってきました。 結果として、とても楽しいインターンでよかったです。
動機
来年の就活が不安で仕方がないというツイートをポストしたら、知り合いから就活のしかたについて「インターンに行く。 終わり。」みたいな内容が飛んできたので、インターンに行くことにした。
いちおう競技プログラマではあるので、競技プログラミングを主催している企業に申し込むことにした。
2つ通ってどちらかを切らなければならない状態になったが、待遇面や噂、知人の体験談を聞いてリクルートに決めた。
インターン中
インターンの内容自体は、社内ツールの作成みたいなことをした。htmlだとかjsだとかを使ってwebページ的なのを作った。 フロントエンドはあまり開発していなかったが、javascriptが気づいたら結構進化していて勉強しようと思った。
他のインターン生とご飯を食べたりLT会をして、話を聞いたりしたのだが、未踏で開発してた人とか、有名なjavascriptフレームワーク製作者とか明らかに周りのスペックが高すぎてなんで自分が通ったのかよくわからない気持ちになった。いい刺激になった。
リクルートのインターンはご飯がすごいという噂を聞いていたが、毎食3000円くらいの予算で食べられて至福だった。 あとで食事だけのブログをアップする。 ご飯を食べるときは、社員さんと一緒にいくことになっているのだが、いろんな社員といろんな話をすることができてとても良かった。美味しいご飯も食べれるし、社員さんとも話ができるしとても良かった。前々から話したかった人ともお話できてよかった。
インターン期間中のプライベートな時間
宿は提供されているが、土日はちゃんと休みだし夜も帰ろうと思えば早く帰れる環境だったので、豪遊した。 毎週土日になにかしらイベントを目標に予定を入れまくった。 具体的にはLT会にネタLTをしに行ったり、某社に見学に行ったり、某社の飯会に行ったり、オタクイベントに参加したり本当にいろいろなことをやった。
インターンを終わってみて
- 蓋を開けてみると待遇がwebページに書いているより良く、残業等も考慮されていてよかった。
- 業務に関わることだけではなくて、いろんな社員さんと話したり、他の学生と話たりすることでいろんな技術に触れるきっかけになった。
- ご飯おいしい
- 東京駅八重洲口から丸の内口まで移動する難易度が高い(丸の内口側にあるサブウェイが遠い)
- JRで電車からおりてから八重洲口まで距離が遠くてつらい
という感想だった。 本当に良いインターンだと思うので、参加を検討している人は申し込んでほしい
ご飯情報 (2017-12-24 追記)
ご飯情報を以下のURLにのっけた。 ご飯のシステムが残っていれば、ここに行きたいとメンターさんに見せれば連れて行ってもらえると思う。 是非参考にしてほしい
OpenFOAMのcase fileをgitで管理する
OpenFOAMのcase fileをgitで管理する
お久しぶりです。くれなゐです
gitをソースコードの管理以外で使ったことがない方っていませんか?
gitは非常に便利なツールで、様々な履歴を残すことができます。
今日はOpenFOAMのケースファイルを例に、ソースコードだけじゃないんだぞと言うところをお見せしたいと思います。
このブログの対象
git
の使い方をまだ良くわかっていない人- ソースコードの管理以外に
git
の使用価値を見いだせない人 - OpenFOAMの計算条件の履歴を残したい人
バージョンを管理する対象
今回も、いつものcavity
を使用しています。
OpenFOAMのバージョンはちょっと古いですが2.4.0を使用しています。
gitのバージョン管理をする本質ではバージョンはあまり関係ないと考えています(blockMesh等のパスは少し変わりますが…)
OpenFOAM/OpenFOAM-2.4.0/tutorials/incompressible/icoFoam/cavity
あと忘れないうちに
blockMesh
しておきましょう
まずは init, first commit
init
gitでバージョン管理していくために、まずはバージョン管理の環境を用意してあげる必要があります。 それをするコマンドが
git init
です。
こんなメッセージが出てればOKです
Initialized empty Git repository in /home/kurenaif/Desktop/cavity/.git/
add
とりあえず今の状態をcommit
しておきましょう
commitとは簡単に言うとセーブポイントを設置するような感じです。こうしておくことあとでこの状態に復元できますね。
commitをする前に、どのファイルをコミットするか選択しなければなりません。それがadd
になります。すべてのファイルをadd
する場合は、
git add --all
などとしましょう。
status
add
をしたら、 statusを確認しましょう
git status
add
されたファイルが確認できます。
On branch master Initial commit Changes to be committed: (use "git rm --cached <file>..." to unstage) new file: 0/U new file: 0/p new file: constant/polyMesh/blockMeshDict new file: constant/polyMesh/boundary new file: constant/polyMesh/faces new file: constant/polyMesh/neighbour new file: constant/polyMesh/owner new file: constant/polyMesh/points new file: constant/transportProperties new file: system/controlDict new file: system/fvSchemes new file: system/fvSoluti
commit
commitメッセージは必ず付けなければなりません。 commitメッセージは、その変更に対する理由付けだとかそういうものです。あとでこのコミットメッセージを参照して、必要なときに戻ってきたりするわけです。 たとえば、今回の場合、「計算が回ってくれた」「良い計算結果が出た」、「前つまっていたTimeが突破できた」 などなどといったケースで使うことができます。
最初のcommitはfirst commit
とすることが通例です。(これも流派があるので、一概にfirst commitではないです。)
git commit -m "first commit"
計算結果をバージョン履歴に残さないようにする
これで最初の準備が整いました。それではicoFoamを実行しましょう。
icoFoam
blockMesh忘れてなければ実行できると思います。忘れてたらblockMeshしてからicoFoamしましょう。
計算結果は出ましたが、これは私はバージョン管理対象に含めるべきではないと考えています。(というのは、ファイルが膨大になることがおおいため、.gitディレクトリが大変になることが予想される)
では、計算結果がgit add --all
の対象に含まれないようにしてあげましょう
そのために、.gitignore
を設定します。
現在、
git status
を見てみると、
On branch master Untracked files: (use "git add <file>..." to include in what will be committed) 0.1/ 0.2/ 0.3/ 0.4/ 0.5/ nothing added to commit but untracked files present (use "git add" to track)
このようになっています。このメッセージは、add
されてないよーという趣旨ですので、これからの目標はstatus
をした時にこいつらを消してやることにあります。
消すためには、以下のように.gitignoreを書きます。 .gitignoreファイルがない場合は、ファイルを作ってディレクトリに配置しましょう。
[0-9]*/ !0
そしてふたたび
git status
をすると、
On branch master Untracked files: (use "git add <file>..." to include in what will be committed) .gitignore nothing added to commit but untracked files present (use "git add" to track)
というメッセージが出てきます。 .gitignoreがaddされてないよーというメッセージですね。 .gitignoreはバージョン管理したほうがいいので、追加しましょう
git add .gitignore # .gitignoreを選択 git commit -m "[add] git ignore" # コミット
ではここでgit logを見てみましょう
git log
commit 6a3b160619f88ec23816b707e32e61b2ade96848 Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:08:56 2017 +0900 [add] git ignore commit 30351f767bce8d5665d0a1dc95f3d1a35fa1d927 Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:00:40 2017 +0900 first commit
2つのコミットが確認できますね
では、計算条件を変えてみましょう。
変更を加えてそれをcommitする
流速を100m/sにしてみましょうかね
0/Uの該当する部分を100m/sに変更してみましょう。
そして、
git diff
コマンドを入力します。 すると前回の計算と今のどこが違うのかわかるようになります。
diff --git a/0/U b/0/U index a12d708..5a2a2a0 100644 --- a/0/U +++ b/0/U @@ -23,7 +23,7 @@ boundaryField movingWall { type fixedValue; - value uniform (1 0 0); + value uniform (100 0 0); } fixedWalls
解説不要ですね。では
icoFoam
計算は止まります。流速が早すぎるからですね では、その旨をコミットしてみましょう
git add --all git commit -m "流速を100m/sに変更 計算が止まりました。" git log
commit b699f012c914037fb499dad001737234cbe2478f Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:18:28 2017 +0900 流速を100m/sに変更 計算が止まりました。 commit 6a3b160619f88ec23816b707e32e61b2ade96848 Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:08:56 2017 +0900 [add] git ignore commit 30351f767bce8d5665d0a1dc95f3d1a35fa1d927 Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:00:40 2017 +0900 first commit
追加されましたね。
計算が失敗したので、計算が動いていた頃に戻したいです。そういう場合はgit reset
を使用します。
"[add] git ignore"のcommit id が "commit b699f012c914037fb499dad001737234cbe2478f" となっていますので、最初数文字をとって
git reset --hard 6a3b160
としてやります。このidは人によって違うと思うので、自分でlogをして確認してください。 0/Uのディレクトリを見ていると、確かに流速が1m/sに戻ってますね。
ではもう一度icoFoamを実行してみましょう
icoFoam
計算が回りましたね。
ケースファイルをコピーして編集してみる
こういう事例、ありませんか?
ある計算Aの計算結果がイマイチでした。 原因の候補はいくつか思い当たるのですが、どれが正しいのかはわかりません。
よくある話だと思います。 この際によくやる手続きとして、
- 計算結果を"含めずに"コピーを行う
- 編集を行う。
- 良かった結果を今後採用する
があると思います。
では順番にやっていきましょう。
計算結果を含めずにコピーする
計算結果をgitignoreしてますので、実は
cd .. # gitで管理してるディレクトリの一個上へ git clone cavity cavity-A git clone cavity cavity-B
こんな感じで複製できます。計算結果は入っていないはずです。
編集を行う。
それでは、cavity-A
を編集しましょう。
cavity-Aでは、出力タイムステップを短くしてみましょう.
このように、cloneしてファイルを編集する場合は、branchを切ります。利点は後でわかります。
バージョンが枝分かれするイメージですね
git checkout -b fine-delta
こうするとfine-delta
というブランチを作ってそのブランチに移動することができます。
master
に戻りたいときは
git checkout master
となります。移動したらまたfine-deltaに戻っておきましょう
git checkout fine-delta
では、controlDictを以下のように編集して
diff --git a/system/controlDict b/system/controlDict index 084dc33..b8f6631 100644 --- a/system/controlDict +++ b/system/controlDict @@ -25,7 +25,7 @@ stopAt endTime; endTime 0.5; -deltaT 0.0005; +deltaT 0.005; writeControl timeStep;
icoFoam # ねんのため確認 git add --all git commit -m "出力タイムステップを短くしました"
良かった結果を今後採用する
よいな!と思ったら元のディレクトリに変更に還元しましょう
git push origin fine-delta
これはfine-deltaブランチを元のディレクトリにアップロードするという意味です。
元のディレクトリはmasterブランチ(デフォルト)で作成してますので、新しくブランチが生成されます。(即座にmasterに反映されるわけではありません。)
cavity-Bでも変更する
cavity-Bでも同湯に変更を加えます。 今回はmesh幅を変えましょう
diff --git a/constant/polyMesh/blockMeshDict b/constant/polyMesh/blockMeshDict index aac305a..5fdcfd2 100644 --- a/constant/polyMesh/blockMeshDict +++ b/constant/polyMesh/blockMeshDict @@ -30,7 +30,7 @@ vertices blocks ( - hex (0 1 2 3 4 5 6 7) (20 20 1) simpleGrading (1 1 1) + hex (0 1 2 3 4 5 6 7) (40 40 1) simpleGrading (1 1 1) ); edges
倍細かくなりましたね
git checkout -b fine-mesh blockMesh icoFoam git add --all git commit -m "メッシュを細かくしました" git push origin fine-mesh
元のディレクトリで変更を反映する
cd .. cd cavity # もとのディレクトリ git br
とすると、
fine-delta fine-mesh * master
となっていることがわかります。 時間間隔を短くしたやつとメッシュを細かくしたやつがいますね。 ここから
git checkout fine-mesh
とすると、メッシュが細かい計算のケースファイルに移行しますし、
git checkout fine-delta
とるすと出力の時間間隔が短い計算のケースファイルに移行することができます。 もちろん
git checkout master
とすると、大本の状態にもどることができます
さて、それでは変更をmasterに反映します。反映するためには、merge
を使います
git checkout master # masterに移動 git merge fine-delta
これでmasterに時間間隔が短くなる変更が適応されました。
git log
commit 39611f0253452a1165b26b62fa358435e41cac2c Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:31:28 2017 +0900 出力タイムステップを短くしました commit 6a3b160619f88ec23816b707e32e61b2ade96848 Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:08:56 2017 +0900 [add] git ignore commit 30351f767bce8d5665d0a1dc95f3d1a35fa1d927 Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:00:40 2017 +0900 first commit
logを見てもいい感じですね。 実際に実行してみると
icoFoam
確かに時間間隔が短くなってます。
mergeができたものは削除してOKです
git br -d fine-delta
それでは、メッシュの方も反映しちゃいましょう
git merge fine-mesh
先ほどとは違い、なんかテキストエディタが出てきますが今回は気にせず閉じちゃってOKです
これは"mergeが走る"という現象ですが、説明するのはそろそろ手がつかれたので割愛します。 変更が衝突したりした時に、いろいろしなければならくなるやつです。(例えばcavity-Aとcavity-Bで同じUを編集した場合、どちらを採用するのか等)
git log
をみてみると
commit 24e3b70e11e407086533ed4ae9d42b096d71e6e3 Merge: 39611f0 35c342c Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:49:32 2017 +0900 Merge branch 'fine-mesh' commit 35c342c111ecd706f10b0bf6c0fdbc8a28800578 Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:43:17 2017 +0900 メッシュを細かくしました commit 39611f0253452a1165b26b62fa358435e41cac2c Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:31:28 2017 +0900 出力タイムステップを短くしました commit 6a3b160619f88ec23816b707e32e61b2ade96848 Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:08:56 2017 +0900 [add] git ignore commit 30351f767bce8d5665d0a1dc95f3d1a35fa1d927 Author: kurenaif <antyobido@gmail.com> Date: Thu Nov 2 14:00:40 2017 +0900 first commit
のように、なんか変なのが混じってますがメッシュを細かくした内容が反映されています。
icoFoam paraFoam
とすると、確かに時間ステップも短いし、メッシュも細かいケースができました。
おわりに
研究する上で、研究ノートやログを取る。という試行錯誤を残すことは非常に重要なことです。 今回のように、gitを使えば、直接ファイルを見ながらバージョン管理できますし、コメントアウトしながら計算条件をバックアップする必要はなくなります。
commitごとに計算結果を残しておきたい場合は, commit idに対応したディレクトリを用意して、gitignoreすると良いでしょう。 そのcommit idに対応したcommitに移動した時にそれを戻してくればいいです。
このようなgitの使い方はまだまだ初歩の初歩で、git-flowやgitHubを有効にあつかったGitHub-Flow. 編集の衝突などちょくちょく問題が起きるのでそれの対応が必要になります。
もしこの記事がgitの使用価値について気づける機会になれば幸いです。