Add nelder-mead sampler

[KanaiYuma-aist]

Nelder-Mead Sampler と、対応したテストを追加しました。

Nelder-Mead Sampler の仕様

• 基本的には現行aiaccelの _nelder_mead.py をベースとしています。
  • Vertex クラス、Store クラスは削除しました。
• Sampler の引数は、パラメータの範囲設定の dict と初期点のランダムサーチに使う seed 値の int 、NelderMeadの頂点移動に用いるパラメータ coef の各パラメータ(r, e, ic, oc, s) のfloatとしています。
• 探索パラメータを計算した際に、範囲外のパラメータが出力された時は、その座標の計算を行わずに(内部的にはinfとして扱い)次の探索パラメータの計算を行います。
• 現状、並列化には対応していません。

テストについて

• ユニットテストを tests/unit_tests 直下に、アルゴリズムテストを tests/sampler/nelder_mead 直下にそれぞれ追加しました。
  • ユニットテストのカバレッジは 96% となっています。

$ coverage report
Name                                           Stmts   Miss  Cover
------------------------------------------------------------------
aiaccel/__init__.py                                0      0   100%
aiaccel/hpo/__init__.py                            0      0   100%
aiaccel/hpo/samplers/__init__.py                   0      0   100%
aiaccel/hpo/samplers/nelder_mead_sampler.py      200      3    98%
tests/unit_tests/test_nelder_mead_sampler.py     394      0   100%
------------------------------------------------------------------
TOTAL                                            594      3    99%

• アルゴリズムテストは results.csv から想定している計算結果を読み取り、 optuna.study() で探索を実行して、パラメータと計算結果を小数点以下第7位(assertAlmostEqual のデフォルト設定)まで一致しているかどうかを判定しています。

[yoshipon]

PRありがとうございます．
全体的にAnyが多いのが気になりますが，Simplex等の入力はfloat32, 64等の数値型だと思うので，極力Anyを減らして貰ってもよいでしょうか？
特に | Any となっている部分は，型を付けていないのと同じになってしまうので，やむを得ない場合を除き，割けるべきだと思います．

mypy のチェックが厳しすぎる系の話であれば，そちらの設定を修正した方が良いと思うので，ミーティング等でご指摘下さい．

[KanaiYuma-aist]

sampler test をpytest に移行しました。
また、sub_sampler 機能の sampler test を追加しました。

bb24195

[KanaiYuma-aist]

開発者会議メモ

• sub_sampler
  • sampler 内部で sub_sampler 用の study を呼んでいるが、これを sub_sampler の before_trial, sample_independent, after_trial を呼び出す形に改修する
• テスト関連
  • クラスにする必要が無い箇所を修正する
  • fixture 関連は共通している部分のみとして、部分的に利用している箇所は関数化もしくはクラス化する

[KanaiYuma-aist]

@yoshipon
次回の開発者会議が3週間後（恐らく5/13）とかなので、上記が終わった後にやることがあればコメントください。
（sampler のドキュメント作成とか？）

[KanaiYuma-aist]

sub_sampler 用の study を sub_sampler の before_trial, sample_independent, after_trial に置き換える場合の懸念点

• before_trial, sample_independent, after_trial の引数に study が含まれているが、sub_sampler の before_trial 等を実行する際の引数 study は（study(sampler=sub_sampler) ではなく） nelder_mead_sampler で用いている study(sampler=nelder_mead_sampler) で問題無いか？
  • sampler の実装次第？
  • TPESampler の場合は、過去に計算したパラメータと結果を参照しているのみだったので、特に問題無さそうだった。（むしろ nelder mead 側で計算した結果もTPEで参照出来てる？のでこちらの方が良いのかもしれない）

[KanaiYuma-aist]

sub_study を削除して、sub_sampler の before_trial, sample_independent, after_trial を呼び出す形に改修しました。
懸念->#346 (comment)

781c7a1

テストコード中のクラスにする必要のない箇所のクラス削除、部分的にしか利用していない fixture の削除を行いました。

f56f429

[yoshipon]

修正ありがとうございます．何点かコメントさせて頂きました．
これらを修正頂いた段階で，一旦このPRはマージできればと思います．

よろしくお願いします．

[yoshipon]

ありがとうございました！