保存されたモデルをベースラインのMlpPolicyをトレーニングするための開始点として使用できませんか？

私は現在、OpenAIベースラインのコードを使用してモデルをトレーニングしており、次のコードを使用していますtrain.py。

from baselines.common import tf_util as U
import tensorflow as tf
import gym, logging

from visak_dartdeepmimic import VisakDartDeepMimicArgParse

def train(env, initial_params_path,
        save_interval, out_prefix, num_timesteps, num_cpus):
    from baselines.ppo1 import mlp_policy, pposgd_simple
    sess = U.make_session(num_cpu=num_cpus).__enter__()

    U.initialize()

    def policy_fn(name, ob_space, ac_space):
        print("Policy with name: ", name)
        policy = mlp_policy.MlpPolicy(name=name, ob_space=ob_space, ac_space=ac_space,
            hid_size=64, num_hid_layers=2)
        saver = tf.train.Saver()
        if initial_params_path is not None:
            print("Tried to restore from ", initial_params_path)
            saver.restore(tf.get_default_session(), initial_params_path)
        return policy

    def callback_fn(local_vars, global_vars):
        iters = local_vars["iters_so_far"]
        saver = tf.train.Saver()
        if iters % save_interval == 0:
            saver.save(sess, out_prefix + str(iters))

    pposgd_simple.learn(env, policy_fn,
            max_timesteps=num_timesteps,
            callback=callback_fn,
            timesteps_per_actorbatch=2048,
            clip_param=0.2, entcoeff=0.0,
            optim_epochs=10, optim_stepsize=3e-4, optim_batchsize=64,
            gamma=1.0, lam=0.95, schedule='linear',
        )
    env.close()

これは、OpenAI自体がベースラインリポジトリで提供するコードに基づいています

これは問題なく機能しますが、learn関数に渡されたハイパーパラメータが原因で、パフォーマンスが低下したり、状況が進むにつれて分散が大きくなったりするため、かなり奇妙な学習曲線が得られると思われます（確かにはわかりませんが）。

とにかく、この仮説を確認するために、モデルを最初から再トレーニングするのではなく、最初からやり直したいと思います。たとえば、保存されたモデルが横になっている反復1600（で保存した）から始めたいと思います。saver.saveにcallback_fn

そこで、今度はtrain関数を呼び出しますが、今回inital_params_pathは反復1600の保存プレフィックスを指すようにします。私の理解では、saver.restoreinpolicy_fnを呼び出すと、モデルが1teration 1600にあった場所に「リセット」されるはずです（そして私はprintステートメントを使用してロードルーチンが実行されることを確認しました）

しかし、実際には、何もロードされていないようなものだと思います。たとえば、次のような統計を取得した場合

----------------------------------
| EpLenMean       | 74.2         |
| EpRewMean       | 38.7         |
| EpThisIter      | 209          |
| EpisodesSoFar   | 662438       |
| TimeElapsed     | 2.15e+04     |
| TimestepsSoFar  | 26230266     |
| ev_tdlam_before | 0.95         |
| loss_ent        | 2.7640965    |
| loss_kl         | 0.09064759   |
| loss_pol_entpen | 0.0          |
| loss_pol_surr   | -0.048767302 |
| loss_vf_loss    | 3.8620138    |
----------------------------------

反復1600の場合、次に新しい試行の反復1（表面上は1600のパラメーターを開始点として使用）の場合、次のようになります。

----------------------------------
| EpLenMean       | 2.12         |
| EpRewMean       | 0.486        |
| EpThisIter      | 7676         |
| EpisodesSoFar   | 7676         |
| TimeElapsed     | 12.3         |
| TimestepsSoFar  | 16381        |
| ev_tdlam_before | -4.47        |
| loss_ent        | 45.355236    |
| loss_kl         | 0.016298374  |
| loss_pol_entpen | 0.0          |
| loss_pol_surr   | -0.039200217 |
| loss_vf_loss    | 0.043219414  |
----------------------------------

これは正方形に戻ります（これは私のモデルが最初からトレーニングされた場所です）

面白いのは、実際にモデルを使用して再生できるので、少なくともモデルが適切に保存されていることを知っていることです。 eval.py

from baselines.common import tf_util as U
from baselines.ppo1 import mlp_policy, pposgd_simple
import numpy as np
import tensorflow as tf

class PolicyLoaderAgent(object):
    """The world's simplest agent!"""
    def __init__(self, param_path, obs_space, action_space):
        self.action_space = action_space

        self.actor = mlp_policy.MlpPolicy("pi", obs_space, action_space,
                                        hid_size = 64, num_hid_layers=2)
        U.initialize()
        saver = tf.train.Saver()
        saver.restore(tf.get_default_session(), param_path)

    def act(self, observation, reward, done):
        action2, unknown = self.actor.act(False, observation)
        return action2


if __name__ == "__main__":

    parser = VisakDartDeepMimicArgParse()
    parser.add_argument("--params-prefix", required=True, type=str)
    args = parser.parse_args()
    env = parser.get_env()

    U.make_session(num_cpu=1).__enter__()

    U.initialize()

    agent = PolicyLoaderAgent(args.params_prefix, env.observation_space, env.action_space)

    while True:
        ob = env.reset(0, pos_stdv=0, vel_stdv=0)
        done = False
        while not done:
            action = agent.act(ob, reward, done)
            ob, reward, done, _ = env.step(action)
            env.render()

トレーニングを受けていないベースラインと比較して、何かを学習したことがはっきりとわかります。ロードアクションは両方のファイルで同じです（つまり、そこに間違いがあると見つかりません）。したがってtrain.py、モデルを正しくロードしている可能性があり、pposdg_simple.learn関数の何かが原因で、すぐにそれを忘れます。

誰かがこの状況に光を当てることができますか？