強化学習を行っていますが、パフォーマンスに問題があります。
状況、カスタムコードなし：
助けてください！
前もって感謝します
これは必ずしも問題ではありません。GPUの使用は、パフォーマンスの点で「無料」ではなく、CPUよりも常に高速であるとは限りません。すべてがGPUで実行されるわけではないため（たとえば、ジム環境自体は引き続きCPUで実行されます）、「通信コスト」が発生します（たとえば、GPUとの間でメモリを移動する）。これは、GPUを実際にうまく利用できる場合にのみ価値があります。
現在、GPUは必ずしもCPUよりも高速であるとは限りません。GPUは、多くの同様の計算を並行して実行するのに非常に優れています。これは、たとえば、大規模でディープなニューラルネットワークをトレーニングするときに実際にかなり頻繁に発生する大規模な行列間の行列乗算に必要です。そのように並行して実行できる比較的少数の計算のみが必要で、ほとんどがシーケンシャルコードしかない場合、GPUはCPUよりも確実に低速になる可能性があります（そして、あなたが言及したCPUはかなり強力です）。
さて、あなたがリンクしたコードのニューラルネットワークが構築されている部分（22行目から）を見ると、それはかなり小さなニューラルネットワークのように見えます。それぞれ16ノードのほんの数層。これは巨大なニューラルネットワークではなく、畳み込み層の後に大きな（たとえば数百のノード）完全に接続された層が続きます（カートポールのような小さな問題では実際にやり過ぎになる可能性があります）。したがって、GPUの20％しか使用できないことは確かに驚くべきことではなく（乗算される行列が小さすぎるため、並列でそれ以上使用することはできません）、単に単純なものよりも遅くなることは必ずしも驚くべきことではありません。 CPUでも実行されています。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加