Pythonマルチプロセッシング:マルチプロセッシングを使用すると、一部のクラス属性が失われます

終わり

私の問題の元のバージョン

を使用してブルートフォース検索を実行しようとしていますscipy.optimize.brute

コスト関数は、4つのパラメーターが指定されている場合に評価できますが、これらの4つのパラメーターはいくつかの条件に従う必要があります。

それと他のいくつかの複雑な問題に対処するためにParameter、以下の例のように単純化されたpythonクラスを作成しましたが、workersキーワードによるマルチプロセッシングを使用すると、一部の属性が失われました

私の問題の簡略版

import numpy as np
from multiprocessing import Pool

class Parameter(np.ndarray):
    def __new__(cls, maximum):
        self = np.asarray([0., 0., 0., 0.], dtype=np.float64).view(cls)
        return self

    def __init__(self, maximum):
        self.maximum = maximum
        self.validity = True

    def isvalid(self):
        if self.sum() <= self.maximum:
            return True
        else:
            return False

    def set(self, arg):
        for i in range(4):
            self[i] = arg[i]
        self.validity = self.isvalid()

def cost(arg, para):
    para.set(arg)
    if para.validity:
        return para.sum()
    else:
        return para.maximum

class CostWrapper:
    def __init__(self, f, args):
        self.f = f
        self.args = [] if args is None else args

    def __call__(self, x):
        return self.f(np.asarray(x), *self.args)

if __name__ == '__main__':
    parameter = Parameter(100)
    wrapped_cost = CostWrapper(cost, (parameter,))
    parameters_to_be_evaluated = [np.random.rand(4) for _ in range(4)]
    with Pool(2) as p:
        res = p.map(wrapped_cost, parameters_to_be_evaluated)

、発生します

  File "\_bug_attribute_lose.py", line 126, in isvalid
    if self.sum() <= self.maximum:
AttributeError: 'Parameter' object has no attribute 'maximum'

しかし、wrapped_costなしp.map使用した場合、以下のようにエラーは発生しません。

wrapped_cost(np.random.rand(4))

私が試したこと

コード全体にいくつかの印刷メッセージを配置することで、両方__new____init__メソッドが1回だけ呼び出されることがわかったので、マルチプロセッシングライブラリが何らかの形でコピーされたと思いparameterます。

また、のコピーされたバージョンにはparameter、np.ndarrayが持つ属性のみが含まれていることがわかりました。

dir(para) = ['T', '__abs__', '__add__', '__and__', '__array__', '__array_finalize__', '__array_function__', '__array_interface__', '__array_prepare__', '__array_priority__', '__array_struct__', '__array_ufunc__', '__array_wrap__', '__bool__', '__class__', '__complex__', '__contains__', '__copy__', '__deepcopy__', '__delattr__', '__delitem__', '__dict__', '__dir__', '__divmod__', '__doc__', '__eq__', '__float__', '__floordiv__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__iadd__', '__iand__', '__ifloordiv__', '__ilshift__', '__imatmul__', '__imod__', '__imul__', '__index__', '__init__', '__init_subclass__', '__int__', '__invert__', '__ior__', '__ipow__', '__irshift__', '__isub__', '__iter__', '__itruediv__', '__ixor__', '__le__', '__len__', '__lshift__', '__lt__', '__matmul__', '__mod__', '__module__', '__mul__', '__ne__', '__neg__', '__new__', '__or__', '__pos__', '__pow__', '__radd__', '__rand__', '__rdivmod__', '__reduce__', '__reduce_ex__', '__repr__', '__rfloordiv__', '__rlshift__', '__rmatmul__', '__rmod__', '__rmul__', '__ror__', '__rpow__', '__rrshift__', '__rshift__', '__rsub__', '__rtruediv__', '__rxor__', '__setattr__', '__setitem__', '__setstate__', '__sizeof__', '__str__', '__sub__', '__subclasshook__', '__truediv__', '__xor__', 'all', 'any', 'argmax', 'argmin', 'argpartition', 'argsort', 'astype', 'base', 'byteswap', 'choose', 'clip', 'compress', 'conj', 'conjugate', 'copy', 'ctypes', 'cumprod', 'cumsum', 'data', 'diagonal', 'dot', 'dtype', 'dump', 'dumps', 'fill', 'flags', 'flat', 'flatten', 'getfield', 'imag', 'isvalid', 'item', 'itemset', 'itemsize', 'max', 'mean', 'min', 'nbytes', 'ndim', 'newbyteorder', 'nonzero', 'partition', 'prod', 'ptp', 'put', 'ravel', 'real', 'repeat', 'reshape', 'resize', 'round', 'searchsorted', 'set', 'setfield', 'setflags', 'shape', 'size', 'sort', 'squeeze', 'std', 'strides', 'sum', 'swapaxes', 'take', 'tobytes', 'tofile', 'tolist', 'tostring', 'trace', 'transpose', 'var', 'view']

(「最大」も「有効性」も存在しないことを確認してください)

したがって、私__copy__Parameterクラスにメソッドを実装しようとしました

def __copy__(self):
    print('__copy__')
    new = Parameter(self.maximum)
    new.__dict__.update(self.__dict__)
    return new

、しかし失敗しました。

私の質問:

  1. Parameterオブジェクトが失われるはずの属性の一部multiprocessingライブラリがどういうわけか変数をコピーしたためparameterだと思いますが、copyメソッドを適切に実装していませんでした。私は正しいですか?

  2. もしそうなら、どうすればそれを行うことができますか?そうでない場合は、エラーの原因を教えてください。

sanitizedUser

少し注意が必要ですが、可能です。

まず、から継承するnp.ndarray場合は__array_finalize__、によって返されるオブジェクトからカスタム属性を取得するメソッドを定義する必要があります__new__これ__array_finalize__は何らかの理由で複数回呼び出されるため、ヌルガードを導入する必要があることに注意してください詳細については、ドキュメントをご覧ください

def __array_finalize__(self, obj):
    if obj is None: return
    self.maximum = getattr(obj, 'maximum', None)
    self.validity = getattr(obj, 'validity', None)

次に、picklemultiprocessing.Poolを使用してデータをワーカーに送信する前に、データをシリアル化しますその過程で、余分な属性は失われます。したがって、続行する前にそれらを追加し直す必要があります。

オーバーライド__reduce__方法:

def __reduce__(self):
    pickled_state = super().__reduce__()
    new_state = pickled_state[2] + (self.__dict__, )
    return (*pickled_state[0:2], new_state)

そしてオーバーライド__setstate__メソッド:

def __setstate__(self, state):
        self.__dict__.update(state[-1])
        super().__setstate__(state[0:-1])

実装はこの回答から借用しまし

では、それを実行可能なコードにまとめましょう。

import numpy as np
from multiprocessing import Pool

class Parameter(np.ndarray):
    def __new__(cls, maximum):
        obj = np.asarray([0, 0, 0, 0], dtype=np.float64).view(cls)
        obj.maximum = maximum
        obj.validity = True
        return obj
    
    def __array_finalize__(self, obj):
        if obj is None: return
        self.maximum = getattr(obj, 'maximum', None)
        self.validity = getattr(obj, 'validity', None)

    def __reduce__(self):
        pickled_state = super().__reduce__()
        new_state = pickled_state[2] + (self.__dict__, )
        return (*pickled_state[0:2], new_state)
    
    def __setstate__(self, state):
        self.__dict__.update(state[-1])
        super().__setstate__(state[0:-1])

    def isvalid(self):
        return self.sum() <= self.maximum

    def set(self, arg):
        for i in range(4):
            self[i] = arg[i]
        self.validity = self.isvalid()

def cost(arg, para):
    para.set(arg)
    return para.sum() if para.validity else para.maximum

class CostWrapper:
    def __init__(self, f, args):
        self.f = f
        self.args = () if args is None else args

    def __call__(self, x):
        return self.f(np.asarray(x), *self.args)

if __name__ == '__main__':
    parameter = Parameter(100)
    wrapped_cost = CostWrapper(cost, (parameter,))
    parameters_to_be_evaluated = [np.random.rand(4) for _ in range(4)]
    with Pool(2) as p:
        res = p.map(wrapped_cost, parameters_to_be_evaluated)

ちなみに、この質問はすでに存在していることをご存知ですか?ここにただし、問題を複数の属性と共有することはありません(これは簡単な修正です)。そのため、今回は少し余裕を持たせます。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Pythonとパンダでマルチプロセッシングを使用すると、ファイルが見つからない/失われます

分類Dev

Pythonマルチプロセッシング。virtualenvを使用するプロセス

分類Dev

奇妙なプロセスクローンがPythonマルチプロセッシングで表示されます

分類Dev

プールのマルチプロセッシングが失敗する

分類Dev

関数の代わりにスクリプトを実行するPythonマルチプロセッシング

分類Dev

PythonマルチプロセッシングのPicklecythonクラス

分類Dev

ループを高速化するPythonマルチスレッドとマルチプロセッシング

分類Dev

マルチプロセッシングを含むPython + Kivyプログラムを実行すると、白い空白の画面が表示されます

分類Dev

サブプロセスフラグを使用したPythonマルチプロセッシングの実行に失敗する

分類Dev

Pythonマルチプロセッシングは、フォークされるとデッドロック状態のプロセスをプールしますが、スポーンされると実行されます

分類Dev

マルチプロセッシングでPythonとOpenCVを使用する方法は?

分類Dev

Pythonマルチプロセッシングは値を失っています

分類Dev

マルチプロセッシングでkerasを使用する

分類Dev

runpyでマルチプロセッシングを使用する

分類Dev

PyQtスクリプトでマルチプロセッシングを使用する場合のRuntimeErrorとIOError

分類Dev

Pythonのマルチプロセッシングでclick.progressbarを使用する

分類Dev

メインスレッドをブロックするPythonマルチプロセッシングプール

分類Dev

マルチプロセッシングプールでdjangoモデルを更新すると、データベースがロックされます

分類Dev

forループでマルチプロセッシングを使用する方法-python

分類Dev

マルチスレッドとマルチプロセッシングをいつ使用するか

分類Dev

マルチプロセッシング関数で引数を渡す方法とマルチプロセッシングリストを使用する方法は?

分類Dev

マルチプロセッシングプール初期化子がピクルス化に失敗する

分類Dev

クラス内でPythonでマルチプロセッシングを使用する方法

分類Dev

マルチプロセッシングでシングルトンクラスを作成する

分類Dev

Python:マルチプロセッシングスレッドを閉じると、プログラム全体が停止します

分類Dev

Googleの音声テキストAPIがマルチプロセッシングPythonで失敗する

分類Dev

パンダを使用したPython3.5マルチプロセッシング:プロセスが停止することはありません

分類Dev

Pythonマルチプロセッシング、プールマップ-実行中のすべてのプロセスをキャンセルすると、目的の結果が返されます

分類Dev

タスクが終了すると、マルチプロセッシングは新しいプロセスの生成を停止します

Related 関連記事

  1. 1

    Pythonとパンダでマルチプロセッシングを使用すると、ファイルが見つからない/失われます

  2. 2

    Pythonマルチプロセッシング。virtualenvを使用するプロセス

  3. 3

    奇妙なプロセスクローンがPythonマルチプロセッシングで表示されます

  4. 4

    プールのマルチプロセッシングが失敗する

  5. 5

    関数の代わりにスクリプトを実行するPythonマルチプロセッシング

  6. 6

    PythonマルチプロセッシングのPicklecythonクラス

  7. 7

    ループを高速化するPythonマルチスレッドとマルチプロセッシング

  8. 8

    マルチプロセッシングを含むPython + Kivyプログラムを実行すると、白い空白の画面が表示されます

  9. 9

    サブプロセスフラグを使用したPythonマルチプロセッシングの実行に失敗する

  10. 10

    Pythonマルチプロセッシングは、フォークされるとデッドロック状態のプロセスをプールしますが、スポーンされると実行されます

  11. 11

    マルチプロセッシングでPythonとOpenCVを使用する方法は?

  12. 12

    Pythonマルチプロセッシングは値を失っています

  13. 13

    マルチプロセッシングでkerasを使用する

  14. 14

    runpyでマルチプロセッシングを使用する

  15. 15

    PyQtスクリプトでマルチプロセッシングを使用する場合のRuntimeErrorとIOError

  16. 16

    Pythonのマルチプロセッシングでclick.progressbarを使用する

  17. 17

    メインスレッドをブロックするPythonマルチプロセッシングプール

  18. 18

    マルチプロセッシングプールでdjangoモデルを更新すると、データベースがロックされます

  19. 19

    forループでマルチプロセッシングを使用する方法-python

  20. 20

    マルチスレッドとマルチプロセッシングをいつ使用するか

  21. 21

    マルチプロセッシング関数で引数を渡す方法とマルチプロセッシングリストを使用する方法は?

  22. 22

    マルチプロセッシングプール初期化子がピクルス化に失敗する

  23. 23

    クラス内でPythonでマルチプロセッシングを使用する方法

  24. 24

    マルチプロセッシングでシングルトンクラスを作成する

  25. 25

    Python:マルチプロセッシングスレッドを閉じると、プログラム全体が停止します

  26. 26

    Googleの音声テキストAPIがマルチプロセッシングPythonで失敗する

  27. 27

    パンダを使用したPython3.5マルチプロセッシング:プロセスが停止することはありません

  28. 28

    Pythonマルチプロセッシング、プールマップ-実行中のすべてのプロセスをキャンセルすると、目的の結果が返されます

  29. 29

    タスクが終了すると、マルチプロセッシングは新しいプロセスの生成を停止します

ホットタグ

アーカイブ