私の問題の元のバージョン
を使用してブルートフォース検索を実行しようとしていますscipy.optimize.brute
。
コスト関数は、4つのパラメーターが指定されている場合に評価できますが、これらの4つのパラメーターはいくつかの条件に従う必要があります。
それと他のいくつかの複雑な問題に対処するためにParameter
、以下の例のように単純化されたpythonクラスを作成しましたが、workers
キーワードによるマルチプロセッシングを使用すると、一部の属性が失われました。
私の問題の簡略版
import numpy as np
from multiprocessing import Pool
class Parameter(np.ndarray):
def __new__(cls, maximum):
self = np.asarray([0., 0., 0., 0.], dtype=np.float64).view(cls)
return self
def __init__(self, maximum):
self.maximum = maximum
self.validity = True
def isvalid(self):
if self.sum() <= self.maximum:
return True
else:
return False
def set(self, arg):
for i in range(4):
self[i] = arg[i]
self.validity = self.isvalid()
def cost(arg, para):
para.set(arg)
if para.validity:
return para.sum()
else:
return para.maximum
class CostWrapper:
def __init__(self, f, args):
self.f = f
self.args = [] if args is None else args
def __call__(self, x):
return self.f(np.asarray(x), *self.args)
if __name__ == '__main__':
parameter = Parameter(100)
wrapped_cost = CostWrapper(cost, (parameter,))
parameters_to_be_evaluated = [np.random.rand(4) for _ in range(4)]
with Pool(2) as p:
res = p.map(wrapped_cost, parameters_to_be_evaluated)
、発生します
File "\_bug_attribute_lose.py", line 126, in isvalid
if self.sum() <= self.maximum:
AttributeError: 'Parameter' object has no attribute 'maximum'
しかし、wrapped_cost
なしp.map
で使用した場合、以下のようにエラーは発生しません。
wrapped_cost(np.random.rand(4))
私が試したこと
コード全体にいくつかの印刷メッセージを配置することで、両方__new__
と__init__
メソッドが1回だけ呼び出されることがわかったので、マルチプロセッシングライブラリが何らかの形でコピーされたと思いparameter
ます。
また、のコピーされたバージョンにはparameter
、np.ndarrayが持つ属性のみが含まれていることがわかりました。
dir(para) = ['T', '__abs__', '__add__', '__and__', '__array__', '__array_finalize__', '__array_function__', '__array_interface__', '__array_prepare__', '__array_priority__', '__array_struct__', '__array_ufunc__', '__array_wrap__', '__bool__', '__class__', '__complex__', '__contains__', '__copy__', '__deepcopy__', '__delattr__', '__delitem__', '__dict__', '__dir__', '__divmod__', '__doc__', '__eq__', '__float__', '__floordiv__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__iadd__', '__iand__', '__ifloordiv__', '__ilshift__', '__imatmul__', '__imod__', '__imul__', '__index__', '__init__', '__init_subclass__', '__int__', '__invert__', '__ior__', '__ipow__', '__irshift__', '__isub__', '__iter__', '__itruediv__', '__ixor__', '__le__', '__len__', '__lshift__', '__lt__', '__matmul__', '__mod__', '__module__', '__mul__', '__ne__', '__neg__', '__new__', '__or__', '__pos__', '__pow__', '__radd__', '__rand__', '__rdivmod__', '__reduce__', '__reduce_ex__', '__repr__', '__rfloordiv__', '__rlshift__', '__rmatmul__', '__rmod__', '__rmul__', '__ror__', '__rpow__', '__rrshift__', '__rshift__', '__rsub__', '__rtruediv__', '__rxor__', '__setattr__', '__setitem__', '__setstate__', '__sizeof__', '__str__', '__sub__', '__subclasshook__', '__truediv__', '__xor__', 'all', 'any', 'argmax', 'argmin', 'argpartition', 'argsort', 'astype', 'base', 'byteswap', 'choose', 'clip', 'compress', 'conj', 'conjugate', 'copy', 'ctypes', 'cumprod', 'cumsum', 'data', 'diagonal', 'dot', 'dtype', 'dump', 'dumps', 'fill', 'flags', 'flat', 'flatten', 'getfield', 'imag', 'isvalid', 'item', 'itemset', 'itemsize', 'max', 'mean', 'min', 'nbytes', 'ndim', 'newbyteorder', 'nonzero', 'partition', 'prod', 'ptp', 'put', 'ravel', 'real', 'repeat', 'reshape', 'resize', 'round', 'searchsorted', 'set', 'setfield', 'setflags', 'shape', 'size', 'sort', 'squeeze', 'std', 'strides', 'sum', 'swapaxes', 'take', 'tobytes', 'tofile', 'tolist', 'tostring', 'trace', 'transpose', 'var', 'view']
(「最大」も「有効性」も存在しないことを確認してください)
したがって、私__copy__
はParameter
クラスにメソッドを実装しようとしました
def __copy__(self):
print('__copy__')
new = Parameter(self.maximum)
new.__dict__.update(self.__dict__)
return new
、しかし失敗しました。
私の質問:
Parameter
オブジェクトが失われるはずの属性の一部。multiprocessing
ライブラリがどういうわけか変数をコピーしたためparameter
だと思いますが、copyメソッドを適切に実装していませんでした。私は正しいですか?
もしそうなら、どうすればそれを行うことができますか?そうでない場合は、エラーの原因を教えてください。
少し注意が必要ですが、可能です。
まず、から継承するnp.ndarray
場合は__array_finalize__
、によって返されるオブジェクトからカスタム属性を取得するメソッドを定義する必要があります__new__
。これ__array_finalize__
は何らかの理由で複数回呼び出されるため、ヌルガードを導入する必要があることに注意してください。詳細については、ドキュメントをご覧ください。
def __array_finalize__(self, obj):
if obj is None: return
self.maximum = getattr(obj, 'maximum', None)
self.validity = getattr(obj, 'validity', None)
次に、picklemultiprocessing.Pool
を使用してデータをワーカーに送信する前に、データをシリアル化します。その過程で、余分な属性は失われます。したがって、続行する前にそれらを追加し直す必要があります。
オーバーライド__reduce__
方法:
def __reduce__(self):
pickled_state = super().__reduce__()
new_state = pickled_state[2] + (self.__dict__, )
return (*pickled_state[0:2], new_state)
そしてオーバーライド__setstate__
メソッド:
def __setstate__(self, state):
self.__dict__.update(state[-1])
super().__setstate__(state[0:-1])
では、それを実行可能なコードにまとめましょう。
import numpy as np
from multiprocessing import Pool
class Parameter(np.ndarray):
def __new__(cls, maximum):
obj = np.asarray([0, 0, 0, 0], dtype=np.float64).view(cls)
obj.maximum = maximum
obj.validity = True
return obj
def __array_finalize__(self, obj):
if obj is None: return
self.maximum = getattr(obj, 'maximum', None)
self.validity = getattr(obj, 'validity', None)
def __reduce__(self):
pickled_state = super().__reduce__()
new_state = pickled_state[2] + (self.__dict__, )
return (*pickled_state[0:2], new_state)
def __setstate__(self, state):
self.__dict__.update(state[-1])
super().__setstate__(state[0:-1])
def isvalid(self):
return self.sum() <= self.maximum
def set(self, arg):
for i in range(4):
self[i] = arg[i]
self.validity = self.isvalid()
def cost(arg, para):
para.set(arg)
return para.sum() if para.validity else para.maximum
class CostWrapper:
def __init__(self, f, args):
self.f = f
self.args = () if args is None else args
def __call__(self, x):
return self.f(np.asarray(x), *self.args)
if __name__ == '__main__':
parameter = Parameter(100)
wrapped_cost = CostWrapper(cost, (parameter,))
parameters_to_be_evaluated = [np.random.rand(4) for _ in range(4)]
with Pool(2) as p:
res = p.map(wrapped_cost, parameters_to_be_evaluated)
ちなみに、この質問はすでに存在していることをご存知ですか?ここに。ただし、問題を複数の属性と共有することはありません(これは簡単な修正です)。そのため、今回は少し余裕を持たせます。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加