Python: použitie multiprocessing manažéra v process pool - python, queue, multiprocessing

i použitie multiprocessing.managers.BaseManager pre správu frontu na strane servera, snažím sa použiť túto frontu v inom pythonovom skripte, ktorý používa procesný fond, ale vždy som dostal chybové hlásenie nasledovne a hlavný kód tohto pythonového skriptu je tiež nasledovný a začne metódou run ().

File "/usr/lib/python2.7/multiprocessing/connection.py", line 435, in answer_challenge
raise AuthenticationError("digest sent was rejected")
AuthenticationError: (AuthenticationError("digest sent was rejected",), <function RebuildProxy at 0x7ff8de0b8320>, (<function AutoProxy at 0x7ff8de0b7938>, Token(typeid="Queue", address=("localhost", 12345), id="7f4624039cd0"), "pickle", {"exposed": ("cancel_join_thread", "close", "empty", "full", "get", "get_nowait", "join_thread", "put", "put_nowait", "qsize")}))


def __init__(self, spider_count=cpu_count()):
self._spider_count = spider_count
mgr = MyManager(address=("localhost", 12345), authkey="xxxxx")
server = mgr.connect()
self._queue = mgr.Queue()

def run(self):
pool = Pool(self._spider_count)
while not self._queue.empty():
#add some control on q.get() if queue is empty
pool.apply_async(self.startCrawl, (self._queue.get(),))
pool.close()
pool.join()

ale keď ho používam na jednom vlákne, funguje to dobre, keď sa používa fond, toto chybové hlásenie sa objavilo.

odpovede:

Znie to ako problém popísaný v http://bugs.python.org/issue7503

V praxi by mali mať všetky procesy využívajúce manažéra current_process().authkey nastavte na rovnakú hodnotu.

Oprava by potom bola priradená __init__:

multiprocessing.current_process().authkey = "xxxxx"