multiprocessing

Lamento no poder reproducir el error con un ejemplo más simple, y mi código es demasiado complicado para publicar. Si corro e ... f(), g), h() están todos definidos en el nivel superior. Probé un ejemplo más simple con este patrón y funciona sin embargo.

En la biblioteca multiprocesamiento de Python, hay una variante de pool.mapear qué soporta múltiples argumentos? text = "tes ... cessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1) pool.close() pool.join()

Ahora mismo tengo un módulo central en un framework que genera múltiples procesos usando Python 2.6 multiprocessing módulo . ... dentro de el framework, y mucho menos para todos los clientes del framework. ¿Hay alternativas en las que no estoy pensando?

Cuando corro algo como: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) Funcio ... failed He visto un post de Alex Martelli tratando con el mismo tipo de problema, pero no fue lo suficientemente explícito.

Estoy tratando de entender las ventajas de multiprocesamiento más roscado. Sé que multiprocesamientoevita el Bloqueo de Intérprete Global, pero ¿qué otras ventajas hay, y puede threading no hacer lo mismo?

No he visto ejemplos claros con casos de uso para Pool.aplicar, Piscina.apply_async y Pool.map . Estoy usando principalmente Pool.map; ¿cuáles son las ventajas de los demás?

Estoy aprendiendo a usar los módulos threading y multiprocessing en Python para ejecutar ciertas operaciones en paralelo y ac ... a algunos recursos que explican los conceptos detrás de estos dos módulos y cómo usarlos adecuadamente para tareas complejas?

¿Cuáles son las diferencias fundamentales entre colas y tuberías en el paquete multiprocesamiento de Python? ¿En qué escenarios debe uno elegir uno sobre el otro? ¿Cuándo es ventajoso usar Pipe()? ¿Cuándo es ventajoso usar Queue()?

No estoy seguro de si esto cuenta más como un problema de sistema operativo, pero pensé que preguntaría aquí en caso de que a ... los diferentes trabajadores, pero ¿hay alguna manera de que pueda hacer que estos procesos se ejecuten en diferentes núcleos?

Supongamos que tengo una matriz numpy grande en memoria, tengo una función func que toma esta matriz gigante como entrada (ju ... 2444982529 ¿Por qué hay una sobrecarga tan grande, si no copiamos la matriz? ¿Y qué parte me salva la memoria compartida?

Cómo cojo un Ctrl+C en un programa python multiproceso y salgo de todos los procesos con gracia, necesito la solución para tr ... p.start() Y está funcionando, pero no creo que sea la solución correcta. EDITAR: Esto podría ser un duplicado de este

Tengo un único archivo de texto grande en el que quiero procesar cada línea ( hacer algunas operaciones ) y almacenarlas en u ... datos procesados y mi base de datos se vierte con el datos que necesito. Pero no soy capaz de averiguar cómo abordar esto.

¿Cómo se utiliza multiprocesamiento para abordar problemas embarazosamente paralelos? Los problemas embarazosamente paral ... stema). ¿Deberíamos cambiar el algoritmo de alguna manera (por ejemplo, no ejecutar ningún proceso simultáneamente con E/S)?

Tengo un script que está realizando con éxito un conjunto de tareas multiprocesamiento con una llamada imap_unordered(): p ... ter.value += 1 después de hacer su tarea), pero el contador solo llega a ~85% del valor total antes de detener el incremento.

¿Cuál es la diferencia entre multitarea, multiprogramación y multiprocesamiento Esto viene regularmente para mis exámenes d ... dad OS y no puedo encontrar una buena respuesta. Sé bastante sobre multitarea y multiprogramación, pero necesito confirmarlo.

Traté de leer la documentación en http://docs.python.org/dev/library/multiprocessing.html pero todavía estoy luchando con l ... _time) time.sleep(int(the_time)) print " Process %s\tDONE" % inputs if __name__ == '__main__': mp_handler(data)

Traté de reescribir algo de código de lectura csv para poder ejecutarlo en varios núcleos en Python 3.2.2. Traté de usar el o ... t.txt','r') as source: r = source.readlines() MG,ppl = csv2graph(r) ¿Cuál es una buena manera de solucionar esto?

Tengo tres listas grandes. Primero contiene bitarrays (módulo bitarray 0.8.0) y los otros dos contienen matrices de enteros. ... esos solo necesitan poder hacer referencia a algunos de estos objetos sin hacer que la memoria se copie para cada subproceso.

Tengo una tarea de apio intensiva en CPU. Me gustaría usar toda la potencia de procesamiento (núcleos) en muchas instancias E ... itir que esta tarea se divida utilizando toda la potencia de la CPU informática en todas las máquinas disponibles en la nube?

Parece que cuando se genera una excepción de un multiprocesamiento.Proceso de pool, no hay seguimiento de pila o cualquier ot ... lugar funciona. ¿Hay alguna manera de hacer que el comportamiento para todas las excepciones sea el mismo que BaseException?