[pyar] Limitando size del input Queue de multiprocessing.Pool

[Andres Riancho]

Hernan,

2014-04-05 21:42 GMT-03:00 Hernan Grecco <hernan.grecco en gmail.com>:
> Hola Andres,
>
>>> Ya podes especificar un tamaño maximo a Multiprocessing Queue [0]
>>
>> Ojo que no estoy haciendo eso eh! Se que se puede setear el tamaño de
>> un multiprocessing.Queue cualquiera, pero estoy cambiando el size
>> ESPECIFICO del que se usa como entrada de tareas para
>> multiprocessing.Pool
>
> Ahh, estaba  confundido. Perdon por el ruido
>
>> Se que no es lo ideal utilizar multiprocessing.Pool para esto, tengo
>> planes para migrar a gevent (o similar) pero todavia no tengo tiempo
>> :(
>
> Si leo bien entre lineas, no necesitas capacidad de procesador sino
> mas bien esperar distintos eventos de IO.

Exacto, por eso es que dentro de multiprocessing en realidad estoy
utilizando ThreadPool (ver multiprocessing.pool.ThreadPool)

> En ese caso podes migrar a
> un ThreadPoolExecutor (concurrent.futures)

En ThreadPoolExecutor tambien hay una queue de entrada [0] donde se
encolan las tareas, por lo que no me cambiaria demasiado, salvo que
tendria los lindos futures de resultado ;)

[0] https://code.google.com/p/pythonfutures/source/browse/concurrent/futures/thread.py#97

>  o asyncio.

Bueno, eso ya es palabras mayores de 3.4, no voy a poder usar eso,
pero si en algun futuro cosas de gevent.

Saludos,

> un saludo,
>
> Hernán
> _______________________________________________
> pyar mailing list pyar en python.org.ar
> http://listas.python.org.ar/listinfo/pyar
>
> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar



-- 
Andrés Riancho
Project Leader at w3af - http://w3af.org/
Web Application Attack and Audit Framework
Twitter: @w3af
GPG: 0x93C344F3