[pyar] Limitando size del input Queue de multiprocessing.Pool

[Andres Riancho]

Alejandro,

2014-04-05 19:52 GMT-03:00 Alejandro Santos <listas en alejolp.com>:
> 2014-04-05 23:55 GMT+02:00 Andres Riancho <andres.riancho en gmail.com>:
>>
>> En mi caso lo que estoy viendo son muchos tuples con los args de
>> tamaño pequeño. Mas que nada los args representan un HTTP request:
>> URL, headers, post-data, etc.
>>
>
> Si tenes tareas que mandan tuples al Pool, y los workers las procesan
> sin interactuar con el Pool (sin encolar nuevas tareas) no deberías
> tener deadlock.

Claro,

> Pero si los workers envían tareas al Pool (ie, un web spider como lo
> es w3af),

Si, estoy preguntando esto para w3af, pero no queria mencionarlo en la
pregunta inicial porque creo que aplica a casi cualquier caso.

> al tener un límite en la Queue de espera, sí, podés tener un
> deadlock. El caso patológico es cuando tenés un límite de 1 en la
> Queue del Pool, que scrapea una web y vuelve a encolar en el Pool las
> webs linkeadas.
>
> Estoy (casi) seguro que, en general, si tenes un límite de X tareas en
> la Queue del Pool, cada tarea no puede re-encolar más de (X-1) nuevas
> tareas al Pool, de lo contrario llegás a un deadlock (pero hoy me
> duele mucho la cabeza y una segunda opinion no me vendría mal).

Bien, entonces creo que para estar seguro de que no haya un dead-lock
voy a armar un test case en el cual una pagina devuelva X * 2 (solo
para estar seguro) links a crawlear. De esta manera veremos a ver si
ese dead-lock se triggerea o no :)

Saludos,

> --
> Alejandro Santos
> _______________________________________________
> pyar mailing list pyar en python.org.ar
> http://listas.python.org.ar/listinfo/pyar
>
> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar



-- 
Andrés Riancho
Project Leader at w3af - http://w3af.org/
Web Application Attack and Audit Framework
Twitter: @w3af
GPG: 0x93C344F3