[pyar] Limitando size del input Queue de multiprocessing.Pool

[Claudio Freire]

2014-04-07 10:40 GMT-03:00 Alejandro Santos <listas en alejolp.com>:
>> No es exactamente lo mismo, y para páginas web, con un alto índice de
>> conectividad, la anchura puede ser considerable.
>>
>> También, pensándolo mientras escribo esta respuesta... ¿deduplicás los
>> links antes de meterlos en la cola?
>>
>
> Disclaimer: no tengo nada que ver con W3AF, solamente me resulto
> atractivo el problema :)
>
> (y en algun momento hace muchos a;os use w3af y me parecio una
> herramienta interesante)


No entiendo.

Del thread, me dio la impresión que lo que hacías era similar a un crawler.

¿Qué hacés realmente que genera un grafo tan ancho que no te entra en memoria?