[pyar] leyendo archivo en paralelo

Sebastian Bassi sebastian.bassi en globant.com
Vie Ago 8 18:28:12 ART 2014


2014-08-08 11:17 GMT-03:00 Facundo Batista <facundobatista en gmail.com>:
> Cuando Python llega al final del archivo, y leés la linea, te devuelve
> una cadena vacía. En ese momento, en vez de "cortar", tenés que
> esperar un rato, y seguir leyendo (sigue de donde estaba!).

Si, suena bien. Voy a pensar sobre como seguir desde donde estaba
porque cuando llamas __next__ no hay vuelta atras, pero me fijo.

> Yo cambiaría un detalle en tu diseño. Creo que es más controlable si
> tenés un sólo consumidor del archivo, con los N workers, quedaría algo
> como...
....
>       if line:
>           worker = select_idle_worker()

La idea es leer los output de los worker de manera consecutiva porque
en el archivo de salida quiero mantener el orden, aun suponiendo que
se tarde distinto en cada linea, no quiero que el que termine primero
sea logueado antes, sino respetando el orden del archivo original.

Igual con esto voy a ver como sigo, muchas gracias.


More information about the pyar mailing list