[pyar] leyendo archivo en paralelo

[Ezequiel Brizuela [aka EHB or qlixed]]

Cuando dos wirkers coinciden en el uso del disco, tenes io wait extra en
alguno o ambos probablemente, al reubicar la cabeza del plato para la
lectura de las dos peticiones de dos partes distintas del archivo.
Deberias tratar de usar un unico lector serial, y multiple workers q
procesen la info en paralelo, si es que el proceso de cada linea toma
bastante tiempo, por que si no, marginalmente el agregado de dos workers no
es benefico, es mas puede ser contraproducente, sobre todo si usas mas
workers que corea reales de cpu.
Se q parece raro, pero la culpa la tiene la teoria de colas y el contex
switching... basicamente.
El ago 8, 2014 10:18 PM, "Sebastian Bassi" <sebastian.bassi en globant.com>
escribió:

> 2014-08-08 19:51 GMT-03:00 Ezequiel Brizuela [aka EHB or qlixed]
> <qlixed en gmail.com>:
> > Leer 3 partes distintas de un mismo archivo en un mismo disco, segun creo
> > yo, es bastante menos eficiente que leerlo de forma serial y repartir el
> > procesamiento de cada linea entre varios workers. La I/O serial es mucho
> mas
> > rapida en disco.
>
> Pero cada worker lo lee en forma serial, solo que hay un offset para
> no se pisen en lo que se procesa.
> _______________________________________________
> pyar mailing list pyar en python.org.ar
> http://listas.python.org.ar/listinfo/pyar
>
> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20140809/18f5aa1e/attachment.html>