[pyar] leyendo archivo en paralelo

[Ezequiel Brizuela [aka EHB or qlixed]]

Leer 3 partes distintas de un mismo archivo en un mismo disco, segun creo
yo, es bastante menos eficiente que leerlo de forma serial y repartir el
procesamiento de cada linea entre varios workers. La I/O serial es mucho
mas rapida en disco.
El ago 8, 2014 6:36 PM, "Sebastian Bassi" <sebastian.bassi en globant.com>
escribió:

> 2014-08-08 11:23 GMT-03:00 Javier Pepe <javierpepe en gmail.com>:
> > Podrías implementar en el consumidor una Queue en donde vas poniendo las
> > lineas que vas leyendo, y los worker consumen de la Queue, y van sacando
> de
> > a uno las lineas.
>
> Lo pensé al principio, pero mi idea era usar las pipes que vienen
> gratis en *nix para no complicarme con colas, semaforos, etc.
> Estoy usando como referencia:
> http://stackoverflow.com/questions/9743838/python-subprocess-in-parallel
> y
> https://docs.python.org/2/library/subprocess.html
> _______________________________________________
> pyar mailing list pyar en python.org.ar
> http://listas.python.org.ar/listinfo/pyar
>
> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20140808/a9f3eae7/attachment.html>