[pyar] kernel mata python

Ezequiel Brizuela [aka EHB or qlixed] qlixed en gmail.com
Vie Oct 14 00:03:00 ART 2016


Un know bug en una epoca hacia algo similar.
Con similar me refiero a generar un consumo exponencial de memoria.
Si mal no recuerdo era haciendo algo como:
data = file.read () o readlines ()
Tratand9 de meter el archivo completo.
Consejin: procesalo linea a linea, o usa mmap.

El oct. 12, 2016 9:23 AM, "Javier Marcon" <javiermarcon en gmail.com> escribió:

> Hola, Tengo un sript que quiere procesar un csv muy grande (mas de 200
> mb) con el módulo csv de python, y al intentar correrlo el kernel de
> Linux me lo mata (porque consume mucha memoria) poniendo en el dmesg:
> [36143486.060499] Out of memory in UB 301: OOM killed process 17736
> (python) score 0 vm:2971320kB, rss:958792kB, swap:1795692kB
>
> Como puedo saber cuanta memoria va a necesitar y corregir los parámetros
> del kernel para que use esa memoria?
>
> Gracias,
>
> Javier.
>
> --
> El matrimo es tan bueno que la gente se muere por casarse
> con mujeres como Nazarena Velez, Margerie Orbin,
> Jordania Linn Graham, Katherine Knight, Stacey Castor, etc.
>
> _______________________________________________
> pyar mailing list pyar en python.org.ar
> http://listas.python.org.ar/listinfo/pyar
>
> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20161014/6789e382/attachment.html>


Más información sobre la lista de distribución pyar