[pyar] kernel mata python

[Gonzalo]

Hola, para saber en tiempo real que memoria está consumiendo tu script hace
un tiempo usé Heapy [0]
De todos modos, para cargar datos desde un csv grande (>100MB), te
recomiendo ver pandas dataframe [1] que es un poco más eficiente, y trae
funciones para análisis integrados.

slds,

[0] http://guppy-pe.sourceforge.net/heapy_tutorial.html
[1]
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html#pandas.read_csv


El 12 de octubre de 2016, 9:23, Javier Marcon <javiermarcon en gmail.com>
escribió:

> Hola, Tengo un sript que quiere procesar un csv muy grande (mas de 200
> mb) con el módulo csv de python, y al intentar correrlo el kernel de
> Linux me lo mata (porque consume mucha memoria) poniendo en el dmesg:
> [36143486.060499] Out of memory in UB 301: OOM killed process 17736
> (python) score 0 vm:2971320kB, rss:958792kB, swap:1795692kB
>
> Como puedo saber cuanta memoria va a necesitar y corregir los parámetros
> del kernel para que use esa memoria?
>
> Gracias,
>
> Javier.
>
> --
> El matrimo es tan bueno que la gente se muere por casarse
> con mujeres como Nazarena Velez, Margerie Orbin,
> Jordania Linn Graham, Katherine Knight, Stacey Castor, etc.
>
> _______________________________________________
> pyar mailing list pyar en python.org.ar
> http://listas.python.org.ar/listinfo/pyar
>
> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar




-- 
Gonzalo.
#534331
#91296338
#15090H2467
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20161012/61f3931d/attachment.html>