[pyar] kernel mata python

[Emiliano Lopez]

2016-10-12 9:23 GMT-03:00 Javier Marcon <javiermarcon en gmail.com>:
> Hola, Tengo un sript que quiere procesar un csv muy grande (mas de 200
> mb) con el módulo csv de python, y al intentar correrlo el kernel de
> Linux me lo mata (porque consume mucha memoria) poniendo en el dmesg:
> [36143486.060499] Out of memory in UB 301: OOM killed process 17736
> (python) score 0 vm:2971320kB, rss:958792kB, swap:1795692kB
>
> Como puedo saber cuanta memoria va a necesitar y corregir los parámetros
> del kernel para que use esa memoria?
>
> Gracias,
>
> Javier.
>

Hola, probaste con pandas?
Estuve trabajando csv de 900mil líneas por 5 columnas, 30 MB aprox
cada archivo, y la verdad quedé soprendido con pandas ya que no tuve
ningún problema. Tengo 8GB de mem.

saludos