[pyar] ¿cómo guardar variables GRANDES en archivos?

[claudio canepa]

2011/1/11 Iván Raskovsky <raskovsky en gmail.com>

> Hola a todos!
>
> Estoy trabajando en procesar y analizar textos y me encontré con un
> problema.
> Todo funciona lindo y joya mientras voy armando mis herramientas, pero
> a la hora de aplicarlas a textos reales de ~100mb tengo la necesidad
> de guardar el texto procesado. Mientras eran textos de pruebas estaba
> usando pickle sin inconvenientes. Cuando empecé a trabajar con textos
> un poco más grandes, pasé a usar cPickle en protocolo 2 y los archivos
> de salida son alrededor de 400mb y cuando hago el dump a un archivo
> tarda alrededor de un día entero en escribir el archivo.
>
> Estoy trabajando en la consola de ipython. Ya estuve buscando otras
> alternativas pero no encontré nada que funcione relativamente "normal"
> (menos de un día!!!)
>
> La memoria que usa el proceso llega a unos 3gb. Incluso lo pude correr
> sin que swapee nada pero tarda horas y horas.
>
> Se les ocurre alguna solución? Muchas gracias,
>    Iván
>


Estás seguro de que el problema está en el store ?
Podrias usar cProfile para ver que partes realmente te estan frnando.

--
claudio
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20110111/b31ca497/attachment.html>