[pyar] ¿cómo guardar variables GRANDES en archivos?

[Roberto Alsina]

On 1/11/2011 3:12 PM, Iván Raskovsky wrote:
> Hola a todos!
>
> Estoy trabajando en procesar y analizar textos y me encontré con un problema.
> Todo funciona lindo y joya mientras voy armando mis herramientas, pero
> a la hora de aplicarlas a textos reales de ~100mb tengo la necesidad
> de guardar el texto procesado. Mientras eran textos de pruebas estaba
> usando pickle sin inconvenientes. Cuando empecé a trabajar con textos
> un poco más grandes, pasé a usar cPickle en protocolo 2 y los archivos
> de salida son alrededor de 400mb y cuando hago el dump a un archivo
> tarda alrededor de un día entero en escribir el archivo.
>
> Estoy trabajando en la consola de ipython. Ya estuve buscando otras
> alternativas pero no encontré nada que funcione relativamente "normal"
> (menos de un día!!!)
>
> La memoria que usa el proceso llega a unos 3gb. Incluso lo pude correr
> sin que swapee nada pero tarda horas y horas.
>
> Se les ocurre alguna solución? Muchas gracias,

Depende de lo que los datos sean, no?
Por ejemplo, si es algo como un dict, usaria un store key/value que hay 
muchos.
Si es otra cosa, capaz que usaria una base de datos.
Y si es oooootra cosa usaria otra cosa distinta.