[pyar] ¿cómo guardar variables GRANDES en archivos?

[Iván Raskovsky]

Hola a todos!

Estoy trabajando en procesar y analizar textos y me encontré con un problema.
Todo funciona lindo y joya mientras voy armando mis herramientas, pero
a la hora de aplicarlas a textos reales de ~100mb tengo la necesidad
de guardar el texto procesado. Mientras eran textos de pruebas estaba
usando pickle sin inconvenientes. Cuando empecé a trabajar con textos
un poco más grandes, pasé a usar cPickle en protocolo 2 y los archivos
de salida son alrededor de 400mb y cuando hago el dump a un archivo
tarda alrededor de un día entero en escribir el archivo.

Estoy trabajando en la consola de ipython. Ya estuve buscando otras
alternativas pero no encontré nada que funcione relativamente "normal"
(menos de un día!!!)

La memoria que usa el proceso llega a unos 3gb. Incluso lo pude correr
sin que swapee nada pero tarda horas y horas.

Se les ocurre alguna solución? Muchas gracias,
    Iván