[pyar] ¿cómo guardar variables GRANDES en archivos?

[Pablo Ziliani]

On 01/11/2011 03:12 PM, Iván Raskovsky wrote:
> Hola a todos!
>
> Estoy trabajando en procesar y analizar textos y me encontré con un problema.
> Todo funciona lindo y joya mientras voy armando mis herramientas, pero
> a la hora de aplicarlas a textos reales de ~100mb tengo la necesidad
> de guardar el texto procesado. Mientras eran textos de pruebas estaba
> usando pickle sin inconvenientes. Cuando empecé a trabajar con textos
> un poco más grandes, pasé a usar cPickle en protocolo 2 y los archivos
> de salida son alrededor de 400mb y cuando hago el dump a un archivo
> tarda alrededor de un día entero en escribir el archivo.
>
> Estoy trabajando en la consola de ipython. Ya estuve buscando otras
> alternativas pero no encontré nada que funcione relativamente "normal"
> (menos de un día!!!)
>
> La memoria que usa el proceso llega a unos 3gb. Incluso lo pude correr
> sin que swapee nada pero tarda horas y horas.
>
> Se les ocurre alguna solución? Muchas gracias,

Yo diría que depende de lo que tengas:

     ¿...una base de datos (opcionalmente con un ORM adelante)?
     ¿ archivo.write(texto_enorme) / open()...?
     ¿ json.dump({texto: texto_enorme}, archivo) / json.load(archivo)...?

y así...