[pyar] ¿cómo guardar variables GRANDES en archivos?

[Alejandro Santos]

2011/1/11 Iván Raskovsky <raskovsky en gmail.com>:
>
> Lo que voy a probar sino es no usar pickle y hacer un par de funciones
> para escribir todo a lo butro y para levantarlo. Eso debería andar
> bien.. no?

¿cómo estás usando Pickle? ¿dump(data, archivo), o
archivo.write(dumps(data))? El primero es más rápido que el segundo.

Lo mejor que podés hacer es medirlo, rara vez los problemas de
eficiencia son obvios (no por nada tenés un problema en primer lugar).

En mi experiencia, Pickle siempre me resultó bastante lento, por lo
que escribir los datos directamente en un archivo debería ser más
rápido.

La mala noticia es que el siguiente cuello de botella va a ser tu
disco rígido, por lo que también deberías medir qué tan rápido podés
escribir archivos normalmente.

-- 
Alejandro Santos
http://alejolp.com.ar