[pyar] ¿cómo guardar variables GRANDES en archivos?

[QliX=D! [aka EHB]]

2011/1/11 Iván Raskovsky <raskovsky en gmail.com>

> 2011/1/11 Matías Bellone <matiasbellone en gmail.com>:
> > Por eso me resultó muuy raro leer los problemas que tenés. ¿Podrías
> > dar más información para ver de encontrar el cuello de botella?
>
> [ # documentos
>  [ # oraciones
>   [ # palabras
>    ('palabra', 'pos')
>   ],
>  ],
>

[...]

Podras dar un ejemplo mas practico? no me queda clara la estructura de
datos.


[...]


> Ya lo puse a correr hoy a las 9am y sigue corriendo.. El archivo de
> salida ya pesa 272mb pero sólo creció 2 mb en la última hora. Cuando
> arranca el archivo empieza a crecer rápido y después parece cada vez
> más lento. En lo posible me gustaría mantenerlo en un único archivo, y
> no usar bases de datos. A mi también me sorprende mucho esto y estoy
> hace varios días tratando de entender que pasa pero sin éxito.
>

[...]

Si crece rapido y dps va lento eso es un clasico problema de bucles, Podras
explicar el algoritmo de tu aplicacion para generar esa salida? Puede que
estes haciendo algun chequeo que consuma mucho timepo,x ejemplo, validar si
una palabra ya existe dentro del texto en memoria, o algo por el estilo.

My 2 cents :)

EHB
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20110111/ec7062e7/attachment.html>