[pyar] Me recomiendan un diccionario?

[Angel Java Lopez]

>
>
> Ah! Ahi entendi... me faltaba lo de stream-like. Igual no entiendo que
> "puedo parar al medio". Si es asi, en algun lugar estan persistidos, o no?
> seh, pero no necesariamente un lugar que sean tan amigos mios y que pueda
> hacer infinitos requests :)
>

Bien, primera idea: hacelos amigos. Un proceso que lea el stream, lo guarde
en tu disco, y luego programa1 lo pasas varias veces. La lectura secuencial
de disco a memoria, deberia ser mas eficiente que cargar todo en un nosql y
acceder a disco aleatoriamente (lo que sucede aun cuando el nosql mantenga
cache en memoria, si estamos en tu caso de uso: una maquina con limite de
memoria). Igual, habria que medir el resultado.

Tal vez si hay alguna estructura, y no es todo aleatorio, se pueda reducir
>> el uso de memoria
>> Si, esa es buena. fue lo primero que hice (tengo un filtro delante de los
>> datos que compacta, tanto las claves como sacar filas que se peude adivinar
>> que no van a hacer falta). Cuando tire el problema a la lista ya fue
>> suponiendo ese preprocesamiento hecho
>
>
Bueno, la proxima es: hay algo en la clave que quede repetido al principio?
En otras tecnologias, podria implementar un diccionario tal que

dict[clave] = valor

almacene la clave en un arbol, por ejemplo que todas las claves que
empiecen con "aaa" esten en una rama y las "aab" en otra rama. El arbol
podria tener mas niveles que dos. Dependiendo de tu caso de uso, eso podria
alivianar el uso de memoria. Pero de nuevo, depende de la estructura que
quedo en tu clave, etc...

Angel "Java" Lopez
@ajlopez


>
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20140228/b39cd64b/attachment.html>