[pyar] Me recomiendan un diccionario?

[Gustavo Campanelli]

2014-02-27 17:58 GMT-03:00 Daniel Moisset <dmoisset en machinalis.com>:

> sqlite en memorio baja algo temporal a disco? no quiero algo que trate de
> hacer un malloc() gigante, porque esto puede llegar a correr en un equipo
> con poca RAM o 32 bits
>
>
> 2014-02-27 17:49 GMT-03:00 Gustavo Campanelli <gedece en gmail.com>:
>
>>
>>
>> 2014-02-27 17:46 GMT-03:00 Daniel Moisset <dmoisset en machinalis.com>:
>>
>>> Hola,
>>>    ando necesitando algo que, por un ratito me guarde varias
>>> asignaciones clave valor y despues poder consultarlo por clave, para
>>> obtener el valor asociado.
>>>
>>> O sea, necesito un dict().
>>>
>>> Mi problema es que:
>>>  - tengo que guardar >40 millones de asociaciones, donde cadena+valor
>>> son en promedio 50 bytes de utf8
>>>  - tengo que hacer ~20 millones de consultas
>>>
>>> Con lo cual un dict() me anda en una maquina con de 64-bits con buena
>>> RAM, y prefiría que los requerimientos sean un poco mas modestos
>>>
>>> Mi patron de uso es bien simplon. Primero genero todos los datos y los
>>> cargo, despues hago todas las consultas, despues tiro el "diccionario" a la
>>> basura (no me interesa persistirlo ni nada).
>>>
>>> Se me ocurren infinitas (muchas) formas de hacerlo. Puedo usar un
>>> sqlite, un mongo, una berkeleydb, y muchas mas. La pregunta es:
>>>
>>> ¿que usarian ustedes que tenga una buena combinación de performance y
>>> simpleza? [dentro del use-case que mencioné]
>>>
>>> Gracias,
>>>     D.
>>>
>>>
>>> _______________________________________________
>>> pyar mailing list pyar en python.org.ar
>>> http://listas.python.org.ar/listinfo/pyar
>>>
>>> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>>>
>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>> Argentina - http://www.usla.org.ar
>>>
>>
>>
>> Yo usaría Sqlite en memoria.
>>
>> Gedece
>>
>> _______________________________________________
>> pyar mailing list pyar en python.org.ar
>> http://listas.python.org.ar/listinfo/pyar
>>
>> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>>
>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>> Argentina - http://www.usla.org.ar
>>
>
>
> _______________________________________________
> pyar mailing list pyar en python.org.ar
> http://listas.python.org.ar/listinfo/pyar
>
> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
>

Sqlite en memoria usa page caching, o sea que va a usar tanta memoria como
pueda y mandar el resto a disco según séa necesario. Pero con memoria
limitada cualquier implementación va a bajar datos a disco.

Gedece
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20140227/e6553f75/attachment.html>