[pyar] Necesito una estructura para deduplicar diccionarios complejos

[ALEJANDRO CARBALLO]

Probaste implementar algo cómo esto:
http://en.wikipedia.org/wiki/Partially_ordered_set un arbol que en algunos
lugares se cierra hacia valores comunes.
Saludos @alener



El 30 de abril de 2015, 9:14, Facundo Batista <facundobatista en gmail.com>
escribió:

> Mi problema es: estoy construyendo un árbol gigante (en las pruebas,
> con un 1% de los datos, termino con 660 mil nodos), me di cuenta que
> al final, MUCHOS nodos tienen el mismo subtree abajo.
>
> Como tengo problemas de memoria, se me ocurrió deduplicarlos (esto es,
> en vez de tener dos diccionarios iguales, tener el mismo dos veces).
>
> El código que hace esto bien (pero de forma terriblemente lenta), es
> el siguiente:
>
>         # llego acá con "data" que es el dict a deduplicar
>         for prev in self._deduplic:
>             if prev == data:
>                 data = prev
>                 break
>         else:
>             self._deduplic.append(data)
>
> (mismo código: http://linkode.org/C3r3o25PETWAB3nL57LqI2 )
>
> ¿Cómo se les ocurre hacer esto mismo pero más rápido?
>
> ¡Gracias! Slds.
>
> --
> .    Facundo
>
> Blog: http://www.taniquetil.com.ar/plog/
> PyAr: http://www.python.org/ar/
> Twitter: @facundobatista
> _______________________________________________
> pyar mailing list pyar en python.org.ar
> http://listas.python.org.ar/listinfo/pyar
>
> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20150430/76b6c045/attachment-0001.html>