[pyar] Caché para clusters?

[Claudio Freire]

2013/5/9 Santiago Basulto <santiago.basulto en gmail.com>:
> Hola Claudio. Es una temática media complicada de la que hablás. Roza
> la ciencia oscura.
>
> Lo único que he escuchado similar es utilizando Apache Cassandra. Hace
> mucho que no lo utilizo, pero recuerdo que habían formas de utilizar
> una cache en memoria. Aparte Cassandra tiene (o tenía al menos) el
> concepto de Particioner, al cuál podés llegar a setearle algún tipo de
> afinidad y manejar la caché de acuerdo a eso. De todas maneras, creo
> que lo principal primero es pensar en la arquitectura distribuída (el
> cluster) y después encargarse de que cada nodo pueda o no cachear en
> memoria.


Usé cassandra, y no me convención. En principio, usa Thrift, que es
muy pero muy frágil.

Pero más allá de eso, lo que no me convence de usarlo en este contexto
es que necesitás serializar todo hacia Cassandra, lo cual en mi caso
(con result sets a cachear en el orden de las decenas de MB) es
prohibitivo, al menos para la primer capa, la de más frecuente acceso.

Capaz que debería haber hecho hincapié: la primer capa, no es sólo en
memoria. Es in-process. O sea, dentro mismo de Python, salir del
proceso cuesta serialización, que con valores en el orden de los MB
es... indeseable.