[pyar] Time Series DB

[Bruno Geninatti]

El 8 de agosto de 2017, 16:36, Nicolás Marguglio <
nicolas.marguglio en gmail.com> escribió:

> 10K por hora son 2 eventos por segundo no creo que eso demande mucho a
> ningun tsdb o sqldb. Lo que buscaria seria en HA si eso es un requrimiento
> de mucha prioridad. Ahi ver que cada una ofrece (replicacion, multimaster,
> sharding).
>
> Saludos.
>
> El 8 de agosto de 2017, 13:02, Bruno Geninatti <brunogeninatti en gmail.com>
> escribió:
>
>> Buen día estimados.
>> Estoy necesitando almacenar series de tiempo en una base de datos.
>> Encontré en varios lugares justificaciones de por que no recomiendan
>> guardar esta información en bases de datos como MySQL o Postgres [1]
>>  Encontré varias alternativas de bases de datos para series temporales,
>> pero la verdad no tengo mucho criterio para saber cual de ellas elegir.
>>
>>  Según mi estimación necesitaría guardar unos 1000 registros por hora,
>> pero me gustaría poder escalarlo sin tener que migrar la base de datos
>> luego, porque seguramente el requerimiento aumente con el tiempo.
>>  Como se almacena información de distintos dispositivos y estos van a ir
>> en aumento, desconzco bien cuando, pero en algún momento seguro llegaremos
>> a los 10K de registros por hora o mas.
>>
>>  Las lecturas de la base de datos las haría Django, pero los registros
>> los guardaría desde otra fuente (puerto serie, protocolos TCP, y demás)
>>
>> Encontré este post [2] que hace un análisis bastante exhaustivo de varias
>> bases de datos y recomienda DalmatinerDB [3], pero me gustaría saber:
>> - Si alguno de ustedes trabajó con este tipo de base de datos y tiene
>> alguna recomendación
>> - Que posibilidades existen para integrar estas bases de datos con django
>>
>> Muchas gracias
>>
>> Bruno
>>
>>
>>
>> [1] https://stackoverflow.com/questions/25212009/django-post
>> gres-large-time-series
>> [2] https://blog.outlyer.com/top10-open-source-time-series-databases
>> [3] https://dalmatiner.io/
>>
>> _______________________________________________
>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>> Sitio web: http://www.python.org.ar/
>>
>> Para administrar la lista (o desuscribirse) entrar a
>> http://listas.python.org.ar/listinfo/pyar
>>
>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>> Argentina - http://www.usla.org.ar
>>
>
>
> _______________________________________________
> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
> Sitio web: http://www.python.org.ar/
>
> Para administrar la lista (o desuscribirse) entrar a
> http://listas.python.org.ar/listinfo/pyar
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar


Muchas gracias a todos por las sugerencias.
Voy a ponerme a explorar las opciones que proponen.

La verdad es que los requerimientos no son tantos en términos del manejo de
información ni los procesamientos que hay que hacer con la misma demasiado
complejos.
Se trata de monitoreo sobre la memoria de microcontroladores diversos. Con
proposito de debug, trazabilidad, monitoreo de eventos, alertas, etc.
Lo bueno de las comunicaciones en bajo nivel es que el volumen de
información que manejamos no es tan grande, con 9600 bit/s en la red nunca
podes levantar taaaaaanto tráfico (en comparación con otras aplicaciones
web, por ejemplo).

Lo que hacemos es una especie de SCADA [1], pero open-source y en python :)

Por ahora estoy probando Prometheus y la verdad va muy bien. Me gusta el
concepto que aplica y la curva de aprendizaje viene mas rápida que en otros
casos.

Voy a considerar lo de Redishift también. Si bien ahora corre todo en un
servidor local, pero la idea sería colgarlo en la nube eventualmente.

La seguimos! Muchas gracias a todos

[1] https://es.wikipedia.org/wiki/SCADA
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20170808/9e7bc690/attachment.html>