[pyar] Fwd: [OT o no tanto] Amazon DynamoDB y MySQL

[Leandro Minatel]

Gracias David por el consejo, te cuento que tanto DynamoDB como el MySQL
estan en la plataforma de Amazon, con lo cual, se nos brinda un ambiente
"aceptable" para nuestros propositos. Por el momento, no se justifica la
replicacion cross-region. Por el lado del MySQL, si se hacen backups, pero
con diferentes propositos, aunque tampoco es critico, ya que sus datos son
replicas del DynamoDB pero "parseados", tal como vos describiste. Ahora me
toca DB2/400, conozco la plataforma ya que soy sysadmin de AS/400 desde
hace mas de 25 años.

Saludos!





2017-09-13 14:06 GMT-03:00 david fernandez <rodavidfernandez en gmail.com>:

> Porque el dump lo haces sobre una base de dato, vas a tener que hacer el
> proceso nuevamente de convertir el json en datos de tabla, porque si haces
> bkp sobre las dos bases de datos, podes tener inconscistencia al restaurar
> el bkp con los datos de la otra base de dato. Tomaria ese recaudo.
>
> El 13 de septiembre de 2017, 14:02, Leandro Minatel <
> leandro en minatel.com.ar> escribió:
>
>> por?
>>
>> 2017-09-13 13:55 GMT-03:00 david fernandez <rodavidfernandez en gmail.com>:
>>
>>> Tenes un tema grande con los backup manteniendo esa infra, el dia que
>>> tengas que hacer restore vas a tener un problema.
>>>
>>> El 13 de septiembre de 2017, 13:28, Leandro Minatel <
>>> leandro en minatel.com.ar> escribió:
>>>
>>>> @Misael, muchas gracias por tus comentarios, me son muy utiles. Voy a
>>>> investigar un poco el terreno por ese lado a ver que encuentro.
>>>>
>>>> @David, si, justamente estoy haciendo eso, y con mucha fortuna ya que
>>>> cuento con el timestamp del registro en el DynamoDB, con lo cual, se desde
>>>> donde partir. Lamentablemente PostgreSQL no es una opcion valida. En
>>>> principio arrancamos con MySQL, y ahora DB2/400.
>>>>
>>>> Nuevamente, gracias por los comentarios.
>>>>
>>>> Saluti
>>>>
>>>> 2017-09-13 13:18 GMT-03:00 Misael Zapata <misaelzapata en gmail.com>:
>>>>
>>>>> No lo he probado, pero con el shellcommand dentro del architect podés
>>>>> usar sqoop. La otra opción que te comentaron de postgresql también es buena
>>>>> ya que soportar campos JSON.
>>>>>
>>>>> Te dejo un pipeline con sqoop: https://github.com/awsl
>>>>> abs/data-pipeline-samples/blob/master/samples/S3ToRdsSqoop/s
>>>>> qoop_activity.json
>>>>>
>>>>> 2017-09-13 12:25 GMT-03:00 david fernandez <rodavidfernandez en gmail.com
>>>>> >:
>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>> Hola Leandro, creo que no tenes otra que parsear los json de
>>>>>> dynamoDB, pero  la otra es hacer una API que consulte en ambas DB . Pero el
>>>>>> modelo de insfraestructura que tenes es un lio, te conviene tener todo en
>>>>>> un base de dato con replica como decia Juan. Poder usar Postgresql que
>>>>>> tiene soporte para json.
>>>>>>
>>>>>> https://www.postgresql.org/docs/9.3/static/functions-json.html
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>> @Juan, jajajajaja, si, tene razon, perdon por la escasa informacion:
>>>>>> tenemos unos cuantos dispositivos IoT desparramados por ahi que vuelcan la
>>>>>> data en DynamoDB. Algunos detalles se resuelven con lenguajes que si tienen
>>>>>> soporte para NOSQL, pero la mayoria de las herramientas y lenguajes que
>>>>>> utilizamos no lo tienen. En principio necesitamos tener esa data replicada
>>>>>> en MySQL, luego vendran otros clientes con sus necesidades y se veran
>>>>>> soluciones para cada uno de ellos.
>>>>>> PD: Usted sepa disculpar mis pocos conocimientos sobre estos terminos
>>>>>> modernos, pero vengo del universo RPG.
>>>>>>
>>>>>> @Misael, gracias por tu consejo, lo estuve viendo _muy_ por arriba
>>>>>> pero ya que te tengo a tiro te pregunto: uno de los campos de la tabla en
>>>>>> DynamoDB es un campo con un JSON. Otro de los campos contiene valores
>>>>>> hexadecimales. Dentro del pipe hay conversores? es algo al estilo de ETL?
>>>>>>
>>>>>> Saludos y gracias!
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>> 2017-09-12 15:27 GMT-03:00 Misael Zapata <misaelzapata en gmail.com>:
>>>>>>
>>>>>>> Hola Leandro,
>>>>>>>
>>>>>>> hace unas semanas pase por algo similar, podes usar el servicio de
>>>>>>> Amazon Data Pipelines, ya hay templates para import/export de DynamoDB. En
>>>>>>> el mismo Pipe podrías agregar cualquier paso que necesites para ir a RDS o
>>>>>>> DynamoDB (previa conversión). Es lo mas nativo que hay dentro de la suite
>>>>>>> de AWS y es relativamente sencillo.
>>>>>>>
>>>>>>> Saludos.
>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> 2017-09-12 14:36 GMT-03:00 Juan Esteban Carrique <carrique en gmail.com
>>>>>>> >:
>>>>>>>
>>>>>>>> me puedo ir mas al terreno del lunfardo que del de los
>>>>>>>> conquistadores, pero es solo por una cuestión de principios....
>>>>>>>>
>>>>>>>> preguntaba de Master Slave y esas yerbas x preguntar cual quera la
>>>>>>>> aplicacion potencial... seguro que para un respaldo de DB utilizar MySql
>>>>>>>> con un script parece adecuado razonbale y mas de esas palabras sabias para
>>>>>>>> indicar buen camino y larga vida... ahora si lo que se quiere es tener una
>>>>>>>> base de datos Siempre disponible por si todo falla sin que el usuario sufra
>>>>>>>> demaciado, como seria el caso de un Master / Slave, o una cosa transparente
>>>>>>>> para el cliente como ACTIVE / ACTIVE la cosa se pone re peliaguda si
>>>>>>>> pretendemos eterogeneidad en las DB!!! y nos fuimo para los micro servicios
>>>>>>>> :P y para hacerla corta sobre hardware distribuido y bla bla bla....
>>>>>>>>
>>>>>>>> Disculoe uste si no puedo ser mu cervantes es que muchas de estas
>>>>>>>> cosas no estaban en esas epocas de espejitos de colores y hoy hay ademas de
>>>>>>>> espejitos de colores tanta palabrotas para decir lo que en criollo es tan
>>>>>>>> simple, me vua seguir charlando con el mendieta que es buen cumpa para los
>>>>>>>> amargos. Salud!
>>>>>>>>
>>>>>>>> Ing. Juan Carrique
>>>>>>>> Santa Fe, Argentina
>>>>>>>> Electrónica, Arduino,
>>>>>>>> Coaching, Diabetes,
>>>>>>>> http://facebook.com/ReDuino
>>>>>>>>
>>>>>>>> 2017-09-12 13:43 GMT-03:00 Leandro Minatel <leandro en minatel.com.ar>
>>>>>>>> :
>>>>>>>>
>>>>>>>>> perdon, no entendi... en el castellano de Cervantes como seria?
>>>>>>>>>
>>>>>>>>> 2017-09-12 13:33 GMT-03:00 Juan Esteban Carrique <
>>>>>>>>> carrique en gmail.com>:
>>>>>>>>>
>>>>>>>>>> solo x curiosidad: llegar a Master / Slave o Active/Active? datos
>>>>>>>>>> nativos como se freezan? procedimientos almacenados? que viaje!!!
>>>>>>>>>>
>>>>>>>>>> Ing. Juan Carrique
>>>>>>>>>> Santa Fe, Argentina
>>>>>>>>>> Electrónica, Arduino,
>>>>>>>>>> Coaching, Diabetes,
>>>>>>>>>> http://facebook.com/ReDuino
>>>>>>>>>>
>>>>>>>>>> 2017-09-12 13:30 GMT-03:00 Leandro Minatel <
>>>>>>>>>> leandro en minatel.com.ar>:
>>>>>>>>>>
>>>>>>>>>>> Estimados, muy buenas tardes, los molesto para preguntarles si
>>>>>>>>>>> alguien ha tenido experiencias sincronizando DynamoDB con MySQL. Estoy
>>>>>>>>>>> trabajando en un proyecto que no tiene soporte para DynamoDB pero si para
>>>>>>>>>>> MySQL, por lo tanto, necesito mantener sincronizados los datos.
>>>>>>>>>>>
>>>>>>>>>>> Por el momento y para salir del paso, escribi un script python
>>>>>>>>>>> que funciona. Pero me gustaria escuchar opiniones sobre otras soluciones
>>>>>>>>>>> quizas mas nativas.
>>>>>>>>>>>
>>>>>>>>>>> Saludos y gracias!
>>>>>>>>>>>
>>>>>>>>>>> _______________________________________________
>>>>>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>>>>>
>>>>>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>>>>>
>>>>>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software
>>>>>>>>>>> Libre de Argentina - http://www.usla.org.ar
>>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>>
>>>>>>>>>> _______________________________________________
>>>>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>>>>
>>>>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>>>>
>>>>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software
>>>>>>>>>> Libre de Argentina - http://www.usla.org.ar
>>>>>>>>>>
>>>>>>>>>
>>>>>>>>>
>>>>>>>>> _______________________________________________
>>>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>>>
>>>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>>>
>>>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software
>>>>>>>>> Libre de Argentina - http://www.usla.org.ar
>>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>> _______________________________________________
>>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>>
>>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>>
>>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> _______________________________________________
>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>
>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>
>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>>
>>>>>>
>>>>>>
>>>>>> _______________________________________________
>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>
>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>
>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>
>>>>>>
>>>>>>
>>>>>> --
>>>>>> *David Fernández*
>>>>>>
>>>>>> _______________________________________________
>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>
>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>
>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>
>>>>>
>>>>>
>>>>> _______________________________________________
>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>> Sitio web: http://www.python.org.ar/
>>>>>
>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>
>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>>> Argentina - http://www.usla.org.ar
>>>>>
>>>>
>>>>
>>>> _______________________________________________
>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>> Sitio web: http://www.python.org.ar/
>>>>
>>>> Para administrar la lista (o desuscribirse) entrar a
>>>> http://listas.python.org.ar/listinfo/pyar
>>>>
>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>> Argentina - http://www.usla.org.ar
>>>>
>>>
>>>
>>>
>>> --
>>> *David Fernández*
>>>
>>> _______________________________________________
>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>> Sitio web: http://www.python.org.ar/
>>>
>>> Para administrar la lista (o desuscribirse) entrar a
>>> http://listas.python.org.ar/listinfo/pyar
>>>
>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>> Argentina - http://www.usla.org.ar
>>>
>>
>>
>> _______________________________________________
>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>> Sitio web: http://www.python.org.ar/
>>
>> Para administrar la lista (o desuscribirse) entrar a
>> http://listas.python.org.ar/listinfo/pyar
>>
>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>> Argentina - http://www.usla.org.ar
>>
>
>
>
> --
> *David Fernández*
>
> _______________________________________________
> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
> Sitio web: http://www.python.org.ar/
>
> Para administrar la lista (o desuscribirse) entrar a
> http://listas.python.org.ar/listinfo/pyar
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20170913/4b8718b2/attachment-0001.html>