[pyar] Fwd: [OT o no tanto] Amazon DynamoDB y MySQL

[Leandro Minatel]

por?

2017-09-13 13:55 GMT-03:00 david fernandez <rodavidfernandez en gmail.com>:

> Tenes un tema grande con los backup manteniendo esa infra, el dia que
> tengas que hacer restore vas a tener un problema.
>
> El 13 de septiembre de 2017, 13:28, Leandro Minatel <
> leandro en minatel.com.ar> escribió:
>
>> @Misael, muchas gracias por tus comentarios, me son muy utiles. Voy a
>> investigar un poco el terreno por ese lado a ver que encuentro.
>>
>> @David, si, justamente estoy haciendo eso, y con mucha fortuna ya que
>> cuento con el timestamp del registro en el DynamoDB, con lo cual, se desde
>> donde partir. Lamentablemente PostgreSQL no es una opcion valida. En
>> principio arrancamos con MySQL, y ahora DB2/400.
>>
>> Nuevamente, gracias por los comentarios.
>>
>> Saluti
>>
>> 2017-09-13 13:18 GMT-03:00 Misael Zapata <misaelzapata en gmail.com>:
>>
>>> No lo he probado, pero con el shellcommand dentro del architect podés
>>> usar sqoop. La otra opción que te comentaron de postgresql también es buena
>>> ya que soportar campos JSON.
>>>
>>> Te dejo un pipeline con sqoop: https://github.com/awsl
>>> abs/data-pipeline-samples/blob/master/samples/S3ToRdsSqoop/s
>>> qoop_activity.json
>>>
>>> 2017-09-13 12:25 GMT-03:00 david fernandez <rodavidfernandez en gmail.com>:
>>>
>>>>
>>>>
>>>>
>>>> Hola Leandro, creo que no tenes otra que parsear los json de dynamoDB,
>>>> pero  la otra es hacer una API que consulte en ambas DB . Pero el modelo de
>>>> insfraestructura que tenes es un lio, te conviene tener todo en un base de
>>>> dato con replica como decia Juan. Poder usar Postgresql que tiene soporte
>>>> para json.
>>>>
>>>> https://www.postgresql.org/docs/9.3/static/functions-json.html
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>> @Juan, jajajajaja, si, tene razon, perdon por la escasa informacion:
>>>> tenemos unos cuantos dispositivos IoT desparramados por ahi que vuelcan la
>>>> data en DynamoDB. Algunos detalles se resuelven con lenguajes que si tienen
>>>> soporte para NOSQL, pero la mayoria de las herramientas y lenguajes que
>>>> utilizamos no lo tienen. En principio necesitamos tener esa data replicada
>>>> en MySQL, luego vendran otros clientes con sus necesidades y se veran
>>>> soluciones para cada uno de ellos.
>>>> PD: Usted sepa disculpar mis pocos conocimientos sobre estos terminos
>>>> modernos, pero vengo del universo RPG.
>>>>
>>>> @Misael, gracias por tu consejo, lo estuve viendo _muy_ por arriba pero
>>>> ya que te tengo a tiro te pregunto: uno de los campos de la tabla en
>>>> DynamoDB es un campo con un JSON. Otro de los campos contiene valores
>>>> hexadecimales. Dentro del pipe hay conversores? es algo al estilo de ETL?
>>>>
>>>> Saludos y gracias!
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>>
>>>> 2017-09-12 15:27 GMT-03:00 Misael Zapata <misaelzapata en gmail.com>:
>>>>
>>>>> Hola Leandro,
>>>>>
>>>>> hace unas semanas pase por algo similar, podes usar el servicio de
>>>>> Amazon Data Pipelines, ya hay templates para import/export de DynamoDB. En
>>>>> el mismo Pipe podrías agregar cualquier paso que necesites para ir a RDS o
>>>>> DynamoDB (previa conversión). Es lo mas nativo que hay dentro de la suite
>>>>> de AWS y es relativamente sencillo.
>>>>>
>>>>> Saludos.
>>>>>
>>>>>
>>>>>
>>>>> 2017-09-12 14:36 GMT-03:00 Juan Esteban Carrique <carrique en gmail.com>:
>>>>>
>>>>>> me puedo ir mas al terreno del lunfardo que del de los
>>>>>> conquistadores, pero es solo por una cuestión de principios....
>>>>>>
>>>>>> preguntaba de Master Slave y esas yerbas x preguntar cual quera la
>>>>>> aplicacion potencial... seguro que para un respaldo de DB utilizar MySql
>>>>>> con un script parece adecuado razonbale y mas de esas palabras sabias para
>>>>>> indicar buen camino y larga vida... ahora si lo que se quiere es tener una
>>>>>> base de datos Siempre disponible por si todo falla sin que el usuario sufra
>>>>>> demaciado, como seria el caso de un Master / Slave, o una cosa transparente
>>>>>> para el cliente como ACTIVE / ACTIVE la cosa se pone re peliaguda si
>>>>>> pretendemos eterogeneidad en las DB!!! y nos fuimo para los micro servicios
>>>>>> :P y para hacerla corta sobre hardware distribuido y bla bla bla....
>>>>>>
>>>>>> Disculoe uste si no puedo ser mu cervantes es que muchas de estas
>>>>>> cosas no estaban en esas epocas de espejitos de colores y hoy hay ademas de
>>>>>> espejitos de colores tanta palabrotas para decir lo que en criollo es tan
>>>>>> simple, me vua seguir charlando con el mendieta que es buen cumpa para los
>>>>>> amargos. Salud!
>>>>>>
>>>>>> Ing. Juan Carrique
>>>>>> Santa Fe, Argentina
>>>>>> Electrónica, Arduino,
>>>>>> Coaching, Diabetes,
>>>>>> http://facebook.com/ReDuino
>>>>>>
>>>>>> 2017-09-12 13:43 GMT-03:00 Leandro Minatel <leandro en minatel.com.ar>:
>>>>>>
>>>>>>> perdon, no entendi... en el castellano de Cervantes como seria?
>>>>>>>
>>>>>>> 2017-09-12 13:33 GMT-03:00 Juan Esteban Carrique <carrique en gmail.com
>>>>>>> >:
>>>>>>>
>>>>>>>> solo x curiosidad: llegar a Master / Slave o Active/Active? datos
>>>>>>>> nativos como se freezan? procedimientos almacenados? que viaje!!!
>>>>>>>>
>>>>>>>> Ing. Juan Carrique
>>>>>>>> Santa Fe, Argentina
>>>>>>>> Electrónica, Arduino,
>>>>>>>> Coaching, Diabetes,
>>>>>>>> http://facebook.com/ReDuino
>>>>>>>>
>>>>>>>> 2017-09-12 13:30 GMT-03:00 Leandro Minatel <leandro en minatel.com.ar>
>>>>>>>> :
>>>>>>>>
>>>>>>>>> Estimados, muy buenas tardes, los molesto para preguntarles si
>>>>>>>>> alguien ha tenido experiencias sincronizando DynamoDB con MySQL. Estoy
>>>>>>>>> trabajando en un proyecto que no tiene soporte para DynamoDB pero si para
>>>>>>>>> MySQL, por lo tanto, necesito mantener sincronizados los datos.
>>>>>>>>>
>>>>>>>>> Por el momento y para salir del paso, escribi un script python que
>>>>>>>>> funciona. Pero me gustaria escuchar opiniones sobre otras soluciones quizas
>>>>>>>>> mas nativas.
>>>>>>>>>
>>>>>>>>> Saludos y gracias!
>>>>>>>>>
>>>>>>>>> _______________________________________________
>>>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>>>
>>>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>>>
>>>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software
>>>>>>>>> Libre de Argentina - http://www.usla.org.ar
>>>>>>>>>
>>>>>>>>
>>>>>>>>
>>>>>>>> _______________________________________________
>>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>>
>>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>>
>>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> _______________________________________________
>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>
>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>
>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>>
>>>>>>
>>>>>>
>>>>>> _______________________________________________
>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>
>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>
>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>
>>>>>
>>>>>
>>>>> _______________________________________________
>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>> Sitio web: http://www.python.org.ar/
>>>>>
>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>
>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>>> Argentina - http://www.usla.org.ar
>>>>>
>>>>
>>>>
>>>> _______________________________________________
>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>> Sitio web: http://www.python.org.ar/
>>>>
>>>> Para administrar la lista (o desuscribirse) entrar a
>>>> http://listas.python.org.ar/listinfo/pyar
>>>>
>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>> Argentina - http://www.usla.org.ar
>>>>
>>>>
>>>>
>>>> --
>>>> *David Fernández*
>>>>
>>>> _______________________________________________
>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>> Sitio web: http://www.python.org.ar/
>>>>
>>>> Para administrar la lista (o desuscribirse) entrar a
>>>> http://listas.python.org.ar/listinfo/pyar
>>>>
>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>> Argentina - http://www.usla.org.ar
>>>>
>>>
>>>
>>> _______________________________________________
>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>> Sitio web: http://www.python.org.ar/
>>>
>>> Para administrar la lista (o desuscribirse) entrar a
>>> http://listas.python.org.ar/listinfo/pyar
>>>
>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>> Argentina - http://www.usla.org.ar
>>>
>>
>>
>> _______________________________________________
>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>> Sitio web: http://www.python.org.ar/
>>
>> Para administrar la lista (o desuscribirse) entrar a
>> http://listas.python.org.ar/listinfo/pyar
>>
>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>> Argentina - http://www.usla.org.ar
>>
>
>
>
> --
> *David Fernández*
>
> _______________________________________________
> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
> Sitio web: http://www.python.org.ar/
>
> Para administrar la lista (o desuscribirse) entrar a
> http://listas.python.org.ar/listinfo/pyar
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20170913/bbbee7f7/attachment-0001.html>