[pyar] Fwd: [OT o no tanto] Amazon DynamoDB y MySQL

[david fernandez]

Tenes un tema grande con los backup manteniendo esa infra, el dia que
tengas que hacer restore vas a tener un problema.

El 13 de septiembre de 2017, 13:28, Leandro Minatel <leandro en minatel.com.ar>
escribió:

> @Misael, muchas gracias por tus comentarios, me son muy utiles. Voy a
> investigar un poco el terreno por ese lado a ver que encuentro.
>
> @David, si, justamente estoy haciendo eso, y con mucha fortuna ya que
> cuento con el timestamp del registro en el DynamoDB, con lo cual, se desde
> donde partir. Lamentablemente PostgreSQL no es una opcion valida. En
> principio arrancamos con MySQL, y ahora DB2/400.
>
> Nuevamente, gracias por los comentarios.
>
> Saluti
>
> 2017-09-13 13:18 GMT-03:00 Misael Zapata <misaelzapata en gmail.com>:
>
>> No lo he probado, pero con el shellcommand dentro del architect podés
>> usar sqoop. La otra opción que te comentaron de postgresql también es buena
>> ya que soportar campos JSON.
>>
>> Te dejo un pipeline con sqoop: https://github.com/awsl
>> abs/data-pipeline-samples/blob/master/samples/S3ToRdsSqoop/
>> sqoop_activity.json
>>
>> 2017-09-13 12:25 GMT-03:00 david fernandez <rodavidfernandez en gmail.com>:
>>
>>>
>>>
>>>
>>> Hola Leandro, creo que no tenes otra que parsear los json de dynamoDB,
>>> pero  la otra es hacer una API que consulte en ambas DB . Pero el modelo de
>>> insfraestructura que tenes es un lio, te conviene tener todo en un base de
>>> dato con replica como decia Juan. Poder usar Postgresql que tiene soporte
>>> para json.
>>>
>>> https://www.postgresql.org/docs/9.3/static/functions-json.html
>>>
>>>
>>>
>>>
>>>
>>>
>>> @Juan, jajajajaja, si, tene razon, perdon por la escasa informacion:
>>> tenemos unos cuantos dispositivos IoT desparramados por ahi que vuelcan la
>>> data en DynamoDB. Algunos detalles se resuelven con lenguajes que si tienen
>>> soporte para NOSQL, pero la mayoria de las herramientas y lenguajes que
>>> utilizamos no lo tienen. En principio necesitamos tener esa data replicada
>>> en MySQL, luego vendran otros clientes con sus necesidades y se veran
>>> soluciones para cada uno de ellos.
>>> PD: Usted sepa disculpar mis pocos conocimientos sobre estos terminos
>>> modernos, pero vengo del universo RPG.
>>>
>>> @Misael, gracias por tu consejo, lo estuve viendo _muy_ por arriba pero
>>> ya que te tengo a tiro te pregunto: uno de los campos de la tabla en
>>> DynamoDB es un campo con un JSON. Otro de los campos contiene valores
>>> hexadecimales. Dentro del pipe hay conversores? es algo al estilo de ETL?
>>>
>>> Saludos y gracias!
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>> 2017-09-12 15:27 GMT-03:00 Misael Zapata <misaelzapata en gmail.com>:
>>>
>>>> Hola Leandro,
>>>>
>>>> hace unas semanas pase por algo similar, podes usar el servicio de
>>>> Amazon Data Pipelines, ya hay templates para import/export de DynamoDB. En
>>>> el mismo Pipe podrías agregar cualquier paso que necesites para ir a RDS o
>>>> DynamoDB (previa conversión). Es lo mas nativo que hay dentro de la suite
>>>> de AWS y es relativamente sencillo.
>>>>
>>>> Saludos.
>>>>
>>>>
>>>>
>>>> 2017-09-12 14:36 GMT-03:00 Juan Esteban Carrique <carrique en gmail.com>:
>>>>
>>>>> me puedo ir mas al terreno del lunfardo que del de los conquistadores,
>>>>> pero es solo por una cuestión de principios....
>>>>>
>>>>> preguntaba de Master Slave y esas yerbas x preguntar cual quera la
>>>>> aplicacion potencial... seguro que para un respaldo de DB utilizar MySql
>>>>> con un script parece adecuado razonbale y mas de esas palabras sabias para
>>>>> indicar buen camino y larga vida... ahora si lo que se quiere es tener una
>>>>> base de datos Siempre disponible por si todo falla sin que el usuario sufra
>>>>> demaciado, como seria el caso de un Master / Slave, o una cosa transparente
>>>>> para el cliente como ACTIVE / ACTIVE la cosa se pone re peliaguda si
>>>>> pretendemos eterogeneidad en las DB!!! y nos fuimo para los micro servicios
>>>>> :P y para hacerla corta sobre hardware distribuido y bla bla bla....
>>>>>
>>>>> Disculoe uste si no puedo ser mu cervantes es que muchas de estas
>>>>> cosas no estaban en esas epocas de espejitos de colores y hoy hay ademas de
>>>>> espejitos de colores tanta palabrotas para decir lo que en criollo es tan
>>>>> simple, me vua seguir charlando con el mendieta que es buen cumpa para los
>>>>> amargos. Salud!
>>>>>
>>>>> Ing. Juan Carrique
>>>>> Santa Fe, Argentina
>>>>> Electrónica, Arduino,
>>>>> Coaching, Diabetes,
>>>>> http://facebook.com/ReDuino
>>>>>
>>>>> 2017-09-12 13:43 GMT-03:00 Leandro Minatel <leandro en minatel.com.ar>:
>>>>>
>>>>>> perdon, no entendi... en el castellano de Cervantes como seria?
>>>>>>
>>>>>> 2017-09-12 13:33 GMT-03:00 Juan Esteban Carrique <carrique en gmail.com>
>>>>>> :
>>>>>>
>>>>>>> solo x curiosidad: llegar a Master / Slave o Active/Active? datos
>>>>>>> nativos como se freezan? procedimientos almacenados? que viaje!!!
>>>>>>>
>>>>>>> Ing. Juan Carrique
>>>>>>> Santa Fe, Argentina
>>>>>>> Electrónica, Arduino,
>>>>>>> Coaching, Diabetes,
>>>>>>> http://facebook.com/ReDuino
>>>>>>>
>>>>>>> 2017-09-12 13:30 GMT-03:00 Leandro Minatel <leandro en minatel.com.ar>:
>>>>>>>
>>>>>>>> Estimados, muy buenas tardes, los molesto para preguntarles si
>>>>>>>> alguien ha tenido experiencias sincronizando DynamoDB con MySQL. Estoy
>>>>>>>> trabajando en un proyecto que no tiene soporte para DynamoDB pero si para
>>>>>>>> MySQL, por lo tanto, necesito mantener sincronizados los datos.
>>>>>>>>
>>>>>>>> Por el momento y para salir del paso, escribi un script python que
>>>>>>>> funciona. Pero me gustaria escuchar opiniones sobre otras soluciones quizas
>>>>>>>> mas nativas.
>>>>>>>>
>>>>>>>> Saludos y gracias!
>>>>>>>>
>>>>>>>> _______________________________________________
>>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>>
>>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>>
>>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> _______________________________________________
>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>
>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>
>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>>
>>>>>>
>>>>>>
>>>>>> _______________________________________________
>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>
>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>
>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>
>>>>>
>>>>>
>>>>> _______________________________________________
>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>> Sitio web: http://www.python.org.ar/
>>>>>
>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>
>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>>> Argentina - http://www.usla.org.ar
>>>>>
>>>>
>>>>
>>>> _______________________________________________
>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>> Sitio web: http://www.python.org.ar/
>>>>
>>>> Para administrar la lista (o desuscribirse) entrar a
>>>> http://listas.python.org.ar/listinfo/pyar
>>>>
>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>> Argentina - http://www.usla.org.ar
>>>>
>>>
>>>
>>> _______________________________________________
>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>> Sitio web: http://www.python.org.ar/
>>>
>>> Para administrar la lista (o desuscribirse) entrar a
>>> http://listas.python.org.ar/listinfo/pyar
>>>
>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>> Argentina - http://www.usla.org.ar
>>>
>>>
>>>
>>> --
>>> *David Fernández*
>>>
>>> _______________________________________________
>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>> Sitio web: http://www.python.org.ar/
>>>
>>> Para administrar la lista (o desuscribirse) entrar a
>>> http://listas.python.org.ar/listinfo/pyar
>>>
>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>> Argentina - http://www.usla.org.ar
>>>
>>
>>
>> _______________________________________________
>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>> Sitio web: http://www.python.org.ar/
>>
>> Para administrar la lista (o desuscribirse) entrar a
>> http://listas.python.org.ar/listinfo/pyar
>>
>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>> Argentina - http://www.usla.org.ar
>>
>
>
> _______________________________________________
> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
> Sitio web: http://www.python.org.ar/
>
> Para administrar la lista (o desuscribirse) entrar a
> http://listas.python.org.ar/listinfo/pyar
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
>



-- 
*David Fernández*
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20170913/c3fc3b9f/attachment-0001.html>