[pyar] Fwd: [OT o no tanto] Amazon DynamoDB y MySQL

[Leandro Minatel]

@Misael, muchas gracias por tus comentarios, me son muy utiles. Voy a
investigar un poco el terreno por ese lado a ver que encuentro.

@David, si, justamente estoy haciendo eso, y con mucha fortuna ya que
cuento con el timestamp del registro en el DynamoDB, con lo cual, se desde
donde partir. Lamentablemente PostgreSQL no es una opcion valida. En
principio arrancamos con MySQL, y ahora DB2/400.

Nuevamente, gracias por los comentarios.

Saluti

2017-09-13 13:18 GMT-03:00 Misael Zapata <misaelzapata en gmail.com>:

> No lo he probado, pero con el shellcommand dentro del architect podés usar
> sqoop. La otra opción que te comentaron de postgresql también es buena ya
> que soportar campos JSON.
>
> Te dejo un pipeline con sqoop: https://github.com/
> awslabs/data-pipeline-samples/blob/master/samples/
> S3ToRdsSqoop/sqoop_activity.json
>
> 2017-09-13 12:25 GMT-03:00 david fernandez <rodavidfernandez en gmail.com>:
>
>>
>>
>>
>> Hola Leandro, creo que no tenes otra que parsear los json de dynamoDB,
>> pero  la otra es hacer una API que consulte en ambas DB . Pero el modelo de
>> insfraestructura que tenes es un lio, te conviene tener todo en un base de
>> dato con replica como decia Juan. Poder usar Postgresql que tiene soporte
>> para json.
>>
>> https://www.postgresql.org/docs/9.3/static/functions-json.html
>>
>>
>>
>>
>>
>>
>> @Juan, jajajajaja, si, tene razon, perdon por la escasa informacion:
>> tenemos unos cuantos dispositivos IoT desparramados por ahi que vuelcan la
>> data en DynamoDB. Algunos detalles se resuelven con lenguajes que si tienen
>> soporte para NOSQL, pero la mayoria de las herramientas y lenguajes que
>> utilizamos no lo tienen. En principio necesitamos tener esa data replicada
>> en MySQL, luego vendran otros clientes con sus necesidades y se veran
>> soluciones para cada uno de ellos.
>> PD: Usted sepa disculpar mis pocos conocimientos sobre estos terminos
>> modernos, pero vengo del universo RPG.
>>
>> @Misael, gracias por tu consejo, lo estuve viendo _muy_ por arriba pero
>> ya que te tengo a tiro te pregunto: uno de los campos de la tabla en
>> DynamoDB es un campo con un JSON. Otro de los campos contiene valores
>> hexadecimales. Dentro del pipe hay conversores? es algo al estilo de ETL?
>>
>> Saludos y gracias!
>>
>>
>>
>>
>>
>>
>>
>> 2017-09-12 15:27 GMT-03:00 Misael Zapata <misaelzapata en gmail.com>:
>>
>>> Hola Leandro,
>>>
>>> hace unas semanas pase por algo similar, podes usar el servicio de
>>> Amazon Data Pipelines, ya hay templates para import/export de DynamoDB. En
>>> el mismo Pipe podrías agregar cualquier paso que necesites para ir a RDS o
>>> DynamoDB (previa conversión). Es lo mas nativo que hay dentro de la suite
>>> de AWS y es relativamente sencillo.
>>>
>>> Saludos.
>>>
>>>
>>>
>>> 2017-09-12 14:36 GMT-03:00 Juan Esteban Carrique <carrique en gmail.com>:
>>>
>>>> me puedo ir mas al terreno del lunfardo que del de los conquistadores,
>>>> pero es solo por una cuestión de principios....
>>>>
>>>> preguntaba de Master Slave y esas yerbas x preguntar cual quera la
>>>> aplicacion potencial... seguro que para un respaldo de DB utilizar MySql
>>>> con un script parece adecuado razonbale y mas de esas palabras sabias para
>>>> indicar buen camino y larga vida... ahora si lo que se quiere es tener una
>>>> base de datos Siempre disponible por si todo falla sin que el usuario sufra
>>>> demaciado, como seria el caso de un Master / Slave, o una cosa transparente
>>>> para el cliente como ACTIVE / ACTIVE la cosa se pone re peliaguda si
>>>> pretendemos eterogeneidad en las DB!!! y nos fuimo para los micro servicios
>>>> :P y para hacerla corta sobre hardware distribuido y bla bla bla....
>>>>
>>>> Disculoe uste si no puedo ser mu cervantes es que muchas de estas cosas
>>>> no estaban en esas epocas de espejitos de colores y hoy hay ademas de
>>>> espejitos de colores tanta palabrotas para decir lo que en criollo es tan
>>>> simple, me vua seguir charlando con el mendieta que es buen cumpa para los
>>>> amargos. Salud!
>>>>
>>>> Ing. Juan Carrique
>>>> Santa Fe, Argentina
>>>> Electrónica, Arduino,
>>>> Coaching, Diabetes,
>>>> http://facebook.com/ReDuino
>>>>
>>>> 2017-09-12 13:43 GMT-03:00 Leandro Minatel <leandro en minatel.com.ar>:
>>>>
>>>>> perdon, no entendi... en el castellano de Cervantes como seria?
>>>>>
>>>>> 2017-09-12 13:33 GMT-03:00 Juan Esteban Carrique <carrique en gmail.com>:
>>>>>
>>>>>> solo x curiosidad: llegar a Master / Slave o Active/Active? datos
>>>>>> nativos como se freezan? procedimientos almacenados? que viaje!!!
>>>>>>
>>>>>> Ing. Juan Carrique
>>>>>> Santa Fe, Argentina
>>>>>> Electrónica, Arduino,
>>>>>> Coaching, Diabetes,
>>>>>> http://facebook.com/ReDuino
>>>>>>
>>>>>> 2017-09-12 13:30 GMT-03:00 Leandro Minatel <leandro en minatel.com.ar>:
>>>>>>
>>>>>>> Estimados, muy buenas tardes, los molesto para preguntarles si
>>>>>>> alguien ha tenido experiencias sincronizando DynamoDB con MySQL. Estoy
>>>>>>> trabajando en un proyecto que no tiene soporte para DynamoDB pero si para
>>>>>>> MySQL, por lo tanto, necesito mantener sincronizados los datos.
>>>>>>>
>>>>>>> Por el momento y para salir del paso, escribi un script python que
>>>>>>> funciona. Pero me gustaria escuchar opiniones sobre otras soluciones quizas
>>>>>>> mas nativas.
>>>>>>>
>>>>>>> Saludos y gracias!
>>>>>>>
>>>>>>> _______________________________________________
>>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>>
>>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>>
>>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>>
>>>>>>
>>>>>>
>>>>>> _______________________________________________
>>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>>> Sitio web: http://www.python.org.ar/
>>>>>>
>>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>
>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>> de Argentina - http://www.usla.org.ar
>>>>>>
>>>>>
>>>>>
>>>>> _______________________________________________
>>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>>> Sitio web: http://www.python.org.ar/
>>>>>
>>>>> Para administrar la lista (o desuscribirse) entrar a
>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>
>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>>> Argentina - http://www.usla.org.ar
>>>>>
>>>>
>>>>
>>>> _______________________________________________
>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>> Sitio web: http://www.python.org.ar/
>>>>
>>>> Para administrar la lista (o desuscribirse) entrar a
>>>> http://listas.python.org.ar/listinfo/pyar
>>>>
>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>> Argentina - http://www.usla.org.ar
>>>>
>>>
>>>
>>> _______________________________________________
>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>> Sitio web: http://www.python.org.ar/
>>>
>>> Para administrar la lista (o desuscribirse) entrar a
>>> http://listas.python.org.ar/listinfo/pyar
>>>
>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>> Argentina - http://www.usla.org.ar
>>>
>>
>>
>> _______________________________________________
>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>> Sitio web: http://www.python.org.ar/
>>
>> Para administrar la lista (o desuscribirse) entrar a
>> http://listas.python.org.ar/listinfo/pyar
>>
>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>> Argentina - http://www.usla.org.ar
>>
>>
>>
>> --
>> *David Fernández*
>>
>> _______________________________________________
>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>> Sitio web: http://www.python.org.ar/
>>
>> Para administrar la lista (o desuscribirse) entrar a
>> http://listas.python.org.ar/listinfo/pyar
>>
>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>> Argentina - http://www.usla.org.ar
>>
>
>
> _______________________________________________
> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
> Sitio web: http://www.python.org.ar/
>
> Para administrar la lista (o desuscribirse) entrar a
> http://listas.python.org.ar/listinfo/pyar
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20170913/910a0d2b/attachment.html>