[pyar] Twisted o asyncio?

Harenson Henao harenson en gmail.com
Lun Abr 10 17:14:44 ART 2017


Ahh, ahora entiendo, querés es usarlo para escribir los workers.

Ahí si no sé, sorry.


Saludos

On Apr 10, 2017 2:32 PM, "Claudio" <claudiobidau en gmail.com> wrote:

> usando = diseñando :P
>
> Mas que cambiarlo necesitamos desarrollarlo y la parte async sería la
> ejecución de los procesos de los workers
>
> El 10 de abril de 2017, 15:47, Harenson Henao<harenson en gmail.com>
> escribió:
>
>> Y por qué querés cambiarlo?
>>
>> 2017-04-10 13:41 GMT-05:00 Claudio <claudiobidau en gmail.com>:
>>
>>> Hola Harenson,
>>>
>>> Es exactamente lo que estamos usando y yo me olvidé de comentarlo, la
>>> onda es algo así:
>>>
>>> http -> processo x -> rabbitMQ <- workers (procesos asíncronos)
>>>
>>> Saludos!
>>>
>>> El 10 de abril de 2017, 15:09, Harenson Henao<harenson en gmail.com>
>>> escribió:
>>>
>>>> Hola Facundo,
>>>>
>>>> No han pensado en usar un middleware de mensajería como RabbitMQ por
>>>> ejemplo? Creo que sería perfecto para lo que quieren hacer ya que pueden
>>>> encolar los trabajos y simplemente crear workers para que consuman y
>>>> procesen los mensajes. Usando este enfoque, su aplicación será más
>>>> fácilmente escalable ya que pueden spawnear brokers y/o workers según sea
>>>> necesario.
>>>>
>>>>
>>>> Saludos,
>>>>
>>>> Harenson
>>>>
>>>> 2017-04-10 12:58 GMT-05:00 Claudio <claudiobidau en gmail.com>:
>>>>
>>>>> Hola Facu, gracias por la respuesta,
>>>>>
>>>>> Si bien la finalidad es servir HTTP, las "verdaderas" tareas IO
>>>>> Blocking que queremos "asincronizar" son las involucradas en el
>>>>> procesamiento de los requests: escribir y leer en redis, escribir en carbon
>>>>> (via socket) y escribir en elastic search. asyncio tiene librerías para
>>>>> conectar las tres cosas y supongo que twisted también.
>>>>>
>>>>> Saludos!
>>>>>
>>>>> El 10 de abril de 2017, 14:12, Facundo Batista<facundobatista en gmail.c
>>>>> om> escribió:
>>>>>
>>>>>> 2017-04-10 12:49 GMT-03:00 Claudio <claudiobidau en gmail.com>:
>>>>>>
>>>>>> > Estamos diseñando la arquitectura de una suerte de Event Loop para
>>>>>> registrar
>>>>>> > muchísimos eventos (http requests) lo más rápido posible.
>>>>>> >
>>>>>> > Cada evento debería ejecutar 3 o 4 tareas que en principio son
>>>>>> > independientes y que podrían correr "en paralelo" sin problemas.
>>>>>> >
>>>>>> > Para la ejecución de las tareas la idea es usar las "capacidades"
>>>>>> asíncronas
>>>>>> > de python. Como nadie del equipo tiene experiencia laburando con
>>>>>> async en
>>>>>> > python nos pusimos a investigar y estudiar alternativas.
>>>>>> >
>>>>>> > Después de dos semanas de investigación y varias explosiones
>>>>>> cerebrales
>>>>>> > acotamos la búsqueda a Twisted y asyncio.
>>>>>> >
>>>>>> > El tema ahora es decidir cual de las dos tecnologías usar teniendo
>>>>>> en cuenta
>>>>>> > que ninguno del equipo maneja o manejó frameworks asíncronos en
>>>>>> python.
>>>>>> >
>>>>>> > Que recomiendan?
>>>>>>
>>>>>> El fuerte de Twisted es el manejo de un montón de protocolos
>>>>>> complejos de red.
>>>>>>
>>>>>> Si lo que van a servir es HTTP y nada más, yo lo haría con asyncio. No
>>>>>> parece muy complejo: http://aiohttp.readthedocs.io/en/stable/
>>>>>>
>>>>>> Slds.
>>>>>>
>>>>>> --
>>>>>> .    Facundo
>>>>>>
>>>>>> Blog: http://www.taniquetil.com.ar/plog/
>>>>>> PyAr: http://www.python.org/ar/
>>>>>> Twitter: @facundobatista
>>>>>> _______________________________________________
>>>>>> pyar mailing list pyar en python.org.ar
>>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>>
>>>>>> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>>>>>>
>>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre
>>>>>> de Argentina - http://www.usla.org.ar
>>>>>
>>>>>
>>>>>
>>>>> _______________________________________________
>>>>> pyar mailing list pyar en python.org.ar
>>>>> http://listas.python.org.ar/listinfo/pyar
>>>>>
>>>>> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>>>>>
>>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>>> Argentina - http://www.usla.org.ar
>>>>>
>>>>
>>>>
>>>> _______________________________________________
>>>> pyar mailing list pyar en python.org.ar
>>>> http://listas.python.org.ar/listinfo/pyar
>>>>
>>>> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>>>>
>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>> Argentina - http://www.usla.org.ar
>>>>
>>>
>>>
>>> _______________________________________________
>>> pyar mailing list pyar en python.org.ar
>>> http://listas.python.org.ar/listinfo/pyar
>>>
>>> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>>>
>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>> Argentina - http://www.usla.org.ar
>>>
>>
>>
>> _______________________________________________
>> pyar mailing list pyar en python.org.ar
>> http://listas.python.org.ar/listinfo/pyar
>>
>> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>>
>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>> Argentina - http://www.usla.org.ar
>>
>
>
> _______________________________________________
> pyar mailing list pyar en python.org.ar
> http://listas.python.org.ar/listinfo/pyar
>
> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20170410/1bd912d5/attachment-0001.html>


Más información sobre la lista de distribución pyar