[pyar] ejecutar workers con celery

Ale aperalta en machinalis.com
Mar Dic 16 17:44:23 ART 2014


>
>
>   Gracias, yo tengo app1 que recibe datos y llama en paralelo
> asincronicamente a app2, app3 y app4 y cuando app2, app3 y app4 terminan de
> procesar cada uno los datos que recibieron de app1, le devuelven el
> resultado a app1. Una vez que app1 recibe todos los resultados, muestra el
> conjunto de resultados. Para eso quiero setear un worker en app2, app3 y
> app4, llamado a cada uno de esos workers desde app1. El tema es que no
> encuentro como coordinar todo usando celery y rabbitmq para que sea
> escalable.
>


app2, app3, app4 son modulos o funciones en python que los podes convertir
en tareas de celery? Por que si es así, podrías hacer lo que está descripto
acá http://celery.readthedocs.org/en/latest/userguide/canvas.html#groups

>>> from celery import group
>>> from proj.tasks import app2, app3, app4

>>> group(app2.s(...), app3.s(...), app4.s(...))
...resultado de cada ejecución

Fijate que con celery podes diseñar el workflow de cada una de las tareas
utilizando las primitivas que te provee.
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20141216/90136c0f/attachment.html>


More information about the pyar mailing list