[pyar] aiohttp

[Mauricio Baeza Servin]

On Thu, 24 May 2018 11:29:17 -0300, Sebastián Seba <ssebastianj en gmail.com> wrote:

> El 22 de mayo de 2018, 23:08, Mauricio Baeza Servin<hola en elmau.net>
> escribió:
> 
> > Hola a todos...
> >
> > Estoy probando el código mostrado en este artículo:
> > https://www.artificialworlds.net/blog/2017/06/12/making-
> > 100-million-requests-with-python-aiohttp/
> >
> > Todo funciona bien, excepto en los tiempos, según la página, 1 millon de
> > request los hace en 25 minutos, en mi equipo los hace como en 4 horas.
> >
> > Tengo Py 3.6 y un procesador de 8 nucleos en ArchLinux, aunque el uso del
> > CPU no pasa de 2% y la memoria no pasa de 3 GB, tengo 16 GB.
> >
> > ¿Estoy omitiendo algo?
> >
> >
> > Gracias
> >
> >
> > Mauricio
> >
> 
> De cierta manera relacionada que ahora no recuerdo, me recuerda a un post
> en el blog de Cloudflare [0] donde se tuvo que cambiar con "ulimit" [1][2]
> el valor por defecto del kernel (Linux) dado que por defecto tiene un valor
> pequeño. Dale un vistazo al siguiente hilo [3] por si te ayuda.
> 
> ¡Saludos!
> 
> [0] https://blog.cloudflare.com/epbf_sockets_hop_distance/
> [1]  https://linux.die.net/man/3/ulimit
> [2] https://wiki.archlinux.org/index.php/Limits.conf
> [3]
> https://stackoverflow.com/questions/33773237/open-more-server-sockets-than-in-ulimit-n


Hola Sebastian... gracias por tu respuesta...

De hecho, sem = asyncio.Semaphore(1000) es para evitar el problema de "ulimit", aún así he probado con diferentes valores sin exito, voy a intentar preguntar (en mi ingles champurrado) al autor del post por su entorno.

Saludos