[pyar] Performance de python en ubuntu 14.04

[Nicolas Rebagliati]

Los equipos son exactamente iguales. Hasta el ultimo detalle. 
No tienen carga extra porque lo único que hacen es correr ese proceso. 
Lo único que tendría que revisar de lo que decis es el smart status. Pero hasta donde se los discos estaban ok. 
I/o bound no hay, maneja todo en memoria. 
Lo que hace es capturar trafico de red y por cada paquete lo manda al pool para decodificarlo. 
El unico i/o bound seria la parte de la inserción en la base, pero eso es el segundo problema. 
El problema principal es el retraso en la ejecución de lo que esta en el pool. 
Ese retraso crece exponencialmente, el retraso en la inserción es siempre igual. 

Enviado desde mi iPhone

> El 14/05/2014, a las 20:46, "Ezequiel Brizuela [aka EHB or qlixed]" <qlixed en gmail.com> escribió:
> 
> Linux usa COW para la memoria se copia lo justo y necesario. Eso no deberia ser un gran issue.
> Lo q estas midiendo es cpu bound? I/O bound? O un clasico mixto? Interviene la red en ese procesamiento?
> Los procesadores y memorias son equivalentes en frecuencia/cores? Firmware de disco? Smart status de los discos? Firmware de placas de red?
> La Carga de equipos es equivalente en los dos servers al momento de hacer las pruebas?
> 
> El may 14, 2014 4:26 PM, "Claudio Freire" <klaussfreire en gmail.com> escribió:
>> 2014-05-14 15:41 GMT-03:00 Roberto Alsina <ralsina en netmanagers.com.ar>:
>> > On 14/05/14 15:15, Nicolás Rebagliati wrote:
>> >>
>> >> Hola, alguno esta usando ubuntu 14.04 en producción?
>> >>
>> >> el otro día lo instale y me encontré con esto.
>> >> Escenario: 2 equipo exactamente iguales (son 2 servers DELL con el mismo
>> >> procesador y la misma memoria)
>> >> Corriendo exactamente el mismo código.
>> >> Y miren esto:
>> >>
>> >> Ubuntu 12.0 (python 2.7.3):
>> >> Paquete: 2014-05-14 15:04:00.855862 Actual: 2014-05-14 15:04:00.857488
>> >> Tiempo: 0.000825881958008
>> >>
>> >> Ubuntu 14.04 (python 2.7.6):
>> >> Paquete: 2014-05-14 15:03:19.900149 Actual: 2014-05-14 15:03:37.323843
>> >> Tiempo: 0.0485689640045
>> >>
>> >> Esto es un log de un proceso que ejecuta una funcion mediante apply_async
>> >> de un Pool de multiprocesing
>> >>
>> >> Paquete es la fecha del paquete, Actual es la fecha a la que le llego al
>> >> proceso  y Tiempo es lo que tardo en procesarlo.
>> >>
>> >> Hay una diferencia muy grande, y es es solo un ejemplo. Se va agrandado
>> >> con el tiempo.
>> >>
>> >> Alguna idea??
>> >> Saludos
>> >>
>> > En general, si tenes una cosa que la tenes que medir en centésimas de
>> > segundo e involucra multiprocessing, lo más probable es que sea simplemente
>> > startup del intérprete, que es afectado por qué cosas tenés instaladas.
>> 
>> 
>> No es cierto eso en Ubuntu (linux). En esos, multiprocessing usa fork.
>> Ahí, está dominado por el espacio de memoria virtual que ocupa el
>> proceso, pues luego del fork, el manejo de contadores de referencias
>> empieza a copiar toda la memoria del proceso.
>> 
>> Es posible que 14.04 use transparent huge pages, lo que hace que las
>> páginas sean de 2M, y luego por ende que copie mucho más.
>> _______________________________________________
>> pyar mailing list pyar en python.org.ar
>> http://listas.python.org.ar/listinfo/pyar
>> 
>> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
>> 
>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar
> _______________________________________________
> pyar mailing list pyar en python.org.ar
> http://listas.python.org.ar/listinfo/pyar
> 
> PyAr - Python Argentina - Sitio web: http://www.python.org.ar/
> 
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20140515/7717016f/attachment-0001.html>