[pyar] A/B testing para performance

[Andres Riancho]

Lista, [0]

    Estuve trabajando un poco en mejorar performance de w3af, y ahora
quiero probar que realmente mis cambios reducen CPU/Memory usage. Ya
puedo medir el uso de estos recursos bastante bien, y tengo dos
revisiones distintas del software:

    * Pre-modificaciones de performance
    * Post-modificaciones de performance

    Como tambien estoy haciendo algunas cosas con A/B testing para una
Web... se me ocurrio... no puedo hacer A/B testing con dos revisiones?
Hay algun software que me permita hacerlo facilmente?

    Lo que estaba pensando armar, si es que no existia, era en un
software que me permita:
        * Utilizar docker, empezando de una imagen ubuntu de base
        * Ejecutar comandos de configuracion del container de docker,
los cuales se ejecutan para A y B. Esto sería algo así como un setUp
del test case.
        * Configurar las distintas revisiones a testear, seria un git
checkout A|B
        * Correr el comando para iniciar el test
        * Obtener los resultados de performance, copiandolos del docker al host.
        * Parsear los resultados, y realizar un "assert" de esos datos

    Esto tambien lo podría hacer sin utilizar virtualizacion... pero
serían casi los mismos pasos y no se veria tan cool ;)

    Obviamente no me gustaria codear todo eso :) Ideas sobre alguna
cosa similar?

[0] Ah, pero como estoy este finde!

Saludos,
-- 
Andrés Riancho
Project Leader at w3af - http://w3af.org/
Web Application Attack and Audit Framework
Twitter: @w3af
GPG: 0x93C344F3