[pyar] A/B testing para performance

[Andres Riancho]

Por si hay alguien interesado en este tema, empece un pequeño proyecto
llamado collector [0] que se encarga de levantar una instancia de EC2,
correr un software definido por el usuario, y recolectar la salida de
performance. Todavia esta en pañales (solo tiene el esqueleto y muchos
NotImplementedErrors) pero deberia ser utilizable en un par de días.

[0] https://github.com/andresriancho/collector

2014-04-05 22:19 GMT-03:00 Andres Riancho <andres.riancho en gmail.com>:
> Lista, [0]
>
>     Estuve trabajando un poco en mejorar performance de w3af, y ahora
> quiero probar que realmente mis cambios reducen CPU/Memory usage. Ya
> puedo medir el uso de estos recursos bastante bien, y tengo dos
> revisiones distintas del software:
>
>     * Pre-modificaciones de performance
>     * Post-modificaciones de performance
>
>     Como tambien estoy haciendo algunas cosas con A/B testing para una
> Web... se me ocurrio... no puedo hacer A/B testing con dos revisiones?
> Hay algun software que me permita hacerlo facilmente?
>
>     Lo que estaba pensando armar, si es que no existia, era en un
> software que me permita:
>         * Utilizar docker, empezando de una imagen ubuntu de base
>         * Ejecutar comandos de configuracion del container de docker,
> los cuales se ejecutan para A y B. Esto sería algo así como un setUp
> del test case.
>         * Configurar las distintas revisiones a testear, seria un git
> checkout A|B
>         * Correr el comando para iniciar el test
>         * Obtener los resultados de performance, copiandolos del docker al host.
>         * Parsear los resultados, y realizar un "assert" de esos datos
>
>     Esto tambien lo podría hacer sin utilizar virtualizacion... pero
> serían casi los mismos pasos y no se veria tan cool ;)
>
>     Obviamente no me gustaria codear todo eso :) Ideas sobre alguna
> cosa similar?
>
> [0] Ah, pero como estoy este finde!
>
> Saludos,
> --
> Andrés Riancho
> Project Leader at w3af - http://w3af.org/
> Web Application Attack and Audit Framework
> Twitter: @w3af
> GPG: 0x93C344F3



-- 
Andrés Riancho
Project Leader at w3af - http://w3af.org/
Web Application Attack and Audit Framework
Twitter: @w3af
GPG: 0x93C344F3