[pyar] Consulta sobre Aplicación web que scrapee cotizaciones de Bancos.

[Juanmanuel]

Carlos:

Scrapy es de lo mejor que hay para web scraping, lo uso a diario desde 
hace bastante tiempo.  Sin embargo con javascript no se lleva bien.  Si 
te encontrás con sitios de contendio dinámico, la mejor opción es 
Selenium webdriver que incluso podés combinar con Scrapy, aunque tendrás 
que sacrificar tiempo y rendimiento.  Si usás Selenium podés virtualizar 
el navegador con pyvirtualdisplay.

Eventualmente podés escrapear con urllib2 y re, si te animás o bien con 
requests y lxml que soporta xpath para parsear html. Espero que sirva de 
guia.

Saludos

On 4/3/19 14:55, Carlos Matías wrote:
> No tengo experiencia con scrappers... Jugué con Scrapy 
> <https://scrapy.org/> hace un millón de años y nada más.
>
> Carlos Matías
> @py_litox <https://twitter.com/py_litox>
>
>
> On Sun, Mar 3, 2019 at 9:37 PM Diego Carabajal <diecarabajal en gmail.com 
> <mailto:diecarabajal en gmail.com>> wrote:
>
>     Hola Carlos,
>
>     Muchas gracias por tu respuesta.
>
>     Seguramente iré por la opción de Django...
>
>     También voy a averiguar si existe algún servicio que me provea los
>     datos que necesito.
>
>     En el caso de tener que scrapearlos y luego exponerlos, hay algo
>     que me puedas recomendar ?
>
>     Saludos.
>
>     Diego.
>
>     El dom., 3 mar. 2019 a las 9:26, Carlos Matías
>     (<cmdelatorre en gmail.com <mailto:cmdelatorre en gmail.com>>) escribió:
>
>         Tanto Django cómo Flask son opciones válidas.
>
>         Si la app se resume a lo que detallas, Flask alcanza. Vas a
>         tener que "agregarle" algo para interactuar con la DB
>         (entiendo que suele ser SQLAlchemy) y algo de templates
>         (entiendo que se usa Jinja).
>
>         Todo eso viene resuelto en Django. Este me parece que
>         definitivamente conviene si necesitas manejar usuarios, algo
>         de permisos y pantallas o funcionalidades un poco más complejas.
>
>         Otra cosita, que no preguntaste pero puede servir, es que tal
>         vez existe ya un servicio tipo api rest que provea datos. Para
>         no tener que scrapearlos.
>         Si no existe, podrías exponer vos esa api rest ;-)
>
>         Saludos
>
>         On Sat, Mar 2, 2019, 20:55 Diego Carabajal
>         <diecarabajal en gmail.com <mailto:diecarabajal en gmail.com>> wrote:
>
>             Estimados:
>
>             Los consulto, dado que debo realizar una aplicación web
>             que scrapee cotizaciones de monedas de diferentes sitios
>             de bancos, que luego las guarde en una base de datos, que
>             haga un pequeño análisis comparando las cotizaciones del
>             día anterior, con las cotizaciones recién scrapeadas. y
>             que por último los muestre al usuario para que verifique
>             si esta todo ok (un caso de error, podría ser que un banco
>             no otorgue una cotización por ser feriado en ese país y en
>             ese caso, el usuario debería insertarla manualmente) y de
>             ser así pueda imprimir un reporte. Todo esto se debería
>             poder ejecutar a una determinada hora del día o a
>             requerimiento del usuario.
>
>             Para scrapear, tengo intenciones de usar scrapy y para la
>             base de datos estoy pensando en MySQL o Postgres. Pero no
>             estoy del todo seguro, sobre que utilizar para armar la
>             aplicación. Pensé en django y en flask.
>
>             Agradezco, que por favor me puedan recomendar que
>             herramienta puedo usar para armar la app y algún
>             comentario que consideren necesario sobre como realizar
>             esta tarea.
>
>             Saludos!
>
>             Diego.
>
>
>             _______________________________________________
>             Lista de Correo de PyAr - Python Argentina -
>             pyar en python.org.ar <mailto:pyar en python.org.ar>
>             Sitio web: http://www.python.org.ar/
>
>             Para administrar la lista (o desuscribirse) entrar a
>             http://listas.python.org.ar/listinfo/pyar
>
>             La lista de PyAr esta Hosteada en USLA - Usuarios de
>             Software Libre de Argentina - http://www.usla.org.ar
>
>         _______________________________________________
>         Lista de Correo de PyAr - Python Argentina -
>         pyar en python.org.ar <mailto:pyar en python.org.ar>
>         Sitio web: http://www.python.org.ar/
>
>         Para administrar la lista (o desuscribirse) entrar a
>         http://listas.python.org.ar/listinfo/pyar
>
>         La lista de PyAr esta Hosteada en USLA - Usuarios de Software
>         Libre de Argentina - http://www.usla.org.ar
>
>     _______________________________________________
>     Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>     <mailto:pyar en python.org.ar>
>     Sitio web: http://www.python.org.ar/
>
>     Para administrar la lista (o desuscribirse) entrar a
>     http://listas.python.org.ar/listinfo/pyar
>
>     La lista de PyAr esta Hosteada en USLA - Usuarios de Software
>     Libre de Argentina - http://www.usla.org.ar
>
>
> _______________________________________________
> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
> Sitio web: http://www.python.org.ar/
>
> Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar
-- 
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20190304/1264fa1b/attachment-0001.html>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: ara-san-juan.jpeg
Type: image/jpeg
Size: 42702 bytes
Desc: no disponible
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20190304/1264fa1b/attachment-0001.jpeg>