[pyar] Consulta sobre Aplicación web que scrapee cotizaciones de Bancos.

[Diego Carabajal]

Hola Juanmanuel,

Muchas gracias por la info!

Slds.

Diego.

El lun., 4 mar. 2019 a las 15:39, Juanmanuel (<jmdedio en gmail.com>) escribió:

> Carlos:
>
> Scrapy es de lo mejor que hay para web scraping, lo uso a diario desde
> hace bastante tiempo.  Sin embargo con javascript no se lleva bien.  Si te
> encontrás con sitios de contendio dinámico, la mejor opción es Selenium
> webdriver que incluso podés combinar con Scrapy, aunque tendrás que
> sacrificar tiempo y rendimiento.  Si usás Selenium podés virtualizar el
> navegador con pyvirtualdisplay.
>
> Eventualmente podés escrapear con urllib2 y re, si te animás o bien con
> requests y lxml que soporta xpath para parsear html.  Espero que sirva de
> guia.
>
> Saludos
> On 4/3/19 14:55, Carlos Matías wrote:
>
> No tengo experiencia con scrappers... Jugué con Scrapy
> <https://scrapy.org/> hace un millón de años y nada más.
>
> Carlos Matías
> @py_litox <https://twitter.com/py_litox>
>
>
> On Sun, Mar 3, 2019 at 9:37 PM Diego Carabajal <diecarabajal en gmail.com>
> wrote:
>
>> Hola Carlos,
>>
>> Muchas gracias por tu respuesta.
>>
>> Seguramente iré por la opción de Django...
>>
>> También voy a averiguar si existe algún servicio que me provea los datos
>> que necesito.
>>
>> En el caso de tener que scrapearlos y luego exponerlos, hay algo que me
>> puedas recomendar ?
>>
>> Saludos.
>>
>> Diego.
>>
>> El dom., 3 mar. 2019 a las 9:26, Carlos Matías (<cmdelatorre en gmail.com>)
>> escribió:
>>
>>> Tanto Django cómo Flask son opciones válidas.
>>>
>>> Si la app se resume a lo que detallas, Flask alcanza. Vas a tener que
>>> "agregarle" algo para interactuar con la DB (entiendo que suele ser
>>> SQLAlchemy) y algo de templates (entiendo que se usa Jinja).
>>>
>>> Todo eso viene resuelto en Django. Este me parece que definitivamente
>>> conviene si necesitas manejar usuarios, algo de permisos y pantallas o
>>> funcionalidades un poco más complejas.
>>>
>>> Otra cosita, que no preguntaste pero puede servir, es que tal vez existe
>>> ya un servicio tipo api rest que provea datos. Para no tener que
>>> scrapearlos.
>>> Si no existe, podrías exponer vos esa api rest ;-)
>>>
>>> Saludos
>>>
>>> On Sat, Mar 2, 2019, 20:55 Diego Carabajal <diecarabajal en gmail.com>
>>> wrote:
>>>
>>>> Estimados:
>>>>
>>>> Los consulto, dado que debo realizar una aplicación web que scrapee
>>>> cotizaciones de monedas de diferentes sitios de bancos, que luego las
>>>> guarde en una base de datos, que haga un pequeño análisis comparando las
>>>> cotizaciones del día anterior, con las cotizaciones recién scrapeadas. y
>>>> que por último los muestre al usuario para que verifique si esta todo ok
>>>> (un caso de error, podría ser que un banco no otorgue una cotización por
>>>> ser feriado en ese país y en ese caso, el usuario debería insertarla
>>>> manualmente) y de ser así pueda imprimir un reporte. Todo esto se debería
>>>> poder ejecutar a una determinada hora del día o a requerimiento del usuario.
>>>>
>>>> Para scrapear, tengo intenciones de usar scrapy y para la base de datos
>>>> estoy pensando en MySQL o Postgres. Pero no estoy del todo seguro, sobre
>>>> que utilizar para armar la aplicación. Pensé en django y en flask.
>>>>
>>>> Agradezco, que por favor me puedan recomendar que herramienta puedo
>>>> usar para armar la app y algún comentario que consideren necesario sobre
>>>> como realizar esta tarea.
>>>>
>>>> Saludos!
>>>>
>>>> Diego.
>>>>
>>>>
>>>> _______________________________________________
>>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>>> Sitio web: http://www.python.org.ar/
>>>>
>>>> Para administrar la lista (o desuscribirse) entrar a
>>>> http://listas.python.org.ar/listinfo/pyar
>>>>
>>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>>> Argentina - http://www.usla.org.ar
>>>
>>> _______________________________________________
>>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>>> Sitio web: http://www.python.org.ar/
>>>
>>> Para administrar la lista (o desuscribirse) entrar a
>>> http://listas.python.org.ar/listinfo/pyar
>>>
>>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>>> Argentina - http://www.usla.org.ar
>>
>> _______________________________________________
>> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
>> Sitio web: http://www.python.org.ar/
>>
>> Para administrar la lista (o desuscribirse) entrar a
>> http://listas.python.org.ar/listinfo/pyar
>>
>> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
>> Argentina - http://www.usla.org.ar
>
>
> _______________________________________________
> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
> Sitio web: http://www.python.org.ar/
>
> Para administrar la lista (o desuscribirse) entrar a http://listas.python.org.ar/listinfo/pyar
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de Argentina - http://www.usla.org.ar
>
> --
> _______________________________________________
> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
> Sitio web: http://www.python.org.ar/
>
> Para administrar la lista (o desuscribirse) entrar a
> http://listas.python.org.ar/listinfo/pyar
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20190304/41e3a723/attachment-0001.html>
------------ próxima parte ------------
A non-text attachment was scrubbed...
Name: ara-san-juan.jpeg
Type: image/jpeg
Size: 42702 bytes
Desc: no disponible
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20190304/41e3a723/attachment-0001.jpeg>