Friki Work

La recolección de datos de aplicaciones móviles puede ser un proceso complejo que a menudo implica la intercepción de tráfico de red para identificar puntos finales de API. Este artículo describe un enfoque para extraer imágenes y metadatos asociados, como nombres de anfitriones, identificadores de canal y ubicaciones, de una aplicación móvil u ...

Ejecución de Spiders mediante Scripts Aunque la interfaz de línea de comandos (CLI) es el método estándar para interactuar con Scrapy, existen escenarios donde es necesario iniciar el proceso de rastreo directamente desde un script de Python. Esto es particularmente útil para integrar el scraping en aplicaciones más grandes o tareas automatizad ...

Abstracción de Datos y Modelo Unificado El monitoreo de redes sociales exige manejar múltiples fuentes con APIs y estructuras disppares. Para integrar plataformas como Sina Weibo, Tencent Weibo y Hexun Weibo en un único flujo de trabajo, es fundamental diseñar una capa de abstracción robusta. El objetivo es normalizar los datos crudos en un mod ...

El módulo Selenium fue inicialmente diseñado como una herramienta de automatización de pruebas, pero en el scraping web se utiliza principalmente para resolver el problema de que requests no puede ejecutar directamente código JavaScript. En esencia, Selenium funciona controlando un navegador, simulando completamente las operaciones del navegado ...

La librería requests es una herramienta esencial en Python para interactuar con servicios web. A diferencia de urllib, ofrece una itnerfaz mucho más intuitiva y simplificada, actuando como un envoltorio de alto nivel sobre urllib3. Es importante destacar que requests solo descarga el contenido estático; no ejecuta código JavaScript, por lo que ...

Para extraer los datos del listado de las 250 mejores películas de Douban (posición, título, puntuación, frase destacada y enlace), utilizaremos las bibliotecas requests y BeautifulSoup en Python. La URL base implementa paginación mediante el parámetro start, el cual incrementa de 25 en 25: https://movie.douban.com/top250?start=0, start=25, etc ...