Friki Work

Para construir un scraper que descargue cómics de sitios web, empleamos Python con bibliotecas específicas. Las herramientas clave incluyen requests para solicitudes HTTP, BeautifulSoup para el análisis del DOM HTML, y threading para gestionar descargas concurrentes. El proceso general se divide en tres fases: obtención de datos iniciales, extr ...

Control de Acceso Cortés en Rastreadores Web usando Goutte El scraping web con Goutte frecuentemente resulta en bloqueos de IP o rechazos de solicitudes. Aunque Goutte carece de funciones de limitación de velocidad, es posible extenderlo para desarrollar rastreadores que respeten los servidores objetivo y mantengan eficiencia. Este artículo det ...

Colly es un framework de web scraping para Go que destaca por su capacidad para manejar múltiples protocolos de comunicación. Esta guía técnica explora cómo implementar recolección de datos sobre HTTP, HTTPS y WebSocket utilizando esta biblioteca. Ventajas técnicas de Colly para scraping multiprotocolo El ecosistema actual de aplicaciones web r ...

Un proxy por túnel (Tunnel Proxy) actúa como un intermediario que establece un canal de comunicación ancriptado entre un cliente y un serivdor remoto. Este mecanismo es frecuentemente utilizado para eludir restricciones de red o para añadir una capa extra de seguridad a la comunicación. Funcionalidades Principales Enmascaramiento de Dirección ...

Anatomía de las peticiones web Para capturar datos renderizados por el cliente, se pueden usar herramientas de captura de paquetes: F12 (o clic derecho → Inspeccionar) → Network → aquí se pueden encontrar tanto la estrutcura como los datos. Usa Headers y Preview para examinarlos. Protocolo HTTP Un protocolo es un acuerdo formal entre dos comput ...

En el desarrollo de software y el procesamiento de datos, frecuentemente es necesario interactuar con sitios web para realizar tareas como iniciar sesión en sistemas, extraer información, completar formularios o validar funcionalidades. Realizar estas acciones de forma manual es propenso a errores e ineficiente. La biblioteca MechanicalSoup en ...

Simulación de Entorno RUIS 6: Cinco Estrategias Fundamentales para Construir una Cadena de Proxy DOM Robusta Recientemente, mientras analizaba sitios web que emplean técnicas de seguridad dinámica, el mecanismo anti-rastreo de RUIS 6 representó un desafío significativo en el trabajo de igneniería inversa. A diferencia del ofuscamiento de código ...

Introducción a las tablas HTML y su extracción Las tablas HTML son una estructura común para organizar datos en sitios web, como informes financieros o listados de productos. Para utilizar estos datos, es necesario extraerlos del diseño web. Esta guía explica cómo lograrlo con Python, cubriendo desde tablas estáticas simples hasta escenarios di ...

Este crawler se desarrolla para automatizar la obtención de noticias populares de fuentes como Baidu, filtrar contenido relevante de Sohu, e incorporarlo en una base de datos de WordPress, además de enviar URLs a Baidu para indexación. Componentes principales El sistema se compone de módulos PHP para el raspado web, manejo de base de datos, y e ...

Simulación de Inicio de Sesión en el Sitio Web 12306 Contenido- Simulación de Inicio de Sesión en el Sitio Web 12306 Preparación Análisis de Reuqisitos Implementación del Código (este código es solo para fines educativos, no usar con fines ilegales) Preparación Sitio Objetivo: https://kyfw.12306.cn/otn/login/init Instalar módulo PIL: pip3 ins ...