La adaptación de sitios web a múltiples dispositivos mediante diseños responsivos ha complicado las tareas tradicionales de web scraping. Las herramientas convencionales a menudo fallan al interpretar estructuras DOM que cambian dinámicamente según el tamaño de la pantalla. Para abordar este desafío en el ecosistema de PHP, es fundamental simular correctamente los encabezados HTTP de dispositivos móviles y utilizar analizadores DOM robustos.

Configuración del Entorno y Dependencias

Aunque la librería Goutte fue históricamente el estándar para el scraping en PHP, a partir de su versión 4.0, el mantenimiento se transfirió directamenet a los componentes de Symfony. Por lo tanto, la práctica recomendada actualmente es utilizar Symfony\Component\BrowserKit\HttpBrowser junto con el cliente HTTP de Symfony.

Requisitos previos:

• PHP 7.2 o superior (se recomienda PHP 8.x para mejor rendimiento y tipado estricto).
• Composer para la gestión de paquetes.
• Extensiones php-curl, php-xml y php-dom habilitadas.

Instalación de los componentes necesarios mediante Composer:

composer require symfony/browser-kit symfony/http-client symfony/css-selector symfony/dom-crawler

Simulación de Navegadores Móviles

El primer paso para obtener la versión móvil de un sitio web responsivo es configurar el encabezado User-Agent. Esto instruye al servidor para que sirva el HTML optimizado para pantallas táctiles y resoluciones menores.

<?php
require 'vendor/autoload.php';

use Symfony\Component\HttpClient\HttpClient;
use Symfony\Component\BrowserKit\HttpBrowser;

// Configuración de opciones del cliente HTTP
$opcionesHttp = [
    'headers' => [
        'User-Agent' => 'Mozilla/5.0 (Linux; Android 11; SM-G991B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.120 Mobile Safari/537.36',
        'Accept-Language' => 'es-ES,es;q=0.9',
    ],
    'timeout' => 30,
    'max_redirects' => 5,
];

$httpClient = HttpClient::create($opcionesHttp);
$navegadorMovil = new HttpBrowser($httpClient);

Extracción y Análisis del DOM Responsivo

Una vez obtenida la respuesta, utilizamos el componente DomCrawler para navegar por el árbol HTML. Los selectores CSS son cruciales para identificar elementos que solo se renderizan en la vista móvil, como menús de navegación colapsables o tarjetas de contenido simplificadas.

// Realizar la petición GET a la URL objetivo
$navegadorMovil->request('GET', 'https://ejemplo.com/seccion-movil');

// Obtener el objeto Crawler para manipular el DOM
$analizadorDom = $navegadorMovil->getCrawler();

// Extraer elementos del menú de navegación móvil
$enlacesMoviles = $analizadorDom->filter('nav.mobile-menu a')->each(function ($nodo) {
    return [
        'etiqueta' => trim($nodo->text()),
        'destino' => $nodo->attr('href')
    ];
});

// Extraer bloques de contenido adaptativo
$tarjetasContenido = $analizadorDom->filter('div.card-responsive')->each(function ($nodo) {
    return [
        'titulo' => $nodo->filter('h3.card-title')->text(),
        'descripcion' => $nodo->filter('p.card-text')->text(),
        'imagen_src' => $nodo->filter('img.card-img')->attr('src')
    ];
});

Manejo de Contenido Dinámico

Los sitios web modernos a menudo cargan datos adicionales mediante peticiones AJAX después de la carga inicial del DOM. Aunque se pueden implementar pausas básicas, en entornos de producción es preferible interceptar las llamadas XHR o utilizar navegadores sin cabeza (Headless browsers) como Symfony Panther para ejecutar el JavaScript de manera controlada.

// Ejemplo de espera básica (no recomendado para producción debido a su naturaleza bloqueante)
// usleep(2000000); 

// En su lugar, se recomienda analizar la red para encontrar el endpoint API directo
// o utilizar Symfony Panther para esperar selectores específicos de forma asíncrona:
// $crawler = $pantherClient->waitFor('.datos-dinamicos');

Implementación Completa de Extracción de Artículos

A continuación se muestra un script integral que consolida la configuración del cliente, la petición y el mapeo de datos utilizando un enfoque orientado a objetos para una lista de artículos en una vista móvil.

<?php
require 'vendor/autoload.php';

use Symfony\Component\HttpClient\HttpClient;
use Symfony\Component\BrowserKit\HttpBrowser;

class ExtractorMovil
{
    private HttpBrowser $navegador;

    public function __construct()
    {
        $cliente = HttpClient::create([
            'headers' => [
                'User-Agent' => 'Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1'
            ]
        ]);
        $this->navegador = new HttpBrowser($cliente);
    }

    public function obtenerArticulos(string $url): array
    {
        $this->navegador->request('GET', $url);
        $dom = $this->navegador->getCrawler();

        return $dom->filter('article.post-mobile')->each(function ($articulo) {
            return [
                'encabezado' => $articulo->filter('h2.post-title')->text(),
                'resumen' => $articulo->filter('.post-excerpt')->text(),
                'url_detalle' => $articulo->filter('a.read-more')->attr('href'),
                'autor' => $articulo->filter('span.author-name')->text()
            ];
        });
    }
}

// Ejecución del extractor
$extractor = new ExtractorMovil();
$resultados = $extractor->obtenerArticulos('https://ejemplo.com/blog-movil');

foreach ($resultados as $item) {
    echo "Título: " . $item['encabezado'] . PHP_EOL;
}

Prácticas Recomendadas

• Respeto a los protocolos: Siempre revise el archivo robots.txt del sitio objetivo y configure retardos adecuados entre peticiones para no saturar el servidor.
• Manejo de errores: Implemente bloques try-catch para manejar excepcioens de red, tiempos de espera agotados o respuestas HTTP 403/429.
• Rotación de User-Agents: Para evitar bloqueos por huella digital, mantenga una lista de múltiples User-Agents móviles y rótelo en cada petición.