Por qué necesitas proxies Scrapy Cloud para escalar tu scraping
Si alguna vez has lanzado una araña de Scrapy Cloud contra un sitio con protecciones anti-bot, ya sabes cómo acaba la cosa: a los pocos minutos la tasa de éxito se desploma. Códigos 403, captchas, IPs baneadas, timeouts eternos. La razón es simple. scraping.com (y casi cualquier objetivo serio) limita las peticiones por IP, y cuando ejecutas jobs a gran escala desde los servidores de Zyte todas tus peticiones salen desde un puñado de IP de datacenter que los sitios conocen perfectamente y bloquean sin despeinarse.
¿La salida? Integrar proxies dedicados en tu proyecto. A lo largo de este artículo veremos cómo hacerlo paso a paso, qué configuraciones funcionan mejor y cómo aprovechar proxies con tráfico ilimitado para que los costes no se te disparen cuando el proyecto crece.
Arquitectura recomendada: proxies dedicados + Scrapy Cloud
Antes de tocar código, conviene entender qué diferencia a los proxies rotativos compartidos de los dedicados:
- Proxies compartidos rotativos: baratos, sí, pero las IP llegan ya quemadas por otros usuarios. Tasa de bloqueo altísima en objetivos con Cloudflare, Akamai o Datadome.
- Proxies dedicados: las IP son exclusivas tuyas, con reputación limpia y control total. Aquí es donde quieres estar si tu objetivo maneja sesiones, login o rate limits estrictos.
Para proyectos en Scrapy Cloud recomendamos proxies HTTP/s y SOCKSv5 dedicados y anónimos, como los que ofrece ProxySEO con IPs españolas y tráfico ilimitado: pagas por puerto, no por gigabita, así que pasar de 1 millón a 50 millones de páginas no se traduce en una factura desorbitada.
Configuración básica de proxies en settings.py
La forma más directa de asignar un proxy a todas las peticiones de tu spider es mediante la configuración de Scrapy:
Ejemplo de settings.py:
PROXY_URL = «http://usuario:contraseña@proxy.proxyseo.es:8080»
DOWNLOAD_DELAY = 1.5
CONCURRENT_REQUESTS = 16
USER_AGENT = «Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36»
Dato útil: Scrapy respeta automáticamente las variables de entorno HTTP_PROXY y HTTPS_PROXY. Esto viene de perlas en Scrapy Cloud, donde puedes definirlas desde el panel del proyecto (Settings → Add-ons → Environment Variables) sin exponer credenciales en el repositorio.
Middleware personalizado para rotación de proxies dedicados
Con varias IP dedicadas (piensa en un pool de 10 proxies españoles), lo lógico es rotarlas. Un middleware sencillo basta:
middotwares.py:
import random, os
class ProxyRotationMiddleware:
def __init__(self):
self.proxies = os.environ.get(«PROXY_LIST», «»).split(«,»)
def process_request(self, request, spider):
request.meta[«proxy»] = random.choice(self.proxies)
Y lo activas en settings con la clave SPIDER_MIDDLEWARES o, mejor aún, como downloader middleware. Como cada IP dedicada y anónima mantiene una reputación independiente, conviene añadir un sistema de «salud»: si una IP acumula varios 403 seguidos, márcala como sospechosa durante 15 minutos y sácala de la rotación un tiempo. Barato de implementar y salva scrapes enteros.
Manejo de errores y reintentos con cambio de proxy
Configura RETRY_ENABLED = True y personaliza RETRY_HTTP_CODES para incluir 403, 429 y 503. En tu middleware de reintentos, fuerza un proxy distinto en cada reintento. Con eso, un ban temporal se convierte en una pausa de unos segundos en tu pipeline. Nada más.
Buenas prácticas para extracción a gran escala
- Respeta los rate limits por IP: con 10 proxies dedicados, no multipliques CONCURRENT_REQUESTS_PER_IP por 10 sin más. Un valor de 4-8 peticiones concurrentes por IP suele ser seguro.
- Usa AutoThrottle: AUTOTHROTTLE_ENABLED = True adapta la velocidad a la respuesta real del servidor y reduce bans.
- Aleatoriza delays: en lugar de un DOWNLOAD_DELAY fijo, usa DOWNLOAD_DELAY = 1 y RANDOMIZE_DOWNLOAD_DELAY = True (es el comportamiento por defecto).
- Session stickiness: para flujos con login o carritos, asigna siempre la misma IP dedicada a la misma sesión.
- Monitoriza con dashboards: Scrapy Cloud ofrece estadísticas por job; añade logs de proxy para detectar IP degradadas antes de que arruinen un scrapeo de 12 horas.
- Geolocaliza correctamente: si extraes datos de mercado español (precios, SEO local, inmobiliaria), usa IPs españolas para ver exactamente lo que ve un usuario local.
Integración con agentes IA mediante MCP
Cada vez más, agentes de IA orquestan tareas de scraping. Si tu stack incluye agentes basados en LLM, puedes exponer tu infraestructura de proxies a través del soporte MCP (Model Context Protocol) que ofrecen proveedores como ProxySEO. Con eso, el agente puede gestionar rotaciones, supervisar el estado de las IP o lanzar jobs en Scrapy Cloud mediante la API de Zyte de forma autónoma. ¿El fin del script programado? Quizá no del todo, pero sí un cambio de era: ahora el agente decide cuándo y cómo extraer.
Preguntas frecuentes sobre proxies Scrapy Cloud
¿Puedo usar SOCKSv5 en Scrapy Cloud?
Sí. Instala scrapy[socks] (incluye el paquete PySocks) y usa la URI socks5:// en request.meta[«proxy»]. Los proxies SOCKSv5 dedicados de ProxySEO funcionan sin configuración adicional.
¿Tráfico ilimitado significa realmente ilimitado?
En ProxySEO, sí: el plan se basa en puertos dedicados, no en consumo de GB, lo que elimina sorpresas en proyectos de millones de páginas.
¿Cuántos proxies dedicados necesito?
Regla práctica: 1 IP dedicada por cada 3-5 dominios objetivo de dificultad media, o 1 por dominio si el objetivo tiene protección anti-bot agresiva.
Conclusión: escala sin bloqueos ni sorpresas en la factura
Integrar proxies dedicados en Scrapy Cloud es, en la práctica, la diferencia entre un proyecto de extracción que muere a las dos horas y un pipeline estable que corre 24/7. IP dedicadas españolas, middleware de rotación con control de salud, variables de entorno seguras y AutoThrottle: con esa combinación puedes escalar a millones de páginas con tasas de éxito superiores al 95%.
El modelo de tráfico ilimitado de ProxySEO, por su parte, elimina el mayor riesgo económico del scraping a gran escala: las facturas por GB. Con proxies HTTP/s y SOCKSv5 dedicados, anónimos y con soporte MCP para agentes IA, tienes infraestructura tanto para scrapers clásicos como para la nueva generación de agentes autónomos. Mi consejo: empieza con un pool pequeño de IP dedicadas, monitoriza, ajusta los rate limits y escala poco a poco. Tus dashboards de Scrapy Cloud lo agradecerán.