# -------------------------------------------------------
# robots.txt - UCH CEU (www.uchceu.es)
# Actualizado: junio 2025
# -------------------------------------------------------

# -------------------------------------------------------
# Crawlers estandar: reglas generales
# -------------------------------------------------------
User-agent: *
Disallow: /admin/
Disallow: /admin2/
Disallow: /*/admin/
Disallow: /actividades_culturales/
Disallow: /actividades/borradores/
Disallow: /futuro_alumno/
Disallow: /portales/
Disallow: /correo
Disallow: /intranet
Disallow: /actividades/etiquetas/
Disallow: /errors/
Disallow: /estudios/titulaciones/
Disallow: /formularios/
Disallow: /index.aspx
Disallow: /en/index.aspx
Disallow: /fr/index.aspx
Disallow: /buzon-sugerencias
Disallow: /politica-cookies
Disallow: /politica-privacidad
Disallow: /en/suggestion-mailbox
Disallow: /en/search
Disallow: /en/privacy-policy-social-networks
Disallow: /en/cookie-policy
Disallow: /buscador
Disallow: /medios-ceu/
Disallow: /manual/
Disallow: /models/
Disallow: /docs/nuevo-alumno/solicita-informacion/
Disallow: /docs/estudios/horarios/capacitacion/
Disallow: /docs/estudios/guias-docentes/capacitacion/
Disallow: /docs/estudios/otros/capacitacion/
Disallow: /nuevo-alumno/formularios/
Disallow: /estudios/grado/area-comunicacion
Disallow: /docs/nuevo-alumno/becas/humanitas/
Disallow: /docs/calendario-academico-2024-2025-eset.pdf
Disallow: /docs/estudios/auex/horario-24-25.pdf
Disallow: /docs/en/academic-calendar-2024-2025-salud.pdf
Disallow: /docs/calendario-academico-2024-2025-salud.pdf
Disallow: /docs/servicios/biblioteca/calendario-biblioteca-2024-25-valencia.pdf
Disallow: /docs/en/academic-calendar-2024-2025-veterinaria.pdf
Disallow: /docs/servicios/biblioteca/calendario-biblioteca-2024-25-castellon.pdf
Disallow: /docs/calendario-academico-2024-2025-elche.pdf
Disallow: /docs/calendario-academico-2024-2025-humanidades.pdf
Disallow: /docs/calendario-academico-2024-2025-castellon.pdf
Disallow: /docs/calendario-academico-2024-2025-derecho.pdf
Disallow: /futuro_alumno/landing/
Disallow: /futuro_alumno/landings/
Disallow: /futuro_alumno/landings-int/
Disallow: /futuro_alumno/new-landing/


# -------------------------------------------------------
# Motores de busqueda (Googlebot, bingbot, YandexBot, Slurp, etc.):
# heredan automaticamente las reglas de "User-agent: *" de arriba.
# NO se define un grupo propio a proposito: en robots.txt el grupo
# mas especifico REEMPLAZA por completo al de "*", no lo hereda.
# Un grupo aqui con "Allow: /" anularia todos los Disallow anteriores.
# -------------------------------------------------------

# -------------------------------------------------------
# AI crawlers - PERMITIDOS (generan visibilidad y trafico referido)
# Consultar llms.txt para orientacion de contenido
# -------------------------------------------------------
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: OAI-SearchBot
User-agent: anthropic-ai
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: YouBot
User-agent: cohere-ai
User-agent: Applebot-Extended
Allow: /
Disallow: /admin/
Disallow: /admin2/
Disallow: /*/admin/
Disallow: /futuro_alumno/
Disallow: /portales/
Disallow: /correo
Disallow: /intranet
Disallow: /formularios/
Disallow: /nuevo-alumno/formularios/
Disallow: /futuro_alumno/landing/
Disallow: /futuro_alumno/landings/
Disallow: /futuro_alumno/landings-int/
Disallow: /futuro_alumno/new-landing/

# -------------------------------------------------------
# AI scrapers - BLOQUEADOS (scraping/entrenamiento sin retorno)
# -------------------------------------------------------
User-agent: CCBot
User-agent: Bytespider
User-agent: Diffbot
User-agent: FacebookBot
User-agent: omgili
User-agent: omgilibot
User-agent: ImagesiftBot
User-agent: DataForSeoBot
User-agent: img2dataset
User-agent: Scrapy
User-agent: PetalBot
Disallow: /

# -------------------------------------------------------
# Sitemaps
# -------------------------------------------------------
Sitemap: https://www.uchceu.es/sitemap_index.xml
Sitemap: https://www.uchceu.es/sitemap.xml
Sitemap: https://www.uchceu.es/images_sitemap.xml
Sitemap: https://www.uchceu.com/en/sitemap_en.xml
Sitemap: https://www.uchceu.com/fr/sitemap_fr.xml