#
# Högskolan i Borås - Robots.txt Master Template (Korrigerad för Renderingsstöd + Crawl-budget, sep 2026)
#

# GROUP 1: GODKÄNDA SÖKMOTORER (Standard)
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Bingbot
User-agent: Applebot
User-agent: DuckDuckBot

# CRITICAL FIX: Tillåt rendering av CSS, JavaScript och bilder i systemmappar
# Detta löser Screaming Frog- / Googlebot-kritiken gällande blockerade renderingsresurser
# Måste stå i just denna grupp — Googlebot m.fl. läser ENDAST sin egen mest specifika
# User-agent-grupp, aldrig reglerna under "User-agent: *" längre ner i filen
Allow: /util/*.js
Allow: /util/*.css
Allow: /util/*.png
Allow: /util/*.jpg
Allow: /util/*.gif
Allow: /App_Themes/*.css
Allow: /App_Themes/*.js
Allow: /App_Themes/*.png
Allow: /App_Themes/*.jpg

# Kritiska system- och administratörsmappar (Optimizely / EpiServer)
Disallow: /EPiServer/
Disallow: /util/
Disallow: /App_Themes/
Disallow: /ErrorPage.aspx

# Trasigt/internt API — svarar med serverfel, ska aldrig crawlas
Disallow: /api/

C
Disallow: /sok/
Disallow: /sokresultat/
Disallow: /search-results/
Disallow: /*?q=
Disallow: /*&q=

# Blockera sorterings- och filtreringsparametrar som skapar dubbletter
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sortorder=

# Blockera spårningsparametrar som skapar indexerbara dubbletter
Disallow: /*?utm_*
Disallow: /*&utm_*
Disallow: /*?trk=
Disallow: /*&trk=

# Rädda Harvardguiden och trafikdrivande PDF:er i mediabiblioteket
Allow: /globalassets/*.pdf
Allow: /globalassets/*/*.pdf
Disallow: /globalassets/

Allow: /

# GROUP 2: GODKÄNDA AI-AGENTER (Trafikdrivande / Sök)
User-agent: Google-Extended
User-agent: PerplexityBot
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot

# Samma renderingsundantag som Grupp 1 — av samma skäl: dessa agenter läser
# bara sin egen grupp, inte reglerna under "User-agent: *"
Allow: /util/*.js
Allow: /util/*.css
Allow: /util/*.png
Allow: /util/*.jpg
Allow: /util/*.gif
Allow: /App_Themes/*.css
Allow: /App_Themes/*.js
Allow: /App_Themes/*.png
Allow: /App_Themes/*.jpg

# Samma blockeringar som Grupp 1 — AI-agenterna ska heller inte slösa crawl-budget
# på systemmappar, sökresultat, filter- eller spårningsparametrar
Disallow: /EPiServer/
Disallow: /util/
Disallow: /App_Themes/
Disallow: /ErrorPage.aspx
Disallow: /api/
Disallow: /sok/
Disallow: /sokresultat/
Disallow: /search-results/
Disallow: /*?q=
Disallow: /*&q=
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sortorder=
Disallow: /*?utm_*
Disallow: /*&utm_*
Disallow: /*?trk=
Disallow: /*&trk=
Allow: /globalassets/*.pdf
Allow: /globalassets/*/*.pdf
Disallow: /globalassets/

Allow: /

# GROUP 3: GODKÄNDA SOCIALA MEDIER & SEO-VERKTYG
User-agent: LinkedInBot
User-agent: Twitterbot
User-agent: facebookexternalhit
User-agent: AhrefsBot
User-agent: SemrushBot
Allow: /

# ==========================================================
# GROUP 4: GLOBALA BLOCKERINGSREGLER & OPTIMIZELY SPECIFIKT
# (gäller alla övriga crawlare som inte namnges ovan)
# ==========================================================
User-agent: *

# CRITICAL FIX: Tillåt rendering av CSS, JavaScript och bilder i systemmappar
# Detta löser Screaming Frog- / Googlebot-kritiken gällande blockerade renderingsresurser
Allow: /util/*.js
Allow: /util/*.css
Allow: /util/*.png
Allow: /util/*.jpg
Allow: /util/*.gif
Allow: /App_Themes/*.css
Allow: /App_Themes/*.js
Allow: /App_Themes/*.png
Allow: /App_Themes/*.jpg

# Kritiska system- och administratörsmappar (Optimizely / EpiServer)
Disallow: /EPiServer/
Disallow: /util/
Disallow: /App_Themes/
Disallow: /ErrorPage.aspx

# Trasigt/internt API — svarar med serverfel, ska aldrig crawlas
Disallow: /api/

# Blockera interna sökfunktioner och oändlig paginering (Baserat på SEMrush-analys)
Disallow: /sok/
Disallow: /sokresultat/
Disallow: /search-results/
Disallow: /*?q=
Disallow: /*&q=

# Blockera övriga sorterings- och filtreringsparametrar som skapar dubbletter
Disallow: /*?page=
Disallow: /*?sort=
Disallow: /*&sortorder=

# Blockera spårningsparametrar som skapar indexerbara dubbletter
Disallow: /*?utm_*
Disallow: /*&utm_*
Disallow: /*?trk=
Disallow: /*&trk=

# Rädda Harvardguiden och trafikdrivande PDF:er i mediabiblioteket
# Vi måste tillåta .pdf-filer innan vi stänger av åtkomsten till resten av mappen
Allow: /globalassets/*.pdf
Allow: /globalassets/*/*.pdf
Disallow: /globalassets/

# Officiell Sitemap Index-länk
Sitemap: https://www.hb.se/sitemap.xml