# robots.txt für Haslident
# Optimiert für SEO und Suchmaschinen-Crawling

# Allgemeine Regeln für alle Bots
User-agent: *
Allow: /

# Rechtliche Seiten nicht crawlen (haben noindex Meta-Tag)
Disallow: /impressum
Disallow: /datenschutz

# Admin-Bereiche und technische Ordner ausschließen
Disallow: /admin/
Disallow: /var/
Disallow: /vendor/
Disallow: /_profiler/
Disallow: /_wdt/

# Temporäre und Cache-Dateien
Disallow: /tmp/
Disallow: /cache/

# Spezielle Regeln für Google Bot
User-agent: Googlebot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

# Spezielle Regeln für Bing Bot
User-agent: Bingbot
Allow: /
Disallow: /impressum
Disallow: /datenschutz

# Sitemap-Verweis (wichtig für SEO)
Sitemap: https://haslident.ch/sitemap.xml

# Crawl-Delay für weniger wichtige Bots
User-agent: *
Crawl-delay: 1