# https://www.robotstxt.org/robotstxt.html
# yu808.com robots.txt (SEO & GEO Optimized)

# ============================================================
# 1. 通用搜尋引擎爬蟲（Googlebot, Bingbot 等所有常規爬蟲）
# ============================================================
User-agent: *
Allow: /
# 關鍵：允許爬取 Astro 建置資源（JavaScript / CSS / 媒體），確保頁面能完整渲染
Allow: /_astro/
# 允許 AI 摘要與知識檔案
Allow: /llms.txt
# 防護與非公開路徑（防範無效抓取）
Disallow: /admin/
Disallow: /api/

# ============================================================
# 2. AI 搜尋與引用爬蟲（GEO 最佳化，支援 ChatGPT / Perplexity / Claude 等）
# ============================================================
# OpenAI (ChatGPT 搜尋、用戶即時檢索、模型抓取)
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User

# Perplexity AI (搜尋索引、用戶即時檢索)
User-agent: PerplexityBot
User-agent: Perplexity-User

# Anthropic (Claude 搜尋、用戶即時檢索、模型抓取)
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: anthropic-ai

# Apple Intelligence
User-agent: Applebot
User-agent: Applebot-Extended

# 公共 AI 資料集 (Common Crawl / Google AI)
User-agent: CCBot
User-agent: Google-Extended

# 規則設定：全站內容與資源開放引用與檢索
Allow: /
Allow: /_astro/
Allow: /llms.txt
Disallow: /admin/
Disallow: /api/

# ============================================================
# 3. 網站地圖與 AI 摘要指南
# ============================================================
Sitemap: https://yu808.com/sitemap-index.xml
# LLMs Full Context: https://yu808.com/llms.txt