# robots.txt for aobang2013.com

User-agent: *
Allow: /

# 禁止抓取内部文件
Disallow: /js/
Disallow: /*.json$

# 站点地图
Sitemap: https://www.aobang2013.com/sitemap.xml

# 主要搜索引擎
User-agent: Googlebot
Allow: /

User-agent: Baiduspider
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Slurp
Allow: /

User-agent: Sogou
Allow: /

User-agent: 360Spider
Allow: /

# AI爬虫允许
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

# 抓取延迟（可选）
Crawl-delay: 1