# 51黑料网 — 站群 robots.txt（SEO 优化版）
# 规则：全部使用根相对路径，适配随机绑定域名
# 禁止：绝对域名 URL、Host 指令、Sitemap 写死域名
# 订阅：/rss.xml 与 /feed.xml 内容一致（相对路径双入口）

User-agent: *
Allow: /
Allow: /heiliao/
Allow: /zhengrong/
Allow: /gossip-ranking/
Allow: /comment-ranking/
Allow: /about/
Allow: /detail/
Allow: /images/
Allow: /assets/
Allow: /sitemap.xml
Allow: /rss.xml
Allow: /feed.xml
Disallow: /cgi-bin/
Disallow: /*?*utm_
Disallow: /*?*__path=
Disallow: /index.php

# —— 国内搜索引擎 ——
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

User-agent: Baiduspider-image
Allow: /

User-agent: Baiduspider-video
Allow: /

User-agent: Baiduspider-news
Allow: /

User-agent: Sogou web spider
Allow: /
Crawl-delay: 1

User-agent: Sogou News Spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: 360Spider-Image
Allow: /

User-agent: Bytespider
Allow: /

User-agent: YisouSpider
Allow: /

User-agent: Sosospider
Allow: /

# —— 国际搜索引擎 ——
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: Bingbot
Allow: /

User-agent: DuckDuckBot
Allow: /

User-agent: Yandex
Allow: /

# 站点地图（根相对路径，爬虫按当前访问域名解析）
Sitemap: /sitemap.xml

# RSS / Feed（根相对路径双入口，勿写死域名）
# /rss.xml
# /feed.xml
# /feed