# -----------------------------------------------------------------------------
# 禁止爬虫爬取无效URL，提升网站核心静态资源抓取及索引效率。
# 无效URL包含:已下线产品线的URL，全动态URL，需权限验证的URL，存在问题的旧静态URL
# 等各种无需被SE收录的URL。
# -----------------------------------------------------------------------------
User-agent: DotBot
Disallow: /

User-agent: VelenPublicWebCrawler
Disallow: /

User-agent: Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1
Disallow: /

User-agent: *
Disallow: /js/
Disallow: /styles/
Disallow: /css/
Disallow: /statics/
Disallow: /vendor/
Disallow: /template
Disallow: /favicon.ico