User-agent: *
Allow: /main
Allow: /sitemap.xml.gz
Allow: /urllist.txt
Allow: /sitemap.html
Allow: /ror.xml
Allow: /sitemap.xml