User-agent: *
Disallow: /
Allow: /js
Allow: /css


User-agent: Twitterbot
Disallow: /
Allow: /js
Allow: /css
Allow: /img
Allow: /files
Allow: /mediaproxy