User-agent: *
Allow: /
#Disallow: /
#######################################
#### WORDPRESS DIRECTORIES & FILES ####
#######################################
Disallow: /wp-admin/
#######################################
############### SITEMAP ###############
#######################################
Sitemap: http://realhotproperty.com/sitemap.xml
#######################################
########### SCREAMING FROG ############
#######################################
User-agent: Screaming Frog SEO Spider
Allow: /
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /*.bmp$
Disallow: /*.xml$
Disallow: /*.css$
Disallow: /*.js$
Be the first to comment
You can use [html][/html], [css][/css], [php][/php] and more to embed the code. Urls are automatically hyperlinked. Line breaks and paragraphs are automatically generated.