Robot txt “rehber” sözcüğü ile açıklanabilir. Söz konusu teknoloji ile botlarınız sitenize geldiğinde ne yapacakları ya da ne yapmayacakları ortaya çıkacaktır. Botlar sitede neyi indekslemeleri ya da neyi indekslememeleri gerektiğini böylelikle anlayacaktır. Robot txt sayesinde botlar sitenize crawl için geldiğinde sizin tarafınızdan belirlenen yerler crawl edilecektir. Aynı zamanda sizin için belirlenen komutlar algılanacak ve böylelikle crawl işlemi başlayacaktır. Robot.txt ile ilgili bir sorununuz olduğunda bu sorun aynı zamanda crawl işlemine de yansıyacaktır. Sitenizin crawl edilmesi bu durumda söz konusu olmayacaktır. Genellikle Robots.txt dosyaları oluşturulduktan sonra sitenizin alanının kök dizinine kayıt edilecektir. Yanlış bir yere kaydetmeniz durumunda botlar tarafından bulunamayacaktır.
Sitemap ise Google botlarının siteye ait içeriğiindekslemesi için geliştirilen bir araçtır. Sitede yayınlanan içeriğe ait linklerin neler olduğu konusunda bilgi veren ve Google’un daha rahat bir şekilde siteyi indekslemesini sağlayan bir sistemdir. Genellikle xml ya da php uzantılıdır. Söz konusu dosya Google’ın webmaster araçları bölümünden rahatlıkla eklenebilir.