Robot txt “rehber” sözcüğü ile açıklanabilir. Söz konusu teknoloji ile botlarınız sitenize geldiğinde ne yapacakları ya da ne yapmayacakları ortaya çıkacaktır. Botlar sitede neyi indekslemeleri ya da neyi indekslememeleri gerektiğini böylelikle anlayacaktır. Robot txt sayesinde botlar sitenize crawl için geldiğinde sizin tarafınızdan belirlenen yerler crawl edilecektir. Aynı zamanda sizin için belirlenen komutlar algılanacak ve böylelikle […]