Robots.txt

É uma linguagem para os bots. Ela tem como propósito indicar aos bots quais páginas do seu site devem ser rastreadas e quais podem ser desconsideradas.