В этой статье на примерах разберемся как правильно составить robots.txt для Яндекса, где проверить готовый файл robots.
Будем избавляться от дублированного контента.