User-agent: * # правила для всех роботов Disallow: /manager/ # авторизация Disallow: /assets/components/ # папка с файлами modx пакетов Disallow: /core/ # папка с системными файлами modx Disallow: /connectors/ # папка с системными файлами modx Disallow: /index.php # дубль главной страницы index.php Disallow: /*? # удаляем дубли для всех страниц (с параметрами) Disallow: /*% Disallow: /*& Disallow: /*openstat= # ссылки с метками openstat Disallow: /*from= # ссылки с метками from Disallow: /order-submit # для закрытия от индексации страниц корзины Disallow: /compare # для закрытия от индексации страниц сравнения товаров Disallow: /*search-results Disallow: /*utm Disallow: /*gad_source Disallow: /*gbraid Disallow: /*&price= Allow: /*?brand= Allow: /*.jpg # здесь и далее открываем для индексации изображения, скрипты и прочие файлы Allow: /*.jpeg Allow: /*.gif Allow: /*.png Allow: /*.pdf Allow: /*.doc Allow: /*.docx Allow: /*.xls Allow: /*.xlsx Allow: /*.ppt Allow: /*.pptx Allow: /*.css Allow: /*.js Allow: /*?page # открываем для индексации страницы пагинации (и проверьте, чтобы для них был настроен canonical) User-agent: Yandex Disallow: /manager/ Disallow: /assets/components/ Disallow: /core/ Disallow: /connectors/ Disallow: /index.php Disallow: /*? Disallow: /*% Disallow: /*& Disallow: /*& Disallow: /*&* Disallow: /*& Disallow: /*openstat= Disallow: /*from= Disallow: /order-submit Disallow: /compare Disallow: /*search-results Disallow: /*utm Disallow: /*gad_source Disallow: /*gbraid Disallow: /*&price= Allow: /*?brand= Allow: /*.jpg Allow: /*.jpeg Allow: /*.gif Allow: /*.png Allow: /*.pdf Allow: /*.doc Allow: /*.docx Allow: /*.xls Allow: /*.xlsx Allow: /*.ppt Allow: /*.pptx Allow: /*.css Allow: /*.js Allow: /*?page Clean-param: utm Clean-param: gad_source Clean-param: gbraid Sitemap: http://letra.by/sitemap.xml