Информация

"4admins.ru" Рекомендует

robots.txt

Поиск не дал результатов? Смело создавай свою тему
  • Автор 
    Сообщение
Аватара пользователя
Сообщения: 7057
Зарегистрирован: 11 авг 2009, 16:58
Благодарил (а): 660
Поблагодарили: 2353 раз в 1750 сообщениях
Город: Москва
Пол: Мужской
Адрес форума: http://help.4admins.ru
Баллы репутации: 167

Re: robots.txt

Сообщение Добавлено: 23 фев 2016, 23:09

"Sirius" писал(а):
практически весь контент?

дублированный контент
viewtopic.php?f=52&t=4622
viewtopic.php?f=52&t=4622&unread#p33777
Ссылки разные, контент один
На этом сервисе можно cоздать форум бесплатно

Аватара пользователя
Сообщения: 145
Зарегистрирован: 16 авг 2009, 22:43
Благодарил (а): 29
Поблагодарили: 39 раз в 25 сообщениях
Адрес форума: http://gta-life.ru/
Баллы репутации: 6

Re: robots.txt

Сообщение Добавлено: 03 апр 2019, 11:50

Здравствуйте.
Через поиск по данному форуму была обнаружена информация, что " robots.txt" не доступен администраторам форумов к самостоятельной загрузке и редактированию. Хотелось бы уточнить, это действительно так?
Дело в том, что мне на почту пришло письмо от Яндекс.Вебмастер в котором сообщается:
Код: Выделить всё
При последнем обращении к файлу robots.txt сайта gta-life.ru наши роботы обнаружили, что сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска.

Проверьте robots.txt и снимите установленный запрет. Если запрета уже нет, то сайт начнет индексироваться в течение 2 недель.


Вопрос, если не трудно подскажите, какие действия от меня требуются?

Изображение

Код результата анализа robots.txt, со страницы Вебмастера:
Код: Выделить всё
User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /search.php
Disallow: /memberlist.php
Disallow: /ucp.php
Disallow: /faq.php
Disallow: /posting.php
Disallow: /viewonline.php
Disallow: /reputation.php
Disallow: /cron.php
Disallow: /report.php
Disallow: /loc.php
Disallow: /thanks.php
Disallow: /reputation.php
Disallow: /viewreputation.php
Disallow: /portal.php?m=
Disallow: /portal*&m=*
Disallow: /portal.php?np=
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /*&style=*
Disallow: /*?style=*
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 10
Host: gta-life.ru
Дорога возникает под ногами идущего. Форум GTA |

Аватара пользователя
Сообщения: 619
Зарегистрирован: 18 июл 2012, 17:51
Благодарил (а): 13
Поблагодарили: 237 раз в 212 сообщениях
Пол: Мужской
Адрес форума: http://cabinetadmina.ru
Баллы репутации: 53

Re: robots.txt

Сообщение Добавлено: 03 апр 2019, 17:41

Здравствуйте.

Действительно, администраторы форумов не могут загружать свой или вносить правки в файл robots.txt, это обусловлено спецификой сервиса форумов. Файл robots.txt оптимизирован таким образом, чтобы исключить из поиска дубли страниц, а так же те страницы, которые не нужны в поисковой выдаче. Почитайте тему, здесь есть примеры ссылок на одну и ту же страницу.
http://cabinetadmina.ru/ - Сервис по оптимизации, модернизации и раскрутке ваших форумов.

За это сообщение пользователя CornerAdmin поблагодарили:
GoDFaTHeR


Вернуться в Вопросы новичков

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2