Правильный robots.txt

[Дмитрий Кондин 690]

6 минут назад, Helenblondi сказал:

 а я вижу. из за Disallow: /template робот не корректно обрабатывает страницы и следовательно собственники сайтов на шаблонах смс сйт билл попадают на последние страницы в выдаче гугла. и это большая проблема для их бизнеса. посмотрите на файлы. там черным по белому пишет что робот некорректно обрабатывает страницу. в данном случае это целый раздел структуры. и таких по 10 страниц от каждого тех.значка, который закрыт от обработки. надо что то менять.

Уберите тогда /template/ и /apps/ из disallow

[Helenblondi 29]

4 часа назад, rumantic сказал:

Уберите тогда /template/ и /apps/ из disallow

спасибо. попробую.

[doma 22]

16 часов назад, rumantic сказал:

 

У вас же это стоит

Disallow: /template
А то что есть ссылки на этот /template из других страниц, то это не страшно, ведь это служебыне подключения JS-файлов, не вижу повода для беспокойства.

По стрелочки ведь это не заблокированные ресуры, а только страницы которые ссылаются на заблокированные. Читайте внимательней.

да и мы не понимаем а зачем открывать Disallow: /template
на наш взгляд надо именно от индексирования закрыть :)) а не от исполнения и использования :)) ? разве не правы?
одно дело робот зашел и по доступной ссылке все проиндексировал, другое дело зашел на эту ссылку, а ему сказали -все что найдешь не индексируй, но если идет ссылка с другой страницы на исполнение какого то файла, то на наш взгляд он исполнит.


то есть робот вроде как работает по принципу -узнаю и индексирую все что мне доступно (текст и картинки например), а не то что надо исполнить
 

[Chernetskiy 469]

Давайте немного проясним ситуацию. Если действовать по старинке, то есть дать роботу загрузить только тексты и картинки с сайта, что он собственно говоря и проиндексирует, то дефолтного robots.txt вполне достаточно.

Но засада заключается в том, что поисковики теперь не только читают тексты и загружают картинки... Определяя рейтинг и качество страниц сайта, им важно иметь представление об оформлении, стилях и размере шрифтов, размерах фото, механизмах отображения информации на сайте и т.п., на вскидку более 200 параметров, включая параметры отображения для мобильных устройств. Многие наверное сталкивались с приветом от Гугла, о том что:

• ваш сайт не адаптирован для мобильных устройств;
• размеры шрифтов, кнопок и прочих элементов слишком малы...
• и т.д., и т.п.

Не стоит забывать, что только Гугл сейчас в первую очередь ориентирован на мобильную аудиторию, которой в настящее время насчитывается 45-50% от общей массы пользователей Интернета, и их количество постоянно растет. 

Отсюда вывод - Гуглу стоит открыть доступ к скриптам и стилям оформления, о чем собственно он и говороит в справочных материалах Search console (рекомендации по составлению robots.txt). После переиндексации страниц вашего сайта Гугл уже увидит оформление страниц сайте не встиле 90-х годов, а в современном и соответствующем его требованиям варианте оформления.

Исходя из анализа ситуации, по крайней мере для сайтов на шаблоне Realia, можно сделать вот такой robots.txt:

User-Agent: * 

Disallow: /*?
Disallow: /account/
Disallow: /add/
Disallow: /admin/
Disallow: /apps/
Allow: /apps/client/js/
Allow: /apps/system/js/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /ckeditor/
Disallow: /ckfinder/
Disallow: /contactus/
Disallow: /getrent/
Disallow: /inc/
Disallow: /ipotekaorder/
Disallow: /mailbox/
Disallow: /mysearch/
Disallow: /realty*
Disallow: /realtylogs/
Disallow: /remind/
Disallow: /template/
Allow: /template/frontend/realia/css/
Allow: /template/frontend/realia/img/
Allow: /template/frontend/realia/js/
Allow: /template/frontend/realia/libraries/
Disallow: /third/
Disallow: /webstat/
Host: https://ваш-сайт.com

Sitemap: https://ваш-сайт.com/sitemap.xml

В таком варианте, роботы Гугла увидят ваш сайт таким, каким видите его вы. За чем наверняка последует улучшение рейтинга сайта в глазах поисковика - вы повернулись лицом к людям

Относительно строк

Allow: /template/frontend/realia/img/
Allow: /template/frontend/realia/libraries/

Еще есть некоторые сомнения в надобности, поскольку и без них Гугл видит как надо, но тем не менее Search console говорит, что это важно для него.

Если не прав, поправьте...

[Helenblondi 29]

14 часа назад, doma сказал:

да и мы не понимаем а зачем открывать Disallow: /template
на наш взгляд надо именно от индексирования закрыть :)) а не от исполнения и использования :)) ? разве не правы?
одно дело робот зашел и по доступной ссылке все проиндексировал, другое дело зашел на эту ссылку, а ему сказали -все что найдешь не индексируй, но если идет ссылка с другой страницы на исполнение какого то файла, то на наш взгляд он исполнит.


то есть робот вроде как работает по принципу -узнаю и индексирую все что мне доступно (текст и картинки например), а не то что надо исполнить
 

от качественной индексации роботом ваших страниц прямо пропорционально зависит выдача вашего сайта в поиске гугл. это должно быть понятно если включить логику. никто не просит никого ничего открывать.  хотите тихо стоять курить на последних страницах выдачи гугла - это ваше право.

[doma 22]

2 минуты назад, Helenblondi сказал:

от качественной индексации роботом ваших страниц прямо пропорционально зависит выдача вашего сайта в поиске гугл. это должно быть понятно если включить логику. никто не просит никого ничего открывать.  хотите тихо стоять курить на последних страницах выдачи гугла - это ваше право.

не станем встревать в диалог, но вы не поняли в чем суть :))  
одно дело  - квартиры в челябинске -поисковый запрос
второй вариант именно ваш -квартиры в челябинске с картиной на стене :))

вы квартиру или картину на стене продаете и продвигаете?

ни кого ни в чем не обвиняем -каждый видит свой сайт и свое развитие по своему, на наш взгляд в папке template может быть сугубо личная и лишняя информация :)) вплоть до картинок себя любимой :))  

[Helenblondi 29]

11 минуту назад, doma сказал:

не станем встревать в диалог, но вы не поняли в чем суть :))  
одно дело  - квартиры в челябинске -поисковый запрос
второй вариант именно ваш -квартиры в челябинске с картиной на стене :))

вы квартиру или картину на стене продаете и продвигаете?

ни кого ни в чем не обвиняем -каждый видит свой сайт и свое развитие по своему, на наш взгляд в папке template может быть сугубо личная и лишняя информация :)) вплоть до картинок себя любимой :))  

все все прекрасно поняли) поэтому и робота переделали. надо идти в ногу со временем и посещать полезные семинары.

[Chernetskiy 469]

2 часа назад, doma сказал:

одно дело  - квартиры в челябинске -поисковый запрос...

второй вариант именно ваш -квартиры в челябинске с картиной на стене :))

Открою секрет, "одно дело" и "второй вариант" - для Яндекса одно и то-же, вам он в ответ и выдаст варианты с "квартиры в Челябинске", "Челябинские квартиры", "купить квартиру в Челябинске" и с картинами + в склонениях в том числе... А вот Гугл к этому относится конкретнее и это совсем иное дело, что задашь, то и выдаст, иные варианты не получите  

[Helenblondi 29]

23 минуты назад, Chernetskiy сказал:

Открою секрет, "одно дело" и "второй вариант" - для Яндекса одно и то-же, вам он в ответ и выдаст варианты с "квартиры в Челябинске", "Челябинские квартиры", "купить квартиру в Челябинске" и с картинами + в склонениях в том числе... А вот Гугл к этому относится конкретнее и это совсем иное дело, что задашь, то и выдаст, иные варианты не получите  

я кстати половину вещей на яндексе нахожу через картинки. в выдаче сайтов нет а в картинах есть довольно неплохие варианты. (касается специфических запросов. мебель для гостиниц например какой нить специфической тумбочки или стола-трюмо с местом под холодильник)

[spdBY 1]

Если sitebill является разделом основного сайта, например находится в разделе /kvartiry
В этом случае записи роботс для sitebill нужно добавить в роботс основного сайта или засунуть в отдельном виде в папку /kvartiry ?

[Chernetskiy 469]

3 часа назад, spdBY сказал:

Если sitebill является разделом основного сайта, например находится в разделе /kvartiry
В этом случае записи роботс для sitebill нужно добавить в роботс основного сайта или засунуть в отдельном виде в папку /kvartiry ?

Только в корень домена. Это .htaccess можешь хоть в каждую папку пихать, для каждой свой.  

[banzai72 32]

В 09.01.2017 в 17:23, Chernetskiy сказал:

1. Настройка индексирования - Файлы sitemap - Добавить свой в строку, типа https :// fazendabg.com/sitemap.xml , если его еще там нет в списке.

Директиву host надо прописать в файле robots.txt у тебя на хостинге, в корне сайта. Типа так:

User-Agent: * 

Disallow: /admin
Disallow: /apps
Disallow: /cache
Disallow: /cgi-bin
Disallow: /ckeditor
Disallow: /ckfinder
Disallow: /css
Disallow: /fotorama
Disallow: /inc
Disallow: /js
Disallow: /template
Disallow: /third
Disallow: /webstat
Disallow: /remind/
Disallow: /getrent/
Disallow: /contactus/
Disallow: /add/
Disallow: /mailbox/
Disallow: /ipotekaorder/
Disallow: *?*
Host: https://realty-centrum.com

Sitemap: https://realty-centrum.com/sitemap.xml

Затем вернуться в Яндекс вебмастер и в Инструментах - анализ robots.txt проверить загрузку.

А освободить доступ к бутстрапу для Гугла наверное будет проще директивой Allow: /template/frontend/realia/css/ в robots.txt (следом за Disallow: /template), чем открывать полностью доступ к шаблонам сайта. Но надо-ли это вообще? Директивой закрыт доступ к скриптам, бутстрапу, страницам шаблона и т.п., что в принципе Гуглу и не актуально. Главное, чтобы в Индексе находились страницы с твоими объектами и статьями. У меня тоже 190 страниц технического плана заблокированы, а зачем их выдавать в поиск?

 

Помогите пожалуйста советом

У меня /home/uqirahbm/public_html/robots.txt

User-Agent: * 

Disallow: /*?
Disallow: /account/
Disallow: /add/
Disallow: /admin/
Disallow: /apps/
Allow: /apps/client/js/
Allow: /apps/system/js/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /ckeditor/
Disallow: /ckfinder/
Disallow: /contactus/
Disallow: /getrent/
Disallow: /inc/
Disallow: /ipotekaorder/
Disallow: /mailbox/
Disallow: /mysearch/
Disallow: /realty*
Disallow: /realtylogs/
Disallow: /remind/
Disallow: /template/
Allow: /template/frontend/realia/css/
Allow: /template/frontend/realia/img/
Allow: /template/frontend/realia/js/
Allow: /template/frontend/realia/libraries/
Disallow: /third/
Disallow: /webstat/
Host: https://banzai72.ru

Sitemap: https://banzai72.ru/sitemap.xml

 

 

Но по ссылке https://banzai72.ru/sitemap.xml вот такая картина

 

У вас https://realty-centrum.com/sitemap.xml

 

[banzai72 32]

 

Выводить объявления в sitemap(apps.sitemap.data_enable) стоит

Файла sitemap.xml нет

 

[Chernetskiy 469]

6 часов назад, banzai72 сказал:

Помогите пожалуйста советом

...

Но по ссылке https://banzai72.ru/sitemap.xml вот такая картина

 

Всё в порядке, просто твой sitemap.xml большой и был автоматически разтбит на 2 страницы, которые он собственно и указывает в скриншоте. Пройди по этим ссылкам и увидишь свой сайтмап в нормальном виде.

[Chernetskiy 469]

Вот кусок первого файла - https://banzai72.ru/sitemap.xml?page=1 

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://banzai72.ru/sdam/kommercheskaya-arenda/</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://banzai72.ru/arenda/jilaya/</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://banzai72.ru/arenda/jilaya/kvartira/</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://banzai72.ru/sdam/zemelnie-uchastki-arenda/</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>
https://banzai72.ru/sdam/doma-dachi-kottedji-arenda/
</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://banzai72.ru/prodam/kommercheskaya-prodaja/</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>

 

[banzai72 32]

6 часов назад, Chernetskiy сказал:

Вот кусок первого файла - https://banzai72.ru/sitemap.xml?page=1 

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://banzai72.ru/sdam/kommercheskaya-arenda/</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://banzai72.ru/arenda/jilaya/</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://banzai72.ru/arenda/jilaya/kvartira/</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://banzai72.ru/sdam/zemelnie-uchastki-arenda/</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>
https://banzai72.ru/sdam/doma-dachi-kottedji-arenda/
</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://banzai72.ru/prodam/kommercheskaya-prodaja/</loc>
<lastmod>2018-07-16</lastmod>
<changefreq>hourly</changefreq>
<priority>0.5</priority>
</url>

 

Спасибо огромное за совет!

А то я уже всю голову сломал))))))))))))))))))

 

Вы как всегда помогаете своими советами

Спасибо!

[banzai72 32]

Подскажите ещё пожалуйста, стоит ли беспокоиться, если гугл выдает:

При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.	2	URL, запрещенный файлом robots.txt Sitemap: banzai72.ru/sitemap.xml?page=2	-	18 июля 2018 г.
		URL, запрещенный файлом robots.txt Sitemap: banzai72.ru/sitemap.xml?page=1

[banzai72 32]

 

robots.txt такой:

 

User-Agent: * 

Disallow: *?*
Disallow: /account/
Disallow: /admin
Disallow: /add/
Disallow: /apps/
Allow: /apps/client/js/
Allow: /apps/system/js/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /ckeditor/
Disallow: /ckfinder/
Disallow: /inc/
Disallow: /template/
Allow: /template/frontend/realia/css/
Allow: /template/frontend/realia/img/
Allow: /template/frontend/realia/js/
Allow: /template/frontend/realia/libraries/
Disallow: /third/
Disallow: /remind/
Disallow: /getrent/
Disallow: /contactus/
Disallow: /client/order/buy_property/
Disallow: /client/order/raschet/
Disallow: /mailbox/
Disallow: /realty*
Disallow: /realtylogs/
Disallow: /remind/
Disallow: /mysearch/
Disallow: /ipotekaorder/
Disallow: /webstat/
Host: https://banzai72.ru

Sitemap: https://banzai72.ru/sitemap.xml

[Chernetskiy 469]

3 часа назад, banzai72 сказал:

Подскажите ещё пожалуйста, стоит ли беспокоиться, если гугл выдает:

При попытке доступа к вашему файлу Sitemap произошла ошибка. Убедитесь, что этот файл Sitemap соответствует нашим правилам и находится в указанном местоположении, а затем отправьте его повторно.	2	URL, запрещенный файлом robots.txt Sitemap: banzai72.ru/sitemap.xml?page=2	-	18 июля 2018 г.
		URL, запрещенный файлом robots.txt Sitemap: banzai72.ru/sitemap.xml?page=1

А это уже не гуд.

Вариант 1 - (не лучший) в robots.txt убрать директиву 

Disallow: *?*

Это откроет путь к страницам сайтмапа, но и создаст проблемы в виде индексации результатов поиска и прочей временной хрени, которая генерируется по ходу общения пользователя с сайтом. 

Вариант 2 - сократить размер robots.txt, например отключить в настройках вывод не особо нужных ссылок - категорий недвижимости, городов и прочего, что напрямую особой пользы не дает. Оставить только вывод объявлений. Возможно увеличить в настройках число строк в robots.txt

Вариант 3 - попробовать разрешить в robots.txt вывод конкретных страниц сайтмапа:

Allow: /sitemap.xml?page=1

Allow: /sitemap.xml?page=2

Allow: /sitemap.xml?page=3

[banzai72 32]

8 часов назад, Chernetskiy сказал:

А это уже не гуд.

Вариант 1 - (не лучший) в robots.txt убрать директиву 

Disallow: *?*

Это откроет путь к страницам сайтмапа, но и создаст проблемы в виде индексации результатов поиска и прочей временной хрени, которая генерируется по ходу общения пользователя с сайтом. 

Вариант 2 - сократить размер robots.txt, например отключить в настройках вывод не особо нужных ссылок - категорий недвижимости, городов и прочего, что напрямую особой пользы не дает. Оставить только вывод объявлений. Возможно увеличить в настройках число строк в robots.txt

Вариант 3 - попробовать разрешить в robots.txt вывод конкретных страниц сайтмапа:

Allow: /sitemap.xml?page=1

Allow: /sitemap.xml?page=2

Allow: /sitemap.xml?page=3

Попробовал.

Всё так же.

Сейчас сделал так. Проверим.

Спасибо

 

 

User-Agent: * 

Disallow: *?*
Disallow: /account/
Disallow: /admin
Disallow: /add/
Disallow: /apps/
Allow: /apps/client/js/
Allow: /apps/system/js/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /ckeditor/
Disallow: /ckfinder/
Disallow: /inc/
Disallow: /template/
Allow: /template/frontend/realia/css/
Allow: /template/frontend/realia/img/
Allow: /template/frontend/realia/js/
Allow: /template/frontend/realia/libraries/
Disallow: /third/
Disallow: /remind/
Disallow: /getrent/
Disallow: /contactus/
Disallow: /client/order/buy_property/
Disallow: /client/order/raschet/
Disallow: /mailbox/
Disallow: /realty*
Disallow: /realtylogs/
Disallow: /remind/
Disallow: /mysearch/
Disallow: /ipotekaorder/
Disallow: /webstat/
Allow: /sitemap.xml?page=1
Allow: /sitemap.xml?page=2
Allow: /sitemap.xml?page=3
Host: https://banzai72.ru

Sitemap: https://banzai72.ru/sitemap.xml

[banzai72 32]

Пишет

Предупреждения	Доступ к URL заблокирован в файле robots.txt.	Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.	2	Значение: https://banzai72.ru/sitemap.xml?page=1	-	19 июля 2018 г.
				Значение: https://banzai72.ru/sitemap.xml?page=2	-	19 июля 2018 г.

 

 

 

Странно, ведь в robots.txt  не заблокирован а наоборот открыт доступ к 

https://banzai72.ru/sitemap.xml?page=1

https://banzai72.ru/sitemap.xml?page=2

 

[banzai72 32]

В 15.03.2017 в 14:47, rumantic сказал:

Уберите тогда /template/ и /apps/ из disallow

Дмитрий, прошу Вас вмешаться.

Помогите советом

Где в данном файле   robots.txt

User-Agent: * 

Disallow: *?*
Disallow: /account/
Disallow: /admin
Disallow: /add/
Disallow: /apps/
Allow: /apps/client/js/
Allow: /apps/system/js/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /ckeditor/
Disallow: /ckfinder/
Disallow: /inc/
Disallow: /template/
Allow: /template/frontend/realia/css/
Allow: /template/frontend/realia/img/
Allow: /template/frontend/realia/js/
Allow: /template/frontend/realia/libraries/
Disallow: /third/
Disallow: /remind/
Disallow: /getrent/
Disallow: /contactus/
Disallow: /client/order/buy_property/
Disallow: /client/order/raschet/
Disallow: /mailbox/
Disallow: /realty*
Disallow: /realtylogs/
Disallow: /remind/
Disallow: /mysearch/
Disallow: /ipotekaorder/
Disallow: /webstat/
Allow: /sitemap.xml?page=1
Allow: /sitemap.xml?page=2
Allow: /sitemap.xml?page=3
Host: https://banzai72.ru

Sitemap: https://banzai72.ru/sitemap.xml

 

может идти блокировка 

URL, запрещенный файлом robots.txt Sitemap: banzai72.ru/sitemap.xml?page=2	-	18 июля 2018 г.
URL, запрещенный файлом robots.txt Sitemap: banzai72.ru/sitemap.xml?page=1   У Гугла

 

[Chernetskiy 469]

4 часа назад, banzai72 сказал:

Дмитрий, прошу Вас вмешаться.

Помогите советом

Где в данном файле   robots.txt

...

Allow: /sitemap.xml?page=1
Allow: /sitemap.xml?page=2
Allow: /sitemap.xml?page=3
...

может идти блокировка 

URL, запрещенный файлом robots.txt Sitemap: banzai72.ru/sitemap.xml?page=2	-	18 июля 2018 г.
URL, запрещенный файлом robots.txt Sitemap: banzai72.ru/sitemap.xml?page=1   У Гугла

В данном файле Disallow: *?* блокирует все адреса, имеющие,  любые_символы_до_?_и_после

Последними директивами Allow вы разрешаете доступ к страницам robots.txt

Проверьте как на это отреагирует Яндекс... Возможно он не сразу отреагирует а спустя день-два, до тех пор ошибка будет висеть, пока роботс не проиндексируется.

 

[Chernetskiy 469]

На примере одного из сайтов в Wordpress, там тоже имеется многостроаничный sitemap и всё отлично индексируется (из Яндекс Вебмастера):

https://haski-club.com/sitemap_index.xml		ок	07.07.2018, 7:11	5
https://haski-club.com/post_tag-sitemap.xml		ок	10.07.2018, 23:24	23
https://haski-club.com/post-sitemap.xml			ок	16.07.2018, 11:51	175
https://haski-club.com/category-sitemap.xml		ок	16.07.2018, 14:03	3
https://haski-club.com/author-sitemap.xml		ок	05.07.2018, 8:04	7
https://haski-club.com/page-sitemap.xml

первый файл является основным, остальные - вложенные

Вот содержимое первого файла:

XML Sitemap
Generated by YoastSEO, this is an XML Sitemap, meant for consumption by search engines.

You can find more information about XML sitemaps on sitemaps.org.

This XML Sitemap Index file contains 5 sitemaps.

Sitemap	Last Modified
https://haski-club.com/post-sitemap.xml	2018-07-02 14:19 +03:00
https://haski-club.com/page-sitemap.xml	2018-07-02 16:41 +03:00
https://haski-club.com/category-sitemap.xml	2018-07-02 14:19 +03:00
https://haski-club.com/post_tag-sitemap.xml	2018-07-02 14:19 +03:00
https://haski-club.com/author-sitemap.xml	2018-03-06 18:43 +03:00

 

[banzai72 32]

1 час назад, Chernetskiy сказал:

 

Да. Вы правы. Спасибо огромное!

Гугл ошибку теперь не показывает!