shra75

sitemap.xml как теперь с ним быть?

Recommended Posts

4 часа назад, Helenblondi сказал:

это нормально или нет?

если у вас есть, что показать людям на этих страницах полезное, то имеет смысл снять ограничение с них в роботс. если же там просто форма, то можно оставить с ограничением.

Share this post


Link to post
Share on other sites
13 минуты назад, abushyk сказал:

если у вас есть, что показать людям на этих страницах полезное, то имеет смысл снять ограничение с них в роботс. если же там просто форма, то можно оставить с ограничением.

я не ставило на них ограничения. робот их сам заблокировал

Share this post


Link to post
Share on other sites
15 минут назад, Helenblondi сказал:

я не ставило на них ограничения. робот их сам заблокировал

это стандартные правила, которые устанавливаются в robots.txt при установке движка. обычно по этим адресам торчат глухие формы, индексация которых ведет к заспамлению маловразумительными словами и словосочетаниями.

Share this post


Link to post
Share on other sites

Может пропустил ответ, но все же. Сайтмап пустой, что это может быть. Проблема появилась примерно пару дней назад? Спасибо

Share this post


Link to post
Share on other sites
8 часов назад, mykvartira сказал:

Может пропустил ответ, но все же. Сайтмап пустой, что это может быть. Проблема появилась примерно пару дней назад? Спасибо

Зашел к вам вижу sitemap, проблема решена?

Share this post


Link to post
Share on other sites
4 часа назад, rumantic сказал:

Зашел к вам вижу sitemap, проблема решена?

Интересно, а я не вижу. Страница открывается, но он пустой. https://mykvartira.com/sitemap.xml

Так же в вебмастере яндекс (Анализ файлов Sitemap) пишет что файл пустой. Так что проблема скорее всего актуальна.

2017-12-01_125020.jpg

Share this post


Link to post
Share on other sites
12 часа назад, rumantic сказал:

Зашел к вам вижу sitemap, проблема решена?

Возможно вы видели карту сайта для людей https://mykvartira.com/sitemap

а меня интересует для машин /sitemap.xml - в ней нет файлов

Share this post


Link to post
Share on other sites

Да. Пусто. Ни ошибки на выходе, ни пустого xml. Хотя бы меню он должен был туда выдать.

1.Проверьте нет ли в корне сайта такого файла

2.Поставьте время жизни кеша сайтмапа в 0 или 1 в настройках приложения.

3.Удалите из папки \cache все файлы вида КУЧА_ЧИСЕЛ_И_БУКВ.sitemap.xml напр. 4775c74209ca9a4edd349335bfa3e1bb.sitemap.xml

Если не поможет, по можете написать мне в пм с фтп доступом на папку приложения.

Share this post


Link to post
Share on other sites
17 минут назад, abushyk сказал:

Да. Пусто. Ни ошибки на выходе, ни пустого xml. Хотя бы меню он должен был туда выдать.

1.Проверьте нет ли в корне сайта такого файла

2.Поставьте время жизни кеша сайтмапа в 0 или 1 в настройках приложения.

3.Удалите из папки \cache все файлы вида КУЧА_ЧИСЕЛ_И_БУКВ.sitemap.xml напр. 4775c74209ca9a4edd349335bfa3e1bb.sitemap.xml

Если не поможет, по можете написать мне в пм с фтп доступом на папку приложения.

Выполнил ваши указания и все четно. Отправил данные 

Share this post


Link to post
Share on other sites
2 часа назад, mykvartira сказал:

Выполнил ваши указания и все четно. Отправил данные 

Я вижу вашу карту.

This XML file does not appear to have any style information associated with it. The document tree is shown below.
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://mykvartira.com/arenda-kvartir/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://mykvartira.com/prodaja-kvartir/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://mykvartira.com/novostroyki/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
....
  <url>
<loc>https://mykvartira.com/reklama-na-sayte/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.5</priority>
</url>
</urlset>

 

Share this post


Link to post
Share on other sites
3 минуты назад, Chernetskiy сказал:

Я вижу вашу карту.


This XML file does not appear to have any style information associated with it. The document tree is shown below.
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://mykvartira.com/arenda-kvartir/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://mykvartira.com/prodaja-kvartir/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
<url>
<loc>https://mykvartira.com/novostroyki/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>daily</changefreq>
<priority>0.5</priority>
</url>
....
  <url>
<loc>https://mykvartira.com/reklama-na-sayte/</loc>
<lastmod>2017-12-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.5</priority>
</url>
</urlset>

 

Уже сработала. Спасибо abushy помог разобраться 

Была проблема в копировании данных 

Нужно было мне сделать правки в форме, скопировал с /public_html/apps всю папку, а нужно было только шаблон.

(если вам нужно изменить только кнопку в шаблоне /template/frontend/ваш_шаблон/apps/mailbox/site/template/form.tpl то копируете только этот шаблон с сохранением структуры папок. остальные файлы копировать не нужно. особенно исполняемые site.php и admin.php так как они не наследуются путем простого копирования.) Золотые слова

После этого очистил таблицу в sql re_apps, удалил все файлы кроме шаблона и все стало на свои места.

Спасибо ребята

Share this post


Link to post
Share on other sites

Подскажите ответ на такой вопрос что формирует страница сайт.кк/vip

мы его закрыли в роботс типа Disallow: /vip

когда то читали на форуме или просматривали код и там была такая ссылка поэтому и был повод внести

насколько мы понимаем то таким образом мы сами зачем то закрыли от индексации все ссылки на сайте начинающиеся на vip хотя идеи такой впринципе не было

получается мы запретили все ссылки начинающиеся так?  получается все страницы такого вида у нас не индексируются?
sait.rr/vip-predlohenia
sait.rr/vip-mesta
sait.rr/vipabonent

 

и попутный вопрос опять же где то на сайте видели запись что лучше запретить rss потоки. и взяли запретили их в роботс написав типа
sait.rr/rss - получается не правильно? наверное лучше  чтобы индексировался?

Share this post


Link to post
Share on other sites
В 02.12.2017 в 00:45, mykvartira сказал:

Уже сработала. Спасибо abushy помог разобраться 

Была проблема в копировании данных 

Нужно было мне сделать правки в форме, скопировал с /public_html/apps всю папку, а нужно было только шаблон.

(если вам нужно изменить только кнопку в шаблоне /template/frontend/ваш_шаблон/apps/mailbox/site/template/form.tpl то копируете только этот шаблон с сохранением структуры папок. остальные файлы копировать не нужно. особенно исполняемые site.php и admin.php так как они не наследуются путем простого копирования.) Золотые слова

После этого очистил таблицу в sql re_apps, удалил все файлы кроме шаблона и все стало на свои места.

Спасибо ребята

ХЗ, у меня после обновления системы до 3.4.4 и модуля sitemap до 1.4.3 карта перестала генерироваться - файл абсолютно пустой, все кэши почищены. Т.е. он именно не формируется. 

Хэлп, уже яша ругается
 

Share this post


Link to post
Share on other sites
В 17.02.2018 в 11:12, doma сказал:

Подскажите ответ на такой вопрос что формирует страница сайт.кк/vip

мы его закрыли в роботс типа Disallow: /vip

когда то читали на форуме или просматривали код и там была такая ссылка поэтому и был повод внести

насколько мы понимаем то таким образом мы сами зачем то закрыли от индексации все ссылки на сайте начинающиеся на vip хотя идеи такой впринципе не было

получается мы запретили все ссылки начинающиеся так?  получается все страницы такого вида у нас не индексируются?
sait.rr/vip-predlohenia
sait.rr/vip-mesta
sait.rr/vipabonent

 

и попутный вопрос опять же где то на сайте видели запись что лучше запретить rss потоки. и взяли запретили их в роботс написав типа
sait.rr/rss - получается не правильно? наверное лучше  чтобы индексировался?

1. у вас закрыт доступ только по ссылке sait.rr/vip 

2. Ссылки типа sait.rr/vip-predlohenia, sait.rr/vip-mesta, sait.rr/vipabonent к вышеуказанной директиве отношения не имеют и будут индексироваться,

  • если они существуют;
  • если они не закрыты директивой disallow в robots.txt;
  • если вышеуказанная директива Disallow: /vip выглядит именно так а не как Disallow: /vip* - что обозначает как любой символ после vip так и любую последовательность символов.

3. Не знаю, зачем закрывать rss в robots.txt, лично я разумного объяснения этому не вижу. Поисковики способны разобраться с тем, что это например не дубль главной а именно rss. К тому-же поисковики вообще не индексируют rss-фиды, поскольку это техническое содержимое а не html-страница.

Share this post


Link to post
Share on other sites
Только что, Chernetskiy сказал:

1. у вас закрыт доступ только по ссылке sait.rr/vip 

2. Ссылки типа sait.rr/vip-predlohenia, sait.rr/vip-mesta, sait.rr/vipabonent к вышеуказанной директиве отношения не имеют и будут индексироваться,

  • если они существуют
  • не закрыты директивой disallow в robots.txt
  • или если вышеуказанная директива Disallow: /vip не выглядит как Disallow: /vip* - что обозначает как любой символ после vip так и любую последовательность символов.

3. Не знаю, зачем закрывать rss в robots.txt, лично я разумного объяснения этому не вижу. Поисковики способны разобраться с тем, что это например не дубль главной а именно rss.

1) закрыта ссылка вида saut.rr/vip но почему то в гугле говорит что  все что начинается на vip просто не индексируется.
звездочек вопросительных знаков и других символов у нас не стоит но все равно не индексируется.

И уверены что вы не правы или не совсем корректно говорит :)
Почитав на яндексе там дословно написано

Disallow: /cgi-bin # блокирует доступ к страницам,  
                   # начинающимся с '/cgi-bin'

Значит мы были правы что написав /vip в роботс у нас доступ блокируется к ссылкам вида ait.rr/vip-predlohenia, sait.rr/vip-mesta, sait.rr/vipabonent 

2) следовательно чтобы открыть все же доступ к этим страницам что лучше сделать?  просто написать 
Allow
allow: /vip-predlohenia
allow: /vip-mesta
allow: /vipabonent  

?????


Чтобы разрешить доступ робота к сайту или некоторым его разделам, используйте директиву Allow


3) Мы обнаружили что не смотря на то что у нас в роботс написано Disallow: /upper
почему то все равно в гугле есть сообщения об ошибках 
причем если перейти по ссылке сайт//upper/realty467 такое объявление действительно есть 

если в гугле ввести такую строку info:http://sayt.ru/upper/realty9467 то гугл пишет что Информация об этой странице недоступна.
причем в титле сообщает "Поднять объявление - название вашего сайта"

Share this post


Link to post
Share on other sites

1. Значит пишем Disallow: /vip$ - это будет являться точным соответствием исключения параметру. Остальные варианты: /vip-predlohenia , /vip-mesta и /vipabonent - перестанут исключаться по /vip.

2. Ну или как вариант - директивы с Allow:

Не видя вашего сайта и не понимая его структуру, сложно судить о необходимых дерективах.

По п.3 - Вне зависимости от ваших директив в robots.txt, поисковики по любому видят весь ваш сайт и самостоятельно принимают решение об индексации и выдаче, конечно-же ориентируясь на ваши директивы (Allow/Disallow), но они не являются панацеей. Для более жесткого решения вопроса существуют еще и мета на страницах...

Если вам нужно запретить индексацию страницы, можно воспользоваться не только robots txt, но и аналогичными html-тегами:

<meta name="robots" content="noindex"/> — не индексировать содержимое страницы;

<meta name="robots" content="nofollow"/> — не переходить по ссылкам на странице;

<meta name="robots" content="none"/> — запрещено индексировать содержимое и переходить по ссылкам на странице;

<meta name="robots" content="noindex, nofollow"/> — аналогично content="none".

 

Share this post


Link to post
Share on other sites
Только что, Chernetskiy сказал:

1. Значит пишем Disallow: /vip$ - это будет являться точным соответствием исключения параметру. Остальные варианты: /vip-predlohenia , /vip-mesta и /vipabonent - перестанут исключаться по /vip.

2. Ну или как вариант - директивы с Allow:

Не видя вашего сайта и не понимая его структуру, сложно судить о необходимых дерективах.

 

согласны с вами.

но вот страницу типа /vip не просто так вносили -95% есть такая в коде где то и как то она формируется вероятнее всего выводился какой то текст или объявлений с меткой "вип"

Share this post


Link to post
Share on other sites
5 минут назад, doma сказал:

согласны с вами.

но вот страницу типа /vip не просто так вносили -95% есть такая в коде где то и как то она формируется вероятнее всего выводился какой то текст или объявлений с меткой "вип"

Добавил выше по п.3

Относительно закрытия /vip, если у вас появятся объявления со статусом VIP, вероятно они тоже не будут видимы поисковикам и в индекс не попадут? Тогда обычные объявления у вас будут видны всем, а платные VIP никто не увидит? :) 

Share this post


Link to post
Share on other sites
Только что, Chernetskiy сказал:

Добавил выше по п.3

Относительно закрытия /vip, если у вас появятся объявления со статусом VIP, вероятно они тоже не будут видимы поисковикам и в индекс не попадут? Тогда обычные объявления у вас будут видны всем, а платные VIP никто не увидит? :) 

это относительно содержания страницы и блоков на ней. а указав явно вроботс робот проигноирует как бы сразу страницу и не будет ее индексировать.
да и не во всех служебных файлах и каталогов можно что прописать :)

Share this post


Link to post
Share on other sites
4 минуты назад, doma сказал:

это относительно содержания страницы и блоков на ней. а указав явно вроботс робот проигноирует как бы сразу страницу и не будет ее индексировать.
да и не во всех служебных файлах и каталогов можно что прописать :)

повторюсь, директивы в robots.txt - на усмотрение поисковиков (это ваши предпочтения/указания поисковикам или конкретному поисковику, если указываете его конкретно, например User-agent: Yandex) они не являются однозначным решением вопроса для поисковика. По этому, если уж совсем надо заглушить намертво, допишите meta (указал выше).

Share this post


Link to post
Share on other sites

Добрый день, сделал переход с протокола http на SSL протокол https согласно этой инструкции. Все сделал как надо, в настройках админки включил https в Общих. Robots.txt - https

В шаге 10 - Смотрим, чтобы в карте сайта .xml присутствовал только протокол https.

Время обновления - срок жизни файла sitemap в настройках админки с 86400 выставил на 1 секунду.

в моем sitemap.xml протокол всех страниц http - мне нужен https. Куда рыть?

======================================================================

нашел решение:

/apps/sitemap/admin/admin.php

        $this->site_link='https://'.$_SERVER['SERVER_NAME'].(SITEBILL_MAIN_URL!='' ? SITEBILL_MAIN_URL.'/' : '/');

может можно как-то ткнуть галочку в админке какую - не нашел :)

Edited by iserg
нашел решение

Share this post


Link to post
Share on other sites
В 29.08.2019 в 12:17, iserg сказал:

Добрый день, сделал переход с протокола http на SSL протокол https согласно этой инструкции. Все сделал как надо, в настройках админки включил https в Общих. Robots.txt - https

В шаге 10 - Смотрим, чтобы в карте сайта .xml присутствовал только протокол https.

Время обновления - срок жизни файла sitemap в настройках админки с 86400 выставил на 1 секунду.

в моем sitemap.xml протокол всех страниц http - мне нужен https. Куда рыть?

======================================================================

нашел решение:

/apps/sitemap/admin/admin.php

        $this->site_link='https://'.$_SERVER['SERVER_NAME'].(SITEBILL_MAIN_URL!='' ? SITEBILL_MAIN_URL.'/' : '/');

может можно как-то ткнуть галочку в админке какую - не нашел :)

1. Обновлена ли система?

2. Обычно решает эта опция в Общих настройках

Работать через https
(work_on_https)

3. Чтобы убедиться что это не кэш, удалите все файлы в папке /cache/*.sitemap.xml

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Similar Content

    • By Chernetskiy
      В CMS предусмотрен вывод Карты сайта - страница /sitemap (не путать с sitemap.xml). Страница выводится замечательно и указывает все названия страниц сайта с возможностью перехода на них (как видимо и предполагалось), только к названиям страниц почему-то прикручены ссылки с прокладкой /sitemap/ . Например страница с Новостями имеет ссылку https://realty-centrum.com/sitemap/news/ которая ведет к 404 ошибке а не https://realty-centrum.com/news/ , как по логике должно быть.
      Это недоработка или здесь заложен глубокий сакральный смысл, чтобы наплодить с полсотни 404 ошибок на битые ссылки?  
    • By Ramiz95
      Добрый вечер. У нас на сайте есть категория Продано. Туда мы перемещаем объекты которые были сняты с продажи. (Не спрашивайте зачем. Прихоть руководителя) В robots.txt я заблокировал данную категорию и о объявления находящиеся там. Вопрос таков: как убрать данную категорию из sitemap.xml не трогая другие? 
    • By Ramiz95
      Добрый день! Дабы не засорять форум несколькими темами, создаю одну с двумя вопросами.
      1. После переезда сайта с nasha-stolica.ru на nasha-stolica.com перестала работать карта google. Я так понял что ключ который был выдан сайту с доменом РУ не подходит к сайту с доменом КОМ. Вопрос: правильно ли я понял? И куда вставить новый ключ? Облазил весь скрипт, но так и не нашел. 
      2. Проблема с переездом сайта с http на https.
      2.1 Делаю все по Инструкции , но там не указано как изменять  "ссылки, имеющиеся в коде сайта" придется скачивать весь сайт и в ручную искать и править? Или можно только шаблон? 
      2.2 Так же там указано "Смотрим, чтобы в карте сайта .xml присутствовал только протокол https" ок, я посмотрел, там действительно указан протокол http. А как это изменить? Где поставить галочку чтоб в sitemap.xml указывался https протокол? 
      Так же там есть несколько непонятных пунктов: 
      1. Переходим в настройки сайта и выбираем Основной домен (если этого не было сделано раньше). - это где?
      2. Переносим все настройки (если такие имелись) с версии сайта http на https - это как? 
      3. Инструмент изменения адресов не используем - что за инструмент?
       
    • By mykvartira
      Добрый день.
      Подскажите что означают эти селекты и какое у них предназначение
       
      Добавить информацию о стране в карточку объекта(apps.seo.country_info_in_realty_view)
       
      Добавить информацию о городе в карточку объекта(apps.seo.city_info_in_realty_view) ?
      Включаю их в настройках - SEO-Оптимизация - ничего не происходит.
      Спасибо
    • By ImobilPalace
      Помогите переделать стандартный шаблон Realia ---нужно чтоб выглядело так http://preview.themeforest.net/item/realia-responsive-real-estate-wordpress-theme/full_screen_preview/4789838?ref=kern8&clickthrough_id=1054899612&redirect_back=true только может карту чуть по меньше размером