Как настроить файл Robots.txt (роботс) - примеры и объяснения (Урок 34)

Привет друг!

Сегодня я расскажу как настроить файл Robots.txt. Покажу как прописать параметры Allow, Disallow и User-agent.

Если коротко то с помощью файла robots.txt вы можете указывать, какие файлы на вашем сайте будут видны поисковым роботам, а какие нет. Файл robots.txt находится в корневом каталоге вашего сайта. (это там где находится ваш сайт на хостинге)

Прокрутка:

0:00 - Что такое файл robots.txt
0:26 - Параметры: Disallow, Allow, User-agent
1:42 - поиск файла robots.txt на других сайтах
3:07 - поиск шаблона файла robots.txt для любых CMS
4:54 - установка файла на хостинг с сайтом
5:37 - проверка файла robots.txt через Yandex Webmaster
8:25 - поиск дополнительных "мусорных" параметров для исключения из поиска
11:18 - быстрое удаление страницы из поиска


#robots.txt #seo #сеопродвижение #раскруткасайта #сеообучение

--------------
Обо мне
Меня зовут Аграчев Михаил. Коротко – я руководитель агентства по продвижению в интернете.

Профессионально настраиваем рекламу в Яндекс Директ и Google AdWords. Грамотно продвигаем ваш сайт в ТОП выдачи поисковиков.

На вашу страницу заходит больше посетителей – вы получаете большую прибыль. Все просто.

Контакты:
Наш сайт: https://agrachoff.ru/
Мой инстаграм:   / agrachoff