Как определить бюджет сканирования Google? Как оптимизировать краулинговый бюджет? Какие при этом есть подводные камни и важные нюансы? Смотрите круглый стол с DrMax и Максом Пивоваровым.

Сайт DrMax:
https://drmax.su/​

Telegram канал DrMax:
https://t.me/drmaxseo

---

Спонсор вебинара - компания Userator, которая является эффективным сервисом продвижения с помощью поведенческих факторов с 2010 года с помощью использования живых людей без ботов для попадания из ТОП20 в ТОП1 Яндекса и Google.

---

Мой блог:
https://shakin.ru/

Мой курс по продвижению англоязычных сайтов SEO Шаолинь (по промокоду "вебинар" буду рад сделать для вас хорошую скидку):
https://seoshaolin.com/

Мои книги по SEO (на книги по промокоду "вебинар" тоже скидка):
https://seocollider.ru/
https://seowinchester.ru/

Мои консультации:
https://shakin.ru/seo-audit.html - по русскоязычным сайтам
https://shakin.ru/seo-audit-english - по англоязычным

Мои аккаунты и сообщества

ВК:
https://vk.com/globator - мой аккаунт
https://vk.com/shakinseo - наша группа по SEO в рунете
https://vk.com/burzhunetseo - наша группа по англоязычному SEO

Telegram:
https://t.me/shakinru - SEO в рунете
https://t.me/burzhunet - англоязычное SEO
https://t.me/shakinweb - анонсы моих вебинаров по SEO
https://t.me/shakinlife - мой личный канал

Подписывайтесь на мой канал в Дзене:
https://dzen.ru/id/5ea41b1ee553831c6fd33d3d

Яндекс Кью:
https://yandex.ru/q/loves/ruseo/ - SEO в рунете
https://yandex.ru/q/loves/burzhunet/ - англоязычное SEO

Присоединяйтесь ко мне в TenChat:
https://tenchat.ru/mikeshakin?utm_source=11ae7c8c-11a0-4e17-9dc4-f5f16f346096

Подписывайтесь на мой канал в Rutube:
https://rutube.ru/channel/24777621/

Подписывайтесь на мой YouTube канал:
https://www.youtube.com/user/shakinru

---

Таймкоды:
0:00 Начало
4:08 Что такое бюджет сканирования сайта?
6:48 Как узнать краулинговый бюджет?
13:32 Полезные отчеты из Screaming Frog SEO Spider через API
17:28 Удаление дублированного контента
19:06 Закрытие сканирования в robots.txt
20:50 Soft 404 ошибки
22:29 Держите XML карты сайта в актуальном состоянии
24:52 Избегайте длинных цепочек редиректов
29:41 Выводы - 1 часть
34:05 Свежесть контента
35:49 Оптимизация бюджета сканирования сайта
43:01 Выводы - 2 часть
56:10 Что за бот "Загрузка объектов страниц"?
1:00:00 Какие частые ошибки мешают сканированию сайта?
1:02:49 Как сделать, чтобы ненужные страницы не сканировались?
1:04:35 Чем анализировать логи сервера - Screaming Frog SEO Log Analyzer
1:07:31 Что делать с 404 ошибками?
1:09:43 Как улучшить сканирование сайта после переезда на новый домен или движок?
1:15:02 Какие аддурилки сейчас самые лучшие?
1:18:12 Фишки из Google Search Console
1:28:46 Как отправить на сканирование много страниц?
1:30:30 Можно ли закрывать сайт от индексации для всех, кроме Googlebot?
1:34:22 Используете ли Indexing API?
1:37:08 Можно ли приклеить крутой домен ру к домену под бурж?
1:38:08 Продолжение вопроса про 404 ошибки
1:44:08 Если нет возможности удалить ненужные страницы, может, noindex nofollow?
1:49:37 Как спарсить все запросы из Google Search Console?
1:56:27 Советы по улучшению сканированию JSON и Javascript файлов.