1. Что такое файл журнала?
2. Доступ к вашим файлам журнала
3. Что такое анализ журнала?
4. Как сделать анализ журнала
5. Технические SEO-идеи в данных журнала
6. Bot Crawl Volume
7. Ошибки кода ответа
8. Временные перенаправления
9. Сканирование бюджетных отходов
10. Сканирование дубликатов URL
11. Приоритет сканирования
12. Дата последнего сканирования
13. Бюджет сканирования

Сейчас десять часов. Вы знаете, где находятся ваши журналы?

Я представляю это руководство с каламбуром на общее объявление о государственной службе это происходило в ночных телевизионных новостях в Соединенных Штатах, потому что анализ журналов - это нечто чрезвычайно интересное и важное.

Если ваш технический SEO и SEO на странице плохой, то ничто другое, что вы делаете, не будет иметь значения. Техническая оптимизация - это ключ к поисковым системам, которые помогают сканировать, анализировать и индексировать веб-сайты и, таким образом, ранжировать их задолго до начала любой маркетинговой работы.

Важно помнить: ваши файлы журнала содержат единственные данные, которые на 100% точны с точки зрения того, как поисковые системы сканируют ваш сайт. Помогая Google выполнять свою работу, вы подготовите почву для своей будущей SEO-работы и упростите свою работу. Анализ журналов является одним из аспектов технического SEO, и исправление проблем, обнаруженных в ваших журналах, поможет привести к повышению рейтинга, увеличению трафика и увеличению количества конверсий и продаж.

Вот только несколько причин, почему:

• Слишком много ошибок кода ответа может привести к тому, что Google снизит количество просмотров вашего сайта и, возможно, даже ваш рейтинг
• Вы хотите убедиться, что поисковые системы сканируют все новое и старое, что вы хотите отображать и ранжировать в поисковой выдаче (и ничего больше)
• Крайне важно убедиться, что все перенаправления URL будут проходить через любой входящий «сок ссылок».

Однако, анализ логов - это то, что, к сожалению, слишком редко обсуждается в кругах SEO. Итак, здесь я хотел дать Mozzers вводное руководство по аналитике журналов, которое, я надеюсь, поможет сообществу. Если у вас есть какие-либо вопросы, не стесняйтесь спрашивать в комментариях!

Что такое файл журнала?

Компьютерные серверы, операционные системы, сетевые устройства и компьютерные приложения автоматически генерируют то, что называется записью в журнале, когда они выполняют какое-либо действие. В контексте SEO и цифрового маркетинга, один тип действия - всякий раз, когда страница запрашивается посещающим ботом или человеком.

Записи журнала сервера специально запрограммированы для вывода в Общий формат журнала консорциума W3C , Вот один пример из Википедии с моими сопроводительными объяснениями:

Примечание. Дефис отображается как - в поле, когда эта информация недоступна.

Каждый раз, когда вы - или робот Google - посещаете страницу на веб-сайте, строка с этой информацией выводится, записывается и сохраняется на сервере.

Записи в журнале генерируются непрерывно, и каждую секунду может создаваться от нескольких до тысяч единиц - в зависимости от уровня активности данного сервера, сети или приложения. Коллекция записей журнала называется файлом журнала (или часто на сленге, «журнал» или «журналы»), и это противоположно блогу в том, что самая последняя запись журнала находится внизу. Отдельные файлы журнала часто содержат записи журнала за календарный день.

Доступ к вашим файлам журнала

Различные типы серверов хранят и управляют своими файлами журналов по-разному. Вот общие руководства по поиску и управлению данными журналов на трех самых популярных типах серверов:

Что такое анализ журнала?

Анализ журнала (или анализ журнала) - это процесс просмотра файлов журнала для определенной цели. Некоторые общие причины включают в себя:

• Разработка и обеспечение качества (QA) - Создание программы или приложения и проверка проблемных ошибок, чтобы убедиться, что они функционируют должным образом
• Устранение неполадок в сети - реагирование и исправление системных ошибок в сети
• Обслуживание клиентов - определение того, что произошло, когда у клиента возникла проблема с техническим продуктом
• Проблемы безопасности - Расследование случаев взлома и других вторжений
• Вопросы соблюдения - сбор информации в ответ на корпоративную или государственную политику
• Технический SEO - это мой любимый! Но об этом ниже.

Анализ журнала редко проводится регулярно. Обычно люди заходят в файлы журналов только в ответ на что-то - ошибку, хакерство, повестку в суд, ошибку или сбой. Это не то, что кто-то хочет делать на постоянной основе.

Зачем? Это скриншот нашей очень маленькой части исходного (неструктурированного) файла журнала:

Уч. Если веб-сайт получает 10 000 посетителей, каждый из которых посещает десять страниц в день, то сервер будет каждый день создавать файл журнала, который будет состоять из 100 000 записей журнала. Ни у кого нет времени, чтобы пройти через все это вручную.

Как сделать анализ журнала

Существует три основных способа облегчить анализ логов в SEO или в любом другом контексте:

• Сделай сам в Excel
• Запатентованное программное обеспечение, такое как Splunk или Sumo-logic
• Программное обеспечение с открытым исходным кодом ELK Stack

Моисейское сочинение Тима Ресника, сделанное несколько лет назад, проведет вас через процесс экспорт пакета файлов журнала в Excel , Это (относительно) быстрый и простой способ сделать простой анализ журнала, но недостатком является то, что вы увидите только моментальный снимок, а не какие-либо общие тенденции. Для получения наилучших данных крайне важно использовать собственные инструменты или стек ELK.

Splunk и Sumo-Logic являются проприетарными инструментами анализа логов, которые в основном используются корпоративными компаниями. ELK Stack - это бесплатный пакет с тремя исходными кодами (Elasticsearch, Logstash и Kibana) с открытым исходным кодом, который принадлежит Эластичный и используется чаще мелким бизнесом. (Раскрытие информации: мы в Logz.io используем стек ELK для мониторинга наших собственных внутренних систем, а также для нашего собственного программного обеспечения для управления журналами.)

Для тех, кто заинтересован в использовании этого процесса для технического SEO-анализа, мониторинга производительности системы или приложений или по любой другой причине, наш генеральный директор, Томер Леви, написал руководство по развертыванию стека ELK ,

Технические SEO-идеи в данных журнала

Однако вы выбираете доступ к данным журнала и понимаете их, однако существует множество важных технических проблем SEO, которые необходимо решить при необходимости. Я включил скриншоты нашей технической панели SEO с данными нашего собственного сайта, чтобы продемонстрировать, что исследовать в ваших журналах.

Bot Crawl Volume

Важно знать количество запросов, сделанных за данный период времени Baidu, BingBot, GoogleBot, Yahoo, Yandex, «Другие» и «Все» за определенный период времени. (Я выделил Google.) Если, например, вы хотите, чтобы вас нашли в результатах поиска в России, но Яндекс не сканировал ваш сайт, это проблема. (Вы хотели бы проконсультироваться Яндекс Вебмастер а также увидеть эту статью в поисковой системе Land.)

Ошибки кода ответа

Моз имеет отличный учебник по значения различных кодов состояния , У меня есть система оповещения, которая немедленно сообщает мне об ошибках 4XX и 5XX, потому что они очень существенны.

Временные перенаправления

Временные 302 перенаправления не передавайте «сок ссылок» внешних ссылок со старого URL на новый. Практически все время их следует менять на 301 редирект.

Сканирование бюджетных отходов

Google назначает бюджет сканирования каждому веб-сайту основанный на многочисленных факторах , Если ваш бюджет обхода составляет, скажем, 100 страниц в день (или эквивалентный объем данных), то вы хотите быть уверены, что все 100 - это то, что вы хотите отобразить в поисковой выдаче. Неважно, что вы пишете в своем файл robots.txt и мета-роботы Вы все еще можете тратить свой бюджет сканирования на целевые страницы рекламы, внутренние сценарии и т. д. Журналы скажут вам - я выделил два примера на основе сценария красным цветом выше.

Если вы достигли предела сканирования, но у вас все еще есть новый контент, который необходимо проиндексировать, чтобы он появлялся в результатах поиска, Google может отказаться от вашего сайта, прежде чем его найдут.

Сканирование дубликатов URL

Добавление параметров URL - обычно используемых для отслеживания в маркетинговых целях - часто приводит к тому, что поисковые системы тратят бюджеты на сканирование, сканируя разные URL с одинаковым содержанием. Чтобы узнать, как решить эту проблему, я рекомендую прочитать ресурсы в Google и Search Engine Land Вот , Вот , Вот , а также Вот ,

Приоритет сканирования

Google может игнорировать (а не сканировать или индексировать) важную страницу или раздел вашего сайта. Журналы покажут, какие URL и / или каталоги получают наибольшее и наименьшее внимание. Если, например, вы опубликовали электронную книгу, которая пытается ранжироваться по целевым поисковым запросам, но она находится в каталоге, который Google посещает только раз в шесть месяцев, то вы не получите органический поисковый трафик из электронной книги. на срок до шести месяцев.

Если часть вашего веб-сайта сканируется не очень часто (и он достаточно часто обновляется, чтобы это происходило), то вам может потребоваться проверить структуру внутренних ссылок и настройки приоритета сканирования в вашей карте сайта XML ,

Дата последнего сканирования

Вы загрузили что-то, что, как вы надеетесь, будет быстро проиндексировано? Файлы журнала сообщат вам, когда Google его просканировал.

Бюджет сканирования

Одна вещь, которую я лично люблю проверять и видеть, это активность робота Googlebot на нашем сайте, потому что бюджет сканирования, который поисковая система назначает сайту, является приблизительным, очень грубым показателем того, насколько ему «нравится» ваш сайт. В идеале Google не хочет тратить драгоценное время на плохой веб-сайт. Здесь я видел, что робот Googlebot сделал 154 запроса от сайта нашего нового стартапа за предыдущие двадцать четыре часа. Надеюсь, это число будет расти!

Как я надеюсь, вы можете видеть, что анализ логов критически важен в техническом SEO. Сейчас одиннадцать часов - ты знаешь, где сейчас находятся твои журналы?

Используйте Logz.io для мониторинга журналов вашего сервера

Замечания: Это эссе первоначально появилось на Моз ,

Похожие

Комментарии