Уверен, многим приходилось сталкиваться с поддержкой Яндекса из-за ужасной работы их поиска. Для Stack Overflow «ужасными» стали индексация и ранжирование в выдаче. Яндекс просто отказывается работать с любым сайтом сети Stack Exhcange!

Как происходит обращение в службу поддержки Яндекса

Как дойти до конца и понять, что мир несправедлив

Мне кажется, для большинства обычных информационных ресурсов крайне сложно, а то и вовсе невозможно понять, по каким запросам сайт находят пользователи в поиске. Все же давайте попробуем это сделать.

1. Статистика переходов из поиска Google

Для Stack Overflow поиск Google работает в 10–15 раз лучше Яндекса (для контраста, напрямую на сайт попадает в полтора раза больше человек, чем из поиска Яндекса). Вы можете использовать топ-100 поисковых запросов, по которым вас находят в Google, и сделать аналитику на их основе.

2. Прямое совпадение заголовка страницы

Возьмите от 100 до 200 последних страницы, созданных на сайте, и проверьте, можно ли найти каждую из них на первых трех или пяти страницах поисковой выдачи, если в качестве запроса использовать заголовок страницы (title). Эти данные могут быть еще одним камнем в сторону Яндекса.

3. Наличие страницы в поисковой базе

Опять же возьмите от 100 до 200 последних страниц и проверьте, есть ли они вообще в поисковой базе Яндекса. Для этого используйте фильтр url:mysite.ru/my_page. Какой бы запрос не ввел пользователь, какой бы ни была интересной информация на сайте, вашу страницу никто не найдет, если ее не будет в поисковой базе.

Например, мне обидно и странно, что одни из наиболее посещаемых страниц Stack Overflow на русском никогда не попадают не только в выдачу, но и в поисковую базу.

4. Инструменты веб-мастера

В принципе какую-то информацию можно вытащить из инструментов для веб-мастеров от Яндекса.

Например, где-то в конце декабря Stack Overflow на русском полностью пропал из поиска, вообще! Как вы думает, в чем была причина? Кто-то в тестовых целях сделал перенаправление со своего домена на ru.stackoverflow.com. Оказывается, поиск Яндекса и тут работает с дефектами. Он определил, что непонятно взявшийся откуда-то домен является главным зеркалом, и закрыл мне весь доступ к сайту в инструментах для веб-мастеров (да-да, я более не управлял сайтом, потому что кто-то изменил настройки зоны! Мне тоже не верилось!). Потом перенаправление взяли и убрали! Все, вашего сайта больше нет (а для некоторых и бизнеса, возможно, всей жизни!), он перестал быть интересным – и его выпилили. И это, конечно же, ваша вина, а не поиска Яндекса. У Яндекса все работает, все хорошо: рынок, деньги, ну, вы поняли…

Анализировать 200 страниц по нескольким показателям – затратно

Именно так я и подумал, и решил сделать жизнь чуть-чуть проще, как минимум себе. Я написал очень простое приложение, которое позволяет делать часть описанного выше. Исходный код приложения можно найти на GitHub по адресу: github.com/chabanovsky/querychecker.

Приложение «заточено» под анализ Stack Overflow на русском, но изменить настройки, чтобы оно анализировало ваш сайт, займет минут 10, не более.

Что же делает приложение?

Run SQ. Выполнить анализ поисковых запросов (Run Search Query Test). Данные для анализа берутся из файла stats.json, который находится в ресурсах проекта. Это файл содержит наиболее популярные запросы, по которым Stack Overflow на русском находят в поиске Google. Файл был загружен из Яндекс.Метрики (старый интерфейс). Изменений не вносилось. При необходимости просто замените на свой.

Run NQ. Выполнить анализ новых страниц на сайте (Run New Questions Test). Программа заходит на список новых страниц и собирает заголовки последних заданных вопросов. Далее переходит в поиск Яндекса и проверяет, будьте внимательны, наличие любой страницы сайта в поисковой выдаче по заданному запросу. То есть проверка идет не по точному совпадению адреса, а по совпадению корневого домена. Для модификации программы под ваш сайт, пожалуйста, обратите внимание на файл utils.h. В нем есть JavaScript код, с помощью которого собираются заголовки.

Run NQWA. Выполнить анализ новых вопросов, которые содержат ответы (Run New Questions With Answers Test). Идея, как и в Run NQ. Этот и следующий тест были добавлены после того, как Мистер Андерсон сказал, что Run NQ – нечестный анализ, и надо анализировать только вопросы, которые «могут быть интересны пользователям». В нашем случае, это вопросы, получившие ответы.

Run NAQ. Выполнить анализ новых отвеченных вопросов (Run New Answered Questions Test). Отвеченные вопросы – это вопросы с ответами, которые были отмечены верными или имеют положительный рейтинг.

Run NURLs. Выполнить анализ наличия новых вопросов в поисковой базе (Run New URLs Test). Программа собирает данные о последних вопросах и проверяет, есть ли они в поисковой базе Яндекса.

Результаты

Выполнение теста занимает 3–5 минут, в зависимости от скорости соединения. Результаты отображаются во всплывающем диалоговом окне. Я направлял результаты работы программы напрямую в службу поддержки Яндекса.

Буду рад, если кому-нибудь пригодится эта однодневная «лабораторная работа». Также буду рад доработать ее согласно отзывам. Да вы и сами можете ее доработать – исходный код доступен каждому!

Для Stack Overflow результаты плачевные – сайта нет в Яндексе, и, что хуже, пока что поддержка Яндекса дает явно понять, что он там и не появится. Рынок, деньги, ну, вы поняли… Работает – не трогай!

В завершение немножко лирики

Побывав на нескольких конференциях и видя, что происходит в Рунете со Stack Overflow, я ужасаюсь. Яндекс вкладывает огромные (как минимум, для меня) средства в создание сообщества разработчиков вокруг компании: проводят хакатоны, рассказывают про технологии, выступают спонсорами конференций, да и, наконец, кормят всех пиццей и печенками на различных встречах в своих офисах.

Вопрос: зачем все это, если Яндекс не справляется со своей основной функцией?

Зачем рассказывать, какие вы молодцы (ни в коей мере в этом не сомневаюсь, очень люблю и пользуюсь многими сервисами), и в то же время предоставлять наиотвратительнейший опыт использования главного продукта? Зачем вкладывать деньги в создание сообщества, если в момент, когда Яндекс действительно нужен, он физически не работает. Разработчики на работе ищут решение, а вместо нормального ответа на адекватном сайте в поисковой выдаче Яндекса только ссылки на информационные помойки. Фамильярность!

Банально, вот как я попаду на ваш хакатон, если использование поиска Яндекса сделает невозможным решение задачи в заданные сроки? «Используй Google», – ответит мне любой коллега. Ребята из Яндекса, эти два слова сводят на нет всю вашу работу по расположению к себе разработчиков. А, как мы знаем, отчасти мнения именно разработчиков являются главной составляющей успеха. Сегодня рекомендуют искать в Google, карты использовать от 2GIS. Будет ли доля на рынке завтра с таким подходом-то? Уверен, у вас есть план, но все же…

Может все-таки стоит задуматься об исправлении дефектов? Вот есть же реальные данные, можно не посылать на… и не говорить, что сайт плохой (для всего мира Stack Overflow – лучший сайт для поиска ответов, а вот для Яндекса он плохой), а взять и разобраться, попробовать исправить дефекты, сделать продукт лучше! Не сторонний сайт «интересней для пользователей», а ваш, ваш поиск, ваш продукт!

Не можете, некогда и т. д.? Скажите, как вам помочь! Уверен, я не один, кто хочет сделать жизнь русскоязычного разработчика легче и лучше. Мы вместе, всем сообществом, поможем исправить ваши дефекты!