Парсинг Яндекс Вордстат: что это и для чего? Словоёб: как настроить и пользоваться программой Парсер ключевых слов яндекс

Скачать архив с парсером
Данный парсер собирает ключевые слова и частотность в эксель файл из сервиса яндекс wordstat.
Если в Ваших частых задачах присутсвует сбор статистики по ключевым словам из сервиса yandex водстат, то одним из способов оптимизации рабочего процесса - является делегирование парсеру задачу парсинга ключевых слов.
Данный парсер не является оригинальным в функциональности, но оригинален в простоте настроек и получения данных по ключевым словам.

Функциональность данного парсера позволяет собрать кллючевые слова из сервиса wordstat.yandex.ru , статистику запрашиваемости собранных ключей, точную частоту ключей, а так же разгруппировать на кластеры собранные ключи.

Настройки парсера:

1. Логин от yandex.ru - в данное поле необходимо ввести адрес Вашего почтового ящика от яндекс почты

2. Пароль от yandex.ru - в данное поле необходимо ввести пароль от Вашей почты на яндексе

3. Файл с ключевыми словами - в данное поле указывается файл со списком ключевых слов (файл должен быть сохранён в формате utf-8, каждый ключ с новой строки), если Вы планируете активировать кластеризацию запросов после сбора, то в данном файле должна находится только 1 базовая ключевая фраза (все слова только в нижнем регистре (маленькими буквами))

4. Файл с минус-словами - в данное поле указывается файл со списком минус-слов (файл должен быть сохранён в формате utf-8, каждое минус-слово с новой строки)

5. Глубина взятия - до какой глубины парсить

6. Исследовать результаты - данная опция активирует этап кластеризации запросов, после того, как будут собраны ключи по базовой фразе (активируя данную опцию Вы обязательно должны указать файл для сохранения исследования)

7. Проверять на точную частоту - данная опция активрует сбор точной частотки по собранным ключам

8. Глубокое сканирование - данная опция активирует глубокое сканирование

9. Ключ для капч - указывать необязательно

10. Файл для сохранения ключей - эксель файл, в который будут сохраняться ключевые слова из сервиса wordstat.yandex.ru

11. Файл для сохранения исследования - эксель файл, в который будут сохраненны сгруппированые кластеры после кластеризации

Если есть вопросы или пожелания - пишите на почту vipvodu@yandex.ru
skype - vipvodu
Скачать архив с парсером

Пример файла с кластерами по ключу - база клиентов.

Советы:
1. Тщательно проверяйте настройки перед запуском.
2. Если программа, после нажатия на кнопку - запустить - выключается - то скорее всего, что-то не так с настройками, либо есть повисшие процессы после предыдущего прерванного парсинга, повисшие процессы надо либо убить в диспетчере задач, либо перезагрузить компьютер.
3. Не прерывайте парсинг, дожидайтесь надписи - Все данные сохранены

) Для работы парсера SE::Yandex::WordStat необходимы аккаунты Яндекс. Аккаунты можно зарегистрировать с помощью парсера или просто добавить существующие аккаунты в файл files/SE-Yandex/accounts.txt в формате:

login1@yandex.ru;password
login2@yandex.ru;password2
...

Нажмите, чтобы раскрыть...

Собираемые данные(top)

• Количество показов по указанному запросу
• Дату обновления статистики
• Список всех кейвордов связанных с указанным и число их показов в месяц
• Список всех дополнительных кейвордов которые искали пользователи и число их показов в месяц

Возможности(top)

• Парсит максимальное отдаваемое вордстатом число результатов - 40 страниц по 50 элементов выдачи
• Поддерживает выбор региона поиска(с подгруппами)
• Может автоматически подставлять найденные кейворды заново в запросы(опция Parse to level)
• Возможность выбора сразу нескольких регионов для оценки
• Возможность обхода каптчи с помощью сервиса AntiCaptcha или любого другого поддерживающего их API

Варианты использования(top)

• Оценка количества трафика по кейворду(частота)
• Поиск новых ключевых слов схожей тематики
• Сбор больших баз ключевых слов разной тематики
• Любые другие варианты подразумевающие парсинг Яндекс.WordStat в том или ином виде

Запросы(top)

• В качестве запросов необходимо указывать ключевые слова, точно так же как если бы их вводили прямо в форму поиска Вордстата, например:

окна москва
"окна москва"
!окна!москва

Нажмите, чтобы раскрыть...

Результаты(top)

• В результате отображен исходный запрос, число его показов, дата обновления статистики, список связанных кейвордов и их показы в месяц, список дополнительных кейвордов и их показы в месяц

Окна!москва - 10368, updated: 16/05/2013
keywords:
окна москва: 32367
пластиковые окна москва: 8994
окна пвх москва: 4813
купить окна москва: 2561
окна цены москва: 1706
москва работа окна: 1547
вакансии окна москва: 1187
деревянные окна москва: 1087
служба +одного окна москва: 1021
...
additional keywords:
производство окон пвх: 8512
окна rehau: 15686
окна salamander: 1576
окна kbe: 3798
окна кбе: 6089
окна кве: 3227
остекление балконов: 83216
беседки: 471213
остекление лоджий: 26366
офисные перегородки: 18740
монтаж окон: 26223
...

Нажмите, чтобы раскрыть...

Возможные настройки(top)

Параметр	Значение по умолчанию	Описание
Pages count	10	Количество страниц для парсинга
Region	All	Регион поиска
Remove + from keywords	☐	Удалять символ плюса (+) из найденных запросов
Use AntiGate	☐	Определяет использовать ли AntiGate для обхода каптч
AntiGate preset	default	Необходимо предварительно настроить парсер Util::AntiGate - указать свой ключ доступа и другие параметры, после чего выбрать созданный пресет здесь
AntiGate preset for Login	default	Пресет AntiGate для логина. Необходимо предварительно настроить парсер Util::AntiGate с параметрами, после чего выбрать созданный пресет здесь
Use Accounts	☑
First sleep	50	Задержка после первого запроса при использовании AntiGate для экономии каптч
Use session	☑	Сохраняет хорошие сессии для дальнейшего использования
Mobile only	☐	Получать статистику только для мобильного трафика
Remove bad accounts	☑	Автоматическое удаление аккаунтов с неверным логин/паролем или требующих подтверждения по телефону

Один из наиболее популярных модулей в Rush Analytics – парсер Яндекс Вордстат, и это не случайно. При сборе семантического ядра необходимо точно знать частотность собранных запросов, чтобы правильно расставить приоритеты по продвижению и избавится от «мусорных» и нулевых запросов. Часто стоит задача пробить несколько десятков тысяч запросов на частотность в Яндексе, но это не совсем простая задача для самописных парсеров Вордстата и десктопных программ, и вот почему:

1. Yandex Wordstat имеет хорошую защиту от парсинга, например бан IP-адресов с которых осуществляется парсинг и выбрасывание капчи в ответ на запросы от ботов. Чтобы эффективно собирать данные с Wordstat, нужен эффективный алгоритм подключения IP-адресов и другие хитрости
2. Для парсинга большого количества данных с помощью десктопных программ понадобится много IP-адресов (прокси), которые Яндекс с легкостью банит при неоптимальном алгоритме подключения, а прокси – удовольствие недешевое
3. Так же для парсинга понадобится автоматическое введение большого количества капчи (например подключение Antigate для этой задачи). Данный фактор, при неоптимальном алгоритме парсинга, может сделать сам парсинг нерентабельным, так как стоимость капчи будет чрезмерно высока
4. Большинство десктопных программ не имеют защиты от потери данных при сборе. Так, например, собрав половину данных и потратив на это деньги, при сбое в парсере, вы рискуете не только не получить оставшиеся данные, но и потерять уже собранные

Парсинг Яндекс Вордстат в Rush Analytics

Учитывая все трудности которые могут возникнуть при парсинге Вордстата, мы сделали свой парсер Wordstat максимально быстрым, удобным и устойчивым к максимальному количеству проблем, связанных с парсингом:

• Никаких прокси и капчи! Вам больше не нужно думать о бане ваших прокси или огромном количестве капчи, которую выдает Яндекс. Просто создайте проект, загрузите ключевые слова и ждите готовый файл с результатом
• Высокая скорость парсинга. Наши алгоритмы используют оптимальную схему подключения IP-адресов и другие хитрости, чтобы сделать скорость парсинга феноменально высокой – вы и не заметите, как ваш проект будет выполнен!
• Сохранность данных. Создавая проект в нашем парсере, вы можете быть уверены, что он будет успешно завершен и доступен для скачивания в любое время и из любой точки мира – все данные хранятся в облаке!
• Поддержка всех регионов Яндекса. У многих пользователей есть потребность определять частотность запросов в Яндексе не только по региону «Москва» или «Россия», но и по другим, включая «Украину» и «Беларусь». В Rush Analytics вы сможете определить частотность запросов по любому региону, который поддерживает Яндекс на данный момент.

• Сбор всех частотностей. С помощью нашего парсера вы сможете собрать все частотности: поисковый запрос, «поисковый запрос», «!поисковый!запрос».

• Сбор левой колонки Wordstat. Помимо проверки частотности запросов, доступен сбор ключевых слов из левой колонки Wordstat с настройкой глубины парсинга от одной страницы до сбора всех имеющих в левой колонке страниц.

• Сбор правой колонки Wordstat. Доступен сбор ключевых слов из правой колонки Wordstat.

Если вам нужен скоростной сбор частотностей Яндекс Wordstat – Rush Analytics лучшее решение, особенно если вам нужно собирать большие объемы данных. Для пользователей с потребностью сбора боле 100 000 запросов в месяц предусмотрены индивидуальные условия, просто напишите в нашу поддержку на

Яндекс Вордстат – это сервис компании Яндекс, используемый для подбора ключевых слов путем анализа поисковых запросов пользователей.

Зачем нужен Вордстат

В основном он применяется для составления семантического ядра. Wordstat бесплатен, он является многофункциональным инструментом, но настолько простым, что разобраться сможет даже новичок. С помощью Вордстата возможно узнать подробную статистику запросов в системе Яндекс за последний месяц, и составить не только структуру целого сайта, но и отдельных его страниц. В практике сервис применяется для решения следующих проблем:

1. Сбор наиболее полной семантики за счет расширений запросов;
2. Проверка частотности запросов, в том числе и региональной;
3. Проверка сезонности запросов.

Это самое основное, но есть конечно и более мелкие задачи, которые помогает решить Wordstat.

Как правильно пользоваться Вордстатом

Сначала там нужно зарегистрироваться. Вот ссылка на сервис , вы можете и без регистрации вводить в нем слова, но вот результаты узнавать сможете только после регистрации. Иначе будет всплывать такая херня:

Также важно, чтобы в вашем профиле в Яндексе был указан ваш регион, по которому вы и собираетесь смотреть статистику запроса. Иначе, если вы будете искать, сколько клиентов для вашего бизнеса вводят в ваших Нижних Васюках слово «удочки», а у вас стоит регион Москва, то вам может выдать, что сотни тысяч людей ищут удочки. Вы накупите их сотню тысяч, а в Нижних Васюках их ищут всего-то пара калек.

После того, как зарегаетесь, вводите там слово и жмите кнопку «Подобрать». Вы получите такие результаты:

Как видите, мы ввели слово «браток», и в левой колонке будут запросы, в которых присутствует фраза «браток». Эти запросы вводят реальные пользователи. В правой колонке — похожие запросы. Цифры рядом с каждым запросом — это их частотность (то есть насколько часто пользователи их вводят). Но это не точная частотность, а приблизительная. То есть саму фразу «браток» именно в такой форме может вводили раз 20 всего (то есть точная частотность у нее 20 тогда), но вместе с фразами «братки», «братки 90», «давай браток» и другими у нее частотность 27 080. Точную же частотность мы научимся определять далее.

В основном с Вордстатом работают через специальные сервисы и программы. Тысячи их! Самая известная — Кей Коллектор. Все эти программы повышают удобство работы с этим инструментом в разы.

Напрямую с вордстатом работают очень редко, однако я слышал офигенные истории, что в студии Ашманова, одной из самых крутых SEO-студий, сидят мартышки, которые каждый запрос вводят в Вордстат руками и копируют выдачу в.txt-файл. Я сразу представил сотню рабов, которые за день работы выполняют такой же объем, как один сеошник с Кей Коллектором.

Давайте теперь смотреть остальные функции интерфейса:

В блоке 1 — переключение между типом устройств. Я лично не использую. Я свои сайты делаю удобными для всех типов устройств.
В блоке 2 — очень полезный переключатель. С его помощью можно посмотреть, во-первых, региональность запроса (в каком регионе его вводят чаще, в каком — реже). Можно серьезно залипнуть на этом инструменте. А во-вторых, тут можно посмотреть «Историю запроса» — и это действительно иногда очень нужно бывает для определения сезонности запроса и для отслеживания тренда.
В блоке 3 — дата, когда последний раз Яндекс обновлял статистику по запросам. В большинстве случаев нам это не нужно.
В блоке 4 — выбираем регион/регионы.

По регионам

Можно посмотреть, что где ищут. Забавная штука. Тут, например, можно выяснить, что блатные песни в среднем на душу населения больше всего ищут вовсе на в РФ, а в Греции и таки в Израиле:

А если вы нажмете на Россию, то увидите, что блатняк востребован в общем-то везде, но особенно — в Дагестане:

История запроса

В истории запроса можно определять сезонные запросы и тренды, как я уже говорил. Например, мы можем лишь завидовать тем вебмастерам, кто успел написать статьи про Трампа, потому что сейчас (конец 2016) у них начался рост трафика:

Но самое профессиональное начинается, когда вы работаете с операторами.

Какие операторы полезны при работе с Wordstat

Надо знать, как пользоваться операторами Яндекс Вордстата, чтобы наиболее эффективно работать в интерфейсе.

Базовые операторы

Два базовых оператора — восклицательное слово и кавычки. Это азы азов.

Смотрите, без них у нас 25 655 показов. Это показы всех фраз со словом «браток».

С кавычками же всего 832. Кавычки фиксируют фразу. Это значит, что 832 показа — у фраз «браток», «братка», «братку», вместе взятых, то есть у этой фразы с разным порядком слов и окончаниями, но без добавления к этой фразе других слов. То есть сюда не включаются показы фраз «мы братки», «завалили братка» и так далее.

С восклицательным знаком — 7409 показов. Он фиксирует словоформу. То есть сюда включаются показы фраз «браток», «ништяк браток», «держись браток» и других с таким же окончанием. А показы фраз «позвонить братку», «скачать песню про братка» и так далее — не включаются.

А тут мы имеем всего 152 показа. Это потому, что с восклицательным знаком и кавычками учитываются показы только этой фразы и только в этой форме. Но с разным порядком слов в фразе. То есть если мы введем «ништяк браток», то Вордстат нам покажет сумму показов «ништяк браток» и «браток ништяк».

Вспомогательные операторы

Плюс. Символ «+» принудительно учитывает стоп-слова. По умолчанию Вордстат не учитывает предлоги, и по запросу «как купить телевизор» покажет вам в основном коммерческие запросы:

Если вам важна частица «как», то зафиксируйте её плюсом и Wordstat даст уже такие данные:

Оператор «ИЛИ». Прямой слэш «|» — если две фразы разделить этим оператором, он покажет все вариации с этими двумя фразами.

Он кстати позволяет провести сравнение двух запросов, для этого я его в основном и использую.

Минус. Символ «-» исключает конкретное слово из запроса. Пример: «купить машину в Москве -бу». Будут показаны запросы без употребления слова «бу».

Круглые скобки «()» — группирует использование нескольких операторов.

Квадратные скобки «» — фиксирует последовательность слов в поисковой фразе. Этот оператор ввели не так давно. То есть мы получаем возможность узнать, с каким порядком слов фразу вводят чаще всего:

Как видим, с неправильным порядком фразу почти никто не вводит:

Плагины

Работать с голым Яндекс Wordstat в целом неудобно. Чтобы облегчить свой труд, можно установить себе в браузер специальный плагин, предназначенный для работы в Wordstat. Плагины для браузеров Хромиума (Яндекса, Мейла, Амиго, Оперы и Гугл Хрома) одинаковые, а вот для Мозилы идет отдельный плагин, все являются бесплатными и доступными для скачивания, устанавливать их можно сразу из браузера. Наиболее популярные — плагины Wordstat Assistant и Yandex Wordstat Helper.

Yandex Wordstat Assistant

Пожалуй, самый лучший плагин для wordstat.yandex.ru. Я сам им пользуюсь. Он удобен в использовании, практичен и не мешает, когда вы работаете на других сайтах. Установленный wordstat assistant запускается только в случае перехода на страницу Вордстата. Путем нажатия на плюсики, требуемое ключевое слово можно добавить в список (он находится слева). В ассистант есть возможность отсортировать выбранные ключевики, а ненужные удалить. Получившийся список просто скопируйте в буфер обмена, и перенесите в Excel для последующей обработки. Кстати, удобность использования плагина еще и в том, что когда вы добавляете в список уже находящиеся там фразы, дубли автоматически удаляются, что существенно сокращает работу.

Yandex Wordstat Helper

Этот плагин попроще, чем предыдущий, но не менее популярен, его также можно устанавливать прямо с браузера. Хелпер сделан в виде виджета, который добавляется на страницу вордстата сразу после установки, нужно просто обновить страницу и можно начинать работу. Его функции:

1. Возможность автоматической сортировки в алфавитном порядке;
2. Проверяет наличие дублей, удаляя последние;
3. Есть возможность обработки разных запросов в нескольких вкладках браузера. Нужные слова добавляются в один и тот же список;
4. Есть счетчик слов;
5. Возможность копирования уже готового списка в Excel, собрав всё воедино по начальным фразам.

Прежде чем решить, какой плагин использовать, попробуйте в действии и тот и другой, это позволит вам сделать правильный выбор.

Парсеры Вордстата

Для экономии времени при подборе ключевых слов часто пользуются специально предназначенными для этого автоматическими программами – парсерами, которые могут быть как платными, так и бесплатными.

Некоторые пацаны заказывают парсеры и чисто под свои нужды.

Лучший платный парсер Wordstat – KeyCollector. Используют его в основном те, кто профессионально занимается составлением семантики. Бесплатным аналогом КейКоллектора является программа Словоеб. Функции его урезаны, но составлять небольшие ядра с его помощью вполне реально.

Магадан тоже достаточно популярный парсер Вордстат, который тоже можно бесплатно скачать. Подбирает и анализирует запросы, есть поддержка регионов, предназначен для парсинга фраз Яндекс Директа.

Под конец хочу отметить, что Вордстат дает только те данные, которыми располагает Яндекс. Поэтому например частотность в Гугле и других поисковиках может быть совсем другая.

Простой и бесплатный пример PHP парсера (parser) статистики ключевых слов с wordstat Яндекс.

Понятно, что перед тем как продвигать сайт, нужно определиться с ключевиками. это не сложный, но кропотливый труд. Для того же чтоб найти что-то стоящее, нужно перелопатить кучу данных. Поэтому здесь не обойтись без средств автоматизации процесса. В данной заметке я хочу остановиться на создании PHP парсера данных с wordstat Яндекс.

И так. Основная проблема при парсинге данных с сервиса статистики ключевых слов wordstat Яндекс заключается в наличии капчи. Обойти ее не так уж и сложно. Достаточно передать в запросе куку fuid01, генерируемую при обработки капчи. Другими словами, вам понадобится зайти на сервис, сделать запрос, указав символы с картинки и получить содержание требуемой куки.

Как получить содержание куки fuid01 в браузере Firefox?

Т.к. я не собираюсь замахиваться на эпосы и прочие великие труды человечества, то опишу лишь процесс получения содержания куки fuid01 в браузере Firefox (использую версию 8.0). В общем, запускаем Firefox. Считаем, что запрос в wordstat уже сделан и кука создана. Жмем кнопку «Firefox» в левом верхнем углу окна браузера. В меню выбираем: Настройки > Настройки (я ничего не путаю).

В открывшемся окне «Настройки», переходим на вкладку «Приватность». Здесь нас интересует блок «История». Выбираем в списке Firefox «будет использовать ваши настройки хранения истории» и жмем появившуюся кнопку «Показать куки…».

В окне «Куки», в поле «Поиск» введите имя интересующей нас куки, т.е. «fuid01». В списке должно отобразиться найденное. Выберите одну из предложенных кук и в поле информации, выделите и скопируйте ее «Содержимое».

Как работать с PHP парсером wordstat Яндекс

Бесплатно скачать PHP парсер wordstat Яндекс можно здесь . Сразу скажу, что это лишь пример, работа которого заключается в парсинге ключевых слов и выводе их на экран, но все по порядку.

Первое, что вам надо понять – все данные представлены в кодировке UTF-8. Так что если что не забудьте сконвертировать данные. Более того, на некоторых серверах с этим может возникнуть проблема, подробней . Следующий нюанс заключается в том, что для работы скрипта понадобится поддержка . В остальном все достаточно просто.

Содержание куки fuid01 мы присваиваем переменной $fuid01 . По сути, это значение задается в curl_setopt() через CURLOPT_COOKIE , но для удобства я вывел его отдельно. Далее нас интересует массив $params — это переменные, передаваемые в запросе к wordstat Яндекс. В качестве примера я ограничился простейшим вариантом, так что обошлось без динамики. В частности, парсится только первая страница выдачи: "page" => 1 , значение text получается через GET, ну а для региона выбрана Москва : "geo" => 1 .

Понятно, что идентификатор региона, в случае если нужен другой, придется уточнять. Для этого заходим на wordstat Яндекс, кликаем ссылку «Уточнить регион…» и выбираем требуемое.

Сделав запрос, в URL надо посмотреть значение требуемого параметра. Следует отметить, что если выбрано более одного региона, их идентификаторы будут перечислены через запятую.

Дальше идет запрос к сервису статистики и парсинг данных wordstat Яндекс. Последнее имеет один небольшой нюанс. Дело в том, что wordstat Яндекс выводит статистику в виде двух таблиц: «что искали со словом…» и «что еще искали люди, искавшие…» — я же использовал только первую. Впрочем, там нет ничего сложного. Регулярные выражения достаточно простые. Думаю, разберетесь. Удачи!