SerpScrap · PyPI

  1. Описание Проекта SEO Python Scraper для извлечения данных с основных страниц результатов поиска....
  2. использование
  3. Поддерживаемые ОС
  4. 0.12.0
  5. 0.11.0
  6. Скачать файлы

Описание Проекта

SEO Python Scraper для извлечения данных с основных страниц результатов поиска. Извлечение данных, таких как URL, заголовок, фрагмент, richsnippet и тип из результатов поиска по заданным ключевым словам. Обнаружение рекламы или сделать автоматические скриншоты. Вы также можете получить текстовое содержание URL-адресов, предоставленных в результатах поиска или самостоятельно. Это полезно для SEO и бизнес-исследовательских задач.

устанавливать

Самый простой способ сделать:

pip удалить SerpScrap - y pip установить SerpScrap - обновить

Более подробная информация в устанавливать [1] раздел документации.

использование

SerpScrap в ваших приложениях

#! / usr / bin / python3 # - * - кодирование: utf-8 - * - импорт pprint импорт ключевых слов serpscrap = ['example'] config = serpscrap. Config () config. set ('scrape_urls', False) scrap = serpscrap. SerpScrap () лом. init (config = config. get (), ключевые слова = ключевые слова) результаты = записка. run () для результата в результатах: pprint. pprint (результат)

Больше деталей в Примеры [2] раздел документации.

Чтобы избежать проблем с кодированием / декодированием, используйте эту команду перед тем, как начать использовать SerpScrap в вашем компьютере.

chcp 65001 set PYTHONIOENCODING = utf-8 chcp 65001 set PYTHONIOENCODING = utf-8

Поддерживаемые ОС

  • SerpScrap должен работать в Linux, Windows и Mac OS с установленным Python> = 3.4
  • SerpScrap требует lxml
  • Не работает на iOS

изменения

Заметки о серьезных изменениях между выпусками

0.12.0

Я рекомендую обновить версию SerpScrap до последней версии, поскольку поисковик обновил разметку страниц с результатами поиска (serp).

  • Обновление и очистка селекторов для получения результатов
  • новые видео типа результата

0.11.0

  • Chrome headless теперь является браузером по умолчанию, использование phantomJS устарело
  • chromedriver устанавливается при первом запуске (протестировано в Linux и Windows. Mac OS также должна работать)
  • изменилось поведение при извлечении необработанного текстового содержимого из URL-адресов serp и, конечно же, с учетом URL-адресов
  • запустить очистку результатов поиска и содержимого сразу
  • Выходной формат CSV изменен, теперь он разделен и заключен в кавычки

0.10.0

  • поддержка безголового хрома, настройка времени по умолчанию между соскобами

0.9.0

  • добавлены типы результатов (новости, покупки, изображения)
  • Поиск изображений поддерживается

0.8.0

  • инструменты для обработки текста удалены.
  • меньше требований

Рекомендации

SerpScrap использует Хром безголовый [3] а также LXML [4] очистить результаты поиска. Для необработанного текстового содержимого выбранных URL, он использует beautifulsoup4 [5] , SerpScrap также поддерживает PhantomJs [6] , который устарел, безголовый WebKit с возможностью написания сценариев, который устанавливается автоматически при первом запуске (Linux, Windows). Скрапкор был основан на GoogleScraper [7] , устаревший проект, и имеет много изменений и улучшений.

Скачать файлы

Загрузите файл для вашей платформы. Если вы не уверены, какой выбрать, узнайте больше о установка пакетов ,

Авторизация

Реклама

Реклама

Архив сайта

    Как путешествовать и зарабатывать деньги
    Согласились бы вы путешествовать в свое удовольствие по разным городам и странам и при этом зарабатывать? Наверняка многие ответят утвердительно. Если вы хотите начать зарабатывать, путешествуя, велкам!

    Сонник: путешествие, к чему снится путешествие — полное толкование снов
    Во время сна мы путешествуем по закоулкам своего подсознания. Нам снятся самые разные сны — цветные и черно-белые. Иной раз подумаешь, что приснившееся сновидение могло прийти только к алкоголику или

    10 Доступных способов путешествовать по миру бесплатно
    10 Доступных способов путешествовать по миру бесплатно Путешествия! Как много в этом слове! Путешествия — это мечта! И все это действительно так. Хотя наверняка сейчас найдется немало скептиков, которые

    10 способов путешествовать по миру бесплатно
    Пуууутешествия! Как много в этом слове! Радость новых впечатлений, яркость неизведанных эмоций и огромный восторг, который даже взрослых и серьезных людей способен превратить в искренних, радующихся свободе

    По миру без виз
    В мае завершился очередной сумасшедший проект профессионального путешественника и писателя Валерия Шанина: кругосветное путешествие, в ходе которого туристам ни разу не пришлось заходить в иностранные

    Можно ли беременным путешествовать?
    Вот оно, свершилось! Новость о скором пополнении в семье не только радует, но и порой заставляет кардинально поменять все планы на жизнь. И это понятно – будущая мамочка очень переживает о своем драгоценном

    Как позволить себе путешествовать по миру: советы
    Знаете ли вы, что вам не нужно иметь много денег или высокооплачиваемую работу, чтобы путешествовать. Некоторые люди не решаются отправиться в путешествие и лишают себя, возможно, самых эпических приключений

    5 сомнительных способов перемещаться во времени
    Эммет Браун утверждал, что достаточно разогнаться на "Делориане" , чтобы попасть и в прошлое, и в будущее. Хотя многие имеют дерзость не согласиться со светочем и предлагают свои теории. Впрочем, они

    Как путешествовать и зарабатывать деньги, или Творческий бизнес в дороге
    Наверняка многие ответят утвердительно. Но вот незадача: нет ни средств, ни возможности, ни даже идеи, как это можно воплотить в жизнь. Но отчаиваться рано: с последним пунктом поможет разобраться Дарья

    Как путешествовать - Валерий Шанин, скачать книгу бесплатно
    Э та книга для всех, кто уже собирается в заграничный вояж или еще только мечтает о поездках за границу. В ней рассказывается о препятствиях, стоящих на пути самостоятельного путешественника, и о способах


Облако тегов