Сервера под a parser

Сервера под a parser

Акция! До 17 марта 2020 года действуют особые скидки! Вы можете приобрести все приложения, представленные на нашем сайте, со скидкой 40%!

До конца акции осталось всего 2 дня !

Чтобы осуществить покупку со скидкой, скопируйте промокодA8E1E63BA9CA49EC в буфер обмена, перейдите на страницу оплаты любого приложения, вставьте скопированный промокод в соответствующее поле и примените его, нажав кнопку "Применить".

На Q-Parser есть 2 типа тарифов:

  • Для обычных пользователей, которые парсят сайты для себя. Посмотреть
  • Для поставщиков, которые хотят, чтобы с их сайта выгружали товары организаторы СП, дропшипперы и интернет-магазины. Посмотреть

Тарифы для обычного пользователя напрямую зависят от количества сайтов, которые он хочет парсить. 1 сайт, от 2-х до 10 сайтов или 11 и более сайтов. При покупке тарифа на более длительный срок цена тарифа снижается.

За время действия тарифа можно парсить один и тот же сайт сколько угодно раз. Тариф влияет только на число разных доступных сайтов, а так же на число одновременных парсингов.

Нюанс: если сайта нет в каталоге — это означает, что он не настроен. Стоимость настройки новых сайтов никак не зависит от выбранного тарифа и оплачивается отдельно в данной форме.

Тариф зависит от того на какое время вы хотите дать бесплатный доступ для загрузки вашего сайта: 1 месяц, 3 месяца или полгода.

За указанный период сайт могут парсить сколько угодно раз любое количество пользователей. Мы не берем деньги отдельно за число пользователей, которые пользуются сервисом или за количество парсингов.

Виджет вы можете устанавливать бесплатно. За использование виджета на сайте оплата не взимается.

Нюанс: виджет работает только на настроенных сайтах. Т.е. если вашего сайта нет в каталоге, то для работы виджета нужно добавить и оплатить настройку сайта на парсер.

Платный сайт — это сайт, для парсинга которого требуется подключенный тариф. Бесплатно с него можно загрузить лишь 10 товаров в виде пробной загрузки.

Бесплатный сайт — сайт, отмеченный значком "100% FREE". Рядом с кнопкой загрузки написано сколько времени он ещё будет бесплатным.

Для парсинга товаров с бесплатных сайтов тариф не нужен. При оплаченном тарифе такой сайт не будет учитываться и тарифицироваться до окончания бесплатного срока.

Сайт может стать бесплатным в следующих случаях:

  • Сайт был добавлен недавно и доступен бесплатно в качестве пробного периода;
  • Сайт был оплачен его владельцем на длительный срок;

Тариф на бесплатный сайт можно приобрести в случае, если вы хотите пользоваться услугой "автовыгрузка" для этого сайта. Автовыгрузки доступны только при оплаченном тарифе даже для бесплатных сайтов.

Одновременные загрузки определяют какое количество одновременных парсингов у вас может быть.

Этот процесс можно сравнить с турникетами в метро. В нашем случае количество одновременных загрузок в тарифе — это количество турникетов. Но пройти через каждый из них одновременно может только один человек. А остальные стоят в очереди и ждут, когда освободится проход. Людей в очереди может быть 1-2, а может быть и много.

Так и на парсере: у вас может быть одновременно создано 10, 100 или даже 1000 парсингов, но работать будут одновременно только те, которые доступны вам по тарифу. Остальные будут ожидать своей очереди и запустятся как только освободится "место".

На Q-Parser это все работает автоматически и вы можете не волноваться об этой очереди парсингов.

Чтобы повысить число одновременных парсингов — поднимите свой тариф, изменения вступят в силу автоматически в течение 10 минут.

В этом случае просим вас обратитсья в чат техподдержки или на support@q-parser.ru.

Мы постараемся как можно скорее решить проблему и если окажется, что проблема на "нашей стороне", то подарим вам поощрительный промокод.

Для парсинга двух сайтов за месяц необходимо подключить тариф, который позволяет парсить до 10 сайтов.

Если подключить тариф на 1 сайт два раза, доступен будет по прежнему один сайт, но его можно будет выбрать заново.

  1. Необходимо найти нужный сайт в каталоге
  2. Нажать кнопку "Начать загрузку"
  3. Выбрать нужные категории сайта или указать ссылки на категории вручную
  4. Снова нажать "Начать загрузку"
  5. Дождаться окончания загрузки товаров
  6. По необходимости изменить цену или поля товаров
  7. Нажать кнопку "Выгрузить" и выбрать необходимый формат для выгрузки товаров

При выгрузке товаров необходимо нажать на "Показать настройки" и установить опцию "Порядок выгрузки товаров" в положение "С конца".

Q-Parser позволяет выгружать товары в файлы (CSV, Excel, YML и т.д.), а также в соцсети: ВКонтакте, Одноклассники и Facebook.

Каждый формат имеет возможность настройки под ваши задачи или требования.

  • Загрузить список товаров (как это сделать?)
  • Выбрать соцсеть для выгрузки товаров
  • Запустить выгрузку

Для добавления нового формата выгрузки товаров на Q-Parser вы можете обратиться в чат техподдержки или на support@q-parser.ru.

Необходимо подробно описать желаемый формат и прислать следующую информацию о добавляемом формате:

  • Наименование формата
  • Пример файла выгрузки (если есть)
  • Ссылку на документацию к формату (если есть)
Читайте также:  Программа для рассылки смс через gsm модем

Стоимость добавления формата определяется индивидуально в зависимости от сложности реализации.

Когда в процессе выгрузки результатов парсинга получается несколько файлов (например, при группировке по категориям или брендам) Q-Parser дает возможность скачать каждый файл отдельно, либо скачать все файлы вместе одним ZIP архивом.

Зачем это нужно?

ZIP-архив можно воспринимать как папку с файлами: вам не нужно качать каждый файл по отдельности и искать их потом. Можно скачать его один раз, зайти внутрь и у вас будут перед глазами сразу все файлы.

К тому же, ZIP архивы занимают гораздо меньше места и при медленном интернете скачать их горазо проще, быстрее и дешевле, чем выкачивать отдельно каждый файл.

Как открыть ZIP архив?

Если у вас любая версия Windows выше XP (напр, 7, 8 или 10), то ZIP архив откроется как обычная папка с файлами. Иногда бывает удобнее распаковать архив, для этого щелкните по нему правой кнопкой мыши и выберите "Извлечь в. ".

Так же можно воспользоваться программами-архиваторами: WinZIP, WinRAR, 7-Zip и пр. Их легко найти в интернете и, скорее всего, одна из них уже установлена на вашем компьютере.

Если у вас ОС Linux/Unix/BSD, то можете закрыть эту инструкцию, вы и так все знаете.

Для изменения цены товаров необходимо после загрузки нажать кнопку "Изменить цену" и в появившемся окне установить необходимую наценку.

Цену можно увеличивать/уменьшать на процент или фиксированное число, а также производить простые арифметические операции.

Цена изменяется у всего каталога. Изменить цену отдельных товаров невозможно.

Для добавления, изменения или удаления колонок товаров необходимо после загрузки нажать кнопку "Колонки" и в появившемся окне произвести нужные действия.

Можно задавать значения колонок, состоящие из других колонок, таким образом формируя полноценные описания или характеристики.

Для исключения ненужных товаров из выгрузки необходимо убрать галочку (слева) у ненужного товара.

Товар станет черно-белым и не будет выгружаться в файлы или соцсети.

Внимание. При перезагрузке страницы исключенные товары вновь будут выбраны.

В основном скорость парсинга зависит от следующих факторов:

  • Скорости работы сайта-донора (скорости открытия страниц) под нагрузкой от парсинга;
  • Числа одновременных запросов к сайту (в том числе от других сервисов и пользователей);

В некоторых случаях число запросов к сайту может быть ограничена администрацией сервиса в связи с невозможностью сайта-донора справляться с повышенной нагрузкой или в связи с требования владельца сайта-донора.

Скорость выгрузки зависит:

  • От числа выгружаемых товаров;
  • От скорости работы сайта-донора (при скачивании фото товаров или выгрузке в соцсети);

Скорость парсинга зависит от технических характеристик сайта-донора и ни как не зависит от выбранного вами тарифа или его отсутствия.

Q-Parser не может повлиять на список отображаемых групп, который приходит из соцсети.

Если нужная вам группа не отображается в списке выгрузки, проверьте что группа удовлетворяет следующим условиям:

  • При авторизации через соцсеть вы согласились со всеми предложенными правами доступа;
  • Вы являетесь администратором в группе и имеете доступ к созданию альбомов, загрузке фото и товаров в эту группу;
  • Группа открытая и общедоступная;
  • Группа не заблокирована за нарушение правил;

Если с группой все в порядке, попробуйте выйти и войти заново в соцсеть, а затем нажать на "Войти под другим аккаунтом" на Q-Parser, чтобы обновить информацию о своем профиле.

Каждая соцсеть имеет свои требования к оформлению товаров. Если некоторые товары не выгружаются, это означает, что по каким-то параметрам товар не подошел для этой соцсети.

Например, для выгрузки в альбомы обязательно наличие фото у товаров. Для выгрузки в Товары ВКонтакте минимальный размер фото 400х400.

Если у вас появляется ошибка, связанная с превышением лимитов, единственное, что вы можете сделать — это просто подождать.

Все соцсети имеют определенные лимиты выгрузки. Самые непривередливые — Одноклассники, там практически невозможно столкнуться с блокировкой.

ВКонтакте имеет очень жесткие лимиты, особенно если вы совершаете мало действий со своего аккаунта и у вас еще не раскрученная группа.

Facebook накладывает ограничения в зависимости от "активностей" в группе или на странице. Чем больше у вас пользователей, лайков, комментариев, тем больше товаров можно будет выгрузить.

Если при выгрузке в Instagram у вас появляются фото без описания, это означает что Инстаграм ввел ограничения на постинг в ваш аккаунт через сторонние приложения.

Это своеобразная мера защиты от спама в соцсети.

Из-за слишком частого постинга через сторонние приложения, либо из-за постинга одинаковых или схожих описаний к фото.

Подождать некоторое время без постинга через сторонние приложения. Желательно в это время постить что-нибудь вручную.

Проверьте, соблюдаются ли минимальные требования к аккаунту.

Проблема возникает, когда Instagram считает ваши посты спамом. Фото выгружаются, но сразу же удаляются из ленты. Q-Parser распознает подобные ситуации и предупредит вас при выгрузке.

Переждать блокировку несколько дней (чем дольше, тем лучше). В этом время активно выкладывать посты со своего телефона.

Читайте также:  Как увеличить шрифт на планшете андроид

Данная проблема наблюдается при постинге в Instagram через любые сторонние приложения. С этим поведением соцсети ничего не поделать.

Вы можете воспользоваться функцией редактирования изображений. Можно менять размер выгружаемых изображений в обе стороны.

Вы можете воспользоваться функцией наложения текста поверх фото. Можно менять положение и цвета текста по своему усмотрению.

Функция наложения изображений поверх фото товаров создана как раз для этого. Необходимо иметь вотермарк или свое лого в формате PNG и наложить его на фото товаров.

Для добавления сайта на Q-Parser необходимо подать заявку, указав адрес сайта на специальной странице.

Чтобы заявка была обработана необходимо, чтобы сайт набрал определенную сумму пожертвований от одного или нескольких пользователей.

Вы можете самостоятельно оплатить полную сумму добавления сайта или разделить ее с другими пользователями сервиса.

После добавления сайта вам будет направлено уведомление на E-mail.

Настройка парсинга прайсов — это более сложная и времязатратная работа. Поэтому стоимость и сроки выполнения больше, чем при настройке сайтов.

Стоимость определяется индивидуально для каждого отдельного формата прайсов. Если вам нужно спарсить прайс, то присылайте его в наш чат поддержки или на почту support@q-parser.ru. Не забудьте максимально подробно расписать, что вам нужно парсить из этого прайса.

Нюанс: обычно прайсы одного поставщика имеют одинаковый формат, который настраивается один раз и в дальнейшем вы пользуетесь одним и тем же парсером.

Вам нужно дождаться пока сотрудники Q-Parser настроят парсинг сайта и добавят его в каталог. По окончании данного этапа вам на почту придет уведомление о настройке сайта и после этого сайт можно парсить как обычно.

Сроки добавления сайта 1-3 рабочих дня, не считая дня заявки. Обратите, пожалуйста, внимание, что дни считаем именно рабочие. Суббота, воскресенье — выходные. Государственные праздники — тоже.

Зачастую такие вопросы мы видим ночью или в выходной/праздничный день.

Да, иногда мы можем срочно настроить новый сайт, но стоимость заявки будет выше в 2-4 раза так как наши специалисты будут работать сверхурочно.

При необходимости срочного добавления, пожалуйста, уточняйте о такой возможности в чате поддержки. Мы постараемся что-нибудь придумать.

Для добавления виджета необходимо сформировать код и добавить его на сайт. Все настройки производятся в визуальном, простом режиме и не требуют специальных знаний или навыков.

Если вы затрудняетесь самостоятельно разместить код виджета, то можете обратиться в чат техподдержки, где вам помогут абсолютно бесплатно.

Размещение виджета Q-Parser полностью бесплатное. Единственным условием является наличие сайта в каталоге парсера.

Виджет работать будет. Пользователи в тестовом режиме смогут загрузить с сайта 10 товаров бесплатно. Чтобы загрузить все товары или более 10 им нужно самостоятельно оплатить себе тариф по стандартным расценкам сервиса.

Зачастую для пользователей этот вариант менее удобный и более затратный. Поэтому мы рекомендуем вам оплачивать бесплатные доступы к своим сайтам.

  • Описание
  • Скриншоты
  • Обновления
  • Теги
  • ?
  • Комментарии 65

Требования:

SelfParser — универсальный парсер новостей, товаров. Сам парсер не требует базу данных, полученные данные Вы можете сохранять в любой формат. Что бы понять принцип работы парсера, читайте эту статью до конца.

Особенности и работа парсера

Как я уже сказал, парсер работает сам по себе и не требует подключение базы данных. Он получает контент и отдает его обработчику, который может написать любой знающий PHP программист. Но не пугайтесь. На данный момент в комплекте уже есть один обработчик, который забивает базу DLE. Одним словом, сейчас парсер может наполнять сайты на DLE. В дальнейших обновлениях я буду добавлять обработчики для wordpress и т.д. (по запросу), а так же улучшать саму работу парсера, добавлять настройки и возможности. Если Вы желаете написать свой обработчик, я подскажу как и куда положить, хотя профи итак догадается :D.
Парсер отдает полученный результат в кодировке UTF-8, далее в обработчике Вы можете конвертировать если нужно в любую другую кодировку.

Возможности

  • Независимая админка.
  • Парсер работает не зависимо, то есть сам по себе и не зависит от того, какая CMS установлена.
  • Возможность создавать неограниченное количество шаблонов (сайтов для парсинга).
  • Может получать данные как с сайтов кодировка которых windows-1251 так и UTF-8, а так же конвертировать все полученные данные или отдельный контент в UTF-8.
  • Может получать картинки и файлы из контента. Обработчик DLE их сохраняет вам на сервер и заменяет пути картинок в контенте на ваши, и файлы сохраняет к вам на сервер в папку uploads/files/. как положено и добавляет вложения в конец полной новости.
  • При создании шаблона, можно проверить его работу, как он получает контент.
  • Парсить контент как с HTML тегами, так и без них.
  • Включение / выключение шаблонов.
  • Ведение логов.
  • Статус активности.
  • Возможность парсить данные через прокси SOCKS5 типа.
  • Возможность удалять скрипты или не удалять.
  • Возможность удалять ненужные элементы из полученного контента.
  • Возможность заменять или вырезать слова, фразы, код из полученного контента как по точному совпадению, так и по регулярному выражению.
  • Парсер обходит каждый созданный Вами шаблон по очереди и проходится по всем новостям или товарам донора. Обработчик DLE сохраняет новость если такой ещё нет (сверяется по заголовку). Если новость уже есть, он переходит к парсингу нового шаблона и так по кругу.
  • Работа по крону через простой HTTP запрос.
  • Адаптивная панель управления.
  • Для DLE:
    — возможность добавлять полученные данные в доп поля (текст, картинки, галерею и т.д.)
    — добавлять данные как в одну, так и сразу в несколько категорий на сайт.
    — добавлять новые посты сразу или ставить на модерацию.
Читайте также:  Как в вайбере снять блокировку с чата

Для идеальной работы парсера по крону, необходимо установить запуск не менее 1 — 2 раза в минуту.

Демо даю по запросу. Деньги после покупки не возвращаются, поэтому тестируйте в демке, если нравится, покупайте.

1 лицензия = 1 домен.

  • 2 т.р. — бесплатное обновление до тех пор, пока не будет выпущена сборка с реализацией страниц (настройки и логи). Когда настройки и логи будут функционировать, бесплатное обновление заканчивается.
    — 1 лицензия. Каждая последующая со скидкой 20%.
  • 10 т.р. — 10 лицензий + 2 бесплатных обновлений не включая обновления из первого пункта.
  • 20 т.р. — неограниченное кол-во лицензий + бесплатное обновление до момента реализации страниц настроек и логов (включая).
  • 50 т.р. — полный без лимит. Бесплатные обновления и поддержка.

Дополнительно:
от 200 р. за настройку одного шаблона, если не получается настроить самому. Цена зависит от кол-во доп. полей и сложности их получения.

Обновление SelfParser 1.3

Новые функции и возможности парсера:

  • Добавлена возможность парсить сайты через прокси.
    Список прокси указывается в файле selfparser/data/proxy.txt в формате (IP:port). Каждый новые прокси с новой строки. Не оставляйте пустых строк.
    Если файл пустой, то парсер работает в обычном режиме.
  • Добавлен функционал, который умеет заменять или вырезать слова, фразы или код из полученных данных.
    Есть как простая замена так и с регулярными выражениями, что позволяет очень гибко настроить получение нужных данных.
  • Реализованы все страницы: логи, процессы, настройки, прямая ссылка на запуск, faq.
    Логи показывают такие данные как:
    — старт парсера;
    — запуск, остановка парсера;
    — прокси и время получения данных в секундах;
    — ссылка на источник, ID новости с ссылкой на новость, которая уже есть на сайте (информация о том, что новость не была добавлена);
    — информация о переключении шаблона или о невозможности получить контент;
    — размер файла логов на первой строке. При достижении 1Mb удаляется первая строка и добавляется новая, что позволяет предотвратить нагрузку. Файл обновляется автоматически (через AJAX). Есть кнопка пауза, что бы остановить обновление и просмотреть нужную строчку в логов.
  • Добавлена возможность сохранения картинок на сайт в дополнительные поля как одного изображения, так и галереи, читайте далее.

Добавление и загрузка картинок на сайт раньше работала только из полученного контента, см. видео. Теперь есть возможность загружать изображения через опцию (картинки). Как это делается читайте далее.

  1. Выбираете получить элемент ->картинки.
  2. В поле название поля если указать XF- fieldname | свое название , то полученные изображения будут добавляться в доп поле fieldname. При этом в поле код должен быть указан путь к картинке, например .sidebar img:eq(0) — найдет первую картинку из элемента с классом sidebar.

Если вы хотите загружать изображения в поле с одним изображением, то в поле код должно быть указан код для получения только одного изображения, иначе в доп.поле ничего не запишется.
Если вы хотите загружать в галерею изображений, то в поле код должно быть указано получение несколько изображений.
Если приставку XF-. не указывать, то полученные изображения, просто будут загружены на ваш сайт, но нигде не будут присутствовать в базе DLE.
Эта функция ещё в тестовом режиме, но все работает пока хорошо. Все ваши пожелания пишите в комментариях.

Все Ваши вопросы и пожелания пишите в комментариях или в поддержку.

За получением ключа обращайтесь в поддержку, указав адрес сайта, где будет установлен парсер.
Установка парсера бесплатна.

Обновление SelfParser 1.5

  1. Добавлена возможность включать / выключать шаблон на странице списка шаблонов.
  2. Добавлена функция копирования шаблонов.
  3. Изменена логика обработки шаблонов. Выключенные шаблоны теперь не обрабатываются, тем самым не тратя 1 минуту за просмотр одного шаблона.
  4. В обработчике можно указать теперь префикс базы, а так же добавлена возможность получать ссылку на источник в доп поле. По умолчанию дополнительное поле должно называться source. Его можно изменить так же в обработчике.

Обновлен обработчик. Теперь можно при парсинге файлов, например торрентов или подобных, загружать его в дополнительное поле.
Просто замените обработчик.
Не забудьте изменить доступы в этом файле, к базе и $dle_config.
что бы файл загружался в доп поле, укажите его в элементе files_fields.

Ссылка на основную публикацию
Секреты работы в word
Все секреты Word. MicrosoftWord – одна из наиболее часто используемых программ. Все мы пользуемся этим приложением, зачастую даже не зная...
С чем связана четвертая информационная революция ответ
Первая информационная революция связана с изобретением письменности, что привело к гигантскому качественному скачку: появилась возможность фиксировать знания на материальном носителе,...
Рынок бытовой техники в россии 2018
По данным исследования "INFOLine Retail Russia ТOP-100. Итоги 2017 года. Тенденции 2018 года. Прогноз до 2020 года", подготовленного специалистами INFOLine,...
Секс во время соревнований
Воздерживаться или не воздерживаться – вот в чем вопрос Джоэл Сидман, кандидат наук Вот что вам нужно знать… Влияние секса...
Adblock detector