Скрипт загрузки информации о фильмах с сайта
Кино-Театр.РУ.
Актуальная версия - 0.0.1.0.
Основные функции:+ Загрузка стандартных полей: название, оригинальное название, другие названия, год, жанры, режиссер, продюсер, сценарий, композитор, актёры, страна, студия, URL, дата выпуска, описание, мини-постер.
+ Загрузка пользовательских полей: премьеры в разных странах, сайты, операторы, художники.
Планы на будущее:- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.
На сайте введена система противодействия роботам. При частом обращении пользователю предлагается сложить числа. Я реализовал обход этой защиты. Но, видимо, что-то не учитываю: текущая страница загружается, а на следующей опять срабатывает защита. В связи с этим введена динамическая задержка между загрузкой фильмов (см. опцию Delay). Она обеспечивает интервал в 10 с между обращениями к сайту. При использовании скрипта и, тем более, изменении этой опции, прошу обратить внимание, что Ваш IP-адрес может быть заблокирован на сайте. Между срабатыванием системы защиты от роботов и блокировкой может пройти достаточно много запросов, поэтому при выдаче сообщения о срабатывании системы защиты просто прекратите загрузку с сайта.
Я буду очень благодарен за информацию о том, что я упустил в системе противодействия защите, почему при ответе на запрос защиты в браузере всё нормально, а при ответе скриптом следующий запрос опять не проходит.
История версий:-
0.0.0.1 - основные данные
-
0.0.1.0 - мелкие исправления
Последнюю версию скрипта берем на странице
Загрузить или во вложении.
[вложение удалено Администратором]
