Personal Video Database
Русский => Разработчикам => Скрипты, Плагины, Шаблоны и Шкурки => Тема начата: Reset от 12 Апреля 2009, 21:26:11
-
Скрипт загрузки информации о фильмах с сайта Кино-Театр.РУ (http://www.kino-teatr.ru/).
Актуальная версия - 0.0.1.0.
Основные функции:
+ Загрузка стандартных полей: название, оригинальное название, другие названия, год, жанры, режиссер, продюсер, сценарий, композитор, актёры, страна, студия, URL, дата выпуска, описание, мини-постер.
+ Загрузка пользовательских полей: премьеры в разных странах, сайты, операторы, художники.
Планы на будущее:
- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.
На сайте введена система противодействия роботам. При частом обращении пользователю предлагается сложить числа. Я реализовал обход этой защиты. Но, видимо, что-то не учитываю: текущая страница загружается, а на следующей опять срабатывает защита. В связи с этим введена динамическая задержка между загрузкой фильмов (см. опцию Delay). Она обеспечивает интервал в 10 с между обращениями к сайту. При использовании скрипта и, тем более, изменении этой опции, прошу обратить внимание, что Ваш IP-адрес может быть заблокирован на сайте. Между срабатыванием системы защиты от роботов и блокировкой может пройти достаточно много запросов, поэтому при выдаче сообщения о срабатывании системы защиты просто прекратите загрузку с сайта.
Я буду очень благодарен за информацию о том, что я упустил в системе противодействия защите, почему при ответе на запрос защиты в браузере всё нормально, а при ответе скриптом следующий запрос опять не проходит.
История версий:
- 0.0.0.1 (http://www.videodb.info/forum_ru/index.php?topic=449.msg6442#msg6442) - основные данные
- 0.0.1.0 (http://www.videodb.info/forum_ru/index.php?topic=449.msg8892#msg8892) - мелкие исправления
Последнюю версию скрипта берем на странице Загрузить (http://www.videodb.info/forum_ru/index.php?action=down) или во вложении.
[вложение удалено Администратором]
-
Начата разработка скрипта для сайта Кино-Театр.РУ (http://www.kino-teatr.ru).
Просьба высказывать предложения и пожелания.
-
Можно список основных полей которые будет заполнять скрипт , мне так интересно , сколько на сайте информации.
-
Можно список основных полей которые будет заполнять скрипт , мне так интересно , сколько на сайте информации.
Планируемые к заполнению поля: название, оригинальное название, другие названия, год, жанры, режиссёр, продюсер, сценарий, композитор, операторы, художники, актёры, роли озвучивали, страна, студия, премьера, описание, отзывы зрителей, кинокритика, рейтинги симпатий и антипатий, награды, сайты, постеры, скриншоты.
UPD
Работать скрипт будет, вероятно, только в версиях 0.9.9.x, поскольку на сайте используются POST-запросы.
-
Первая пробная версия скрипта для загрузки информации о фильмах с сайта Кино-Театр.РУ (http://www.kino-teatr.ru).
Реализовано:
+ Загрузка стандартных полей: название, оригинальное название, другие названия, год, жанры, режиссер, продюсер, сценарий, композитор, актёры, страна, студия, URL, дата выпуска, описание, мини-постер.
+ Загрузка пользовательских полей: премьеры в разных странах, сайты, операторы, художники.
Планы на будущее:
- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.
На сайте введена система противодействия роботам. При частом обращении пользователю предлагается сложить числа. Я реализовал обход этой защиты. Но, видимо, что-то не учитываю: текущая страница загружается, а на следующей опять срабатывает защита. В связи с этим введена динамическая задержка между загрузкой фильмов (см. опцию Delay). Она обеспечивает интервал в 10 с между обращениями к сайту. При использовании скрипта и, тем более, изменении этой опции, прошу обратить внимание, что Ваш IP-адрес может быть заблокирован на сайте. Между срабатыванием системы защиты от роботов и блокировкой может пройти достаточно много запросов, поэтому при выдаче сообщения о срабатывании системы защиты просто прекратите загрузку с сайта.
Я буду очень благодарен за информацию о том, что я упустил в системе противодействия защите, почему при ответе на запрос защиты в браузере всё нормально, а при ответе скриптом следующий запрос опять не проходит.
Последнюю версию скрипта берем на iFolder.ru (http://stream.ifolder.ru/11810855) или во вложении.
[вложение удалено Администратором]
-
Планы на будущее:
- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.
ИМХО:
пункт 4 думаю излишен -просто будет "перегружать" карточку фильма, хотя если эти пункты будут опциональными, то почему бы и нет :) ...
-
Планы на будущее:
- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.
ИМХО:
пункт 4 думаю излишен -просто будет "перегружать" карточку фильма, хотя если эти пункты будут опциональными, то почему бы и нет :) ...
Да, конечно, опциональными.
Как загрузка отзывов зрителей, кинокритики и рецензий в скрипте загрузки информации о фильмах с сайта КиноПоиск.
-
Почему то скрипт перестал загружать URL- адрес страницы на кино-театр в карточку фильма, хотя страницу с фильмом на кино-театр.ру он находит и отображает :( , в чём может быть проблема ? ..
Версия программы - 0.9.9.14, версия скрипта - последняя ...
-
Reset
не работает скрипт почему-то, версия срипта - последняя , версия PVD - 0.9.9.14 , пробовал на разных фильмах - в частности фильм - "Какраки" - http://www.kino-teatr.ru/kino/movie/ros/16496/annot/ , на сайте страница с этим фильмом есть, а скрипт выдаёт "такого фильма не найдено" ... :( , и не только на этом фильме - на других фильмах тоже - русских ...
Возможно они что-то перекроили у себя на сайте , у них тоже довольно часто бывают изменения - хотя конечно не так часто как у кинопоиска конечно ...
Думаю нужно обновлять скрипт ::) ...
-
Мелкие исправления - версия 0.0.1.0.
Исправлено:
! Исправлен поиск фильмов.
! Устранена загрузка оригинального названия при его отсутствии.
Последнюю версию скрипта берем на странице Загрузить (http://www.videodb.info/forum_ru/index.php?action=down) или во вложении.
[вложение удалено администратором]
-
Что-то перестал работать. Может кто чего подкрутит?
-
Что-то перестал работать. Может кто чего подкрутит?
Взято на заметку , будет время исправим.
-
Частично востановлена работоспособность скрипта , точно не заполняется поле Описание , временно отключено.
версия скрипта 0.0.1.1 от 12.02.2012
Загрузить можно со страницы сайта Загрузить или через автообновление.
Просьба если заметите что какие то поля не заполняются пишите в данной теме , я проверял только на русских фильмах.
-
Похоже, заполняется только один режиссер, продюсер.
Их может быть несколько: http://kino-teatr.ru/kino/movie/ros/86907/annot/
-
Я уже глянул код , но RESET там чего то намудрил , надо размудривать. Постараюсь исправить.
-
Частично востановленная версия скрипта
v.0.0.1.2 от 27.02.2012
! исправлено заполнение персон при количестве большим 1.
Загрузить можно со страницы Загрузить или через автообновление.
-
Новое обновление
v.0.0.1.3 от 27.02.2012
! исправлена загрузка Жанра
! теперь в поле описание загружается описание фильма
Новую версию можно скачать со страницы Загрузить или через автообновление.
-
Kino-teatr.ru обновился.
-
Ну если обновился значит будем править , новая версия будет в ближайщее время.
-
Новая версия , из за обширного обновления на сайте скрипт потерял часть своего функционала.
Вот все что пока удалось востановить.
v.0.0.1.4 от 04.04.2012
! исправлены обширные изменения на сайте
Скрипт можно скачать со страницы Загрузить или через автообновление.
Рад буду если увижу какие нибудь замечания по скрипту , просьба приводить с примерами на фильмах.
-
Кое что забыл добавить.
v.0.0.1.5 от 04.04.2012
! исправлена загрузка компаний производителей и других названий.
Берем на странице загрузки или через автообновление.