Автор Тема: Кино-Театр.РУ (фильмы)  (Прочитано 51894 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Кино-Театр.РУ (фильмы)
« : 12 Апреля 2009, 21:26:11 »
Скрипт загрузки информации о фильмах с сайта Кино-Театр.РУ.
Актуальная версия - 0.0.1.0.

Основные функции:
+ Загрузка стандартных полей: название, оригинальное название, другие названия, год, жанры, режиссер, продюсер, сценарий, композитор, актёры, страна, студия, URL, дата выпуска, описание, мини-постер.
+ Загрузка пользовательских полей: премьеры в разных странах, сайты, операторы, художники.

Планы на будущее:
- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.

На сайте введена система противодействия роботам. При частом обращении пользователю предлагается сложить числа. Я реализовал обход этой защиты. Но, видимо, что-то не учитываю: текущая страница загружается, а на следующей опять срабатывает защита. В связи с этим введена динамическая задержка между загрузкой фильмов (см. опцию Delay). Она обеспечивает интервал в 10 с между обращениями к сайту. При использовании скрипта и, тем более, изменении этой опции, прошу обратить внимание, что Ваш IP-адрес может быть заблокирован на сайте. Между срабатыванием системы защиты от роботов и блокировкой может пройти достаточно много запросов, поэтому при выдаче сообщения о срабатывании системы защиты просто прекратите загрузку с сайта.
Я буду очень благодарен за информацию о том, что я упустил в системе противодействия защите, почему при ответе на запрос защиты в браузере всё нормально, а при ответе скриптом следующий запрос опять не проходит.

История версий:
- 0.0.0.1 - основные данные
- 0.0.1.0 - мелкие исправления

Последнюю версию скрипта берем на странице Загрузить или во вложении.

[вложение удалено Администратором]
« Последнее редактирование: 04 Декабря 2009, 23:25:28 от Reset »
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: Кино-Театр.РУ (фильмы)
« Ответ #1 : 12 Апреля 2009, 21:27:14 »
Начата разработка скрипта для сайта Кино-Театр.РУ.
Просьба высказывать предложения и пожелания.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн djek-ural

  • Модератор
  • *****
  • Сообщений: 1223
  • Фильмов много не бывает.
Re: Кино-Театр.РУ (фильмы)
« Ответ #2 : 13 Апреля 2009, 04:48:59 »
Можно список основных полей которые будет заполнять скрипт , мне так интересно , сколько на сайте информации.

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: Кино-Театр.РУ (фильмы)
« Ответ #3 : 13 Апреля 2009, 05:36:06 »
Можно список основных полей которые будет заполнять скрипт , мне так интересно , сколько на сайте информации.
Планируемые к заполнению поля: название, оригинальное название, другие названия, год, жанры, режиссёр, продюсер, сценарий, композитор, операторы, художники, актёры, роли озвучивали, страна, студия, премьера, описание, отзывы зрителей, кинокритика, рейтинги симпатий и антипатий, награды, сайты, постеры, скриншоты.

UPD
Работать скрипт будет, вероятно, только в версиях 0.9.9.x, поскольку на сайте используются POST-запросы.
« Последнее редактирование: 13 Апреля 2009, 05:47:19 от Reset »
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Кино-Театр.РУ (фильмы). Версия 0.0.0.1 beta
« Ответ #4 : 25 Апреля 2009, 20:31:42 »
Первая пробная версия скрипта для загрузки информации о фильмах с сайта Кино-Театр.РУ.

Реализовано:
+ Загрузка стандартных полей: название, оригинальное название, другие названия, год, жанры, режиссер, продюсер, сценарий, композитор, актёры, страна, студия, URL, дата выпуска, описание, мини-постер.
+ Загрузка пользовательских полей: премьеры в разных странах, сайты, операторы, художники.

Планы на будущее:
- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.

На сайте введена система противодействия роботам. При частом обращении пользователю предлагается сложить числа. Я реализовал обход этой защиты. Но, видимо, что-то не учитываю: текущая страница загружается, а на следующей опять срабатывает защита. В связи с этим введена динамическая задержка между загрузкой фильмов (см. опцию Delay). Она обеспечивает интервал в 10 с между обращениями к сайту. При использовании скрипта и, тем более, изменении этой опции, прошу обратить внимание, что Ваш IP-адрес может быть заблокирован на сайте. Между срабатыванием системы защиты от роботов и блокировкой может пройти достаточно много запросов, поэтому при выдаче сообщения о срабатывании системы защиты просто прекратите загрузку с сайта.
Я буду очень благодарен за информацию о том, что я упустил в системе противодействия защите, почему при ответе на запрос защиты в браузере всё нормально, а при ответе скриптом следующий запрос опять не проходит.

Последнюю версию скрипта берем на iFolder.ru или во вложении.

[вложение удалено Администратором]
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн Arg123

  • Гуру
  • ****
  • Сообщений: 407
Re: Кино-Театр.РУ (фильмы)
« Ответ #5 : 23 Мая 2009, 12:42:00 »
Цитировать
Планы на будущее:
- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.

ИМХО:

пункт 4 думаю излишен -просто будет "перегружать" карточку фильма, хотя если эти пункты будут опциональными, то почему бы и нет  :) ...
Я русский - я горжусь !!!

БОРИС Миронов - Народный Президент русского народа и других коренных народов России!
http://borismironov.livejournal.com/

Сбор подписей в поддержку кандидата Бориса Миронова:
http://borismironov.livejournal.com/659.html

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: Кино-Театр.РУ (фильмы)
« Ответ #6 : 23 Мая 2009, 20:32:26 »
Цитировать
Планы на будущее:
- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.

ИМХО:

пункт 4 думаю излишен -просто будет "перегружать" карточку фильма, хотя если эти пункты будут опциональными, то почему бы и нет  :) ...
Да, конечно, опциональными.
Как загрузка отзывов зрителей, кинокритики и рецензий в скрипте загрузки информации о фильмах с сайта КиноПоиск.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн Arg123

  • Гуру
  • ****
  • Сообщений: 407
Re: Кино-Театр.РУ (фильмы)
« Ответ #7 : 27 Октября 2009, 17:57:43 »
Почему то скрипт перестал загружать URL- адрес страницы на кино-театр в карточку фильма, хотя страницу с фильмом на кино-театр.ру он находит и отображает :( , в чём может быть проблема ? ..

Версия программы - 0.9.9.14, версия скрипта - последняя ...
Я русский - я горжусь !!!

БОРИС Миронов - Народный Президент русского народа и других коренных народов России!
http://borismironov.livejournal.com/

Сбор подписей в поддержку кандидата Бориса Миронова:
http://borismironov.livejournal.com/659.html

Оффлайн Arg123

  • Гуру
  • ****
  • Сообщений: 407
Re: Кино-Театр.РУ (фильмы)
« Ответ #8 : 12 Ноября 2009, 12:11:46 »
Reset

не работает скрипт почему-то, версия срипта - последняя , версия PVD - 0.9.9.14 , пробовал на разных фильмах - в частности фильм - "Какраки" - http://www.kino-teatr.ru/kino/movie/ros/16496/annot/ , на сайте страница с этим фильмом есть, а скрипт выдаёт "такого фильма не найдено" ...  :( , и не только на этом фильме - на других фильмах тоже - русских ...

Возможно они что-то перекроили у себя на сайте , у них тоже довольно часто бывают изменения - хотя конечно не так часто как у кинопоиска конечно ...

Думаю нужно обновлять скрипт  ::) ...
Я русский - я горжусь !!!

БОРИС Миронов - Народный Президент русского народа и других коренных народов России!
http://borismironov.livejournal.com/

Сбор подписей в поддержку кандидата Бориса Миронова:
http://borismironov.livejournal.com/659.html

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Кино-Театр.РУ (фильмы). Версия 0.0.1.0
« Ответ #9 : 25 Ноября 2009, 21:15:41 »
Мелкие исправления - версия 0.0.1.0.

Исправлено:
! Исправлен поиск фильмов.
! Устранена загрузка оригинального названия при его отсутствии.

Последнюю версию скрипта берем на странице Загрузить или во вложении.

[вложение удалено администратором]
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн Pashuk

  • Новичок
  • *
  • Сообщений: 3
Re: Кино-Театр.РУ (фильмы)
« Ответ #10 : 11 Августа 2011, 15:05:53 »
Что-то перестал работать. Может кто чего подкрутит?

Оффлайн djek-ural

  • Модератор
  • *****
  • Сообщений: 1223
  • Фильмов много не бывает.
Re: Кино-Театр.РУ (фильмы)
« Ответ #11 : 18 Августа 2011, 17:01:37 »
Что-то перестал работать. Может кто чего подкрутит?
Взято на заметку , будет время исправим.

Оффлайн djek-ural

  • Модератор
  • *****
  • Сообщений: 1223
  • Фильмов много не бывает.
Re: Кино-Театр.РУ (фильмы)
« Ответ #12 : 12 Февраля 2012, 03:58:24 »
Частично востановлена работоспособность скрипта , точно не заполняется поле Описание , временно отключено.
версия  скрипта 0.0.1.1 от 12.02.2012
Загрузить можно со страницы сайта Загрузить или через автообновление.

Просьба если заметите что какие то поля не заполняются пишите в данной теме , я проверял только на русских фильмах.
« Последнее редактирование: 12 Февраля 2012, 04:10:39 от djek-ural »

Оффлайн irwin

  • Новичок
  • *
  • Сообщений: 25
Re: Кино-Театр.РУ (фильмы)
« Ответ #13 : 12 Февраля 2012, 14:13:59 »
Похоже, заполняется только один режиссер, продюсер.
Их может быть несколько: http://kino-teatr.ru/kino/movie/ros/86907/annot/

Оффлайн djek-ural

  • Модератор
  • *****
  • Сообщений: 1223
  • Фильмов много не бывает.
Re: Кино-Театр.РУ (фильмы)
« Ответ #14 : 19 Февраля 2012, 15:42:30 »
Я уже глянул код , но RESET там чего то намудрил , надо размудривать. Постараюсь исправить.