Автор Тема: КиноПоиск.ru (персоны)  (Прочитано 358092 раз)

0 Пользователей и 7 Гостей просматривают эту тему.

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
КиноПоиск.ru (персоны)
« : 23 Февраля 2009, 16:13:15 »
Скрипт загрузки информации о персонах с сайта КиноПоиск.ru.
Актуальная версия - 0.1.0.19.

Основные функции:
+ Загрузка всей информации во все стандартные поля (имена, дни рождения и смерти, место рождения, жанры, фильмография).
+ Загрузка информации о количестве фильмов в фильмографии, годе первого и последнего фильма, лучших фильмов.
+ Загрузка даты смерти и места смерти.
+ Загрузка информации о росте, супругах, детях.
+ Загрузка "Знаете ли Вы, что".
+ Загрузка в фильмографию фильмов, в которых актер играет самого себя.
+ Загрузка дополнительной фильмографии, включающей в себя операторов, дублёров ролей и директоров фильма.
+ Определение национальности персоны по месту рождения, а при его отсутствии - по имени.
+ Указание, какое имя куда загружать: русское/латинские в имя/переведенное имя (описание). Вариантов больше, чем в стандартном плагине.
+ Загрузка сайтов.
+ Загрузка наград.

Планы на будущее:
+ Загрузка гонораров. Предложил ViNNNtalik.
+ Загрузка фотографий, фото с событий, обоев. В следующих версиях PVD. В текущей версии PVD возможна загрузка только одного изображения.

История версий:
- 0.0.0.1 - награды, фильмография, сайты, доп. информация в биографии и др.
- 0.0.0.2 - лучшие фильмы, опции для сайтов
- 0.1.0.0 - дополнительная фильмография
- 0.1.0.1 - 10 персон в поиске, изменения на сайте
- 0.1.0.2 - корректировка под изменения КиноПоиска
- 0.1.0.3 - небольшие исправления
- 0.1.0.4 - изменения на сайте
- 0.1.0.5 - изменения на сайте (спасибо Predator)
- 0.1.0.6 - перенос режиссеров дубляжа
- 0.1.0.7 - изменения на сайте
- 0.1.0.8 - изменения на сайте в части лучших фильмов
- 0.1.0.9 - исправление лучших фильмов
- 0.1.0.10 - директора - это продюсеры
- 0.1.0.11 - исправление загрузки супругов
- 0.1.0.12 - превью в поиске
- 0.1.0.13 - мелкие исправления (спасибо BiZet и Predator)
- 0.1.0.14 - исправлена загрузка фильмографии
- 0.1.0.15 - исправлена загрузка лучших фильмов
- 0.1.0.16 - исправлена загрузка сайтов
- 0.1.0.17 - добавлен конфиг. файл
- 0.1.0.18 - исправлен поиск и фото
- 0.1.0.19 - исправлена загрузка фильмографии

Последнюю версию скрипта берем на странице Загрузить (прямая ссылка).

Скрипт загрузки информации о фильмах с сайта КиноПоиск.ru.
Скрипты загрузки постеров, скриншотов и обложки к фильмам с сайта КиноПоиск.ru.
« Последнее редактирование: 17 Марта 2011, 19:02:31 от Reset »
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн ViNNNtalik

  • Постоялец
  • ***
  • Сообщений: 163
  • А еще и крестиком вышивать умею
Re: KinoPoisk.ru (персоны)
« Ответ #1 : 23 Февраля 2009, 20:38:47 »
Отлично, долго ждал, пока ты дойдешь до скрипта персон-)
Сразу есть нюанс базового скрипта: есть часть актеров ,скаченных мной давным давно, еще с глюком rus|lat имен (и там и там для импортных актеров писалось имя на русском). Так вот, хотелось бы чтобы ,скрипт переписывал правильно, а не оставлял все как есть
Активная жизненная позиция обычно означает классическое шило в заднице

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: KinoPoisk.ru (персоны)
« Ответ #2 : 23 Февраля 2009, 22:04:55 »
Отлично, долго ждал, пока ты дойдешь до скрипта персон-)
Сразу есть нюанс базового скрипта: есть часть актеров ,скаченных мной давным давно, еще с глюком rus|lat имен (и там и там для импортных актеров писалось имя на русском). Так вот, хотелось бы чтобы ,скрипт переписывал правильно, а не оставлял все как есть
Я постараюсь реализовать определение национальности актера по стране рождения.
Ну и опция RusNames должна перекочевать из скрипта загрузки фильмов.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: КиноПоиск.ru (персоны)
« Ответ #3 : 01 Марта 2009, 01:12:03 »
Принимаем бета-версию скрипта загрузки персон - 0.0.0.1.

Реализовано:
+ Загрузка всей информации, которую грузит стандартный плагин.
+ Загрузка даты смерти.
+ Загрузка места смерти.
+ Загрузка информации о росте, супругах, количестве фильмов в фильмографии, годе первого и последнего фильма.
+ Загрузка в фильмографию фильмов, в которых актер играет самого себя.
+ Загрузка "Знаете ли Вы, что".
+ Определение национальности персоны по месту рождения, а при его отсутствии - по имени.
+ Указание, какое имя куда загружать: русское/латинские в имя/переведенное имя.
+ Загрузка сайтов.
+ Загрузка наград.

К сожалению, не смог добраться до поля "Комментарии", поэтому вся доп. информация размещена в поле "Биография".

Планы на будущее:
+ Загрузка обоев.
+ Загрузка фотографий.
+ Загрузка событий.
+ Загрузка названий лучших фильмов. Реализовано в версии 0.0.0.2.

Идем на iFolder.ru или берем во вложении.


[вложение удалено Администратором]
« Последнее редактирование: 04 Апреля 2009, 17:25:56 от Reset »
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн ViNNNtalik

  • Постоялец
  • ***
  • Сообщений: 163
  • А еще и крестиком вышивать умею
Re: КиноПоиск.ru (персоны)
« Ответ #4 : 01 Марта 2009, 11:21:58 »
Принимаем бета-версию скрипта загрузки персон - 0.0.0.1.

Отлично, иду тестить
Спс большое
Активная жизненная позиция обычно означает классическое шило в заднице

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: КиноПоиск.ru (персоны)
« Ответ #5 : 01 Марта 2009, 12:07:37 »
В версии 0.0.0.1 реализована новая версия функции преобразования дат из длинного формата ("день месяц год") в короткий ("дд.мм.гггг"), позволяющая преобразовывать даты вида "месяц год" и "год". Отсутствующие день и месяц заменяются на 01. После тестирования этой функции в рамках тестирования скрипта она перейдет в скрипт загрузки фильмов.
К сожалению, я уже обнаружил недоработки в этой реализации, поэтому буду благодарен, если Вы дадите информацию о фильмах с неверной или незагруженной датой.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн ViNNNtalik

  • Постоялец
  • ***
  • Сообщений: 163
  • А еще и крестиком вышивать умею
Re: КиноПоиск.ru (персоны)
« Ответ #6 : 02 Марта 2009, 10:02:29 »
Прогнал скрипт на 900 персонах. Общее впечатление - потрясающе. Все тянет, все работает.

Теперь о нюансах:
1. Количество ссылок на сайты может быть следует сократить (у некоторых актеров их по 20). В идеале добавить фукцию на количество. Эти же ссылки размещать не подрят, а каждый с новой строки.

2. Есть много актеров (русских), у которых нет места рождения. Следовательно возникают вопросы с написанием (лат-рус).  Фишка с русскими буквами в имени не совсем подходит: в переводном имени у всех русских актеров буквы латинские.
Может тут стоит привязаться к написанию русских имен (не фамилий) на латинице? Типа Konstantin, Alla и т.д.
Вот пару примеров, где скрипт не сработал:
http://www.kinopoisk.ru/level/4/people/1601914/
http://www.kinopoisk.ru/level/4/people/539460/
http://www.kinopoisk.ru/level/4/people/245735/
http://www.kinopoisk.ru/level/4/people/1620623/
http://www.kinopoisk.ru/level/4/people/1627412/
http://www.kinopoisk.ru/level/4/people/558099/
http://www.kinopoisk.ru/level/4/people/298818/
http://www.kinopoisk.ru/level/4/people/742602/
http://www.kinopoisk.ru/level/4/people/269874/
http://www.kinopoisk.ru/level/4/people/554109/
http://www.kinopoisk.ru/level/4/people/1691660/
http://www.kinopoisk.ru/level/4/people/1618129/
http://www.kinopoisk.ru/level/4/people/261569/
http://www.kinopoisk.ru/level/4/people/582991/
http://www.kinopoisk.ru/level/4/people/916095/
http://www.kinopoisk.ru/level/4/people/1617530/
http://www.kinopoisk.ru/level/4/people/273291/
http://www.kinopoisk.ru/level/4/people/1627410/
http://www.kinopoisk.ru/level/4/people/101752/

3. Есть группа людей, у которых страны написаны на латинице или вообще на английском
У Золотухина и Меньшова страна рождения указана на английском "Soviet Union"
У Фоменко страна указана "Russia"
Думаю эти варианты написания страны надо сразу в дефол записать
http://www.kinopoisk.ru/level/4/people/261648/
http://www.kinopoisk.ru/level/4/people/174283/

П.С. Эти нюансы поверхностны, сейчас результаты буду смотреть поглубже
« Последнее редактирование: 02 Марта 2009, 10:05:34 от ViNNNtalik »
Активная жизненная позиция обычно означает классическое шило в заднице

Оффлайн ViNNNtalik

  • Постоялец
  • ***
  • Сообщений: 163
  • А еще и крестиком вышивать умею
Re: КиноПоиск.ru (персоны)
« Ответ #7 : 02 Марта 2009, 11:03:27 »
Еще один нюанс возник по наградам.
Фильм Сука-любовь http://www.kinopoisk.ru/level/1/film/488/ был номинирован на кучу наград в наминациях "лучший иностранный фильм"
Я скачал карточку режиссера этого фильма
теперь наград удвоилось: просто награда и награда, где в скобках имя режиссера)
« Последнее редактирование: 02 Марта 2009, 11:59:31 от ViNNNtalik »
Активная жизненная позиция обычно означает классическое шило в заднице

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: КиноПоиск.ru (персоны)
« Ответ #8 : 02 Марта 2009, 12:39:30 »
Прогнал скрипт на 900 персонах. Общее впечатление - потрясающе. Все тянет, все работает.
Это однозначно плюс. :)

1. Количество ссылок на сайты может быть следует сократить (у некоторых актеров их по 20). В идеале добавить фукцию на количество. Эти же ссылки размещать не подрят, а каждый с новой строки.
Сделаю ограничение на кол-во.
Насчет "с новой строки" - спорный вопрос. В стандартном поле "URL" все сплошняком идет. Подумаю.

2. Есть много актеров (русских), у которых нет места рождения. Следовательно возникают вопросы с написанием (лат-рус).  Фишка с русскими буквами в имени не совсем подходит: в переводном имени у всех русских актеров буквы латинские.
Может тут стоит привязаться к написанию русских имен (не фамилий) на латинице? Типа Konstantin, Alla и т.д.
Вот пару примеров, где скрипт не сработал:
http://www.kinopoisk.ru/level/4/people/1601914/
http://www.kinopoisk.ru/level/4/people/539460/
http://www.kinopoisk.ru/level/4/people/245735/
http://www.kinopoisk.ru/level/4/people/1620623/
http://www.kinopoisk.ru/level/4/people/1627412/
http://www.kinopoisk.ru/level/4/people/558099/
http://www.kinopoisk.ru/level/4/people/298818/
http://www.kinopoisk.ru/level/4/people/742602/
http://www.kinopoisk.ru/level/4/people/269874/
http://www.kinopoisk.ru/level/4/people/554109/
http://www.kinopoisk.ru/level/4/people/1691660/
http://www.kinopoisk.ru/level/4/people/1618129/
http://www.kinopoisk.ru/level/4/people/261569/
http://www.kinopoisk.ru/level/4/people/582991/
http://www.kinopoisk.ru/level/4/people/916095/
http://www.kinopoisk.ru/level/4/people/1617530/
http://www.kinopoisk.ru/level/4/people/273291/
http://www.kinopoisk.ru/level/4/people/1627410/
http://www.kinopoisk.ru/level/4/people/101752/
Что-то с математикой у тебя нехорошо - это не пара примеров :).
Спасибо за список. Буду смотреть.

3. Есть группа людей, у которых страны написаны на латинице или вообще на английском
У Золотухина и Меньшова страна рождения указана на английском "Soviet Union"
У Фоменко страна указана "Russia"
Думаю эти варианты написания страны надо сразу в дефол записать
http://www.kinopoisk.ru/level/4/people/261648/
http://www.kinopoisk.ru/level/4/people/174283/
Спасибо. Добавлю.

П.С. Эти нюансы поверхностны, сейчас результаты буду смотреть поглубже
Буду ждать результатов.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: КиноПоиск.ru (персоны)
« Ответ #9 : 02 Марта 2009, 20:20:25 »
Еще один нюанс возник по наградам.
Фильм Сука-любовь http://www.kinopoisk.ru/level/1/film/488/ был номинирован на кучу наград в наминациях "лучший иностранный фильм"
Я скачал карточку режиссера этого фильма
теперь наград удвоилось: просто награда и награда, где в скобках имя режиссера)
Проблема возникает по двум причинам:
1. В наградах фильма на сайте не указывается режиссер, а в наградах режиссера указывается фильм и в фильм добавляется награда с режиссером. В результате добавляется две награды: с получателем и без. Сейчас программа понимает их как разные награды. Я могу попробовать добавлять в награду "за лучший фильм" режиссера, но не уверен, что такое только с режиссерами и что со всеми режиссерами такое. Беру время на сбор статистики по таким наградам. За информацию о таких наградах буду благодарен.
2. В наградах "за лучший иностранный фильм" к фильму добавляется страна-производитель, а в аналогичной награде режиссеру страна не указывается. В награде режиссеру я страну добавить не смогу - нет информации такой, а вот в награде к фильму удалить страну, наверное, получится. Снова беру время на сбор информации по наградам со странами. И снова буду благодарен за названия категорий и событий таких наград.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: КиноПоиск.ru (персоны)
« Ответ #10 : 02 Марта 2009, 20:33:24 »
2. Есть много актеров (русских), у которых нет места рождения. Следовательно возникают вопросы с написанием (лат-рус).  Фишка с русскими буквами в имени не совсем подходит: в переводном имени у всех русских актеров буквы латинские.
Может тут стоит привязаться к написанию русских имен (не фамилий) на латинице? Типа Konstantin, Alla и т.д.
Полностью моя вина. В описании опции nationality=0 все написано верно, так, как должно быть: у русских актеров нет видимого переведенного имени, но и у некоторых зарубежных тоже. Поэтому персона без места рождения и переведенного имени анализируется на отношение русских/латинских букв в имени и на основании этого выносится вердикт. Но потом я нашел переведенное имя для всех персон - во всплывающей подсказке к фото в скобках. А вот про уже реализованный анализ определения национальности для персон без места рождения забыл.
Будет исправлено в следующей версии.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн ViNNNtalik

  • Постоялец
  • ***
  • Сообщений: 163
  • А еще и крестиком вышивать умею
Re: КиноПоиск.ru (персоны)
« Ответ #11 : 03 Марта 2009, 13:10:34 »
Еще один нюанс возник по наградам.
Фильм Сука-любовь http://www.kinopoisk.ru/level/1/film/488/ был номинирован на кучу наград в наминациях "лучший иностранный фильм"
Я скачал карточку режиссера этого фильма
теперь наград удвоилось: просто награда и награда, где в скобках имя режиссера)
Проблема возникает по двум причинам:
1. В наградах фильма на сайте не указывается режиссер, а в наградах режиссера указывается фильм и в фильм добавляется награда с режиссером. В результате добавляется две награды: с получателем и без. Сейчас программа понимает их как разные награды. Я могу попробовать добавлять в награду "за лучший фильм" режиссера, но не уверен, что такое только с режиссерами и что со всеми режиссерами такое. Беру время на сбор статистики по таким наградам. За информацию о таких наградах буду благодарен.
2. В наградах "за лучший иностранный фильм" к фильму добавляется страна-производитель, а в аналогичной награде режиссеру страна не указывается. В награде режиссеру я страну добавить не смогу - нет информации такой, а вот в награде к фильму удалить страну, наверное, получится. Снова беру время на сбор информации по наградам со странами. И снова буду благодарен за названия категорий и событий таких наград.

Вот тебе немного проблемных фильмов http://www.kinopoisk.ru/level/1/film/355/    Пианист (по лучшему фильму)
http://www.kinopoisk.ru/level/1/film/325/   Крестный отец (проблема по лучшему адаптированному сценарию и лучший фильм)
http://www.kinopoisk.ru/level/1/film/327/   Крестный отец 2
http://www.kinopoisk.ru/level/1/film/4500/   Крестный отец 3 (лучший сценарий и фильм)
http://www.kinopoisk.ru/level/1/film/2213/   Титаник (лучший фильм, монтаж, лучший поцелуй, экранный дуэт, сценарий )
Активная жизненная позиция обычно означает классическое шило в заднице

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: КиноПоиск.ru (персоны)
« Ответ #12 : 03 Марта 2009, 22:19:18 »
Вот тебе немного проблемных фильмов
http://www.kinopoisk.ru/level/1/film/355/    Пианист (по лучшему фильму)
http://www.kinopoisk.ru/level/1/film/325/   Крестный отец (проблема по лучшему адаптированному сценарию и лучший фильм)
http://www.kinopoisk.ru/level/1/film/327/   Крестный отец 2
http://www.kinopoisk.ru/level/1/film/4500/   Крестный отец 3 (лучший сценарий и фильм)
http://www.kinopoisk.ru/level/1/film/2213/   Титаник (лучший фильм, монтаж, лучший поцелуй, экранный дуэт, сценарий )
В "Пианисте" кроме "За лучший фильм" ещё и "Золотая пальмовая ветвь" на Каннском кинофестивале, и "Премия имени Энтони Эскуита за достижения в создании музыки к фильму" и "Лучший адаптированный сценарий" от Британской академии, и "Лучший адаптированный сценарий" Оскар.
В принципе, уже этого достаточно, чтобы понять, что мои возможности здесь ограничены.
Но спасибо за все фильмы. Попробую что-нибудь сделать.
Следим за темой Дублирование наград.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: КиноПоиск.ru (персоны)
« Ответ #13 : 04 Марта 2009, 06:39:15 »
Фильм Сука-любовь http://www.kinopoisk.ru/level/1/film/488/ был номинирован на кучу наград в наминациях "лучший иностранный фильм"
Я скачал карточку режиссера этого фильма
теперь наград удвоилось: просто награда и награда, где в скобках имя режиссера)
Проблема возникает по двум причинам:
1. В наградах фильма на сайте не указывается режиссер, а в наградах режиссера указывается фильм и в фильм добавляется награда с режиссером. В результате добавляется две награды: с получателем и без. Сейчас программа понимает их как разные награды. Я могу попробовать добавлять в награду "за лучший фильм" режиссера, но не уверен, что такое только с режиссерами и что со всеми режиссерами такое. Беру время на сбор статистики по таким наградам. За информацию о таких наградах буду благодарен.
В "Пианисте" кроме "За лучший фильм" ещё и "Золотая пальмовая ветвь" на Каннском кинофестивале, и "Премия имени Энтони Эскуита за достижения в создании музыки к фильму" и "Лучший адаптированный сценарий" от Британской академии, и "Лучший адаптированный сценарий" Оскар.
В принципе, уже этого достаточно, чтобы понять, что мои возможности здесь ограничены.
Итак, проблему с дублированием решил неутомимый nostra. Наши ему благодарности и ждём новую версию программы.
Со своей стороны, я попробую добавлять получателей к наградам в карточке фильма для увеличения информации о фильме.
Но тут есть две тонкости. Во-первых, я наверняка не смогу охватить все награды. А во-вторых, на каких-то наградах я могу переборщить. Поэтому добавление получателей пока будет опциональным и по умолчанию выключенным.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн ViNNNtalik

  • Постоялец
  • ***
  • Сообщений: 163
  • А еще и крестиком вышивать умею
Re: КиноПоиск.ru (персоны)
« Ответ #14 : 04 Марта 2009, 09:45:04 »
Ну что могу сказать, первая версия оказалась на удивление удачной-)
Кроме вышеперечисленных мной, больше никаких проблем найти пока не смог.

Огромное спасибо за данный скрипт
« Последнее редактирование: 04 Марта 2009, 09:48:04 от ViNNNtalik »
Активная жизненная позиция обычно означает классическое шило в заднице