Автор Тема: КиноПоиск.ru (персоны)  (Прочитано 341643 раз)

0 Пользователей и 17 Гостей просматривают эту тему.

Оффлайн NikLeon

  • Новичок
  • *
  • Сообщений: 44
Re: КиноПоиск.ru (персоны)
« Ответ #165 : 15 Февраля 2010, 05:03:23 »
По поводу массового обновления есть такое решение (проверял 3 дня) сначала обновляю один фильм (с авторизацией), а потом уже обновляю массово персоны, поэтому естть предложение - можно ли ввести в скрипт авторизацию на сервере kinopoisk?
Можно. Но зачем?
Авторизация при импорте фильмов даёт возможность закачать прогнозируемую оценку. По персонам такого нет.
Зато КиноПоиск, насколько я знаю, может забанить аккаунт. А это намного хуже, чем бан по IP.
Или авторизация нужна для чего-то другого?
Фишка (на собственном опыте) заключается в том, что похоже после авторизации нет тщательного контроля за объемом скачиваемым - лично скачал за 4 дня почти 25000 персон в тихом режиме не прерывая связь, возможно конечно просто везение, но на определенные мысли навело

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: КиноПоиск.ru (персоны)
« Ответ #166 : 15 Февраля 2010, 05:57:53 »
По поводу массового обновления есть такое решение (проверял 3 дня) сначала обновляю один фильм (с авторизацией), а потом уже обновляю массово персоны, поэтому естть предложение - можно ли ввести в скрипт авторизацию на сервере kinopoisk?
Можно. Но зачем?
Авторизация при импорте фильмов даёт возможность закачать прогнозируемую оценку. По персонам такого нет.
Зато КиноПоиск, насколько я знаю, может забанить аккаунт. А это намного хуже, чем бан по IP.
Или авторизация нужна для чего-то другого?
Фишка (на собственном опыте) заключается в том, что похоже после авторизации нет тщательного контроля за объемом скачиваемым - лично скачал за 4 дня почти 25000 персон в тихом режиме не прерывая связь, возможно конечно просто везение, но на определенные мысли навело
Думаю, дело в чём-то другом. Поскольку в скрипте импорта персон нет авторизации, а авторизация пропадает даже при повторном запуске того же скрипта, не говоря уже о другом скрипте (т.е. авторизация от скрипта импорта информации о фильмах не может действовать при импорте информации о персонах), то, видимо, дело не в ней. Прикинул скорость загрузки по твоим числам - получилось около 3 с между загрузкой страниц. Немного, конечно, но, возможно, достаточно для нормальной закачки.
Кстати, а фильмы ты в тихом режиме не обновлял?
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн NikLeon

  • Новичок
  • *
  • Сообщений: 44
Re: КиноПоиск.ru (персоны)
« Ответ #167 : 04 Марта 2010, 07:24:53 »
По поводу массового обновления есть такое решение (проверял 3 дня) сначала обновляю один фильм (с авторизацией), а потом уже обновляю массово персоны, поэтому естть предложение - можно ли ввести в скрипт авторизацию на сервере kinopoisk?
Можно. Но зачем?
Авторизация при импорте фильмов даёт возможность закачать прогнозируемую оценку. По персонам такого нет.
Зато КиноПоиск, насколько я знаю, может забанить аккаунт. А это намного хуже, чем бан по IP.
Или авторизация нужна для чего-то другого?
Фишка (на собственном опыте) заключается в том, что похоже после авторизации нет тщательного контроля за объемом скачиваемым - лично скачал за 4 дня почти 25000 персон в тихом режиме не прерывая связь, возможно конечно просто везение, но на определенные мысли навело
Думаю, дело в чём-то другом. Поскольку в скрипте импорта персон нет авторизации, а авторизация пропадает даже при повторном запуске того же скрипта, не говоря уже о другом скрипте (т.е. авторизация от скрипта импорта информации о фильмах не может действовать при импорте информации о персонах), то, видимо, дело не в ней. Прикинул скорость загрузки по твоим числам - получилось около 3 с между загрузкой страниц. Немного, конечно, но, возможно, достаточно для нормальной закачки.
Кстати, а фильмы ты в тихом режиме не обновлял?
Обновил всю старые записи, в которых URL был не с kinopoiska.ru базу примерно 1000 фильмов, обновлял на линии с ограничением 512 кБит, без проблем обновилось за 1 раз (31/12/2009 делал обновление)

Оффлайн NikLeon

  • Новичок
  • *
  • Сообщений: 44
Re: КиноПоиск.ru (персоны)
« Ответ #168 : 10 Марта 2010, 06:40:22 »
Похоже идиотские ограничения сняли, во всяком случае за 2 дня скачал данные на 20000 персон в 2 захода.

Оффлайн NewSky

  • Гуру
  • ****
  • Сообщений: 842
Re: КиноПоиск.ru (персоны)
« Ответ #169 : 15 Марта 2010, 11:32:45 »
В воскресенье в 00.00 по Москве запустил скрипт с 5500 персонами. Минут за 30-40 стянул к 1000, пошел спать, утром обнаружил, все данные по всем персонам были загружены. Без банов и прочего.

Оффлайн Vik

  • Новичок
  • *
  • Сообщений: 16
Re: КиноПоиск.ru (персоны)
« Ответ #170 : 15 Марта 2010, 13:15:13 »
Похоже идиотские ограничения сняли, во всяком случае за 2 дня скачал данные на 20000 персон в 2 захода.
Ни чего не сняли, стало еще хуже уже штук 50 прокси серверов забанили , одну две персоны обновил и бан.
Единственное с утра на 20-50 обновлений хватает а потом бан.

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: КиноПоиск.ru (персоны)
« Ответ #171 : 15 Марта 2010, 20:11:07 »
Люди, прекращаем оффтоп. Последние 1,5 десятка сообщений никакого отношения к теме не имеют. Проблемы КиноПоиска обсуждаются в теме Проблемы импорта с Кинопоиска.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн ViNNNtalik

  • Постоялец
  • ***
  • Сообщений: 163
  • А еще и крестиком вышивать умею
Re: КиноПоиск.ru (персоны)
« Ответ #172 : 16 Марта 2010, 08:09:06 »
Ресет, посмотри пожалуйста актера - Кристоф Вальц (http://www.kinopoisk.ru/level/4/people/245737/).
При скачивании инфо о фильме "Бесславные ублюдки" с его участием выставляет ему Оскара и Золотой глобус за роль второго плана (награды эти есть на сайте кинопоиска как в карточке фильма ,так и в карточке актера)

При скачивании информации об актере (скрипт 0.1.0.12) Оскар и Золотой глобус исчезает, хотя, повторюсь, на сайте в карточке актера эти награды есть

Посмотри, пожалуйста

П.С. Похожая ситуация с Квентином Тарантино (http://www.kinopoisk.ru/level/4/people/7640/): исчезает номинация Оскар за 2010 год "лучший режиссер"  и не видит т Оскар-2010 номинация "Лучший сценарий" и Оскар-1995 победитель "лучший сценарий"
« Последнее редактирование: 16 Марта 2010, 08:16:01 от ViNNNtalik »
Активная жизненная позиция обычно означает классическое шило в заднице

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: КиноПоиск.ru (персоны)
« Ответ #173 : 17 Марта 2010, 06:12:41 »
Ресет, посмотри пожалуйста актера - Кристоф Вальц (http://www.kinopoisk.ru/level/4/people/245737/).
При скачивании инфо о фильме "Бесславные ублюдки" с его участием выставляет ему Оскара и Золотой глобус за роль второго плана (награды эти есть на сайте кинопоиска как в карточке фильма ,так и в карточке актера)

При скачивании информации об актере (скрипт 0.1.0.12) Оскар и Золотой глобус исчезает, хотя, повторюсь, на сайте в карточке актера эти награды есть

Посмотри, пожалуйста

П.С. Похожая ситуация с Квентином Тарантино (http://www.kinopoisk.ru/level/4/people/7640/): исчезает номинация Оскар за 2010 год "лучший режиссер"  и не видит т Оскар-2010 номинация "Лучший сценарий" и Оскар-1995 победитель "лучший сценарий"
Отписался в теме Недоработки в версии 0.9.9.18.

UPD
Ошибка устранена в версии 0.9.9.19 программы.
« Последнее редактирование: 30 Марта 2010, 04:50:14 от Reset »
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн unreal666

  • Гуру
  • ****
  • Сообщений: 533
    • Сайт unreal666
Re: КиноПоиск.ru (персоны)
« Ответ #174 : 19 Июня 2010, 11:04:12 »
Чего-то в персонах перестал добавляться список фильмов.
PVD 1.0.2.7, Win 7 x64, Phenom II X6 1055T 3.5 GHz / 8 GiB / 5,4 TiB / HD 4870 1 GiB

Оффлайн EGO

  • Новичок
  • *
  • Сообщений: 21
Re: КиноПоиск.ru (персоны)
« Ответ #175 : 19 Июня 2010, 23:31:40 »
Чего-то в персонах перестал добавляться список фильмов.
подтверждаю - та же проблема с фильмографией по персонам. Остаются только те фильмы, что есть в базе.

Оффлайн Natik

  • Постоялец
  • ***
  • Сообщений: 126
  • Большое спасибо nostra!!!
Re: КиноПоиск.ru (персоны)
« Ответ #176 : 21 Июня 2010, 09:19:24 »
Чего-то в персонах перестал добавляться список фильмов.
подтверждаю - та же проблема с фильмографией по персонам. Остаются только те фильмы, что есть в базе.

ждем изменений  :)

Оффлайн EGO

  • Новичок
  • *
  • Сообщений: 21
Re: КиноПоиск.ru (персоны)
« Ответ #177 : 23 Июня 2010, 17:22:57 »
ждем изменений  :)

Очень ждем.....И пока тихо так...

Оффлайн BiZet

  • Новичок
  • *
  • Сообщений: 8
Re: КиноПоиск.ru (персоны)
« Ответ #178 : 24 Июня 2010, 16:10:16 »
Мне помогла замена в строке 652 скрипта
curPos := PosFrom ('<td width=36% class="', HTML, curPos);на
curPos := PosFrom ('<td width=40% class="', HTML, curPos);и в строке 655
endPos := PosFrom ('</table><br>', HTML, curPos);на
endPos := PosFrom ('</table><br />', HTML, curPos);


Оффлайн Predator

  • Постоялец
  • ***
  • Сообщений: 127
Re: КиноПоиск.ru (персоны)
« Ответ #179 : 24 Июня 2010, 20:27:15 »
Был еще мелкий косяк (с определением сайтов актеров). Во вложении подправленный скрипт.

P.S. спасибо автору предыдущего сообщения  :)

[вложение удалено администратором]
« Последнее редактирование: 24 Июня 2010, 20:39:59 от Predator »