КиноПоиск.ru (постеры, скриншоты, обложка)

[NewSky]

Страницы с изображениями фильма Лига Выдающихся Джентльменов загрузились после начала обработки фильма Лоуренс Аравийский. Я на такие фокусы не способен  У нас место волшебника только одно, и оно уже занято
Ты в настройках PVD таймауты не маленькие выставил? Попробуй значения по умолчанию (90000, -1, -1, 1).

С настройками, я вот что накрутил...

А ты можешь выложить полный лог и настройки?
Есть у меня подозрение на таймауты, но для этого надо время загрузки предыдущих фильмов знать.

Выкладываю лог и настройки (в скрипте). Настройки соединения указал в пред идущем посте. Сейчас выставил их по умолчанию... попробую так

И кстати, если в настройках указать: packetLoad      := true; то в тихом режиме скрипт не работает, ничего не закачивает, а если сменить на false то все в порядке. Это нормально?

[вложение удалено Администратором]

[Reset]

...если в настройках указать: packetLoad      := true; то в тихом режиме скрипт не работает, ничего не закачивает, а если сменить на false то все в порядке. Это нормально?

Спасибо, что обратил моё внимание на сей досадный факт. Так должно быть только частично.
1. Описание опции packetLoad в скрипте оставил старое по недосмотру. Должно быть такое:

Код: [Выделить]

     packetLoad      := false; // Режим пакетной загрузки
                               // Опция не имеет значения при типе скрипта 0 в версии программы 0.9.9.x.
                               // Для этого типа пакетная загрузка устанавливается в настройках программы
                               // При типе скрипта 1-3 используются следующие значения:
                               // true  - все изображения грузятся в пакетном режиме
                               // false - выдается окно выбора
2. Из-за моего второго недосмотра лучше не использовать опцию packetLoad в программе версии 0.9.9.5+. Её значение должно быть false.

В следующей версии скрипта всё будет исправлено.

[Reset]

Страницы с изображениями фильма Лига Выдающихся Джентльменов загрузились после начала обработки фильма Лоуренс Аравийский. Я на такие фокусы не способен  У нас место волшебника только одно, и оно уже занято
Ты в настройках PVD таймауты не маленькие выставил? Попробуй значения по умолчанию (90000, -1, -1, 1).

С настройками, я вот что накрутил...

А ты можешь выложить полный лог и настройки?
Есть у меня подозрение на таймауты, но для этого надо время загрузки предыдущих фильмов знать.

Выкладываю лог и настройки (в скрипте). Настройки соединения указал в пред идущем посте. Сейчас выставил их по умолчанию... попробую так

Да, дело явно в таймаутах.
Во вложение поместил выжимку из лога с небольшими комментариями.
Здесь попробую рассказать более подробно
1. При зависании КиноПоиска общий сброс ожидания происходит через 100 с, как ты и задавал в настройках.

Код: [Выделить]

19.04.2009 9:43:22: GET: http://www.kinopoisk.ru/im/wallpaper/1/9/0/kinopoisk.ru-Tomorrow-Never-Dies-190939_1280.jpg
19.04.2009 9:45:02: Download thread wait timeout.
2. После этого почему-то через интервал приблизительно 60 с (таймаут чтения) + 5 с (таймаут соединения) срабатывает таймаут чтения. Вроде бы уже и не должен, поскольку был общий сброс ожидания.

Код: [Выделить]

19.04.2009 9:45:02: Download thread wait timeout.
19.04.2009 9:45:02: Compiling script: kinopoisk_poster.psf
19.04.2009 9:45:02: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:45:02: Executing script binary
19.04.2009 9:45:02: [50 of 5391] Searching posters for: И Целого Мира Мало
19.04.2009 9:45:02: GET: http://www.kinopoisk.ru/level/1/film/6585/
19.04.2009 9:45:02: GET: http://www.kinopoisk.ru/level/12/film/6585/page/1/
19.04.2009 9:45:02: GET: http://www.kinopoisk.ru/level/17/film/6585/page/1/
19.04.2009 9:45:02: GET: http://www.kinopoisk.ru/level/12/film/6585/page/1/
19.04.2009 9:45:03: GET: http://www.kinopoisk.ru/level/17/film/6585/adv_type/cover/page/1/
19.04.2009 9:45:03: GET: http://www.kinopoisk.ru/level/13/film/6585/adv_type/promo/page/1/
...
19.04.2009 9:46:07: GET: http://www.kinopoisk.ru/picture/622198/
19.04.2009 9:46:08: GET: http://www.kinopoisk.ru/images/poster/622198.jpg
19.04.2009 9:46:08: Read Timeout
3. После этого в течение некоторого времени на фоне новых запросов или приходят старые запрошенные страницы, или не приходит ничего, или приходят неправильные страницы.

Возможно, nostra сможет объяснить такое поведение.

[вложение удалено Администратором]

[NewSky]

Блин, ну это совсем никуда не годится
19.04.2009 15:35:39: Compiling script: kinopoisk_poster.psf
19.04.2009 15:35:39: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 15:35:39: Executing script binary
19.04.2009 15:35:39: Logging in...
19.04.2009 15:35:39: Searching posters for: Семнадцатилетние
19.04.2009 15:35:39: GET: http://www.kinopoisk.ru/level/1/film/1555/
19.04.2009 15:35:39: GET: http://www.kinopoisk.ru/level/17/film/1555/page/1/
19.04.2009 15:35:39: GET: http://www.kinopoisk.ru/level/17/film/1555/page/1/
19.04.2009 15:35:39: Downloading poster 1 of 2 for Семнадцатилетние
19.04.2009 15:35:39: GET: http://www.kinopoisk.ru/picture/436163/
19.04.2009 15:35:39: GET: http://www.kinopoisk.ru/images/poster/436163.jpg
19.04.2009 15:35:40: Downloading poster 2 of 2 for Семнадцатилетние
19.04.2009 15:35:40: GET: http://www.kinopoisk.ru/picture/34210/
19.04.2009 15:35:40: GET: http://www.kinopoisk.ru/images/poster/34210_try_seventeen.2002.jpg

На самом деле, первый постер загрузился с http://www.kinopoisk.ru/picture/464266/ который ПЯТЬ фильмов "назад" не прошел к тому фильму, а к этому загрузился. И причем отследить только глазами можно ибо лог врет! И потом понеслась... к текущим фильмам стали прикрепрятся ранее не загруженные пстеры (после тайм-аута в ручном, поштучном!!!! режиме)...

[NewSky]

Вот так происходит процесс загрузки постеров рано утром (по Москве) (11,5 mb) Низкий поклон Reset!!!

[NewSky]

Что-то "хулиганить" стал скрипт (работа на самой, что нинаесть 0.9.9.5-2)...

Код: [Выделить]

(26.04.2009 7:46:07) [121 of 1786] Searching posters for: Король-лев 2: Гордость Симбы
(26.04.2009 7:46:07) GET: http://www.kinopoisk.ru/level/1/film/77038/
(26.04.2009 7:47:22) GET: http://www.kinopoisk.ru/level/17/film/77038/page/1/
(26.04.2009 7:47:23) Redirected to: /level/17/film/77038/adv_type/cover/
(26.04.2009 7:47:23) Compiling script: kinopoisk_poster.psf
(26.04.2009 7:47:23) Script compiled successfully: kinopoisk_poster.psf
(26.04.2009 7:47:23) Executing script binary
(26.04.2009 7:47:23) [122 of 1786] Searching posters for: Вдребезги
Вот настройки скрипта (только вертикальные постеры)

Код: [Выделить]

     scriptType      = 0;     // Тип скрипта и, соответственно, поле для загрузки изображений
                              // 0 - постеры
                              // 1 - скриншоты
                              // 2 - обложка
                              // 3 - диск

procedure initOptions ();
Begin
     maxPages        := 0;     // Максимальное количество страниц для поиска изображений (0 - без ограничений)
     minImages       := 0;     // Минимальное обязательное количество изображений для загрузки
     maxImages       := 0;     // Максимальное количество изображений для загрузки (0 - без ограничений)
                               // Имеет значение только при типе скрипта 0 или 1
                               // При типе скрипта 2 и 3 используется значение 1

                               // Загрузка изображений
                               // Каждая опция из этой группы может принимать следующие значения
                               // 0 - не загружать данный тип изображений
                               // 1 - загружать данный тип изображений всегда
                               // 2 - загружать данный тип изображений только при отсутствии изображений более приоритетного типа
     loadWallpapers  :=  0;    // Загрузка обоев
                               // Из-за технических ограничений их размер в килобайтах будет равен к нулю
     loadPosters     :=  1;    // Загрузка постеров
     loadCovers      :=  0;    // Загрузка обложек
     loadFanArt      :=  0;    // Загрузка фан-арта
     loadFrame       :=  0;    // Загрузка кадров
     loadScreenshots :=  0;    // Загрузка скриншотов
     loadFilming     :=  0;    // Загрузка съёмок
     loadPromo       :=  0;    // Загрузка промо
     loadConcept     :=  0;    // Загрузка концепта
     loadMiniPoster  :=  0;    // Загрузка минипостера с главной страницы
                               // Из-за технических ограничений его размер в килобайтах будет равен к нулю

                               // Порядок загрузки изображений
                               // Дайте каждому типу изображений порядковый номер для загрузки
                               // Если какой-то тип изображений не нужно загружать, установите 0
     posWallpaper    :=  0;    // Загрузка обоев (пока не работает)
     posPosters      :=  1;    // Загрузка постеров
     posCovers       :=  0;    // Загрузка обложек
     posFanArt       :=  0;    // Загрузка фан-арта
     posFrame        :=  0;    // Загрузка кадров
     posScreenshots  :=  0;    // Загрузка скриншотов
     posFilming      :=  0;    // Загрузка съёмок
     posPromo        :=  0;    // Загрузка промо
     posConcept      :=  0;    // Загрузка концепта
     posMiniPoster   :=  0;    // Загрузка минипостера с главной страницы

     loadOrigSize    := 0;     // Загрузка изображений оригинального размера
                               // 0 - не грузить
                               // 1 - грузить оригинальный размер вместо нормального
                               // 2 - грузить оригинальный размер вместе с нормальным

     packetLoad      := false; // Режим пакетной загрузки
                               // Опция имеет значение только при типе скрипта 0
                               // При типе скрипта 1-3 используется значение true
                               // true  - все постеры грузятся в пакетном режиме
                               // false - выдается окно выбора

     sizeWallpapers  := '1600,1280,1024,800';  // Приоритет размеров обоев
                               // Перечисляются желаемые ширины через запятую без пробелов
                               // Будет загружен первый подходящий размер

     minSizeX        := 0;     // Минимальный  размер изображения в пикселах по ширине
     minSizeY        := 0;     // Минимальный  размер изображения в пикселах по высоте
     maxSizeX        := 0;     // Максимальный размер изображения в пикселах по ширине (0 - без ограничений)
     maxSizeY        := 0;     // Максимальный размер изображения в пикселах по высоте (0 - без ограничений)
     rcmSizeX        := 800;   // Желаемый     размер изображения в пикселах по ширине (учитывается при сортировке 3)
     rcmSizeY        := 1200;  // Желаемый     размер изображения в пикселах по высоте (учитывается при сортировке 3)

     minSizeB        := 0;     // Минимальный  размер изображения в килобайтах
     maxSizeB        := 0;     // Максимальный размер изображения в килобайтах (0 - без ограничений)
     rcmSizeB        := 0;     // Желаемый     размер изображения в килобайтах (учитывается при сортировке 6)

     proportion      := 1;     // Загружаемые пропорции изображений
                               // 0 - загружать все
                               // 1 - загружать только узкие (вертикальные)
                               // 2 - загружать только длинные (горизонтальные)

     sort            := 2;     // Вид сортировки
                               // 0 - не сортировать
                               // 1 - по размеру в пикселах по возрастанию
                               // 2 - по размеру в пикселах по убыванию
                               // 3 - по размеру в пикселах по удалению от желаемого
                               // 4 - по размеру в байтах по возрастанию
                               // 5 - по размеру в байтах по убыванию
                               // 6 - по размеру в байтах по удалению от желаемого
                               // 7 - от узких к длинным
                               // 8 - от длинных к узким

     showCount       := true; // Признак отображения количества найденных изображений
                               // true  - отображать
                               // false - не отображать
Стало появляться приличное кол-во фильмов, которые имеют постеры подходящие под запрос, но просто пропускаются и как потом выявить такие пропущенные фильмы... Беда в том, что скрипт ничего не пишет в лог, ведь для "себя" он там и не обнаружил (почему-то) подходящих постеров и попёр дальше. А вот какого он пропускает СТОЛЬКО постеров, не понимаю Ладно там, когда Кинопоиск загружен и скрипт просто "задумыается" и потом после timeout переходит к следующему но по логу, потом всегда легко такой фильм (Ctrl+F "timeout") а с такой засадой половина постеров пропущена...

UPD
Сорри, снова и снова моя невнимательность. Скрипт, умней и внимательней Это не ПОСТЕРЫ на тех фильмах которые я думал скрипт "пропускал" это ОБЛОЖКИ, а я сразу и не увидел. А у меня действительно, настройка ТОЛЬКО постеры и ТОЛЬКО вертикальные. Сорри за панику, Reset-у внеочередное спасибо за ВСЕ скрипты выходящие из под его руки

[NewSky]

Думаю, виноват не скрипт, а, программа, но "это" происходит при пользовании скрипта, по-этому напишу сюда. Хотя думаю, фикса трабла не будет долго...

1) Если по причине "задумчивости" Кинопоиска имеем тайм-аут в тихом, пакетном режиме, то с вероятностью 50% обоина (на обоях это сильней проявляется, скорее из-за их размера) присоединится к совершенно другому фильму и найти такой кривой фильм с чужой обоиной можно только случайно или просматривая все прикрепленные обои. Как правило, это фильм в диапазоне пятый-пятнадцатый от фильма на котором сработал тайм-аут.
2) В поле постера (снова, после пакетного режима с Кинопоиска) вижу: 1 of 2 или 1 of 4 но самих постеров НЕТ. При посещении страницы "обои" таких фильмов, как правило либо ВООБЩЕ нет обоев к данному фильму либо другое количество.

Понимаю, что эти косяки связаны с доступностью сайта, изначально, но кривизна на лицо... запорото 6гб обоев и нет никакой уверенности, что новый импорт (если повезет и Кинопоиск будет в момент импорт работать пощустрее) пройдет успешней...

[moran]

Вот я долго матерился когда увидел что скрипт грузит не все постеры, на примере фильма Перл Харбор, в логе написано что у фильма 21 постер, заходим на сайт и видим цифру 34, а фильмов обработано порядка 600 и что теперь все постеры стирать и грузить заново? а загвоздка в настройке скрипта по умолчанию, если честно нафига делать настройки по умолчанию с ограничениями? дело оказалось вот в этой переменной

Код: [Выделить]

sort            := 3;     // Вид сортировкикоторая в свою очередь влияет на

Код: [Выделить]

rcmSizeX        := 800;   // Желаемый     размер изображения в пикселах по ширине (учитывается при сортировке 3)
rcmSizeY        := 1200;  // Желаемый     размер изображения в пикселах по высоте (учитывается при сортировке 3)в общем я дико РАЗОЗЛЕН!!!! 

[Reset]

Вот я долго матерился когда увидел что скрипт грузит не все постеры, на примере фильма Перл Харбор, в логе написано что у фильма 21 постер, заходим на сайт и видим цифру 34, а фильмов обработано порядка 600 и что теперь все постеры стирать и грузить заново? а загвоздка в настройке скрипта по умолчанию, если честно нафига делать настройки по умолчанию с ограничениями? дело оказалось вот в этой переменной

Код: [Выделить]

sort            := 3;     // Вид сортировкикоторая в свою очередь влияет на

Код: [Выделить]

rcmSizeX        := 800;   // Желаемый     размер изображения в пикселах по ширине (учитывается при сортировке 3)
rcmSizeY        := 1200;  // Желаемый     размер изображения в пикселах по высоте (учитывается при сортировке 3)в общем я дико РАЗОЗЛЕН!!!!  

Ты не совсем прав.
Эти опции не влияют на количество загружаемых постеров, а лишь указывают порядок сортировки, при котором в начале списка результатов будут постеры, наиболее близкие по размеру к заданным.
Тебе должна быть интересна самая первая опция

Код: [Выделить]

    maxPages        := 1;     // Максимальное количество страниц для поиска изображений (0 - без ограничений)
Изменять её значение по-умолчанию без веских на то причин я не хочу.
Дело в том, что большинству, я думаю, достаточно 1-2 постеров для фильма. А каналы не у всех резиновые, и не все могут себе позволить качать несколько сотен превью только для того, чтобы выбрать нужный постер.
Аналогично загружались постеры и в плагине КиноПоиска, и грузятся сейчас в плагинах AMAZON.

Возможность загрузки со всех страниц была реализована в самой первой версии скрипта и уже тогда имела дефолтное значение - 1.

Первая версия скрипта для загрузки постеров - 0.0.0.1.
Сделано:
+ Реализована загрузка постеров со всех страниц.

Так что извини, но претензию считаю необоснованной.

UPD
Я думаю, тебе, как дотошному перцу и толковому специалисту по базам данных, не составит труда воспользоваться так вовремя реализованной nostra опцией SQL в меню Помощь, и написать процедуру, которая найдет все фильмы с кол-вом постеров, равным 21.
Возможно, процедура пригодится и кому-нибудь другому.

[moran]

Вот я долго матерился когда увидел что скрипт грузит не все постеры, на примере фильма Перл Харбор, в логе написано что у фильма 21 постер, заходим на сайт и видим цифру 34, а фильмов обработано порядка 600 и что теперь все постеры стирать и грузить заново? а загвоздка в настройке скрипта по умолчанию, если честно нафига делать настройки по умолчанию с ограничениями? дело оказалось вот в этой переменной

Код: [Выделить]

sort            := 3;     // Вид сортировкикоторая в свою очередь влияет на

Код: [Выделить]

rcmSizeX        := 800;   // Желаемый     размер изображения в пикселах по ширине (учитывается при сортировке 3)
rcmSizeY        := 1200;  // Желаемый     размер изображения в пикселах по высоте (учитывается при сортировке 3)в общем я дико РАЗОЗЛЕН!!!!  

Ты не совсем прав.
Эти опции не влияют на количество загружаемых постеров, а лишь указывают порядок сортировки, при котором в начале списка результатов будут постеры, наиболее близкие по размеру к заданным.

Когда я изменил опцию

Код: [Выделить]

sort            := 3;     // Вид сортировкина 0 все стало грузить

Тебе должна быть интересна самая первая опция

Код: [Выделить]

    maxPages        := 1;     // Максимальное количество страниц для поиска изображений (0 - без ограничений)


Эта опцию я сразу поменял на 0

[Reset]

Вот я долго матерился когда увидел что скрипт грузит не все постеры, на примере фильма Перл Харбор, в логе написано что у фильма 21 постер, заходим на сайт и видим цифру 34, а фильмов обработано порядка 600 и что теперь все постеры стирать и грузить заново? а загвоздка в настройке скрипта по умолчанию, если честно нафига делать настройки по умолчанию с ограничениями? дело оказалось вот в этой переменной

Код: [Выделить]

sort            := 3;     // Вид сортировкикоторая в свою очередь влияет на

Код: [Выделить]

rcmSizeX        := 800;   // Желаемый     размер изображения в пикселах по ширине (учитывается при сортировке 3)
rcmSizeY        := 1200;  // Желаемый     размер изображения в пикселах по высоте (учитывается при сортировке 3)в общем я дико РАЗОЗЛЕН!!!!  

Ты не совсем прав.
Эти опции не влияют на количество загружаемых постеров, а лишь указывают порядок сортировки, при котором в начале списка результатов будут постеры, наиболее близкие по размеру к заданным.

Когда я изменил опцию

Код: [Выделить]

sort            := 3;     // Вид сортировкина 0 все стало грузить

Тебе должна быть интересна самая первая опция

Код: [Выделить]

    maxPages        := 1;     // Максимальное количество страниц для поиска изображений (0 - без ограничений)


Эта опцию я сразу поменял на 0

Я проверю вечером, в чем может быть дело. Опция sort не должна влиять на maxPages.
Кинь, пожалуйста, полностью все настройки скрипта, при которых возникает такой эффект.

[Reset]

Вот я долго матерился когда увидел что скрипт грузит не все постеры, на примере фильма Перл Харбор, в логе написано что у фильма 21 постер, заходим на сайт и видим цифру 34, а фильмов обработано порядка 600 и что теперь все постеры стирать и грузить заново? а загвоздка в настройке скрипта по умолчанию, если честно нафига делать настройки по умолчанию с ограничениями? дело оказалось вот в этой переменной

Код: [Выделить]

sort            := 3;     // Вид сортировкикоторая в свою очередь влияет на

Код: [Выделить]

rcmSizeX        := 800;   // Желаемый     размер изображения в пикселах по ширине (учитывается при сортировке 3)
rcmSizeY        := 1200;  // Желаемый     размер изображения в пикселах по высоте (учитывается при сортировке 3)в общем я дико РАЗОЗЛЕН!!!!  

Ты не совсем прав.
Эти опции не влияют на количество загружаемых постеров, а лишь указывают порядок сортировки, при котором в начале списка результатов будут постеры, наиболее близкие по размеру к заданным.

Когда я изменил опцию

Код: [Выделить]

sort            := 3;     // Вид сортировкина 0 все стало грузить

Тебе должна быть интересна самая первая опция

Код: [Выделить]

    maxPages        := 1;     // Максимальное количество страниц для поиска изображений (0 - без ограничений)


Эта опцию я сразу поменял на 0

Я проверю вечером, в чем может быть дело. Опция sort не должна влиять на maxPages.
Кинь, пожалуйста, полностью все настройки скрипта, при которых возникает такой эффект.

Что-то у меня с ходу не получается добиться указанной проблемы.
Взял скрипт из поставки 0.9.9.8. Это один в один скрипт версии 0.2.1.0 из этой темы.
Изменил значение maxPages на 0. Больше ничего не менял. Опция sort равна 3.
Для Перл Харбора грузит 34 постера что в обычном, что в тихом режимах.

Кинь, пожалуйста, полностью все настройки скрипта, при которых возникает такой эффект.

[vslawa]

Я так понимаю постеры с Кинопоска не грузятся только у меня  . Или у кого-то ещё такая проблема?

[Reset]

Я так понимаю постеры с Кинопоска не грузятся только у меня  . Или у кого-то ещё такая проблема?

Возможно, да.
У меня, по крайне мере, грузятся.
Какая версия программы и скрипта? (В FAQ ответ на вопрос 49)
На каком фильме не грузятся постеры?
Ты менял настройки в скрипте? Скинь свой скрипт kinopoisk_poster.psf во вложении.

UPD
Выдаётся ли какая-то ошибка при вызове скрипта? Что происходит в программе?

[vslawa]

Я так понимаю постеры с Кинопоска не грузятся только у меня  . Или у кого-то ещё такая проблема?

Возможно, да.
У меня, по крайне мере, грузятся.
Какая версия программы и скрипта? (В FAQ ответ на вопрос 49)
На каком фильме не грузятся постеры?
Ты менял настройки в скрипте? Скинь свой скрипт kinopoisk_poster.psf во вложении.
UPD
Выдаётся ли какая-то ошибка при вызове скрипта? Что происходит в программе?

О, спасибо за ответ!
1. Версия программы 0.9.9.11 Portable, скрипта - 0.2.1.0. Причем информация по фильмам с кинопоиска вроде бы грузится.
2. На любом фильме не грузятся.
3. Ничего в настройках не менял, как скачал полный пакет так и использую, только настраивал поля скрипта для фильмов.
4. Никакая ошибка не выдается, просто в строке статуса бежит запрос и потом тишина - ничего не грузит. Тихий режим не используется. Кстати пробовал с тихим режимом, то тогда не один плагин не грузит скрипты, может проблема в этой portable версии?

[вложение удалено Администратором]