КиноПоиск.ru (постеры, скриншоты, обложка)

[NewSky]

Волшебник Спасибо! Начинаю тестировать.

[Reset]

Универсальный скрипт для загрузки постеров. Версия 0.2.0.0 beta.

Добавлено:
+ Возможность загрузки обоев, кадров, скриншотов, съёмок, промо, концепта.
+ Возможность использования конфигурационного файла. См. опцию pathToConfig. Теперь все пользовательские настройки, доступные для загрузки из конфигурационного файла, описаны в процедуре initOptions в начале скрипта. Опции можно устанавливать как в скрипте, так и в конфигурационном файле. Приоритет имеют опции из конфигурационного файла. Конфигурационный файл представляет собой содержимое процедуры initOptions, т.е., другими словами, начало скрипта с опциями. Пример конфигурационного файла во втором вложении.

Изменено:
* Переработан алгоритм загрузки изображений для возможности загрузки разных типов изображений в одно поле.
* Переработан алгоритм загрузки изображений для возможности загрузки разных типов изображений в разном порядке.

Исправлено:
! Изменен механизм получения адреса изображения. Теперь вместо формирования названия постера, что работало лишь в 90% случаев, название постера берется со страницы изображения.

За скриптом для версии 0.9.9.5+ идем на iFolder.ru или берем в первом вложении.
Пример конфигурационного файла берем во втором вложении.

[вложение удалено Администратором]

[Reset]

Универсальный скрипт для загрузки постеров. Версия 0.2.0.0 beta.

Из этого скрипта можно сделать скриншотный, обложечный и дисковый (см. опцию scriptType и группы опций load... и pos...).
В дальнейшем этот скрипт будет скопирован в соответствующие темы с нужными настройками. Бета-тестирование будет здесь.
Доп. описание смотри выше.

[NewSky]

Спасибо! Будеи тестить! И клеить обоииииии!
UPD:
Всё работает, всё грузит, всё сортирует! Отлично!
Не совсем понял про конфиг файл... и сам скрипт нужно настроить и конфиг файл? И без него вроде работает. И с путем не совсем удобно "Там где БАЗА" жаль не в корне папки scripts. И в какую стороны слэши в пути? Но главное... зачем он всетаки нужен?

[NewSky]

Полностью перестал работать скрипт
Скачал заново, настройки никакие не менял. На Кинопоиске не забанен, браузером все открывает. Програмным плагином все качается. Вот лог скрипта...
13.04.2009 23:21:27: Compiling script: kinopoisk_poster.psf
13.04.2009 23:21:27: Script compiled successfully: kinopoisk_poster.psf
13.04.2009 23:21:27: Executing script binary
13.04.2009 23:21:27: Logging in...
13.04.2009 23:21:27: Searching posters for: Считанные Секунды
13.04.2009 23:21:27: GET: http://www.kinopoisk.ru/level/1/film/9374/
13.04.2009 23:21:27: Redirected to: http://error.kinopoisk.ru/

[Reset]

Полностью перестал работать скрипт
Скачал заново, настройки никакие не менял. На Кинопоиске не забанен, браузером все открывает. Програмным плагином все качается. Вот лог скрипта...
13.04.2009 23:21:27: Compiling script: kinopoisk_poster.psf
13.04.2009 23:21:27: Script compiled successfully: kinopoisk_poster.psf
13.04.2009 23:21:27: Executing script binary
13.04.2009 23:21:27: Logging in...
13.04.2009 23:21:27: Searching posters for: Считанные Секунды
13.04.2009 23:21:27: GET: http://www.kinopoisk.ru/level/1/film/9374/
13.04.2009 23:21:27: Redirected to: http://error.kinopoisk.ru/

Даже не знаю, чем могу помочь. Последняя строчка из приведённого лога однозначно указывает на бан.
У меня ситуация воспроизводится без проблем. Причем скрипт КиноПоиска здесь ни при чём.
Не знаю, по каким параметрам на КиноПоиске идентифицируют забаненного пользователя.
Не знаю, в течении какого времени хранятся cookie в программе.

Думаю, что вопрос надо переадресовывать nostra, поскольку такая же ситуация на простейшем тестовом скрипте (см. вложение).

UPD
Появилась дополнительная информация. Переброс на адрес error.kinopoisk.ru происходит только при загрузке первой страницы при обновлении одного фильма. Последующие страницы грузятся нормально. Пример во вложении.
2 nostra: возможно, дело всё-таки в cookies. Как правильно поступить: подождать, пока ты, может быть, чего-нибудь глянешь или добавить во все скрипты КиноПоиска повтор на загрузку первой страницы?

[вложение удалено Администратором]

[NewSky]

Reset, а можно тебя попросить, если это не "идет в разрез с твоим видением скрипта и не слишком трудоемко по затратам" добавить две вещи в скрипт:
1) Количество найденных картинок в окне предпросмотра с результатами поиска
2) Добавить в настройки (следовательно и саму функцию)
   а) Не грузить ВЕРТИКАЛЬНЫЕ (где высота больше чем широта)
   б) Не грузить ГОРИЗОНТАЛЬНЫЕ (где ширина больше чем высота)
Если описаное выше возможно, большая просьба, реализуй пожалуйста.

[Reset]

1) Количество найденных картинок в окне предпросмотра с результатами поиска

Вопрос в том, куда это выдавать. Из скриптов есть доступ только к собственно списку изображений. Т.е. к названию картинки и её превью я доступ имею. К остальному (заголовок окна, название фильма) - нет.
Можно добавить в название изображения: по типу "10 из 23".

2) Добавить в настройки (следовательно и саму функцию)
   а) Не грузить ВЕРТИКАЛЬНЫЕ (где высота больше чем широта)
   б) Не грузить ГОРИЗОНТАЛЬНЫЕ (где ширина больше чем высота)
Если описаное выше возможно, большая просьба, реализуй пожалуйста.

Постараюсь.

[Reset]

Следующая версия - 0.2.1.0.

Добавлено:
+ Опция ограничения загрузки изображений разных пропорций. См. опцию proportion. Предложил NewSky.
+ Возможность отображать количество и номер найденных изображений в окне с результатами поиска. См. опцию showCount. По умолчанию отключена. Предложил NewSky.

Исправлено:
! При загрузке страницы с ошибкой теперь скрипт завершает работу.
! Исправлено зацикливание на некоторых изображениях. За информацию спасибо NewSky.

За скриптом для версии 0.9.8.x идем на iFolder.ru или берем в первом вложении.
За скриптом для версии 0.9.9.5+ идем на iFolder.ru или берем во втором вложении.

[вложение удалено Администратором]

[NewSky]

Большое спасибо, Reset! Всё работает. А за дополнения, отдельная благодарность!

Жаль только, что моя проблема так и не исчезла и о пакетной загрузке походу на время (или на совсем) можно забыть. Причина - Описаная ранее проблема. 1-2 фильма без проблем, а на 3ий и браузер и Personal Video Database "думают". Только браузер в отличии от программы через пару минут откроет страницу, а программа, хоть и тайм-аут установлен больше, чем хватает на открытие "пробленой" страницы в браузере, все равно не загружает постеры. Вообще не понятна мне работа тайм-аута. На таких проблемных страницах, если через 2-3 секунды страница не открылась, то всё, ожидание не поможет, программа как бы ничего и не делает. Напомню, параллельно, сёрфя браузером по Кинопоиску, всё летает просто сверхзвуково, но стоит попытаться открыть линк с проблемного, загружаемого в настоящий момент программой фильма, то всё... белая страница и вяло ползущий прогрессбар в браузере. Но всегда в итоге страница откроется. Через минуту ли, через две, "страница не найдена" или еще какой ошибки не выводит, именно долгая загрузка страницы. Как только "прокашляется" - снова, сёрфинг просто самолетный. Любые страницы, любые постеры, даже самые огромные - в лёт. А в программе... снова... 2-3 фильма скачивает и снова затык........

[Reset]

Большое спасибо, Reset! Всё работает. А за дополнения, отдельная благодарность!

Жаль только, что моя проблема так и не исчезла и о пакетной загрузке походу на время (или на совсем) можно забыть. Причина - Описаная ранее проблема. 1-2 фильма без проблем, а на 3ий и браузер и Personal Video Database "думают". Только браузер в отличии от программы через пару минут откроет страницу, а программа, хоть и тайм-аут установлен больше, чем хватает на открытие "пробленой" страницы в браузере, все равно не загружает постеры. Вообще не понятна мне работа тайм-аута. На таких проблемных страницах, если через 2-3 секунды страница не открылась, то всё, ожидание не поможет, программа как бы ничего и не делает. Напомню, параллельно, сёрфя браузером по Кинопоиску, всё летает просто сверхзвуково, но стоит попытаться открыть линк с проблемного, загружаемого в настоящий момент программой фильма, то всё... белая страница и вяло ползущий прогрессбар в браузере. Но всегда в итоге страница откроется. Через минуту ли, через две, "страница не найдена" или еще какой ошибки не выводит, именно долгая загрузка страницы. Как только "прокашляется" - снова, сёрфинг просто самолетный. Любые страницы, любые постеры, даже самые огромные - в лёт. А в программе... снова... 2-3 фильма скачивает и снова затык........

Если у тебя будет возможность поэкспериментировать, то попробуй следующие варианты:
1. Отсекай cookie. В Proxomitrone - Cookie: Kill a cookie (out) в разделе Заголовки. Стоит галочка Фильтры исходящих заголовков.
2. Установи задержку между загрузками страниц. См. спец. версию скрипта во вложении, опция delay. Убедись, что даже при больших задержках (порядка 5-10 с) наблюдаются зависоны.
3. Попробуй загрузить "весь сайт" любой программой закачки сайтов, например WinHTTrack Website Copier. При серфинге в браузере всё-таки есть какие-то интервалы между загрузкой, а PVD пауз не делает.
4. Попробуй поиграться с User-Agent.
5. Придумай сам что-нибудь.

Для чистоты лучше все варианты проверить независимо, но потом можно и посовмещать.
Сообщи о результатах.

[вложение удалено Администратором]

[NewSky]

Теперь (тьфу-тьфу-тьфу) вроде бы нормально работает. Видать действительно, либо на самом сервере, либо по пути до сервера были проблемы.

Тут другое... запустил пакетно скрипт и по ходу пьесы обнаружил, что к некоторым фильмам не загрузились постеры, которые подходят по настройкам, а в логе вычислить такие фильмы не возможно, никаких упоминаний о том, что постеры не загружены нет. Нельзя ли работу лога как то более информативной сделать?

Код: [Выделить]

19.04.2009 9:46:08: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:08: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:08: Executing script binary
19.04.2009 9:46:08: [57 of 5391] Searching posters for: Кокон 2: Возвращение
19.04.2009 9:46:08: GET: http://www.kinopoisk.ru/level/1/film/18468/
19.04.2009 9:46:08: GET: http://www.kinopoisk.ru/level/17/film/18468/page/1/
19.04.2009 9:46:08: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:08: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:08: Executing script binary
19.04.2009 9:46:08: [58 of 5391] Searching posters for: Лига Выдающихся Джентльменов
19.04.2009 9:46:08: GET: http://www.kinopoisk.ru/level/1/film/7975/
19.04.2009 9:46:08: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:08: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:08: Executing script binary
19.04.2009 9:46:09: [59 of 5391] Searching posters for: Лоуренс Аравийский
19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/1/film/347/
19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/12/film/7975/page/1/
19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/17/film/7975/page/1/
19.04.2009 9:46:09: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:09: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:09: Executing script binary
19.04.2009 9:46:09: [60 of 5391] Searching posters for: Люди В Черном
19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/1/film/1091/
19.04.2009 9:46:10: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:10: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:10: Executing script binary
На все эти фильмы постеры на сайте имеются...

[Reset]

Теперь (тьфу-тьфу-тьфу) вроде бы нормально работает. Видать действительно, либо на самом сервере, либо по пути до сервера были проблемы.

Тут другое... запустил пакетно скрипт и по ходу пьесы обнаружил, что к некоторым фильмам не загрузились постеры, которые подходят по настройкам, а в логе вычислить такие фильмы не возможно, никаких упоминаний о том, что постеры не загружены нет. Нельзя ли работу лога как то более информативной сделать?

Код: [Выделить]

19.04.2009 9:46:08: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:08: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:08: Executing script binary
19.04.2009 9:46:08: [57 of 5391] Searching posters for: Кокон 2: Возвращение
19.04.2009 9:46:08: GET: http://www.kinopoisk.ru/level/1/film/18468/
19.04.2009 9:46:08: GET: http://www.kinopoisk.ru/level/17/film/18468/page/1/
19.04.2009 9:46:08: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:08: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:08: Executing script binary
19.04.2009 9:46:08: [58 of 5391] Searching posters for: Лига Выдающихся Джентльменов
19.04.2009 9:46:08: GET: http://www.kinopoisk.ru/level/1/film/7975/
19.04.2009 9:46:08: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:08: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:08: Executing script binary
19.04.2009 9:46:09: [59 of 5391] Searching posters for: Лоуренс Аравийский
19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/1/film/347/
19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/12/film/7975/page/1/
19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/17/film/7975/page/1/
19.04.2009 9:46:09: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:09: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:09: Executing script binary
19.04.2009 9:46:09: [60 of 5391] Searching posters for: Люди В Черном
19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/1/film/1091/
19.04.2009 9:46:10: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:10: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:10: Executing script binary
На все эти фильмы постеры на сайте имеются...

А настройки где?
Я же не ясновидящий.

[off-topic=Оффтопик]UPD

19.04.2009 9:46:09: [60 of 5391] Searching posters for: Люди В Черном

Нехилые запросы [/off-topic]

UPD2
Судя по логу, там вообще бред какой-то.

Код: [Выделить]

19.04.2009 9:46:08: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:08: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:08: Executing script binary
19.04.2009 9:46:08: [58 of 5391] Searching posters for: Лига Выдающихся Джентльменов
>>19.04.2009 9:46:08: GET: http://www.kinopoisk.ru/level/1/film/7975/<<
19.04.2009 9:46:08: Compiling script: kinopoisk_poster.psf
19.04.2009 9:46:08: Script compiled successfully: kinopoisk_poster.psf
19.04.2009 9:46:08: Executing script binary
19.04.2009 9:46:09: [59 of 5391] Searching posters for: Лоуренс Аравийский
19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/1/film/347/
>>19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/12/film/7975/page/1/<<
>>19.04.2009 9:46:09: GET: http://www.kinopoisk.ru/level/17/film/7975/page/1/<<


Страницы с изображениями фильма Лига Выдающихся Джентльменов загрузились после начала обработки фильма Лоуренс Аравийский. Я на такие фокусы не способен У нас место волшебника только одно, и оно уже занято
Ты в настройках PVD таймауты не маленькие выставил? Попробуй значения по умолчанию (90000, -1, -1, 1).

[NewSky]

А настройки где?
Я же не ясновидящий.

Ну настройка по сути одна не грузить кадры и скриншоты ну и очередность. Суть не в этом. Главное, что к указанным фильмам должны были загрузицо

Нехилые запросы

Ну я как в том мультике "Лучше день потерять, зато потом за час долететь" (с) Год подождал, зато теперь могу МАХОМ всё утянуть )

Страницы с изображениями фильма Лига Выдающихся Джентльменов загрузились после начала обработки фильма Лоуренс Аравийский. Я на такие фокусы не способен  У нас место волшебника только одно, и оно уже занято
Ты в настройках PVD таймауты не маленькие выставил? Попробуй значения по умолчанию (90000, -1, -1, 1).

С настройками, я вот что накрутил...

[Reset]

Страницы с изображениями фильма Лига Выдающихся Джентльменов загрузились после начала обработки фильма Лоуренс Аравийский. Я на такие фокусы не способен  У нас место волшебника только одно, и оно уже занято
Ты в настройках PVD таймауты не маленькие выставил? Попробуй значения по умолчанию (90000, -1, -1, 1).

С настройками, я вот что накрутил...

А ты можешь выложить полный лог и настройки?
Есть у меня подозрение на таймауты, но для этого надо время загрузки предыдущих фильмов знать.