Голосование

Какие студии необходимо грузить по умолчанию в стандартное поле Студии?

Никакие
3 (3.7%)
Производство
58 (70.7%)
Спецэффекты
9 (11%)
Прокат
12 (14.6%)

Проголосовало пользователей: 59

Автор Тема: КиноПоиск.ru (фильмы)  (Прочитано 980954 раз)

0 Пользователей и 12 Гостей просматривают эту тему.

Оффлайн Pacifist

  • Постоялец
  • ***
  • Сообщений: 139
Re: КиноПоиск.ru (фильмы)
« Ответ #1515 : 19 Августа 2019, 18:50:15 »
http://www.videodb.info/forum_en/index.php/topic,4134.0.html
А если коротко, своими словами? Английский знаю со словарем. Можно, конечно, пропустить 10 страниц форума через GOOGLE translate. Насколько я понимаю, у "англичан" получилось обойти ограничения HTTPS. Но у IMDB нет защиты от ботов....
P.S.  в дополнение к предыдущим замечаниям: не импортируются год, жанры, страна, оригинальный язык. Выборочно - студия, MPAA, эпизоды (сезоны).

Оффлайн djek-ural

  • Модератор
  • *****
  • Сообщений: 1223
  • Фильмов много не бывает.
Re: КиноПоиск.ru (фильмы)
« Ответ #1516 : 21 Августа 2019, 07:26:38 »
они используют мини программки которые чисто загружают страницу по адресу , при этом программки ни как не блочатся сторонними сайтами.
Но есть одно НО , первый запрос все равно идет через программу PVD , они используют для этого запросы на поисковик , там находят искомую ссылку а потом уже загружают с помощью мини программ. Реализовано через вызов Командной строки и последующим исполнением команды.
Если это переносить на наши скрипты , то придется перелопатить загрузчик полностью.
Также с помощью мини программ идет загрузка Постеров , но как именно работает эта функция я еще не разобрался.
« Последнее редактирование: 21 Августа 2019, 07:32:33 от djek-ural »

Оффлайн NewSky

  • Гуру
  • ****
  • Сообщений: 842
Re: КиноПоиск.ru (фильмы)
« Ответ #1517 : 07 Декабря 2019, 06:59:42 »
Здравствуйте уважаемые!
Скажите, программа еще развивается? (поддерживается?) Скрипт для Кинопоиска скорее жив или скорее мёртв?
И собственно, почему вопрос в этой теме... скажите, основная беда сейчас с Кинопоиском, это бан, капча или частая смена кода страниц?
Кинопоиск банит за частые коннекты? Или все ограничивается капчей (ввел и нет проблем, получай информацию и никаких банов, до следующей капчи)? Или что? А то если капча препятствие для нормальной работы, может стоит прикрутить сервис https://rucaptcha.com/ по распознаванию капчи и дело с концом? Или все равно банят?

Честно говоря, пару раз за последние годы пробовал запустить PVD, стало понятно, что скрипт ничего не забирает, пару раз заглянул сюда и судя по всему как то не очень активно всё, стал заниматься извращением вида: Через парсер сайтов, который работает через Excel https://excelvba.ru/programmes/Parser стал настраивать и парсить инфу с Кинопоиска, а там как раз есть интеграция этого самого распознавания капчи и собственно все работает, потом получаю CSV с загруженными данными, потом экспортирую это в PVD... работает конечно, но уж очень это извращённо, да и честно говоря, настроить парсер на все нюансы мне сложновато, так, с основной информацией проблем нет, а вот, что-бы по максимуму, тут конечно мозгов больше надо. Вот я и подумал, если дело только в капче, может есть возможность и сюда (в программу ли или в скрипт, даже не знаю) подкрутить распознавание и все заработает? Не?

Оффлайн Pacifist

  • Постоялец
  • ***
  • Сообщений: 139
Re: КиноПоиск.ru (фильмы)
« Ответ #1518 : 22 Декабря 2019, 08:42:50 »
Здравствуйте уважаемые!
Скажите, программа еще развивается? (поддерживается?) Скрипт для Кинопоиска скорее жив или скорее мёртв?
И собственно, почему вопрос в этой теме... скажите, основная беда сейчас с Кинопоиском, это бан, капча или частая смена кода страниц?
Кинопоиск банит за частые коннекты? Или все ограничивается капчей (ввел и нет проблем, получай информацию и никаких банов, до следующей капчи)? Или что? А то если капча препятствие для нормальной работы, может стоит прикрутить сервис https://rucaptcha.com/ по распознаванию капчи и дело с концом? Или все равно банят?

Честно говоря, пару раз за последние годы пробовал запустить PVD, стало понятно, что скрипт ничего не забирает, пару раз заглянул сюда и судя по всему как то не очень активно всё, стал заниматься извращением вида: Через парсер сайтов, который работает через Excel https://excelvba.ru/programmes/Parser стал настраивать и парсить инфу с Кинопоиска, а там как раз есть интеграция этого самого распознавания капчи и собственно все работает, потом получаю CSV с загруженными данными, потом экспортирую это в PVD... работает конечно, но уж очень это извращённо, да и честно говоря, настроить парсер на все нюансы мне сложновато, так, с основной информацией проблем нет, а вот, что-бы по максимуму, тут конечно мозгов больше надо. Вот я и подумал, если дело только в капче, может есть возможность и сюда (в программу ли или в скрипт, даже не знаю) подкрутить распознавание и все заработает? Не?
Да, к сожалению единственный кто поддерживает (надеюсь) проект это Djek-ural. Основная проблема работы с кинопоиском это, конечно же, капча. Все остальные (типа изменения кодировки) вполне благополучно решались. К сожалению в PVD, кажется, нет возможности ввести эту бяку подобно тому как это сделано в браузерах...  :'( Как писал тот же Djek-ural в августе, для этого надо серьезно переделать программу. Как сделали это, например, в английской ветке для работы с IMDB.

Оффлайн Pacifist

  • Постоялец
  • ***
  • Сообщений: 139
Re: КиноПоиск.ru (фильмы)
« Ответ #1519 : 09 Февраля 2020, 10:47:01 »
При загрузке информации о "Бесстыдниках" (http://www.kinopoisk.ru/film/571335/) происходит сбой в импорте на стадии поиска обложки (!pic1.jpg). Видно, что адрес страницы с постерами для этого сериала не совсем обычный. Происходит общий сбой (IO HANDLER....) и импорт информации летит в ж....у!  :'( Можно ли это исправить?  :-[

Оффлайн NewSky

  • Гуру
  • ****
  • Сообщений: 842
Re: КиноПоиск.ru (фильмы)
« Ответ #1520 : 16 Февраля 2020, 15:06:39 »
Получается, что плагин Кинопоиска в целом работает? Что то не пойму, у меня напрочь ничего не заносит в карточку. Не подскажете, в каком состоянии работоспособность можно получить? Ну там, Проксимитроны там или может еще что то, что бы с Кинопоиска хоть по 1 фильму забирать информацию.

Оффлайн Pacifist

  • Постоялец
  • ***
  • Сообщений: 139
Re: КиноПоиск.ru (фильмы)
« Ответ #1521 : 22 Февраля 2020, 08:04:28 »
Получается, что плагин Кинопоиска в целом работает? Что то не пойму, у меня напрочь ничего не заносит в карточку. Не подскажете, в каком состоянии работоспособность можно получить? Ну там, Проксимитроны там или может еще что то, что бы с Кинопоиска хоть по 1 фильму забирать информацию.
Посмотрите, например, на странице http://www.videodb.info/forum_ru/index.php/topic,116.msg15430.html#new (от 10 Октября 2019, 16:00:49). Там же, кажется, я описывал, что  в ручную приходиться добавлять год выхода фильма, его жанры, страну происхождения, оригинальный язык. В последнее время в скрипте кинопоиска пришлось поставить DISABLE в строчке импорта постера (смотрите мое более раннее сообщение). Связка плагина TheMovieDB+Kinopoisk возможно удовлетворит вас. ;-). Без капчи кинопоиск пропускает, примерно, 1 фильм за час. Если дружите с анонимайзерами, то больше.

Оффлайн djek-ural

  • Модератор
  • *****
  • Сообщений: 1223
  • Фильмов много не бывает.
Re: КиноПоиск.ru (фильмы)
« Ответ #1522 : 15 Июня 2020, 14:06:36 »
народ привет , я вас подвел со скриптом . Но я честно пытался 3 раза его осилить, немного невкуриваю как приспособить его к нашему любимому кинопоиску , а когда у меня ничего не получается все падает вместе с мотивацией. Просьба кто владеет английским языком , зайдите на англоязычный форум и попросите их сделать этот скрипт под наш сайт , дело не в полной проработке скрипта , а хотя бы что бы работало механизм загрузки страниц , а разбор инфы я бы сам добил.

Оффлайн Ivek23

  • Постоялец
  • ***
  • Сообщений: 64
Re: КиноПоиск.ru (фильмы)
« Ответ #1523 : 16 Июня 2020, 07:54:17 »
Я открою тему для скрипта Кинопоиск https в английской части форума.

Там будет более подробная информация о том, если есть какие-либо варианты, чтобы написать скрипт для версии PVD MOD. Также будет больше информации о том, как работает передача информации из Кинопоиска.
Ivek23

Оффлайн djek-ural

  • Модератор
  • *****
  • Сообщений: 1223
  • Фильмов много не бывает.
Re: КиноПоиск.ru (фильмы)
« Ответ #1524 : 17 Июня 2020, 15:09:52 »
Я открою тему для скрипта Кинопоиск https в английской части форума.

Там будет более подробная информация о том, если есть какие-либо варианты, чтобы написать скрипт для версии PVD MOD. Также будет больше информации о том, как работает передача информации из Кинопоиска.
очень смешно проходить регистрацию на английском когда ты незнаешь английский.
Вот выкладываю последнюю свою версию , что с ней не так

Оффлайн djek-ural

  • Модератор
  • *****
  • Сообщений: 1223
  • Фильмов много не бывает.
Re: КиноПоиск.ru (фильмы)
« Ответ #1525 : 18 Июня 2020, 02:11:46 »
Возможно моя просьба немного необычной покажется , но сколько примерно будет стоить написание такого скрипта. Хотя бы рабочей части загрузчика.

Оффлайн Ivek23

  • Постоялец
  • ***
  • Сообщений: 64
Re: КиноПоиск.ru (фильмы)
« Ответ #1526 : 20 Июня 2020, 19:22:35 »
Возможно моя просьба немного необычной покажется , но сколько примерно будет стоить написание такого скрипта. Хотя бы рабочей части загрузчика.

Это займет много времени.


Вот выкладываю последнюю свою версию , что с ней не так

Спасибо за это, но у меня это не работает.

Я приготовил простой Кинопоиск [HTTPS] скрипт.
Я, вероятно, опубликую это завтра (поиск результатов работает без проблем), потому что после первой или второй загрузки информации о фильме, я получаю блок капчи.
Ivek23

Оффлайн djek-ural

  • Модератор
  • *****
  • Сообщений: 1223
  • Фильмов много не бывает.
Re: КиноПоиск.ru (фильмы)
« Ответ #1527 : 22 Июня 2020, 15:10:24 »
Возможно моя просьба немного необычной покажется , но сколько примерно будет стоить написание такого скрипта. Хотя бы рабочей части загрузчика.

Это займет много времени.


Вот выкладываю последнюю свою версию , что с ней не так

Спасибо за это, но у меня это не работает.

Я приготовил простой Кинопоиск [HTTPS] скрипт.
Я, вероятно, опубликую это завтра (поиск результатов работает без проблем), потому что после первой или второй загрузки информации о фильме, я получаю блок капчи.
Капчу можно временно убрать , мы используем Proxomitron/ 100% результата не дает но вероятность ниже

Оффлайн Ivek23

  • Постоялец
  • ***
  • Сообщений: 64
Re: КиноПоиск.ru (фильмы)
« Ответ #1528 : 22 Июня 2020, 20:12:43 »
Возможно моя просьба немного необычной покажется , но сколько примерно будет стоить написание такого скрипта. Хотя бы рабочей части загрузчика.

Это займет много времени.


Вот выкладываю последнюю свою версию , что с ней не так

Спасибо за это, но у меня это не работает.

Я приготовил простой Кинопоиск [HTTPS] скрипт.
Я, вероятно, опубликую это завтра (поиск результатов работает без проблем), потому что после первой или второй загрузки информации о фильме, я получаю блок капчи.
Капчу можно временно убрать , мы используем Proxomitron/ 100% результата не дает но вероятность ниже

Для меня Proxomitron не имеет никакого эффекта, потому что Captcha все еще блокирует мою передачу информации. Я использую вашу версию для поиска фильмов или версию для поиска фильмов [HTTPS], основанную на сценарии IMDB_ [EN] [HTTPS]. Однако скрипт IMDB_ [EN] [HTTPS] не передает информацию, когда Proxomitron включен. Могут потребоваться некоторые новые настройки Proxomitron.

Я прилагаю свой простой скрипт поиска фильмов [HTTPS], где я использовал некоторые фрагменты кода из вашей версии поиска фильмов.

Кстати, ниже добавлен перевод, который легче читать.
Цитировать
Dlya menya Proxomitron ne imeyet nikakogo effekta, potomu chto Captcha vse yeshche blokiruyet moyu peredachu informatsii. YA ispol'zuyu vashu versiyu dlya poiska fil'mov ili versiyu dlya poiska fil'mov [HTTPS], osnovannuyu na stsenarii IMDB_ [EN] [HTTPS]. Odnako skript IMDB_ [EN] [HTTPS] ne peredayet informatsiyu, kogda Proxomitron vklyuchen. Mogut potrebovat'sya nekotoryye novyye nastroyki Proxomitron. A prilagayu svoy prostoy skript poiska fil'mov [HTTPS], gde ya ispol'zoval nekotoryye fragmenty koda iz vashey versii poiska fil'mov.
Ivek23

Оффлайн djek-ural

  • Модератор
  • *****
  • Сообщений: 1223
  • Фильмов много не бывает.
Re: КиноПоиск.ru (фильмы)
« Ответ #1529 : 23 Июня 2020, 14:22:32 »
Да спасибо за редакцию , она работает. Proxomitron расчитан как раз под кинопоиск , у нас есть раздел с настройками. http://www.videodb.info/forum_ru/index.php/topic,2224.0.html
Да программа полностью автономна , но работает как динозавр . Не спеша в развалочку. Я только не понял почему она коверкает русские символы в какую то непонятную кодировку , из за этого поиск на русском невозможен. например фильм Матрица а в скрипт вставляет ACC0D2D0C8D6C0
« Последнее редактирование: 23 Июня 2020, 14:51:55 от djek-ural »