Бесплатно Парсер КиноПоиск 2022 [DLE 15.x] (2 просмотра)

[MrDeath]

​

Бесплатный парсер КиноПоиск, работающий при помощи API kinopoiskapiunofficial.tech. Поддерживает DLE 15.x, возможно будет работать на версиях ниже, не проверял.

Возможности:

1. Гибкая настройка проставления доп полей в админке при помощи специальных тегов.​
2. Поиск по названию, id КиноПоиск или по ссылке.​
3. Полноценная работа с мобильного телефона.​
4. Возможность проставить категории с жанрами, годами, странами и типом.​
5. Для тех кто работает с балансером Tabus - возможность парсинга в доп поле коллекций и проставления категорий коллекций. Для этого нужен апи токен от Tabus​
6. Парсинг постера и кадров (до 10 штук), с поддержкой конвертирования в webp и сжатием до нужных размеров. Поддержка доп поля с типом "загружаемое изображение" для постера и "загружаемая галерея изображений" для кадров.​

Установка:

1. Установить плагин parser-kinopoisk.xml в системе управления плагинами.
2. Загрузить файлы в корень сайта.
3. Настроить модуль в админке DLE под свои нужды.

Приглашаю всех к тестированию

Несколько скриншотов:


Актуальную версию скачиваем с Гитхаб - https://github.com/DLEPremium/kinopoisk-parser-dle

Донат сюда:
WMZ - Z346410899018
Tether USDT - TCm8SdUUFZhma4j3ZrxkwmZgS9Gyc9WRwt​

От доната зависит доработка и создание других модулей для работы с КиноПоиск. Если наберется хотя бы пару тысяч деревянных, опубликую бесплатный парсер актеров.

P.s. для новых пользователей апи kinopoiskapiunofficial есть лимиты, всегда можно договориться с хозяином апи за их снятие, стоит копейки

 

[xbomax]

Спасибо за модуль, уважаемый

 

[heroma]

Вы автор?

Донат сюда

 

[MrDeath]

Вы автор?

Да, посмотрел как устроены другие устаревшие парсеры и слепил свой, некоторые функции позаимствованы. А так же использован метод загрузки картинок, который @MaHarder недавно опубликовал

 

[MaHarder]

Как и большинство парсеров - нет системы кеширования. Добавь это и будет намного проще доставать данные.
Можешь глянуть на трейт, что я сделал.

mhadmin/upload/engine/inc/maharder/_includes/traits/DataLoader.php at main · DevCraftClub/mhadmin

Модификация для админпанели и глобальные функции для моих разработок - DevCraftClub/mhadmin

github.com

DataLoader - DevCraft Документации

Ð¡Ð°Ð¹Ñ Ñ Ð´Ð¾ÐºÑменÑаÑиÑми, коÑоÑÑй поÑÑÑоен на Python и ÑиÑÑеме MKDocs. ÐÑÑодники вÑегда бÑдÑÑ Ð´Ð¾ÑÑÑÐ¿Ð½Ñ Ð½Ð° GitHub.

readme.devcraft.club

Ну, и имплементировать метод очистки кеша через системную функцую.

<file name="engine/inc/include/functions.inc.php">
        <operation action="after">
            <searchcode><![CDATA[listdir( ENGINE_DIR . '/cache/system/plugins' );]]></searchcode>
            <replacecode><![CDATA[
    listdir( ENGINE_DIR . '/inc/path/to/cache' );]]></replacecode>
            <searchcount>1</searchcount>
            <enabled>1</enabled>
        </operation>
    </file>

советую сброс кеша по времени, запрашивать когда был создан файл кеша и если он превышает заданное время - стирать файл и по новой задавать запрос к апи (вроде там лимит был), а ведь с каждым запросом к апи за информацией идут ещё парочку с доп. информацией (постеры, обзоры и прочее).

 

[heroma]

Да, посмотрел как устроены другие устаревшие парсеры и слепил свой, некоторые функции позаимствованы. А так же использован метод загрузки картинок, который @MaHarder недавно опубликовал

Спасибо вам большое за такой чудесный плагин, обязательно сделаю донат.

Протестировал его, и вот что получил:
Трейлер ютаба парсит ссылку в таком виде https://youtu.be/7HGqcifonvs и iframe почему у меня не хотит грузить её =( но, иногда и выходит ссылка youtube.com/watch?v=7HGqcifonvs, может у меня не правильно собран iframe, не знаю
два. Перебрал кучу фильмов, а ссылку трейлера с кп так и не парсится или может я не те кино выбирал.
и не достаток для меня, это то что нет категории трейлер или ожидаемые, скорее всего по причине то-что такого нет в апи кп хз, но хотелось бы такое увидеть)

 

[MrDeath]

Ютуб поправил, ссылка записывалась в таком виде, в котором лежит в апи, для вставки же должна быть в формате https://www.youtube.com/embed/...
По кинопоиску, раньше он отдавал прямые ссылки на файлы, сейчас прикрыл лавочку. Вот мне спарсило ссылку вида

В браузере открывает и работает, через iframe вставку на сайте не выводит ничего. Вырежу это с модуля, бесполезные ссылки
По трейлерам / ожидаемым, действительно в апи нет такой информации. Могу сделать сравнение дат, если дата выхода в мире больше чем сегодня, то призначим статус анонс, иначе будет уже вышедшее, пойдёт?

Спасибо вам большое за такой чудесный плагин, обязательно сделаю донат.

Протестировал его, и вот что получил:
Трейлер ютаба парсит ссылку в таком виде https://youtu.be/7HGqcifonvs и iframe почему у меня не хотит грузить её =( но, иногда и выходит ссылка youtube.com/watch?v=7HGqcifonvs, может у меня не правильно собран iframe, не знаю
два. Перебрал кучу фильмов, а ссылку трейлера с кп так и не парсится или может я не те кино выбирал.
и не достаток для меня, это то что нет категории трейлер или ожидаемые, скорее всего по причине то-что такого нет в апи кп хз, но хотелось бы такое увидеть)

 

[MrDeath]

Как и большинство парсеров - нет системы кеширования. Добавь это и будет намного проще доставать данные.
Можешь глянуть на трейт, что я сделал.

mhadmin/upload/engine/inc/maharder/_includes/traits/DataLoader.php at main · DevCraftClub/mhadmin

Модификация для админпанели и глобальные функции для моих разработок - DevCraftClub/mhadmin

github.com

DataLoader - DevCraft Документации

Ð¡Ð°Ð¹Ñ Ñ Ð´Ð¾ÐºÑменÑаÑиÑми, коÑоÑÑй поÑÑÑоен на Python и ÑиÑÑеме MKDocs. ÐÑÑодники вÑегда бÑдÑÑ Ð´Ð¾ÑÑÑÐ¿Ð½Ñ Ð½Ð° GitHub.

readme.devcraft.club

Ну, и имплементировать метод очистки кеша через системную функцую.

<file name="engine/inc/include/functions.inc.php">
        <operation action="after">
            <searchcode><![CDATA[listdir( ENGINE_DIR . '/cache/system/plugins' );]]></searchcode>
            <replacecode><![CDATA[
    listdir( ENGINE_DIR . '/inc/path/to/cache' );]]></replacecode>
            <searchcount>1</searchcount>
            <enabled>1</enabled>
        </operation>
    </file>

советую сброс кеша по времени, запрашивать когда был создан файл кеша и если он превышает заданное время - стирать файл и по новой задавать запрос к апи (вроде там лимит был), а ведь с каждым запросом к апи за информацией идут ещё парочку с доп. информацией (постеры, обзоры и прочее).

т.е. кешировать результаты поиска по апи. до такого не додумался. когда это поиск по слову, актуально, при поиске "форсаж" нам выводит уйму частей этого фильма, человек будет неоднократно искать по этой фразе. Другое дело определенный фильм/сериал, человек спарсит и забудет, врядли будет ещё раз этот же материал парсить, есть ли в таком случае смысл кешировать данные api

 

[heroma]

Могу сделать сравнение дат, если дата выхода в мире больше чем сегодня, то призначим статус анонс

йа, мы будем вам очень благодарны, спасибо большое

 

[MrDeath]

йа, мы будем вам очень благодарны, спасибо большое

скачать отсюда

GitHub - DLEPremium/kinopoisk-parser-dle: Парсер КиноПоиска для DLE

Парсер КиноПоиска для DLE. Contribute to DLEPremium/kinopoisk-parser-dle development by creating an account on GitHub.

github.com

перезалить папки
/engine/dlepremium/kinopoisk_parser/ajax/
/engine/dlepremium/kinopoisk_parser/donors/
/engine/dlepremium/kinopoisk_parser/functions/

Вырезаны теги трейлера с самого кинопоиска, поправлен ютуб, переделывает ссылку на embed для вставки.
Добавлен тег status, он бывает анонсировано, вышло или пустой (если в апи нет даты выхода). Добавил в проставление категорий https://prnt.sc/ZQW6iQcnjhEI

Screenshot

Captured with Lightshot

prnt.sc

Изначально не уточнил - категории можно комбинировать, например у нас есть категория "Новинки фильмов 2022 года", выставляем напротив этой категории "фильм"+"2022", можно добавить еще "Россия", тогда будет что-то типа "Новинки русских фильмов 2022 года" https://prnt.sc/G6A5Sap6TiHK

 

[Gara]

Ютуб поправил, ссылка записывалась в таком виде, в котором лежит в апи, для вставки же должна быть в формате https://www.youtube.com/embed/...
По кинопоиску, раньше он отдавал прямые ссылки на файлы, сейчас прикрыл лавочку. Вот мне спарсило ссылку вида
*** Скрытый текст не может быть процитирован. ***
В браузере открывает и работает, через iframe вставку на сайте не выводит ничего. Вырежу это с модуля, бесполезные ссылки
По трейлерам / ожидаемым, действительно в апи нет такой информации. Могу сделать сравнение дат, если дата выхода в мире больше чем сегодня, то призначим статус анонс, иначе будет уже вышедшее, пойдёт?

Подкину мысль куда копать
https://hls-js.netlify.app/demo/?sr...lbENhcHBpbmciOi0xLCJsaW1pdE1ldHJpY3MiOi0xfQ==

 

[heroma]

если в апи нет даты выхода

спасибо, а если это ру фильм, у них как полагается нет даты в миру, а только в рф
если в миру пустая строка, пусть потом чекает в рф

так возможно?

 

[MrDeath]

Подкину мысль куда копать
https://hls-js.netlify.app/demo/?src=https://strm.yandex.ru/vh-kp-converted/ott-content/396670923-47b48f541f31ed6383ce6efd99cc8954/ysign1=da79da10ac80ac71d1a7fc2d2e921996ea8129f6cfbd543393fdb31037bfaa54,abcID=1358,from=ott-kp,pfx,sfx,ts=62ff1b47/master.m3u8?partner-id=139995&video-category-id=1014&imp-id=undefined&gzip=1&from=discovery&vsid=8b37ebf5aeb4b86c9d708a277f7dd6273c4ae11e6d76xWEBx9467x1660032033&slots=436980,0,87;600433,0,78;606888,0,38;612592,0,54;620031,0,5&testIds=436980,600433,606888,612592,620031&session_data=1&preview=1&t=1660032033500&demoConfig=eyJlbmFibGVTdHJlYW1pbmciOnRydWUsImF1dG9SZWNvdmVyRXJyb3IiOnRydWUsInN0b3BPblN0YWxsIjpmYWxzZSwiZHVtcGZNUDQiOmZhbHNlLCJsZXZlbENhcHBpbmciOi0xLCJsaW1pdE1ldHJpY3MiOi0xfQ==

Сторонняя библиотека, которая к парсингу ифнормации не имеет отношения. Видел подобное в апи, пометка от разработчика, ни его метод ни ссылка выше у меня не воспроизводит видео.
Да и смысл, напарсите себе гору трейлеров с плеера самого кинопоиска, обходными путями будете их транслировать. В один прекрасный момент кинопоиск снова что то поменяет, и эти видео будут не рабочие, потом возится с заменой трейлеров. Ютуб более стабильный в этом плане. На своих сайтах трейлеры с ютуба кручу

 

[MrDeath]

спасибо, а если это ру фильм, у них как полагается нет даты в миру, а только в рф
если в миру пустая строка, пусть потом чекает в рф

так возможно?

Предусмотрел и сделал иначе. Если есть дата выхода в россии то проверяет именно по ней, если она не указана то по премьере в мире. Бывает ведь там выходит в январе, а в рф только в июне начинается показ в кино. Для рф будет ожидаемый фильм

 

[heroma]

Предусмотрел и сделал иначе. Если есть дата выхода в россии то проверяет именно по ней, если она не указана то по премьере в мире. Бывает ведь там выходит в январе, а в рф только в июне начинается показ в кино. Для рф будет ожидаемый фильм

Низкий вам поклон

 

[Gara]

билиотека Hls есть DLE это просто был пример и да согласен с тобой что если что то поменяют то перестанет работать ... и у меня нет сайтов такой тематики как кино сериалов аниме и т.д. ))) в моих интересах программно-аппаратные комплексы

 

[king]

Вы снимаете турецкие дублированные фильмы? спасибо за модуль

 

[MrDeath]

Вы снимаете турецкие дублированные фильмы? спасибо за модуль

Не понял вопрос, я ничего и никого не снимаю

 

[dleeshnik]

неплохо было бы если данный мрдуль парсил студии фильма, допустим дисней, юниверсал пикчерс и тд
вот с этого раздела https://www.kinopoisk.ru/film/81426/studio/

 

[MrDeath]

неплохо было бы если данный мрдуль парсил студии фильма, допустим дисней, юниверсал пикчерс и тд

В апи нет такой информации и брать ее не от куда. Все что можно спарсить - парсит