diff --git a/yt_dlp/extractor/_extractors.py b/yt_dlp/extractor/_extractors.py index 3ab0f5efa..78ee1a9fc 100644 --- a/yt_dlp/extractor/_extractors.py +++ b/yt_dlp/extractor/_extractors.py @@ -1099,7 +1099,11 @@ ) from .massengeschmacktv import MassengeschmackTVIE from .masters import MastersIE -from .matchtv import MatchTVIE +from .matchtv import ( + MatchTVFeedIE, + MatchTVIE, + MatchTVVideoIE, +) from .mbn import MBNIE from .mdr import MDRIE from .medaltv import MedalTVIE @@ -2429,6 +2433,7 @@ from .webcaster import ( WebcasterFeedIE, WebcasterIE, + WebcasterPlayerEmbedIE, ) from .webofstories import ( WebOfStoriesIE, diff --git a/yt_dlp/extractor/matchtv.py b/yt_dlp/extractor/matchtv.py index 93799fe85..e2d9eb7d1 100644 --- a/yt_dlp/extractor/matchtv.py +++ b/yt_dlp/extractor/matchtv.py @@ -1,4 +1,5 @@ from .common import InfoExtractor +from .webcaster import WebcasterBaseIE, WebcasterFeedBaseIE class MatchTVIE(InfoExtractor): @@ -33,3 +34,118 @@ def _real_extract(self, url): 'is_live': True, 'formats': self._extract_m3u8_formats(video_url, video_id, 'mp4', live=True), } + + +class MatchTVVideoIE(WebcasterBaseIE): + _GEO_COUNTRIES = ['RU'] + _VALID_URL = r'https?://bl\.video\.matchtv\.ru/(?:quote|media)/start/(?:api_)?free_(?P[^/]+)' + _TESTS = [{ + 'url': 'https://bl.video.matchtv.ru/media/start/free_675ea0e4b4b1d54d21f9b52db6624199/17_635869/dadc378c196047e4d121725bbb6f9717/2208978000', + 'md5': 'ad07e90a3f041d452864116fb60b7f57', + 'info_dict': { + 'id': '675ea0e4b4b1d54d21f9b52db6624199', + 'ext': 'mp4', + 'title': '«Золотой дубль Черчесова». Специальный репортаж', + 'thumbnail': r're:^https?://.*\.jpg$', + }, + }, { + 'url': 'https://bl.video.matchtv.ru/quote/start/free_7a87d97313e49cdfa3b960b10da25d0a/q139002/9d09bfff78f766dee404f82c1875be76/4854542998', + 'md5': '52c1bd5c7fc1329834c37f638280f562', + 'info_dict': { + 'id': '7a87d97313e49cdfa3b960b10da25d0a', + 'ext': 'mp4', + 'title': 'Ювентус - Верона. Отмененный гол Кина (видео). Чемпионат Италии. Футбол', + 'thumbnail': r're:^https?://.*\.jpg$', + }, + }] + + +class MatchTVFeedIE(WebcasterFeedBaseIE): + _GEO_COUNTRIES = ['RU'] + _VALID_URL = r'https?://bl\.video\.matchtv\.ru/feed/start/(?:api_)?free_(?P[^/]+)' + _TESTS = [{ + 'url': 'https://bl.video.matchtv.ru/feed/start/free_675ea0e4b4b1d54d21f9b52db6624199/17_635869/dadc378c196047e4d121725bbb6f9717/2208978000', + 'md5': 'ad07e90a3f041d452864116fb60b7f57', + 'info_dict': { + 'id': '675ea0e4b4b1d54d21f9b52db6624199', + 'ext': 'mp4', + 'title': '«Золотой дубль Черчесова». Специальный репортаж', + 'thumbnail': r're:^https?://.*\.jpg$', + }, + }] + _WEBPAGE_TESTS = [{ + 'url': 'https://matchtv.ru/football/matchtvvideo_NI1593368_clip_Zolotoj_dubl_Cherchesova_Specialnyj_reportazh', + 'md5': 'ad07e90a3f041d452864116fb60b7f57', + 'info_dict': { + 'id': '675ea0e4b4b1d54d21f9b52db6624199', + 'ext': 'mp4', + 'title': '«Золотой дубль Черчесова». Специальный репортаж', + 'thumbnail': r're:^https?://.*\.jpg$', + 'duration': 1192.0, + 'age_limit': 0, + 'upload_date': '20220517', + 'description': 'md5:081475ff4baa80570b027e295233bee6', + 'uploader': 'МАТЧ ТВ', + 'timestamp': 1652781632, + }, + }, { + 'url': 'https://matchtv.ru/football/rossija/kubok_rossii/matchtvvideo_NI2100168_translation_FONBET_Kubok_Rossii_Tekstilshhik___Spartak_Kostroma', + 'md5': '26472920ff298a4516552e755ae45493', + 'info_dict': { + 'id': 'b6570efa80dc28df18523237d3f14a5b', + 'ext': 'mp4', + 'title': 'FONBET Кубок России по футболу сезона 2024 - 2025 гг. Текстильщик - Спартак Кострома', + 'thumbnail': r're:^https?://.*\.jpg$', + 'duration': 7986.0, + 'description': 'md5:1068ce14021b7da6bb36eb6c7e43bdd1', + 'timestamp': 1725379522, + 'upload_date': '20240903', + 'age_limit': 0, + 'uploader': 'МАТЧ ТВ', + }, + }, { + 'url': 'https://matchtv.ru/biathlon/matchtvvideo_NI1938496_translation_Letnij_biatlon_Alfa_Bank_Kubok_Sodruzhestva_Sprint_Muzhchiny', + 'md5': '0cb5e32169377d3022903b7776aae7a9', + 'info_dict': { + 'id': '20975a4cd84acdb55a0b5521277d0402', + 'ext': 'mp4', + 'title': 'Летний биатлон. Альфа-Банк Кубок Содружества. Спринт. Мужчины', + 'thumbnail': r're:^https?://.*\.jpg$', + 'uploader': 'МАТЧ ТВ', + 'description': 'md5:bc35a9942126e7463e779364c180b5f9', + 'duration': 7133.0, + 'upload_date': '20230907', + 'age_limit': 0, + 'timestamp': 1694071818, + }, + }, { + 'url': 'https://matchtv.ru/biathlon/matchtvvideo_NI2100211_translation_Letnij_biatlon_Alfa_Bank_Kubok_Sodruzhestva_Sprint_Muzhchiny', + 'md5': '590a64c05257644d246f0db9ce294dd7', + 'info_dict': { + 'id': '65960e62d0d4f5bac535deab796f94a9', + 'ext': 'mp4', + 'title': 'Летний биатлон. Альфа-Банк Кубок Содружества. Спринт. Мужчины', + 'thumbnail': r're:^https?://.*\.jpg$', + 'upload_date': '20240906', + 'duration': 7106.0, + 'timestamp': 1725612645, + 'uploader': 'МАТЧ ТВ', + 'age_limit': 0, + 'description': 'Летний биатлон. Альфа-Банк Кубок Содружества. Спринт. Мужчины', + }, + }, { + 'url': 'https://matchtv.ru/alpine-skiing/matchtvvideo_NI2164704_translation_Chempionat_mira_Gigantskij_slalom_Zhenshhiny_1_ja_popytka', + 'md5': '8e8c38efb5ed17f20efea027d8101b64', + 'info_dict': { + 'id': 'f53e8b14b4f872957123d409a9b2c7ef', + 'ext': 'mp4', + 'title': 'Чемпионат мира. Гигантский слалом. Женщины. 1-я попытка', + 'thumbnail': r're:^https?://.*\.jpg$', + 'duration': 7098.0, + 'age_limit': 0, + 'upload_date': '20250213', + 'description': 'Чемпионат мира. Гигантский слалом. Женщины. 1-я попытка', + 'uploader': 'МАТЧ ТВ', + 'timestamp': 1739435713, + }, + }] diff --git a/yt_dlp/extractor/webcaster.py b/yt_dlp/extractor/webcaster.py index b0865e3e6..43cd1f9c3 100644 --- a/yt_dlp/extractor/webcaster.py +++ b/yt_dlp/extractor/webcaster.py @@ -2,35 +2,25 @@ from .common import InfoExtractor from ..utils import ( + ExtractorError, determine_ext, join_nonempty, xpath_text, ) -class WebcasterIE(InfoExtractor): - _VALID_URL = r'https?://bl\.webcaster\.pro/(?:quote|media)/start/free_(?P[^/]+)' - _TESTS = [{ - # http://video.khl.ru/quotes/393859 - 'url': 'http://bl.webcaster.pro/quote/start/free_c8cefd240aa593681c8d068cff59f407_hd/q393859/eb173f99dd5f558674dae55f4ba6806d/1480289104?sr%3D105%26fa%3D1%26type_id%3D18', - 'md5': '0c162f67443f30916ff1c89425dcd4cd', - 'info_dict': { - 'id': 'c8cefd240aa593681c8d068cff59f407_hd', - 'ext': 'mp4', - 'title': 'Сибирь - Нефтехимик. Лучшие моменты первого периода', - 'thumbnail': r're:^https?://.*\.jpg$', - }, - }, { - 'url': 'http://bl.webcaster.pro/media/start/free_6246c7a4453ac4c42b4398f840d13100_hd/2_2991109016/e8d0d82587ef435480118f9f9c41db41/4635726126', - 'only_matching': True, - }] - +class WebcasterBaseIE(InfoExtractor): def _real_extract(self, url): video_id = self._match_id(url) video = self._download_xml(url, video_id) - title = xpath_text(video, './/event_name', 'event name', fatal=True) + title = xpath_text(video, './/event_name', 'event name') + if not title: + msg = 'Invalid video' + if error_note := xpath_text(video, './/message'): + msg = f'{msg}: {error_note}' + raise ExtractorError(msg, expected=True) formats = [] for format_id in (None, 'noise'): @@ -61,14 +51,46 @@ def _real_extract(self, url): } -class WebcasterFeedIE(InfoExtractor): - _VALID_URL = r'https?://bl\.webcaster\.pro/feed/start/free_(?P[^/]+)' - _EMBED_REGEX = [r'<(?:object|a[^>]+class=["\']webcaster-player["\'])[^>]+data(?:-config)?=(["\']).*?config=(?Phttps?://bl\.webcaster\.pro/feed/start/free_.*?)(?:[?&]|\1)'] - _TEST = { - 'url': 'http://bl.webcaster.pro/feed/start/free_c8cefd240aa593681c8d068cff59f407_hd/q393859/eb173f99dd5f558674dae55f4ba6806d/1480289104', - 'only_matching': True, - } +class WebcasterIE(WebcasterBaseIE): + _VALID_URL = r'https?://bl\.webcaster\.pro/(?:quote|media)/start/(?:api_)?free_(?P[^/]+)' + _TESTS = [{ + 'url': 'http://bl.webcaster.pro/media/start/free_6246c7a4453ac4c42b4398f840d13100_hd/2_2991109016/e8d0d82587ef435480118f9f9c41db41/4635726126', + 'md5': 'f0c8dc1b89bf9f9814c5348acde408c8', + 'info_dict': { + 'id': '6246c7a4453ac4c42b4398f840d13100_hd', + 'ext': 'mp4', + 'title': 'Авангард - Нефтехимик 1:3', + 'thumbnail': r're:^https?://.*\.jpg$', + }, + }, { + 'url': 'https://bl.webcaster.pro/media/start/api_free_0021c098d99da3f6e74092d1c857fdce_hd/5_6801634533/7396a49492257cd0e9216d81208e7cd7/4634356501', + 'md5': 'b13dcceaeaaf4766d64414a768c285b8', + 'info_dict': { + 'id': '0021c098d99da3f6e74092d1c857fdce_hd', + 'ext': 'mp4', + 'title': 'Малые города России. Мартыново - лен, кацкари и Белая Корова. 07.11.2016', + 'thumbnail': r're:^https?://.*\.jpg$', + }, + }, { + 'url': 'https://bl.webcaster.pro/quote/start/free_6cabef900bf3e30dd699f16fc2d25ae5/q1199219/d78c13e415110de17295c0ed2d7ea9dd/4852644931', + 'md5': '58fe8def3a82fa3704a153f6b210c574', + 'info_dict': { + 'id': '6cabef900bf3e30dd699f16fc2d25ae5', + 'ext': 'mp4', + 'title': 'Гол. 3:0. Шмелёв Сергей (Салават Юлаев) прошивает вратаря', + 'thumbnail': r're:^https?://.*\.jpg$', + }, + }, { + # http://video.khl.ru/quotes/393859 + 'url': 'http://bl.webcaster.pro/quote/start/free_c8cefd240aa593681c8d068cff59f407_hd/q393859/eb173f99dd5f558674dae55f4ba6806d/1480289104?sr%3D105%26fa%3D1%26type_id%3D18', + 'expected_exception': 'ExtractorError', + }, { + 'url': 'https://bl.webcaster.pro/media/start/api_free_903d301687b0455c53088ac0ab14223a_hd/5_2406026867/77d98a80c1083db7c4a4224a17606731/4740107522?locale=en', + 'expected_exception': 'ExtractorError', + }] + +class WebcasterFeedBaseIE(InfoExtractor): def _extract_from_webpage(self, url, webpage): yield from super()._extract_from_webpage(url, webpage) @@ -89,4 +111,35 @@ def _real_extract(self, url): video_url = xpath_text( feed, ('video_hd', 'video'), 'video url', fatal=True) - return self.url_result(video_url, WebcasterIE.ie_key()) + return self.url_result(video_url) + + +class WebcasterFeedIE(WebcasterFeedBaseIE): + _VALID_URL = r'https?://bl\.webcaster\.pro/feed/start/(?:api_)?free_(?P[^/]+)' + _TESTS = [{ + 'url': 'https://bl.webcaster.pro/feed/start/api_free_83f86fca0321a284215bfc79bc84b0e4_hd/5_8903164936/5d58e8f398dc57a603d4a1d230f1c2ee/4606466761', + 'md5': '9cfe5c264467494304edc58876d6b6b7', + 'info_dict': { + 'id': '83f86fca0321a284215bfc79bc84b0e4_hd', + 'ext': 'mp4', + 'title': 'Большое интервью 19.12.2015. Юрий Энтин', + 'thumbnail': r're:^https?://.*\.jpg$', + }, + }, { + 'url': 'https://bl.webcaster.pro/feed/start/free_2689e8cc10e002cd5bd5df023700541e_hd/2_9028444105/dfbbc633edf34af7254dec8baccd7a59/4652352931', + 'md5': '0b0dc9352a8f84875607edb81046da5d', + 'info_dict': { + 'id': '2689e8cc10e002cd5bd5df023700541e_hd', + 'ext': 'mp4', + 'title': 'Мастер-шоу КХЛ 2017', + 'thumbnail': r're:^https?://.*\.jpg$', + }, + }, { + 'url': 'http://bl.webcaster.pro/feed/start/free_c8cefd240aa593681c8d068cff59f407_hd/q393859/eb173f99dd5f558674dae55f4ba6806d/1480289104', + 'only_matching': True, + }] + + +class WebcasterPlayerEmbedIE(InfoExtractor): + _VALID_URL = False + _EMBED_REGEX = [r'<(?:object|a|span[^>]+class=["\']webcaster-player["\'])[^>]+data(?:-config)?=(["\']).*?config=(?Phttps?://(?:(?!\1).)+)\1']