Технологии Nvidia DLSS 4: благо или зло?

Мы решили написать эту статью, хотя вопросы набора технологий DLSS уже многократно обсуждались и на нашем ресурсе, и на других сайтах. По этой теме до сих пор существует много заблуждений со стороны пользователей, или вовсе не видевших технологии Nvidia, работающие на современных видеокартах, или наблюдавших их несколько лет назад не в самом лучшем качестве. С тех пор некоторые решили, что они плохие, и совершенно искренне (но и неверно, в общем случае) полагают, что DLSS — это «мыло и фейковые кадры», и только без DLSS «всё честное и четкое»! Это же ненастоящие, или нечестные пиксели, так как они сгенерированы... нетрадиционно. По мнению таких людей, компания Nvidia этими технологиями всех обманывает, а разработчики игр просто не хотят оптимизировать свои проекты, уповая на помощь «фейкового и мыльного» DLSS, поэтому ответ на вопрос статьи однозначен: зло!

Но на деле не всё так просто, и если отбросить эмоции и попытаться разобраться, то легко понять, что DLSS в принципе появилась из-за того, что трассировка лучей и уж тем более трассировка пути, которые всё чаще используются в современных играх — крайне ресурсоемкий процесс, значительно более сложный по сравнению с упрощающей абсолютно всё более привычной растеризацией, используемой долгие годы. Для рендеринга каждого пикселя с трассировкой в идеале нужно пускать несколько лучей и рассчитывать по несколько их отскоков, что в прямолинейном виде не потянет даже десяток GeForce RTX 5090, если отбросить все упрощения и компромиссы. Да, к таковым приходится прибегать и при трассировке лучей, а вовсе не только с растеризацией, но даже при малом количестве рассчитываемых лучей такие важнейшие для восприятия вещи, как освещение, отражение и преломления, с трассировкой выглядят бесконечно реалистичнее любых хаков растеризации, которые лишь отдаленно имитируют реальные физические процессы.

Из-за большой ресурсоемкости трассировка лучей во многом как раз и содействовала появлению таких технологий, которые были включены в состав DLSS. Да, само по себе хитрое масштабирование появилось много раньше, оно широко развито на тех же консолях с их весьма ограниченными возможностями, но именно Nvidia DLSS воплотила сразу целый набор технологий увеличения производительности на очень высоком уровне, да еще оно дополнительно дает повышенное качество во многих случаях, если говорить о сглаживании граней и стабильности картинки во времени. Необходимость в применении масштабирования разрешения и генерации кадров возникла именно из-за невозможности обеспечить высочайшее качество при расчете каждого пикселя традиционным способом — отрендерить 4K-изображение с трассировкой пути в полном разрешении с высокой детализацией сцены без использования подобных технологий пока не получается, и приходится как-то выкручиваться.

Компромиссы в компьютерной графике реального времени были раньше, и сейчас нужда в них никуда не делась, до идеала еще очень далеко. Можно отрендерить пиксели в 4K при помощи растеризации с неправдоподобным освещением, отражениями и преломлениями, а можно отрисовать всё в сниженном разрешении, но с полной трассировкой, используя данные из предыдущих кадров, и получить в итоге выходное 4K-изображение лучшего качества, пусть и с минимальной потерей четкости в некоторых случаях, что видно чаще всего на текстурах. Рассчитывать каждый пиксель с желаемым качеством «честно» становится всё сложнее, особенно в самых высоких разрешениях типа 4K и выше, поэтому набор DLSS и был внедрен компанией Nvidia, он получил в итоге широкое распространение и высокую оценку со стороны большинства пользователей. Но не всех, есть и критики этих технологий, как с сомнительными доводами, так и со вполне обоснованными, и сегодня мы попробуем разобраться как с теми, так и с другими.

Мы ранее уже рассматривали разные версии DLSS, в том числе сравнивая аналогичные технологии различных производителей — например, см. ссылку во врезке. Но там была рассмотрена уже устаревшая версия DLSS, а с новым поколением графической архитектуры Blackwell в серии видеокарт GeForce RTX 50 в очередной раз улучшился и набор технологий DLSS, получивший уже четвертую версию — пожалуй, ее можно назвать важнейшим обновлением со времени выхода DLSS 2.0 в 2020 году. И если раньше мы называли DLSS просто технологией масштабирования разрешения, то с версии DLSS 3 это название некорректно, ведь DLSS уже не просто растягивает меньшее разрешение в большее, используя детали из предыдущих кадров, но и добавляет дополнительные кадры, исходя из информации в предыдущих, использует алгоритмы на основе искусственного интеллекта для продвинутого шумоподавления (реконструкция лучей), а также включает специальные методы для снижения задержек.

В состав набора технологий DLSS 4 входят следующие основные компоненты: масштабирование разрешения Super Resolution, реконструкция лучей Ray Reconstruction и генерация дополнительных кадров Frame Generation — все эти составляющие мы рассмотрим сегодня и отдельно, и в совместной работе. Также к DLSS можно отнести технологии снижения задержек Reflex. Самым заметным нововведением именно в DLSS 4 является технология многокадровой генерации Multi-Frame Generation (MFG), которая позволяет отрисовать от одного до трех дополнительных кадров на основе пары соседних, отрендеренных традиционно. Главное отличие нового метода генерации кадров в том, что он использует не оптический поток, а дополнительную нейросеть, позволяющую точнее спрогнозировать переходные кадры, что снижает количество артефактов. Кроме этого, в масштабировании и реконструкции лучей применяются новые ИИ-модели трансформера, способные определять сложные и долгосрочные отношения в пространстве и времени, предлагая заметные визуальные улучшения по сравнению со сверточными моделями — всё это мы также рассмотрим.

Для того чтобы использовать бо́льшую часть улучшенных технологий из обновленного набора DLSS 4, вам вовсе не нужны видеокарты именно серии GeForce RTX 50, они понадобятся исключительно для многокадровой генерации, а если не брать в расчет генерацию кадров (однокадровую или многокадровую), то остальные возможности DLSS 4 поддерживаются всеми вышедшими решениями GeForce RTX.

Сегодня мы разберемся, насколько хороша новая версия набора технологий DLSS, в чем она стала лучше и какие именно практические изменения произошли. Это важно в том числе потому, что если в начале запуска видеокарт серии GeForce RTX 50 количество игр с поддержкой DLSS 4 с многокадровой генерацией было около 75, то через полгода с небольшим оно выросло уже до более чем 175 игр и приложений, о чем совсем недавно заявили представители Nvidia.

К списку поддерживающих современный набор технологий по увеличению производительности добавились такие популярные и ожидаемые проекты, как Resident Evil Requiem, Directive 8020, Black State, Dying Light: The Beast, The Outer Worlds 2, Borderlands 4, Fate Trigger и другие. Общий список игр с поддержкой DLSS можно найти по ссылке на сайте Nvidia, хотя самых новых проектов там еще нет.

Для более старых игр с поддержкой предыдущих версий DLSS также есть вариант — настройки DLSS Override в приложении Nvidia App. Естественно, пока что большинство игр с поддержкой DLSS 4 используют именно этот вариант. Для этого в настройках игры включается поддержка FG, а в Nvidia App — необходимая опция количества генерируемых кадров. В этом случае при включении Frame Generation в настройках игры будет использоваться не 2×, а 3× или 4×.

Масштабирование разрешения

Начнем с самой первой и главной технологии, которая, по сути, и дала начало DLSS — масштабирование разрешения. Изначально она даже не использовала нейросети, а просто была чуть более хитрым алгоритмом по сравнению с аналогами, но со временем Nvidia начала применять искусственный интеллект и добилась отличных результатов. В версии DLSS 4 проделали большую работу по улучшению не только производительности, но и качества изображения, в ней были обновлены все технологии набора, в том числе и реконструкция деталей при масштабировании. В DLSS 4 используется новая модель искусственного интеллекта на базе трансформера, заменяющая использовавшиеся ранее сверточные нейронные сети (CNN).

Раньше в DLSS для генерации пикселей при масштабировании использовались сверточные нейросети, которые анализировали локализованный контекст и отслеживали изменения по нескольким последовательным кадрам. В новой модели трансформера оценивается относительная важность каждого пикселя в кадре и нескольких последовательных кадрах. Модель трансформера использует вдвое больше входных параметров по сравнению с моделью CNN для углубленного понимания сцен и генерирует пиксели с большей стабильностью в динамике, снижает количество ореолов и обеспечивает более высокую детализацию. Особенно хорошо новая модель работает при интенсивном использовании трассировки лучей, используя улучшенную реконструкцию лучей для обеспечения высокого качества изображения в сценах при сложном освещении. Например, более качественно отрисовываются заборы с тонкими деталями, особенно в динамике — из-за снижения мерцания, а быстро перемещающиеся объекты получают меньше артефактов со следами от предыдущих кадров.

Изначально новые модели трансформера были введены в алгоритм реконструкции лучей, к которому мы еще перейдем, но в процессе разработки в Nvidia обнаружили, что эта архитектура также обеспечивает и улучшение качества изображения при повышении разрешения. Всё по тем же причинам — механизм внимания трансформера позволяет определять долгосрочные зависимости, понимая взаимосвязи между пикселями в пространстве и времени. Как и в случае с реконструкцией лучей, это позволяет сохранять и восстанавливать детали более качественно, снижая количество артефактов и показывая бо́льшую визуальную согласованность по сравнению с традиционными сверточными сетями. Так что модель трансформера улучшила весь процесс повышения разрешения при помощи нейросетей.

Важнейшим улучшением модели трансформера при масштабировании является способность сохранения и восстановления мелких деталей на различных поверхностях, особенно на сложных текстурах и узорах, с которыми сверточные сети справляются плохо, излишне сглаживая их. Механизм внимания модели трансформера тоньше и корректнее понимает отношения между элементами текстур, что и приводит к более точному восстановлению вида таких поверхностей, как ткань, земля и другие мелкие детали — даже при выборе меньшего качества DLSS Super Resolution новая модель сохраняет текстуры более четкими.

В динамике увеличение детализации еще заметнее: если традиционные методы используют повторную выборку из предыдущих кадров, страдая от слишком большого размытия в движении, то модель трансформера решает проблему, обеспечивая более четкие и связные текстуры, особенно в динамике. Это именно увеличение детализации — не простое повышение резкости постфильтром, а добавление деталей, что видно при сравнении с изображениями, отрисованными с огромным количеством выборок на пиксель. Хотя эталонное изображение всё же более четкое, результат модели трансформера очень близок к нему:

Архитектура трансформера способна минимизировать наиболее распространенные артефакты, возникающие при повышении разрешения, такие как ореолы вокруг граней, недостаток сглаживания (алиасинг) на контрастных узорах и замыливание мелких деталей. Из-за лучшего восприятия глобального контекста и сложных взаимосвязей модель трансформера показывает более высокое качество и при обработке наклонных линий, повторяющихся узоров и контрастных граней, что хорошо видно по сравнениям с CNN.

Качество сглаживания граней под различными углами при работе трансформера тоже повысилось, традиционные сверточные сети нередко отображают геометрические грани неровными или нестабильными и мерцающими во времени, а модель трансформера делает их более гладкими и стабильными, справляясь также и с муаром, восстанавливая текстурные узоры с более высокой точностью:

Более продвинутые модели ИИ в новой версии DLSS значительно улучшили сохранение мелких деталей даже при использовании режимов меньшего качества с более низким разрешением рендеринга, это видно и на текстурах, и на мелкой геометрии сцены, по большей части были решены многие проблемы предыдущих версий DLSS, такие как мерцание или временна́я нестабильность пикселей, которая видна только в динамике.

Важно, что всё это доступно и на старых видеокартах GeForce RTX, таких как RTX 30 и даже RTX 20. Правда, новая модель использует вдвое большее количество параметров и требует вчетверо больше вычислительной производительности тензорных блоков, и это повышение требований к вычислительной производительности тензорных вычислений привело к большей потере производительности при работе DLSS 4 по сравнению с предыдущими версиями. Если на мощных видеокартах серий RTX 50 и RTX 40 особых проблем нет, то использование продвинутой модели ИИ на младших моделях линеек RTX 20 и RTX 30 может быть неактуальным. Но сама по себе возможность использования масштабирования и реконструкции лучей в новейшей модификации на всех выпущенных GeForce RTX есть.

В последних версиях DLSS 4 также было снижено потребление видеопамяти при масштабировании. Для моделей трансформеров при масштабировании и реконструкции лучей с версии DLSS 310.3.1.0 SDK для разрешения Full HD используется менее 80 МБ видеопамяти, что на 20% меньше, чем в предыдущих версиях. Похожее сокращение использования видеопамяти произошло и в других разрешениях: 1440p, 4K и 8K. Так что если взять даже видеокарты с малым по современным меркам объемом памяти в 8 ГБ, то использование памяти для запуска модели трансформера составляет всего лишь 1% от общего объема.

Оценка качества

Модель трансформера при масштабировании разрешения дает улучшение временно́й стабильности пикселей, уменьшение количества и размера ореолов, повышенную детализацию кадра в движении, а также устранение некоторых артефактов, присущих старой модели CNN. Чтобы проверить заявления Nvidia и убедиться во всем лично, мы протестировали DLSS 4 в нескольких играх, использующих разные игровые движки.

Первое же наше собственное сравнение в статике показывает значительную разницу между моделями CNN и трансформера — в пользу последнего, разумеется. Лучшее качество сглаживания и сохранение большего количества деталей хорошо видно по колесу и элементам корпуса автомобиля: изображение после CNN выглядит смазанным, некоторые линии и вовсе отсутствуют, а трансформер справляется со всем этим заметно лучше, близко к уровню родного разрешения рендеринга, а в чем-то даже чуть лучше, хотя качество отражения на блестящем полу лучше в первом случае. Деталей на трубе сверху при использовании модели CNN также явно не хватает, а модель трансформера отрабатывает их довольно неплохо.

Второе сравнение из Cyberpunk 2077 с масштабированием разрешения при использовании моделей CNN и трансформера лишь подтверждает уже сделанные выводы: линии и грани сглажены во втором случае заметно лучше, близко к уровню полного разрешения, а CNN сделала их довольно корявыми. Деталей в случае старого алгоритма также не хватает, это видно и по стенке на заднем плане, и по текстуре пола под автомобилем, и по решетке снизу, которая в случае CNN превратилась в мешанину из пикселей, а трансформер справился с ней очень неплохо, почти на уровне родного разрешения. Посмотрим на эту же игру в динамике, но будет уже не сравнение трансформера и CNN, а сравнение DLSS в качественном режиме с DLAA и отключенными технологиями вовсе:

Тут хорошо видно, что новый режим качества Quality в целом выглядит в динамике даже лучше родного разрешения рендеринга и почти не хуже DLAA, работая при этом с гораздо лучшей производительностью — более чем вдвое быстрее, что позволяет использовать 4K-разрешение при максимальных настройках графики и трассировке пути, настолько ресурсоемкой, что GeForce RTX 5080 выдает лишь 15-20 FPS в таких условиях без применения DLSS. Так что не включать масштабирование при нехватке производительности, на наш взгляд, просто глупо — вы почти ничего не потеряете, зато приобретете вдвое-втрое больше FPS. Можете внимательно посмотреть 4K-видео в полноэкранном режиме, чтобы убедиться в этом.

Также значительно уменьшился эффект ореолов, которые отмечались при работе модели CNN в масштабировании — а в игре много экранов с динамическими изображениями, на которых видны слишком большие ореолы. Так получалось потому, что векторы движения, описывающие движение объектов и используемые алгоритмом DLSS в работе, не соответствуют движению текстур. Новая модель трансформера анализирует сцену и условно распознаёт подобные анимированные текстуры, что решает проблему их корректного отображения. Движущийся текст на анимированных текстурах стабилен и не размыт. Новая модель трансформера исправляет и некоторые случайные блики, которых быть не должно.

А в нескольких играх, включая Alan Wake 2, значительно снизилось мерцание растительности при использовании новой ИИ-модели, особенно в более низких режимах качества масштабирования. Режимы «Performance» и «Ultra Performance» получили наибольшие улучшения в DLSS 4, включая значительное улучшение общей четкости изображения. Кроме этого, текстуры и геометрия в сцене более стабильны в движении. Разница в детализации при работе CNN и трансформера очевидна, особенно на тонких объектах, вроде проводов, проволочных заборов и других решеток.

Скриншоты могут не передавать всей картины, да и на видеороликах не всегда всё видно, но мы можем сказать, что теперь даже режим качества Performance стал весьма играбельным и мало отличим по общему качеству от Balanced, и в этом виновата именно новая модель трансформера. Но это если говорить о качестве в целом, а по четкости текстур небольшая разница всё же есть, вот несколько примеров:

Если по сглаживанию граней и линий особых вопросов нет, то при настройках повышения резкости DLSS по умолчанию текстуры действительно получаются несколько менее четкими, теряя в мелких деталях. Но на деле это больше всего заметно в режиме Ultra Performance, а Quality и Balanced дают приемлемое качество даже без повышения резкости DLSS, которое доступно во многих играх и решает вопрос текстурной детализации, что вы увидите далее по сравнениям в других играх.

Ранее многие пользователи считали, что можно использовать лишь режим масштабирования Quality, особенно в более низких разрешениях, и только в 4K можно выбирать Balanced из-за нехватки производительности при небольшом падении уровня качества. Оно и неудивительно, в предыдущих версиях DLSS при включении даже производительного режима Performance сразу появлялись хорошо заметные артефакты, про Ultra Performance и не говорим — в нем было сплошное мыло. Но в DLSS 4 многое поменялось в лучшую сторону, новой ИИ-модели удается сохранять высокую детализацию и качество изображения с учетом довольно низкого входного разрешения рендеринга — для 4K это лишь 1080p. И даже Ultra Performance с разрешением рендеринга всего 720p может оставаться актуальным в случае значительной нехватки скорости, хотя этот режим уже точно является компромиссным.

Очень хорошо заметны улучшения DLSS 4 от новой модели трансформера по детализации текстур, а также в динамике стала лучше стабильность и снижены шлейфы на гранях объектов при их движении в кадре. Больше всего поражает то, что даже в режиме Performance текстуры выглядят практически так же, как в качественном режиме Quality, хоть и не всегда. Если не приглядываться, то производительный режим теперь дает очень высокое качество картинки с отличной четкостью. Например, в The Last of Us 2 по умолчанию резкость DLSS повышена, поэтому картинка получается даже более резкой, хотя это нравится не всем:

Сглаживание краев объектов и стабильность их в динамике весьма важны для подобных технологий повышения производительности — нужно, чтобы текстуры выглядели четкими в динамике и чтобы не было мерцания на геометрических гранях. Новая версия DLSS с моделью трансформера отлично справляется со всем этим — куда лучше CNN из предыдущих версий, и это также касается производительного режима, а не только качественного. DLSS 4 корректнее определяет края объектов и дает бо́льшую стабильность пикселей на их гранях, особенно это заметно в режиме Performance. Конечно, режим Quality всё равно остается лучше, он корректнее работает с отрисовкой проводов и других тонких элементов в картинке, но даже Ultra Performance в DLSS 4 работает неплохо. Вот еще одно сравнение моделей CNN и трансформера:

По этому сравнению отлично видно огромную разницу между выходной картинкой CNN и трансформера, особенно по сглаживанию граней: у современного метода она вообще почти на уровне родного разрешения, а ведь в этом случае разрешение рендеринга аж вчетверо ниже выходного! Это видно и по деталям на оружии, и по другим линиям, которые отлично сглаживает модель трансформера, а CNN сильно мылит. А вот с детализацией ткани героини всё плохо в обоих случаях, с текстурами ничего не поделать, и хотя модель трансформера лучше и в этом случае, но до родного разрешения ей далеко.

Но это был режим качества Ultra Performance с разрешением рендеринга 1280×720, ему простительны подобные недостатки, и включать его стоит лишь в самых запущенных случаях. При сравнении именно уровней качества масштабирования DLSS видно, что это в основном беда Ultra Performance, также Performance немного страдает детализацией текстур, а вот у Quality и Balanced уже всё в порядке и с детальными тонкими текстурами типа тканей:

В целом DLSS 4 при масштабировании картинки при помощи модели трансформера дает на выходе куда более качественную и стабильную картинку по сравнению с CNN в предыдущих версиях и также неплохо справляется со шлейфами, которые иногда появлялись на краях быстро движущихся объектов и в отражениях — это было проблемой некоторых версий DLSS 3 в том же Cyberpunk 2077. А с новой версией DLSS 4 и моделью трансформера таких шлейфов стало куда меньше. В коротком видео это отлично видно:

Еще один из наиболее сложных объектов для масштабирования рендеринга, который улучшила новая версия DLSS — развивающиеся на ветру волосы, имеющие большое количество мелких деталей, а также аналогичные объекты типа шерсти и меха. Модель трансформера, применяемая в DLSS 4, явно способна показать больше деталей при обработке волос и шерсти по сравнению с CNN, они выглядят в новой версии заметно более четкими:

Хорошо видно, что при схожей в целом детализации травы и веревок на заднем плане, которые стали лишь чуть лучше в случае применения модели трансформера, волосы героини очень сильно отличаются на двух картинках: модель CNN очень плохо справляется с ними в динамике, делая волосинки толстыми и размазанными, а вот трансформер отработал отлично, волосы остались тонкими и сглаженными, и в целом качество практически не уступает рендерингу в родном разрешении, что видно уже по другому сравнению:

Мы согласны с тем, что в этой игре резкость после масштабирования DLSS по умолчанию слишком завышена, но хорошо видно и то, что проблем с толщиной и сглаживанием волос при работе обновленного алгоритма нет, только режим Performance немного страдает от недостатка разрешения рендеринга (в данном случае оно составляет 1920×1080) по сравнению с DLAA и методом Quality. Сравните также результат работы CNN и трансформера на видео, оно очень наглядное:

Заметно, что CNN даже в режиме качества Quality не очень хорошо обрабатывает волосы, они становятся толще и все пиксели нестабильны, поэтому волосинки превращаются в кашу. Тогда как модель трансформера в новом DLSS 4 оставляет волосинки тонкими и неплохо сглаженными, а также обеспечивает лучшую временну́ю стабильность — пиксели не бегают туда-сюда и не мерцают.

Примерно столь же непросто справляться DLSS и аналогичным технологиям и с частицами, мелкими по размеру, а главное — быстро и беспорядочно движущимися. DLSS 4 частично решил проблемы со шлейфами при движении частиц в том же Cyberpunk 2077, а также в The Last of Us. Хорошо справляется трансформер в составе DLSS 4 при масштабировании с динамично движущейся травой и листвой, это заметно в Indiana Jones and the Great Circle. В большинстве игр DLSS 4 справляется с масштабированием травы из низкого разрешения в более высокое, а в DLSS 3 на таком уровне отрабатывал разве что режим Quality.

Рассмотрим еще несколько примеров сравнения CNN и трансформера. По этим двум сравнениям хорошо видно, насколько сильно в DLSS 4 улучшилась обработка мелких деталей: проводов, решеток и других аналогичных объектов с тонкими линиями. В таких случаях трансформер из DLSS 4 справляется куда лучше CNN в составе DLSS 3. В игре Cyberpunk 2077 с применением модели трансформера решетка со сравнения выше остается четкой, с ровными отверстиями, и по сравнению с CNN на детализированных поверхностях нет «мыла», даже в режиме Performance, а детали на текстуре потолка даже лучше, чем при полном разрешении рендеринга.

Новый алгоритм куда лучше справляется с восстановлением структуры заборов и прочих решеток, это заметно и на других повторяющихся узорах и паттернах, вроде сетки на вентиляторе во втором сравнении. С DLSS 4 и трансформером лучше воспроизводятся другие тонкие детали типа сеток и улучшается видимость предметов за ними, и если CNN сделал из тонких линий пиксельную кашу, то трансформер отлично отработал эти детали, не уступив полному разрешению, что очень непросто сделать при довольно низком разрешении рендеринга.

Увеличенная детализация трансформера особенно хорошо заметна в динамике по видеосравнениям вроде этого: если CNN размазывает текстуры крыши и листья деревьев, то трансформер очень аккуратно справляется со своей задачей, оставляя детали на указанных выше объектах. И по этому сравнению хорошо видно, что DLSS 4 справляется лучше по сравнению с устаревшими методами сглаживания типа TAA, хотя нужно учесть и несколько завышенную при работе DLSS резкость конкретно в этой игре.

Можно сказать, что режим Balanced в случае DLSS 4 по качеству примерно соответствует режиму Quality из DLSS 3, а новый Performance примерно соответствует старому Balanced. Улучшенные режимы Quality и Balanced в DLSS 4 обеспечивают детализацию примерно на уровне рендеринга в родном разрешении, а в некоторых случаях даже превосходят его, так как технология масштабирования использует информацию из предыдущих кадров. Технология масштабирования в версии DLSS 4 стала еще лучше и дает широкие возможности для улучшения как качества изображения, так и производительности, что встречается редко.

В этом случае хорошо видна улучшенная детализация как на ткани куртки, так и на надписях на коробке. При этом DLSS в качественном режиме практически не уступает по качеству методу суперсглаживания DLAA, при котором картинка рендерится в полном разрешении. Оба изображения сравнимы по качеству, и детализация на них лучше, чем при рендеринге с вовсе отключенным DLSS.

Почти то же самое можно сказать по второму сравнению из Cyberpunk 2077, но тут DLAA всё же дает чуть более высокую детализацию, видимую и по автомобилю, и по другим объектам, в том числе по качеству отражений на полу. То есть DLAA качественнее всего, затем идет родное разрешение, но и DLSS Quality почти не уступает им — при куда большей производительности рендеринга, вплоть до двух раз при условии ограничения производительности исключительно GPU.

Вот это сравнение уже по игре Indiana Jones and the Great Circle, и если по сглаживанию контрастных граней у DLSS всё очень хорошо, кроме режима Ultra Performance, в котором видно в том числе явное ухудшение качества сглаживания, то по четкости текстур есть вопросы вообще ко всем режимам масштабирования. К сожалению, чудес не бывает, и даже режим Quality не смог показать результат на уровне родного разрешения, что логично при ощутимой разнице в разрешении рендеринга. Так что работать исследователям Nvidia еще есть над чем: DLSS хоть и показывает отличный результат, но с текстурами пока что пасует даже самый качественный режим масштабирования. Посмотрим еще одно сравнение из этой же игры:

Здесь сравнения с отключенным DLSS уже нет, оцениваем исключительно разницу между всеми уровнями качества масштабирования. И вот тут падение уровня детализации видно практически на каждом шаге: даже между Quality и Balanced есть явная разница, про Ultra Performance и не говорим, там действительно то самое «мыло», о котором так много говорят противники технологий DLSS. Но нужно понимать, что подобная разница наблюдается не во всех играх, а режим Quality показывает очень неплохой результат и по качеству — с учетом значительного повышения частоты кадров. К оценке которой мы и переходим.

Оценка производительности

При максимальных настройках и в разрешении 4K включение режима Quality в DLSS 4 дает прирост производительности примерно вдвое по сравнению с рендерингом в родном разрешении в зависимости от игры и упора в GPU. Модель трансформера в масштабировании разрешения DLSS 4 несколько снизила производительность по сравнению с предыдущей моделью CNN. На видеокартах уровня GeForce RTX 5080 и RTX 4080 это снижение производительности незначительно — порядка 4%-8% в зависимости от игры, а вот более старые GPU могут потерять и больше. Давайте рассмотрим несколько игр в конкретных значениях.

Сразу отмечаем, что играть в Cyberpunk 2077 при максимальных настройках в разрешении 4K на выбранных видеокартах без включения DLSS просто не получится, 16-19 FPS в среднем требуемой плавности и комфорта не обеспечат. Включение DLSS на уровне Quality уже дает 32-35 FPS в зависимости от видеокарты и ИИ-модели, и это всё еще малоиграбельно, приходится включать режим Performance (можно попробовать и промежуточный Balanced) — и вот он дает 52-57 FPS, чего достаточно для не самой требовательной к задержкам одиночной игры. Качественный режим повышает частоту кадров на 85%-105%, а производительный — более чем втрое. При этом отличия по качеству в процессе напряженной игры вы вряд ли найдете.

Что касается разницы в производительности между RTX 5080 и RTX 4080, то она всегда составляет 5%-7%, и выбор модели ИИ для масштабирования на это слабо влияет. Да и теряют они при переходе с CNN на трансформер примерно одинаково — 3% в случае режима Quality и до 5% для Performance. Это вполне нормальная потеря для такого прироста в качестве от перехода к модели трансформера, как показали сравнения выше: пара-тройка FPS роли не сыграют, а разница в детализации в пользу более продвинутого метода в DLSS 4 явная.

Что касается улучшенной версии игры Half-Life 2 в RTX-версии с трассировкой пути, тут результаты тоже вполне ожидаемые. Без DLSS процесс неиграбелен даже в еще большей степени, 14-15 FPS — это явно слишком мало. Включение DLSS 4 в режиме Quality дает повышение частоты кадров до 29-33 FPS в зависимости от метода и видеокарты, и этого тоже мало. Решает режим качества Performance, в нем частота кадров почти доходит до 50 FPS в случае RTX 4080 и превышает этот предел для RTX 5080 — в подобную игру с такой плавностью и задержками уже можно играть. Включение DLSS 4 повышает частоту кадров в 2,2 раза для режима Quality, и в 3,4-3,5 раза для Performance — отличный результат.

Интересно, что разница между RTX 5080 и RTX 4080 тут чуть повыше — около 6%-8% в пользу более нового графического процессора, а вот падение скорости рендеринга при переходе масштабирования DLSS от модели CNN к трансформеру иное — всего 2% для режима Performance и лишь 3% в случае Quality. Вполне терпимо за заметно лучшее качество масштабирования.

Эта игра пришла с консолей и в ней нет тяжелой трассировки лучей, не говоря уже о трассировке пути, поэтому даже без DLSS она выдает вполне приемлемые 77 FPS и 81 FPS для RTX 4080 и RTX 5080 соответственно — и это в 4K, не забываем. Но включение DLSS Quality даст еще более комфортные 105-124 FPS, а Performance — так и вовсе 127-150 FPS в зависимости от видеокарты и ИИ-модели масштабирования. Эта игра явно меньше упирается в возможности GPU, поэтому и включение масштабирования дает меньший прирост скорости рендеринга: 1,4-1,5 раза для Quality и 1,6-1,9 раза для Performance.

Вроде бы DLSS тут не особо и нужен, но с учетом отличного качества масштабирования с моделью трансформера мы бы советовали его включить, можно и в самом качественном режиме. Разница между видеокартами двух поколений в этой игре составила 7%-9%, а между моделями CNN и трансформера — 9%-10% во всех случаях, что довольно немало, но при таком улучшении качества в выборе устаревшей модели масштабирования разрешения просто не остается смысла, куда лучше будет получить более детализированную картинку.

Ну и последняя игра, в которой при максимальных настройках также есть тяжелая для GPU трассировка пути, которая также не дает комфортно использовать полное 4K-разрешение даже на столь мощных видеокартах. Лишь включение масштабирования DLSS 4 на уровне Quality дает уже 40-49 FPS, что почти комфортно, ну а Performance точно обеспечит плавность с почти 60 FPS для RTX 4080 и более чем 60 FPS для RTX 5080. Это примерно вдвое выше для качественного режима и в 2,7-2,8 раза больший FPS в производительном режиме.

Удивительно, но разница между двумя видеокартами в этой игре оказалась 20% и даже более! И RTX 4080 в режиме Performance лишь чуть быстрее RTX 5080 в более качественном Quality-режиме масштабирования. Потеря FPS конкретно от перехода DLSS 4 с модели CNN на трансформер в этой игре составила ровно 5% во всех случаях, что не так много, поэтому посоветуем выбирать именно улучшенный вариант при наличии такой возможности в любой игре.

В общем, исходя из наших тестов и визуальных сравнений, мы считаем использование DLSS хотя бы в режиме Quality обязательным в случае, если частота кадров при DLAA недостаточна. Включение даже качественного режима в 4K-разрешении зачастую дает двукратный прирост в скорости рендеринга, что невозможно переоценить — и это при близком качестве картинки! Ну а если двукратного прироста вам всё еще мало, то можно получить более чем трехкратный с включением Performance — некоторая потеря качества, конечно, будет, но она просто несравнима с приростом плавности и отзывчивости.

При сравнении режимов качества DLSS 4 мы говорили о том, что новые методы дают качество на ступень выше по сравнению с DLSS 3, однако, как видите, снижение производительности при этом очень небольшое, далеко не на шаг, и даже не на полшага. Новый режим Balanced в DLSS 4 обеспечивает частоту кадров между режимами Balanced и Quality в DLSS 3, ближе к первому. Но по качеству старый Quality примерно соответствует новому Balanced, то есть можно сказать, что с DLSS 4 в случае нового Quality-режима мы как бы получили дополнительный, еще более качественный режим «Super Quality». Не может не радовать тот факт, что возможности пользователей расширились: старый Ultra Performance просто не имел никакого смысла, а вот новый вариант уже можно использовать в совсем тяжелых случаях, когда производительности не хватает очень сильно.

Реконструкция лучей

Отдельно стоит рассмотреть изменения в качестве картинки при использовании технологии реконструкции лучей, которая появилась еще в DLSS 3.5. Она теперь также использует новую модель трансформера, что значительно улучшило итоговое качество картинки. Поскольку трассировка лучей и особенно пути потребляет очень много вычислительных ресурсов, то ее использование подразумевает практически безальтернативное использование технологий увеличения производительности DLSS. Реконструкция лучей — одна из них, она специализируется на улучшении качества шумоподавления при использовании активной трассировки лучей с небольшим количеством рассчитываемых лучей на пиксель, что приводит к большому количеству пиксельного шума на картинке.

Без включения этой технологии многие поверхности отрисовываются более «зернисто», особенно заметен шум на поверхностях в динамике, а если включить привычные фильтры шумоподавления, то текстуры будут размытыми. Именно для борьбы с этими эффектами Nvidia представила в 2023 году технологию реконструкции лучей Ray Reconstruction. В DLSS 4 и эта технология, использующая нейросети, перешла с модели CNN на новую модель трансформера, что значительно улучшило результат шумоподавления. Некоторые проблемы всё же остались: при резкой смене освещения или при движении камеры качество поверхностей временно снижается — это зависит от накопления данных за несколько кадров, технология не может предсказать будущее, и это можно изменить только повышением вычислительной производительности.

Снижение уровня шума (шумоподавление) обычно применяется к изображению более низкого входного разрешения, еще до применения масштабирования, и отрисованные отражения, освещение и тени обрабатываются в сниженном разрешении, лишь затем их переводят в более высокое выходное разрешение. Это снижает качество, так как отрисованные при помощи трассировки лучей эффекты после шумодава излишне размыты, и особенно это видно в играх с трассировкой пути, когда вообще всё освещение и затенение отрисовывается с применением трассировки лучей. Основные геометрические детали неплохо реконструируются при помощи масштабирования DLSS, но качество затенения будет невысоким, на уровне входного разрешения.

Традиционные статические шумодавы при трассировке используют настроенные вручную алгоритмы, с тонкой подгонкой для каждой игры, это увеличивает трудозатраты и усложняет их масштабирование, а также они дают невысокое качество шумоподавления, поскольку ограничены фиксированными данными об освещении и материалах в сцене, из-за чего возникают артефакты мерцания, ореолов и некорректных отражений. Реконструкция лучей в составе DLSS решает два основных ограничения традиционных алгоритмов шумоподавления: затенение с низким разрешением и необходимость ручной настройки. Алгоритм Ray Reconstruction обрабатывает образцы при трассировке в высоком разрешении, и в результате получается более точная и стабильная в динамике картинка, не требующая ручной настройки.

Задача непроста из-за агрессивной временно́й и пространственной фильтрации при трассировке пути с малым количеством выборок. Подобные фильтры должны сохранять детали геометрии и текстур объектов, заполняя отсутствующую информацию о затенении, и, в отличие от традиционных алгоритмов шумоподавления, применяющих фильтрацию только к результату затенения перед смешиванием с текстурами и геометрией, работа алгоритма реконструкции лучей обрабатывает всю сцену сразу.

На вход подается изображение низкого разрешения, заполненное шумом при работе трассировки с артефактами, а главная задача работы алгоритма состоит в преобразовании очень шумной картинки в выходное изображение высокого разрешения и качества — без шума, но с сохранением текстур и деталей и со сглаживанием. И тут важнее всего баланс: реконструкция лучей должна четко отделять шум и текстуры с материалами, не допуская излишнего размытия. Также в минусах традиционных алгоритмов — медленное реагирование на изменения в кадре, что нужно для того, чтобы снизить артефакты типа нестабильности и мерцания.

Большой проблемой является разнообразие шаблонов, по которым работает алгоритм, в отличие от однородных шаблонов для алгоритмов повышения разрешения. А современные алгоритмы вводят усложняющие процесс пространственные и временны́е зависимости. Метод на основе ИИ-модели обобщает все шаблоны, но для этого нужны разнообразные данных для обучения нейросети. Раньше для реконструкции лучей использовались сверточные нейронные сети, но они быстро уперлись в свой потолок возможностей, не избавившись от артефактов двоения изображения и несогласованности во времени. Для обхода этих ограничений в DLSS 4 применяется архитектура на основе модели трансформера, использующая тензорные ядра Ada и Blackwell, ускоряющие матричные операции с точностью FP8, что минимизировало задержку при достаточной точности вывода нейросети. Более высокая точность тут недоступна, так как модель трансформера требует вчетверо больше вычислений.

По сравнению с CNN модель трансформера лучше отслеживает долгосрочные зависимости в пространстве и времени во входных данных — механизм внимания накапливает информацию из отдельных образцов, которые могут быть довольно далеки во времени и пространстве друг от друга. Поэтому переход на модель трансформера в реконструкции лучей улучшил качество изображения, снизив количество артефактов при большом количестве шума и слабой корреляции между образцами при трассировке пути. Модель CNN подходит для входных данных с хорошей корреляцией, также она не лучшим образом справляется с зашумленными данными после трассировки пути. Применение модели трансформера дает лучшую стабильность и сохранение деталей при общей точности реконструкции:

Преимущества модели трансформера особенно хорошо заметны по детализации поверхностей и временно́й стабильности изображения, она показывает улучшенную детализацию текстур по сравнению с шумодавом на основе сверточной нейросети CNN, который слишком сильно сглаживал детали. Модель трансформера выдает итоговую картинку, близкую к эталонной, для расчета которой используются десятки тысяч выборок на пиксель, что просто невозможно сделать в реальном времени. С новой моделью снизилось количество артефактов двоения быстро движущихся объектов и поверхностей с быстрым изменением освещения, модель трансформера успешно использует механизм внимания для их отслеживания. А области с пока что скрытыми участками, которые позднее становятся видимыми из-за движения камеры, теперь также более качественно заполняются недостающей информацией, используя пространственный контекст.

Оценка качества

У сверточных моделей есть трудности с временно́й стабильностью при изменении сцены, что приводит к артефактам в виде мерцания, а модель на основе трансформера снижает ее, лучше реагируя на изменения, что заметно в динамике. Также модель на основе трансформера имеет специальную поддержку для отрисовки кожи и волос, позволяя сохранять мелкие детали, что непросто из-за тонких линий и полупрозрачности. Новая модель Ray Reconstruction в DLSS 4 показывает значительные улучшения по всем указанным выше показателям. Всё заявленное мы решили проверить на практике, рассмотрев качество изображения при включении реконструкции лучей в игре Cyberpunk 2077:

Разница хорошо видна на этом примере: включение реконструкции лучей наиболее очевидно улучшило качество отрисовки металлической двери с отражениями на ее неровной поверхности, она стала явно более четкой. Кроме этого, технология из DLSS 3 дает артефакты на многих объектах в динамике, а в случае DLSS 4 детализация при движении сохраняется на более высоком уровне. В некоторых случаях иногда проявляется специфический сетчатый узор, но в целом качество с новым методом точно стало лучше:

Это хорошо заметно в игре Cyberpunk 2077 в динамике: отражения на мокром асфальте и металлических поверхностях более четкие, они меньше размазываются при движении камеры и объектов, а не размываются, как было с DLSS 3 — многие поверхности более детальные, особенно в движении. Во многих случаях вместо непонятной размытой поверхности четко видна фактура материала, модель трансформера заметно лучше справляется со своей работой — практически на уровне DLAA даже при включении режима Ultra Performance с очень низким разрешением рендеринга.

С быстро движущимися объектами наблюдается примерно то же самое — в том числе с вращающимися лопастями вентилятора, которые часто используют для демонстрации реконструкции лучей: лопасти почти не оставляют шлейфов при работе обновленной технологии в составе DLSS 4. Но всё же лучше всего видно разницу именно на отражающих поверхностях, для которых трассировка лучей и пути важнее всего. Рассмотрим еще одно сравнительное изображение, полученное при включении реконструкции лучей:

Разница налицо: отлично видно бо́льшую четкость при включении реконструкции лучей, детали заметно меньше размазываются при движении камеры и объектов. Новая модель трансформера при реконструкции лучей повышает качество трассировки лучей, обеспечивая улучшенную детализацию отражений, особенно в движении — на таких отражающих материалах и объектах, как мокрая дорога или зеркальные объекты. Также улучшается и качество теней при трассировке лучей, увеличиваются их детализация и стабильность. Всё вместе это дает более точное и реалистичное освещение и тени, что улучшает восприятие картинки.

Реконструкция лучей в игре Cyberpunk 2077 приносит не только улучшения: появляются некоторые визуальные проблемы, вроде излишнего эффекта живописи и артефактов в виде ореолов. Но даже в предыдущих версиях с использованием модели CNN реконструкция лучей уже обеспечивала более стабильный и детализированный рендеринг теней и улучшенную отрисовку отражений при трассировке лучей, а переход алгоритма реконструкции лучей на модель трансформера обеспечил дополнительное значительное улучшение — эффект живописи минимизируется, как и артефакты ореолов и размытия, а картинка в движении стала более стабильной.

Оценка производительности

Модель трансформера в реконструкции лучей версии DLSS 4 снижает производительность по сравнению с предыдущей моделью CNN не слишком значительно: в случае современных GPU пары последних поколений — лишь на несколько процентов, в зависимости от игры. На видеокартах более старых серий просадка ощущается заметно сильнее, модели серии GeForce RTX 30 могут терять от применения модели трансформера при масштабировании и одновременной реконструкции лучей до 25% по сравнению с моделью CNN — и проблема тут не в количестве тензорных ядер, а в их способностях. Даже RTX 3080 сильно проседает при включении новых вариантов масштабирования и реконструкции лучей. А вот у GeForce RTX 5080 и GeForce RTX 4080 всё в порядке — давайте рассмотрим производительность именно реконструкции лучей на примере игры Cyberpunk 2077 и других проектов.

В случае этой игры наблюдается даже небольшой прирост от включения реконструкции лучей — видимо, этот шумодав для трассировки лучей работает куда эффективнее используемого игрой по умолчанию. Интересно, что на RTX 4080 включение реконструкции лучей дает +6%-7% к частоте кадров, а для RTX 5080 прирост составляет около 10%. Скорее всего, новый алгоритм лучше оптимизирован для обновленной архитектуры. В общем, в этой игре лучше всегда включать реконструкцию лучей, так как она дает прирост одновременно в качестве рендеринга и в его скорости.

А вот Indiana Jones and the Great Circle — пример игры, в которой частота кадров при включении реконструкции лучей даже немного снижается — но всего лишь на 2%-4% на обеих тестовых видеокартах. Возможно, разработчики этой игры недостаточно хорошо оптимизировали свой код, но вроде бы качество изображения при включении реконструкции лучей улучшается как минимум в некоторых сценах, так что ее включение всё равно будет полезным и в этом случае.

Так как в играх реконструкция лучей применяется пока что не слишком часто, мы протестировали ее еще и в специальной технологической демонстрации Nvidia RamenShop, которая одной из первых показала применение и реконструкции лучей, и генерации кадров в составе DLSS 3.5. Правда, вместо показателей RTX 5080 мы приводим цифры RTX 4090, так как демо-программа не была обновлена для работы с новым поколением видеокарт и в целом поддерживает лишь DLSS 3.5 без новой ИИ-модели трансформера. Но всё равно интересно. Так вот, прирост от включения реконструкции лучей даже в старой версии с моделью CNN в этой программе очень приличный: 10% и 16%-17% для двух уровней качества масштабирования DLSS — Performance и Quality соответственно. Так что потенциал одной из технологий DLSS тут хорошо показан.

Генерация нескольких кадров

Самое свежее и значимое улучшение набора технологий DLSS 4, которое компания Nvidia сейчас активно использует при продвижении своих видеокарт — многокадровая генерация Multi-Frame Generation (MFG). Это единственная технология в наборе, которая работает исключительно на видеокартах новой серии GeForce RTX 50, но и особенно новой ее назвать нельзя, ведь это развитие и улучшение уже известной нам технологии генерации кадров Frame Generation (FG), которую мы знаем по GeForce RTX 40. В DLSS 4 применяется обновленная и улучшенная версия технологии генерации кадров, использующая современные алгоритмы и модели ИИ, повышающие производительность и качество изображения. Важно, что усовершенствования в однокадровой генерации работают и на GeForce RTX 40, а отличается она от MFG только количеством генерируемых кадров.

Но для начала нужно рассказать, что такого особенного в генерации кадров DLSS и почему это не просто интерполяция, которая применяется, к примеру, в видеотехнике для уплавнения смены кадров. Традиционные алгоритмы интерполяции кадров, используемые в телевизорах, заточены под естественные видеоролики и низкую частоту кадров, а в играх используются более разнообразные данные, и выводится игровое изображение обычно с куда более высокой частотой кадров. Кроме этого, в игровом изображении присутствуют элементы пользовательского интерфейса, а существующие модели интерполяции кадров в телевизорах не всегда справляются с ними идеально.

К тому же, в 3D-играх можно получить больше возможностей для анализа, используя дополнительные входные данные, такие как векторы движения, буфер глубины, маски и другие буферы, что облегчает более качественную интерполяцию движения. Есть с этим и сложности: векторы движения точны для большинства пикселей, но для бликов и отражений они не соответствуют движению, а данные о глубине могут быть неверными при отрисовке пользовательского интерфейса. И если использовать исключительно данные геометрических векторов движения, то могут возникать артефакты на таких элементах кадра, как интерфейс и тени. Элементы пользовательского интерфейса можно отрисовать и отдельно, но можно использовать нейросеть в том числе и для качественной интерполяции интерфейса.

Алгоритм генерации промежуточных кадров в DLSS 3 использует в качестве входных данных уже отрисованные текущий и предыдущий кадры, поле оптического потока и данные от игрового движка: буферы глубин и векторов движения. В поле оптического потока захвачено направление и скорость движения пикселей от первого кадра ко второму. Вместе с попиксельным анализом поля оптического потока алгоритм DLSS 3 использует векторы движения для точного отслеживания геометрии в сцене — в примере выше это помогает отследить движение дорожного полотна, но не тени на нем. Комбинация помогает точнее определять предполагаемое движение в кадре: если не использовать оптический поток при генерации промежуточных кадров, то на итоговом изображении будут видны артефакты типа дергающейся тени. Для каждого пикселя нейросеть решает, как использовать информацию из буфера векторов движения и из поля оптического потока — использование двух типов данных о движении в сцене дает возможность точного воссоздания геометрических и пиксельных данных в сгенерированных кадрах. Пример на иллюстрации показывает, как алгоритмы анализа позволяют воссоздать тень от мотоцикла с большей точностью, чем при использовании только векторов движения или только оптического потока.

Но если в DLSS 3 была возможность генерации лишь одного промежуточного кадра, то в DLSS 4 нейросеть способна вставить уже несколько таких кадров — до трех. Алгоритм MFG способен сгенерировать от одного до трех промежуточных кадров между двумя кадрами, полученными от GPU, которые тот отрисовал традиционным способом. Как и в случае FG из прошлой версии DLSS, основа метода — интерполяция с использованием ИИ, который генерирует дополнительные кадры для заполнения промежутка между двумя соседними «реальными» кадрами. Сгенерированные кадры вставляются в общий поток выходных кадров для повышения плавности. Используется генерация на основе уже отрисованных кадров, а не экстраполяция, которая бы предсказывала следующие кадры — это возможно и появится в будущем, но пока что генерируются исключительно промежуточные кадры на основе уже отрисованных предыдущих.

Для улучшения генерации кадров в DLSS 4 пришлось изменить алгоритм, который объединяет аппаратные возможности решений архитектуры Blackwell и новую программную модель, не использующую аппаратный блок генерации оптического потока, как ранее. Новый алгоритм использует модель ИИ, которая одновременно улучшает производительность на 40% и снижает потребление видеопамяти примерно на треть. Снижение использования объема видеопамяти на практике зависит от игры и разрешения: при использовании на выходе 4K новый метод использует на 500-600 МБ меньше видеопамяти, при 2560×1440 — на 250-300 МБ, при Full HD — примерно на 200 МБ. Это может показаться незначительным улучшением, но для видеокарт с 8 ГБ памяти это вполне весомые 7%-8% от общего объема в 4K, что довольно немало.

Для эффективной работы нового многокадрового генератора используются блоки, появившиеся в архитектуре Blackwell — это и улучшенные тензорные ядра с увеличенной производительностью, и AI Management Processor для эффективного распределения нагрузок ИИ и рендеринга по исполнительным ядрам. Графическому процессору в процессе работы DLSS необходимо выполнять сразу пять моделей ИИ для суперразрешения, реконструкции лучей и генерации нескольких кадров для каждого отрисованного кадра, и всё это нужно сделать за несколько миллисекунд. Новая ИИ-модель генерации кадров запускается только один раз на каждый отрисованный кадр для генерации сразу нескольких дополнительных кадров, а в реализации DLSS 3 потребовалось бы запускать ее многократно, что ухудшило бы задержку вывода.

Но еще важнее аппаратный блок Flip Metering, позволяющий более точно управлять синхронизацией вывода кадров на дисплей. Генерация одного кадра в DLSS 3 использовала синхронизацию вывода кадров на экран при помощи CPU, что иногда приводило к нестабильной частоте кадров и неплавному их выводу, и для улучшения этого процесса при генерации сразу нескольких кадров в Blackwell используется специализированный аппаратный блок синхронизации кадров в дисплейном движке Flip Metering. Важно как можно плавнее и равномернее выводить кадры на дисплей, ведь частота кадров в итоге будет очень высокая — исключительно плавные 240 FPS или больше обеспечить не так просто, нужно очень точно выводить кадры, и каждая миллисекунда задержки будет ощущаться пользователем как неплавность и рывки.

Что касается производительности, то учетверение частоты кадров оставляет порядка 1 мс временны́х затрат на генерацию каждого интерполированного кадра, и новые решения серии GeForce RTX 50 с этим неплохо справляются при помощи новых архитектур нейросетей и их оптимизации под тензорные ядра Blackwell. Новый метод многокадровой генерации DLSS 4 разделен на две части: нейросеть запускается для каждой пары входных кадров, а ее выходные данные повторно используются при генерации каждого интерполированного кадра. Это разделение позволило снизить задержки и улучшить эффективность, а улучшенная оценка потока в новом методе позволяет генерировать более качественные выходные кадры.

При этом новый метод используется не только на видеокартах серии GeForce RTX 50, но и на RTX 40. Но почему тогда нельзя было включить многокадровую генерацию хотя бы на самых мощных моделях линейки RTX 40? Nvidia говорит, что для обеспечения плавного выхода большого количества кадров жизненно необходим тот самый специализированный аппаратный блок контроля вывода кадров, который появился лишь в решениях архитектуры Blackwell. Сложно достоверно узнать, так ли это на деле, ведь на картах RTX 40 он в любом случае эмулируется программным методом, но ограничение технологий исключительно новыми решениями для их продвижения — давно привычное дело.

Также очень важно, что генерация кадров может повысить выходную частоту кадров и в тех случаях, когда та ограничена мощностью центрального процессора — ведь генерация кадров исполняется как постфильтр полностью на GPU на основе уже отрисованных кадров. Система не может отрисовать больше «настоящих» кадров, чем это способен сделать CPU, но генерация кадров DLSS всё равно будет работать, добавляя промежуточные кадры, что обеспечит повышение выходной частоты кадров, а это воспринимается человеческим мозгом как видеоряд с большей плавностью. Реальное количество кадров при многокадровой генерации зависит много от чего — от самой игры, от выбранного выходного разрешения и от других условий, и при условии ограничения скорости мощностью GPU новая модель, по оценке Nvidia, способна генерировать больше кадров по сравнению со старой, что еще больше улучшает плавность вывода.

Оценка плавности и качества

Пока это была теория, а что с практикой? Если с масштабированием и реконструкцией лучей всё более-менее очевидно, они безусловно полезны и результат их работы понятен, то протестировать многокадровую генерацию MFG и наглядно показать результаты очень непросто, ведь технология разработана для очень высокой частоты кадров и соответствующих мониторов с высокой частотой обновления. Если типичный монитор не может показать более чем 60 FPS, то включение MFG с обеспечением до 240 FPS в максимальном режиме не даст игроку с таким монитором абсолютно ничего. Точно так же мы не в состоянии показать видеоролик с более чем 60 FPS на вашем «неигровом» мониторе.

Более того, даже записать видео с частотой кадров 240 FPS для анализа непросто, и это еще мягко говоря. Специализированных карт видеозахвата, способных захватить 4K при частоте 240 FPS, просто не существует, а исследовать разрешение Full HD в наше время довольно бессмысленно. Программные методы захвата также пока ограничены частотой 120 FPS, и даже просто получить 240 FPS очень сложно, а нужно еще как-то показать их вам. В общем, мы решили использовать программно-аппаратный захват со 120 FPS, так что всех возможностей DLSS 4 MFG мы вам не покажем при всем желании — просто знайте, что всё можно улучшить еще минимум вдвое. А для того чтобы вам не требовался при просмотре видеосравнений монитор с частотой обновления 120+ Гц, мы замедлили соответствующие видеозаписи. Таким образом на них можно увидеть все кадры — и реальные, и сгенерированные, — чтобы оценить улучшенную плавность.

Вот один из таких примеров, который показывает разницу между рендерингом с отключенной генерацией и со включенной на максимальный режим с тремя дополнительными кадрами. Слева движения персонажей заметно более дерганые и прерывистые, а справа — более сглаженные и плавные. Именно так технология и работает, хитро интерполируя промежуточные кадры, дополняя их информацией, не существующей в кадре — из-за этого видны небольшие артефакты в виде шлейфов, подобных смазыванию в движении motion blur, только более явных. К ним мы еще вернемся.

В идеале нужно бы захватывать видео в 4K-разрешении с 240 FPS, чтобы вы его потом смотрели на соответствующем мониторе, получая полное представление о работе этой технологии. Увы, пока что это технически невозможно, поэтому имеем то, что имеем. Генерацию кадров желательно использовать при более высокой скорости рендеринга, чем 30 FPS — нужны хотя бы 45-50 FPS, а еще лучше — стабильные 60 FPS, чтобы задержки вывода всегда гарантировали комфортную игру. Мы же приводим примеры с меньшим FPS исключительно из-за технических ограничений. С другой стороны, нужно понимать и то, что артефакты генерации кадров становятся виднее при проигрывании замедленной записи, чем при игре с частотой кадров порядка 120-240 FPS.

Вот еще один пример замедленного видео, записанного без MFG и с этой технологией, и второй вариант кажется заметно более плавным. Как видите по счетчику FPS в углу изображения, выходное количество кадров в секунду увеличивается весьма серьезно — с 50-60 FPS до 160-180 FPS, что, собственно, и требуется от многокадровой генерации. Задержки при базовой частоте около 60 FPS будут приемлемыми, а вывод с многократно увеличенной кадровой частотой улучшит плавность видеоряда — требуемый результат в этом случае достигнут. По этим двум примерам очевидно, что многокадровая генерация работает, выполняя ровно то, что заявлено — интерполирует дополнительные кадры между основными отрендеренными «честно», и это улучшает плавность.

Если говорить о качестве изображения, то новый алгоритм многокадровой генерации в DLSS 4 практически ничего не меняет по сравнению с предыдущими версиями. Общее качество картинки будет менее размытым, более детализированным и с меньшим количеством артефактов, но эти улучшения достигаются в основном благодаря модели трансформера в масштабировании и реконструкции лучей, так как именно на таких кадрах основывается генерация дополнительных кадров. Но зато новая генерация кадров улучшает другие аспекты — увеличивает количество кадров, обеспечивая их более равномерный вывод и используя меньше видеопамяти — всё это одновременно.

В видео выше мы сравниваем варианты с отключенной и со включенной на максимум MFG, а также в старом формате, с генерацией лишь одного кадра, как уже было в DLSS 3.5 — на этом примере как раз хорошо видно, что ничего сильно не изменилось, и в целом это просто большее количество сгенерированных кадров и бо́льшая выходная частота кадров. Соответственно, и артефакты остались ровно теми же:

В этом коротком видеосравнении из The Last of Us 2 как раз хорошо видны основные проблемы генерации кадров: при быстром движении объекта в кадре и замыленном заднем фоне хорошо заметны артефакты генерации, когда она просто не может четко определить, что́ должно быть в промежуточных кадрах. Именно поэтому на движущихся гранях мы видим двоения, полоски и другие типичные артефакты, связанные с генерацией промежуточных кадров.

Если по видеосравнению не слишком хорошо понятно, о чем речь, то на приложенных ниже скриншотах мы приводим стоп-кадры моментов с наиболее заметными артефактами, проявляющимися именно при быстром движении объектов в кадре, с чем хуже всего справляется кадровая генерация — ну не может она всегда правдоподобно дорисовать большое количество пикселей, по крайней мере в текущей реализации технологии, когда на генерацию кадров тратятся буквально единицы миллисекунд.

На всех сравнительных скриншотах выше хорошо видны типичные проблемы генерации промежуточных кадров, когда крупные объекты близки к камере и быстро перемещаются перед ней — в таких случаях даже самые продвинутые из существующих алгоритмов не справляются с на 100% достоверной дорисовкой пикселей и не всегда корректно дополняют картинку.

Вы можете самостоятельно поискать подобные артефакты в приложенной ниже полной видеозаписи в 4K-разрешении встроенного бенчмарка Cyberpunk 2077 без генерации кадров, а также в режимах 2× и 4× — первый доступен на всех решениях семейства GeForce RTX 40 и новее, а второй — только на GeForce RTX 50.

Наверное, самая явная проблема генерации — ореолы вокруг объектов, лучше всего заметные в играх с видом от третьего лица, если за объектом быстро меняется фон. DLSS 4 неидеально справляется с подобными артефактами в любом режиме, что хорошо заметно на примере игр The Last of Us, Horizon Zero Dawn и Black Myth Wukong, когда за головой героя появляется трава или другие мелкие детали — при включении генерации будет видно много артефактов вокруг головы. Но при использовании разрешения 4K большинство таких артефактов просто незаметны при игре, их видно лишь при изучении скриншотов и роликов с увеличением и замедлением. В большинстве случаев искажения и артефакты не так уж сильно влияют на общее восприятие картинки в процессе игры.

Чтобы вы смогли еще нагляднее оценить самые значимые артефакты, предлагаем посмотреть на них в игре The Last of Us 2 — при включении кадровой генерации, особенно многокадровой, при резких движениях вокруг главного персонажа отлично видны остаточные следы, ореолы и прочие артефакты, связанные с работой алгоритма MFG. Это довольно объемный видеоролик, в котором показаны изменяемые в процессе графические настройки и визуальный результат.

Внимательнее всего смотрите на голову героини, на ее волосы, а также на провода в небе — на них отлично видны указанные выше проблемы с качеством. Ну а если вам лень отыскивать эти артефакты в большом 4K-видео без замедления, то вот увеличенный и замедленный видеоролик из этой сцены, в котором всё отлично видно. Но еще раз: при игре эти артефакты вообще почти незаметны, а тут мы просто намеренно приводим их в наиболее удобном для восприятия виде, чтобы было понятно, о чем идет речь:

В общем, как вы могли убедиться, все преимущества однокадровой генерации усиливаются, но одновременно усиливаются и ее недостатки. При высокой базовой (до включения MFG) частоте кадров где-то от 90-100 FPS артефакты генерации кадров почти не видны на глаз (видно их только при анализе скриншотов и при замедлении видео), но при кадровой частоте порядка 60 FPS и ниже недостатки будут более заметны. И если в идеальных условиях генерация придает видеоряду очень приятную плавность и гладкость, то в сложных случаях артефакты могут быть даже заметнее, а задержки точно вырастут больше, чем при однокадровой генерации, так что выбирать количество генерируемых кадров в каждом случае нужно с умом. Вот еще фрагмент из этой же игры, в котором хорошо видны проблемы с качеством — также в сильно замедленном виде:

Надеемся, что все минусы технологии генерации кадров теперь вам понятны, и тут просто нужно понимать, что́ вы получите при ее включении, а что́ можете потерять. В современных играх с поддержкой DLSS 4 или в играх, получивших такую поддержку патчами, пользователь обычно может выбирать из трех режимов генерации кадров: 2× — генерация одного промежуточного кадра, как в предыдущих версиях DLSS, а также 3× и 4× — которые генерируют два или три дополнительных кадра соответственно. Наименования режимов показывают, во сколько раз увеличится выходная частота кадров — от двух до четырех. Выбор нужно делать исходя из базовой частоты кадров в конкретной игре и возможностей вашего монитора — в частности, нет смысла ставить режим 4× при наличии монитора с частотой вывода всего лишь 60-75 Гц.

Субъективно о частоте кадров и задержке

С точки зрения частоты кадров, включение MFG просто дает больше дополнительных сгенерированных кадров, а задержка вывода на экран относительно оригинального рендеринга при этом как минимум не уменьшается, чаще всего даже слегка возрастает, да и по сравнению с однокадровым FG она тоже немного растет — ведь GPU тратит время на интерполяцию этих дополнительных кадров, хотя и сравнительно немного времени.

При традиционном рендеринге ввод данных от игрока (от клавиатуры и мыши или геймпада) обрабатывается на CPU, затем кадр отправляется в очередь для отрисовки на GPU и далее отправляется на дисплей. Между действиями игрока и выводом этих действий на экран проходит некоторое время — задержка ввода, которая может быть достаточно некомфортной даже при высокой частоте кадров. Для минимизации задержек Nvidia еще в 2020 году внедрила дополнительную технологию Reflex, которая снизила задержку при помощи усовершенствованной обработки кадров на CPU. Она использует синхронизацию работы CPU и GPU, но со временем потребовалось еще большее снижение задержки, так как в остальной части конвейера были возможности для улучшения.

С тех пор технология получила несколько улучшений, и в последней версии сочетается уже известный нам режим Low Latency с новой технологией Frame Warp, известной по VR, которая еще сильнее сокращает задержку при помощи обновления кадра на основе информации о действиях игрока перед отправкой кадра на дисплей. Это репроекция (изменение параметров камеры) кадра уже после окончания рендеринга на основе самых последних данных о действиях игрока прямо перед отображением кадра. Похожий подход уже использовался в приложениях виртуальной реальности, у Nvidia есть определенный опыт подобной работы, но артефакты при репроекции могут быть еще заметнее на мониторе, так как в VR они возникают на периферийной части кадра и не так заметны глазам, которые смотрят в основном в центр.

Артефакты при репроекции — это пробелы в кадре, появляющиеся потому, что там должны быть показаны невидимые области из-за позднего значительного смещения камеры в результате управления игроком прямо перед выводом кадра на дисплей. Есть несколько вариантов для решения проблемы таких артефактов. Можно отрисовывать чуть бо́льшую площадь кадра по периметру, а потом обрезать его, но это не решит проблемы полностью. В Nvidia используют другой подход — предиктивный рендеринг, который предсказывает действия игрока. Вместо того чтобы отрисовать кадр с точки зрения игрока, движение камеры экстраполируется в зависимости от предыдущего ввода, и рендеринг производится с предсказанием перемещения камеры. Затем кадр деформируется к настоящей точке зрения в момент перед отображением, приближаясь к фактическим действиям игрока, так что финальное изображение совпадает с реальной перспективой. Такой подход значительно снижает размер артефактов по периметру кадра, слабо влияя на производительность, а незаполненные пробелы легко можно заполнить пикселями — это типичная задача для нейросети, для чего технология использует данные из предыдущих кадров.

Frame Warp дополнительно помогает снизить задержки, обеспечивая улучшения и в соревновательных играх, но этот момент с задержками нужно исследовать отдельно, используя весь доступный спектр программных и аппаратных средств, что выходит за рамки данного материала. Пока что мы просто доверимся программным счетчикам: по данным Nvidia, включение режима Reflex Low Latency способно снизить задержку ввода в разы, особенно в играх, производительность рендеринга в которых зависит от мощности CPU, а таких среди соревновательных шутеров немало. Так что сегодня больше внимания обращаем на частоту кадров, а не на задержки — их мы будем считать условно приемлемыми при как минимум 50-60 FPS до включения генерации кадров.

К слову, вместе с появлением генерации кадров DLSS 4 изменился и программный инструментарий для оценки качества темпа выдачи кадров (frame pacing) в режиме генерации кадров, так как с появлением новой версии набора технологий Nvidia изменила реализацию подачи кадров. Она теперь выполняется не на стороне приложения при входе в конвейер рендеринга, а на его выходе. И тут есть отличие в зависимости от аппаратного обеспечения: на решениях новой линейки GeForce RTX 50 за это отвечает специализированный аппаратный блок flip metering, а на предыдущих решениях с поддержкой генерации кадров (только RTX 40) используется эмуляция этого блока на уровне драйвера.

Для каждого сгенерированного при помощи ИИ кадра задается некоторая задержка, позволяющая отсрочить его вывод после выхода из конвейера, так как ИИ-кадры входят в конвейер сразу же после отрисовки очень быстро, за доли миллисекунды, то есть почти с нулевым временем между кадрами. И из-за того, что после каждого реально отрендеренного кадра, на который уходит по несколько миллисекунд, следует один или несколько коротких сгенерированных кадров, график времени показа кадров в режиме генерации кадров получается скачкообразным: «длинный-короткий-длинный-короткий» для RTX 40 или даже «длинный-короткий-короткий-короткий-длинный-короткий-короткий-короткий» в случае MFG 4× на RTX 50. Такой график выглядит пилообразным или «толстым» и может смутить пользователей, ведь получается как будто рваный темп выдачи кадров. Но именно так и должен работать конвейер при работающем алгоритме генерации кадров DLSS 4.

Для корректной оценки качества выдачи кадров при работе DLSS 4 нужно использовать новейшие версии MSI Afterburner с RTSS версии 7.3.7 beta 8 build 28221, в котором появилась специальная версия PresentMon с поддержкой flip metering на графических процессорах Nvidia. Новая версия утилиты получила специальный макет оверлея presentmon_framegen.ovl для плагина OverlayEditor, удобный для понимания алгоритма работы frame pacing на решениях RTX 40 и RTX 50 при генерации кадров, так как он показывает статистику о времени кадров на входе и на выходе графического конвейера. Верхние графики времени кадра и GPU busy наложены друг на друга и отображают привычные интервалы времени на входе в конвейер рендеринга (present-to-present), а нижний показывает время кадра на выходе из конвейера (display-to-display).

На скриншотах выше показан пример использования такой статистики в игре Cyberpunk 2077 при включенной и при выключенной генерации кадров на GeForce RTX 4080. Слева на графике с генерацией кадров изображен момент неактивной генерации кадров, и в этот момент времена кадра на входе и на выходе конвейера полностью совпадают — ровно как и на скриншоте без включения генерации кадров. Но далее, уже в правой части графика с FG, показана ситуация со включенной генерацией кадров DLSS 4, где график времени кадров превратился в широкую «пилу» с разным временем кадра. Но flip metering расставил кадры по местам и превратил входную неравномерную подачу кадров «длинный-короткий-длинный-короткий» в равномерный вывод на экран, так и должен работать корректный алгоритм выдачи кадров. А «пила» на входе в конвейер при работе генерации кадров DLSS 4 обязана быть. То же самое касается и графика GPU busy, поскольку сгенерированные ИИ кадры тратят в разы меньше времени GPU при их отрисовке, чем реально отрендеренные.

Также на этом оверлее сверху изменены числовые индикаторы времени кадров и GPU busy: чтобы значения не скакали от больших (реальные отрендеренные кадры) до очень низких (сгенерированные кадры), мгновенные значения времени заменены максимумом последних четырех кадров — таким образом отбрасываются времена ИИ-кадров и показываются только времена рендеринга реальных кадров. Метрики процентилей 1% low и 0,1% low в этом макете оверлея также рассчитываются и отображаются для входного и для выходного времен кадров независимо, и различия между ними можно использовать для оценки плавности вывода. Но еще раз повторим, что подобные глубокие исследования плавности вывода кадров выходят за рамки данного общего материала.

Что же касается частоты кадров, то мы провели свои тесты при разрешении 4K в режимах DLSS Quality и Performance, их результаты и анализ приведены в следующем сводном разделе. Первый метод дает отличное качество картинки (в чем-то чуть худшее, чем родное разрешение, но в чем-то даже лучшее — см. раздел исследования качества), а второй обеспечит отличную производительность при небольшой потере визуального качества и больше подойдет для владельцев не самых мощных видеокарт. Нужно помнить, что включать генерацию кадров при базовой частоте кадров ниже 40-45 FPS вообще нет смысла, это не даст требуемого комфорта даже на минимальном уровне, а лучше иметь 50-60 FPS, это мы и считаем минимальным пределом. Ну а настройку снижения задержек Reflex лучше всегда оставлять включенной, негативного ее влияния мы не заметили, а позитивное точно присутствует.

Nvidia говорит о том, что генерация дополнительных кадров не приводит к значительному увеличению задержки вывода и MFG по сравнению с FG тоже увеличивает задержку несущественно, но в реальности даже на топовых видеокартах генерация кадров имеет некоторые издержки — дополнительные кадры генерируются очень быстро, но не мгновенно, и задержка с генерацией будет всё же выше на несколько миллисекунд. В итоге при видимом росте выходного FPS ощущение отзывчивости игры и задержка вывода даже ухудшаются.

При повышении количества сгенерированных кадров задержка будет ухудшаться и далее, в режиме 4× она может упасть уже на 25% из-за дополнительных затрат на генерацию большего количества кадров. Например, в одном из проведенных тестов задержка выросла с исходных 35 мс до 40 мс при одном сгенерированном кадре и до 43 мс при трех дополнительных кадрах. Так что маркетинговые сравнения GeForce RTX 5070 с включенным MFG и GeForce RTX 4090 с FG только по частоте кадров, безусловно, полностью некорректны и вообще не должны бы приводиться в материалах компании — упоминание роста FPS без оговорки о задержке вывода является введением в заблуждение. Всё не так плохо, когда задержка достаточно низкая даже при трех дополнительных сгенерированных кадрах, но такие графики — это явное лукавство.

Да, GeForce RTX 5070 с включением многокадрового MFG 4× может быть сопоставима по частоте кадров с RTX 4090 с однокадровым FG, но при одинаковом FPS вывода задержки между вводом и выводом в первом случае будут на 40%-50% выше. Иногда этим вполне можно пренебречь, особенно в случае однопользовательских игр без особой динамики в кадре, но для соревновательных проектов это лишь ухудшит ощущения игрока — пользователь увидит глазами повышенную плавность, но еще больше ощутит увеличение задержки, как будто при низкой входной частоте кадров.

Так что в каком-то смысле MFG можно назвать методом сглаживания картинки Motion Blur, просто более качественным, ведь это интерполяция промежуточных кадров. Технология действительно обеспечивает повышение выходной частоты кадров, что приятно ощущается глазами и мозгом, но она немного увеличивает задержки даже по сравнению с FG — генерацией одиночного кадра. MFG как бы усиливает и плюсы, и минусы базовой технологии: кадров будет больше, но и артефактов больше, и задержки вырастут. Включать ли MFG вообще, и какой именно метод — нужно решать в каждом конкретном случае в зависимости от имеющегося монитора и получаемой производительности в виде входной частоты кадров. В лучшем случае MFG обеспечит более плавный вывод видеоряда при максимальной частоте обновления монитора, но запросто может и ухудшить ситуацию, добавив артефакты и увеличив задержку вывода.

Что можно сказать точно — технологию генерации кадров следует использовать при сравнительно высокой базовой частоте кадров. Самый-самый минимум тут — 45-50 FPS, но мы всё же рекомендуем хотя бы 60 FPS. В таких случаях и задержки останутся достаточно низкими после некоторого их увеличения при активации MFG, и артефактов добавится не слишком много, ведь визуальная разница между соседними кадрами будет не слишком большой. Так что, к сожалению, генерация кадров MFG никак не способна улучшить положение дел для обладателей слабых видеокарт, и при базовых 30 FPS она не даст вам комфортные 60 и тем более 120 FPS — картинка действительно станет плавнее, но ощущения игрока куда сильнее зависят от фактической скорости рендеринга, от задержки между его действием и отображением результата на экране.

Так что мы рекомендуем использовать MFG на сравнительно мощных GPU при наличии игрового монитора хотя бы с частотой обновления 120 Гц и при базовой частоте кадров не менее 60-70 FPS, тогда вы получите искомые 120-240 FPS (в зависимости от имеющегося монитора). Артефактов будет не слишком много, а задержка останется приемлемой, и хотя включение MFG ее повысит, но для однопользовательских игр этого хватит. Если же включать технологию при более низкой стартовой частоте кадров, то итоговый результат будет ощущаться очень неприятно, действия на экране будут отображаться с задержкой, всё будет слишком вязко и медленно, а артефакты станут сильно заметны.

При этом гнаться за сверхвысокой частотой кадров тоже особого смысла нет, ведь прирост плавности между 120 и 240 FPS не так сильно ощутим на практике, как при подъеме с 60 до 120 FPS, что еще больше снижает актуальность технологии MFG. Да, она в целом рассчитана скорее на небедных энтузиастов с дорогим железом в виде мощной системы и продвинутого игрового монитора, но даже они могут просто не увидеть большой разницы между режимами с включением MFG и без нее. Многокадровая генерация явно не стоит того, чтобы менять решения линейки RTX 40 на аналог из серии RTX 50, это всего лишь дополнительный бонус для владельцев быстрых игровых мониторов, включать который нужно с пониманием и осторожностью, так как в некоторых случаях можно получить даже ухудшение комфорта из-за увеличившихся задержек.

Итоговые результаты

Главное, что нужно понимать по итогу: масштабирование разрешения в составе DLSS — рабочая технология для повышения производительности (всегда) и улучшения качества (иногда), а вот генерация кадров не является технологией повышения частоты кадров в привычном понимании, так как человек чаще ощущает проблемы с большой задержкой вывода на экран, а она при включении (M)FG только возрастет. По сути, эта технология нужна только обладателям игровых мониторов с поддержкой высокой частоты обновления — для улучшения исключительно визуальной плавности, но не ощущений игрока в процессе. Точнее стрелять и лучше ездить за счет этой технологии вы не станете.

Но если у вас есть все составляющие в виде мощной видеокарты Nvidia современной серии и очень быстрый игровой монитор, то использование набора технологий DLSS 4 способно обеспечить одновременное улучшение качества картинки с увеличением частоты кадров — по сравнению с традиционным рендерингом в полном разрешении и при некоторых условиях и оговорках. По данным Nvidia, включение технологий DLSS 4 на примере игры Avowed может повысить частоту кадров с 35 FPS до 215 FPS, и это при сохранении как минимум схожего качества изображения. При этом задержка ввода снижается со 114 мс до 43 мс, что значительно улучшает отзывчивость игры и ощущения пользователя.

И действительно, задержка по сравнению с рендерингом в родном разрешении будет ниже, хотя без применения генерации кадров она была бы даже еще ниже. Но когда и таких значений достаточно для комфорта, то вполне можно включить MFG, получив очень плавный вывод кадров на игровой монитор с высокой частотой обновления, поэтому нельзя сказать, что многокадровая генерация не нужна вообще. Давайте посмотрим на конкретном видеопримере, что́ дает включение сразу всех технологий DLSS на видеокарте уровня GeForce RTX 5080.

Без использования технологий DLSS при максимальных настройках качества эта игра в 4K просто неиграбельна — 15-20 FPS мало даже для минимального комфорта. Сначала включаем только реконструкцию лучей и масштабирование DLSS в качественном режиме и получаем 35-40 FPS — для многих и этого уже будет достаточно. Но при наличии игрового монитора и понимании того, что даже в режиме масштабирования Performance качество получается очень неплохим, можно включить как этот режим, так и многокадровую генерацию в максимальном варианте 4×. Задержка ввода при этом останется на комфортном уровне как при примерно 60-70 FPS в обычном режиме без MFG, а плавность видеоряда возрастет до 160-190 FPS, и в итоге игра будет комфортна как глазам, так и мозгу.

Давайте на удобных для восприятия диаграммах рассмотрим, что получается с производительностью в нескольких играх на видеокартах GeForce RTX 5080 и RTX 4080. Модель прошлого поколения отличается от более новой чуть меньшей производительностью, но в первую очередь — именно отсутствием возможности включения многокадровой генерации. Так мы поймем, что́ могут дать игрокам в разных проектах технологии DLSS, включая спорную и не всегда полезную многокадровую генерацию. В этих тестах всегда использовалась новая модель трансформера при масштабировании разрешения и всегда включалась реконструкция лучей при наличии ее поддержки.

Игра Cyberpunk 2077 при максимальных графических настройках без DLSS (или аналогичных технологий) в разрешении 4K неиграбельна на обоих тестовых GPU, да и включение качественного сглаживания DLAA (это DLSS без масштабирования, но с использованием информации из предыдущих кадров, поэтому дающее более качественную картинку) не обеспечивает требуемого комфорта. Включаем просто DLSS — и получаем вполне приемлемые 55 и 59 FPS для RTX 4080 и RTX 5080 соответственно.

Задержка ввода при такой производительности будет приемлемой, и на игровых мониторах с частотой обновления более 60 Гц можно применить генерацию кадров, чтобы видеовывод стал более плавным (см. 4K-видео выше). Для RTX 4080 можно включить только генерацию одного промежуточного кадра, получив в итоге 94 FPS, что подойдет лишь для некоторых игровых мониторов. На RTX 5080 же можно включить генерацию трех кадров, получив на выходе 180 FPS, что отлично подойдет для более быстрых мониторов с частотой обновления 144-180 Гц.

Но можно ли играть в режиме Quality с генерацией кадров FG 2× или 4×? Будут ли эти 62-69 FPS или даже 127 FPS (для RTX 5080) играбельными? Однозначно нет, потому что базовая частота с DLSS Quality без генерации кадров не достигает и 40 FPS в обоих случаях, что сделает задержку ввода слишком большой и некомфортной для игры. Так что режим Quality для 4K не подходит в любом случае, и в целом RTX 4080 и RTX 5080 в этой игре близки по производительности, несмотря на более чем двукратную разницу в выходной частоте кадров после включения генерации.

Предварительная версия Half-Life 2 RTX еще более требовательна к мощности GPU, и без DLSS на указанных видеокартах в нее тоже не поиграть в разрешении 4K и с трассировкой пути. Режим DLSS Quality также не даст требуемой частоты кадров и задержки, и даже Performance тут на грани — даже в случае RTX 5080 базовой частоты кадров в 51 FPS может не хватить для комфортной игры с низкими задержками.

Так что генерация кадров тут ничего не поменяет, включать ее при такой низкой базовой частоте кадров (уже с масштабированием DLSS, но без генерации кадров) нет никакого смысла. К сожалению, в таких случаях придется или мириться с высоковатыми даже для однопользовательской игры задержками, или снижать качество DLSS до Ultra Performance. А этот режим хоть и стал заметно лучше с ИИ-моделью трансформера, но всё же сильно отстает по детализации текстур и сглаживанию граней от более качественных режимов. Так что и тут RTX 4080 с RTX 5080 виртуально почти равны по возможностям, и MFG ничего не поменяла.

Игра по киносериалу Indiana Jones несколько менее требовательна даже при включении трассировки и максимального качества графики, но всё равно неиграбельна в родном 4K-разрешениии. Включение режима DLSS Quality дает лишь 38-40 FPS, а вот Performance обеспечивает играбельные 51-54 FPS, при которых задержка ввода будет приемлемой для такого жанра. Поэтому можно даже дополнительно включить генерацию кадров — на обеих видеокартах.

Тогда GeForce RTX 4080 выдаст не суперплавные 88 FPS, а вот RTX 5080 с многокадровой генерацией сможет обеспечить 163 FPS, что уплавнит вывод кадров на игровых мониторах с частотой обновления 120-144 Гц, и задержка при этом останется вполне приемлемой. Снова останавливаемся на режиме DLSS Performance для обеих видеокарт, и преимущество более новой видеокарты будет лишь в чуть большей плавности вывода при наличии соответствующего монитора. Ощущения же при игре на этих двух GPU будут аналогичные.

Эта игра не использует весьма ресурсоемкую трассировку, поэтому даже без включения любых технологий из набора DLSS даст с комфортом поиграть на тестовых видеокартах. Разница между ними не слишком велика, и возможно, тут есть смысл включить DLAA или хотя бы DLSS Quality — качество местами заметно улучшится, да и производительность во втором случае позволит спокойно использовать более плавный вывод кадров с частотой 105-114 FPS.

Тут вполне можно и даже нужно включать генерацию кадров — причем с таким количеством генерируемых кадров, которое позволит имеющийся монитор. Если у вас монитор с частотой обновления 240 Гц, то на RTX 5080 можно использовать режим MFG 4×, получив просто идеальную плавность, а задержка останется на уровне более 100 FPS — отзывчивее, чем без использования технологий DLSS вовсе. В этой игре у более новой видеокарты RTX 5080 некое преимущество есть: она обеспечит максимум плавности и на 4K-мониторах с частотой обновления 240 Гц, чем RTX 4080 похвастать не может.

Ну и последний проект, который мы рассмотрим в итоговом анализе — Alan Wake 2. Эта игра также использует трассировку пути, поэтому она очень ресурсоемка — примерно на уровне Indiana Jones, хотя до Cyberpunk 2077 и не дотягивает. Без технологий DLSS играть в 4K не получится, но сразу обратим внимание на большую разницу между RTX 4080 и RTX 5080 по сравнению с предыдущими играми — в пользу более нового GPU, разумеется.

Включение DLSS Quality приближает RTX 5080 к приемлемому уровню FPS и задержки (для игры такого жанра будет нормально), а вот на системе с RTX 4080 придется использовать режим Performance или хотя бы Balanced. Так что в этой игре преимущество более новой видеокарты тоже есть. Кроме этого, она даст вывести более 150 FPS на игровой монитор с частотой обновления 120-144 Гц, сохранив приемлемую задержку и качество DLSS Quality, тогда как на RTX 4080 придется включать DLSS Performance, но всё равно вывести хотя бы плавные 100 FPS на игровой 100-герцовый монитор не получится — именно в таких условиях решения нового семейства RTX 50 и имеют некоторое преимущество из-за поддержки технологии MFG. Самое время подвести итоговые выводы по всему набору технологий DLSS 4.

Выводы

В наборе технологий DLSS 4 были сделаны существенные обновления, причем сразу во всех составляющих: реконструкции лучей Ray Reconstruction, масштабировании разрешения Super Resolution и DLAA, а также генерации кадров. Если ранее DLSS использовала сверточные нейронные сети (CNN) для генерации новых пикселей при помощи анализа локализованного контекста и отслеживания изменений в последовательных кадрах, то новая модель трансформера точнее оценивает важность каждого пикселя и в кадре и в нескольких кадрах. Модели, используемые в DLSS 4, принимают на входе вдвое больше параметров для более глубокого понимания сцены и используют бо́льшую вычислительную мощность тензорных ядер при реконструкции изображений с лучшим качеством в статике и динамике. Новая модель трансформера генерирует изображение более высокого качества, эффективнее выполняя распознавание крупных паттернов, а также лучше масштабируется.

То же самое можно сказать и по реконструкции лучей: применение модели трансформера позволило заметно улучшить качество картинки при небольшой потере в общей скорости. Реконструкция лучей повышает качество изображения при использовании возможностей ИИ для генерации дополнительных пикселей в сценах с интенсивной трассировкой лучей — DLSS заменяет работу простых шумодавов на специально обученную нейросеть, которая генерирует более качественный выходной результат. И чем сложнее и интенсивнее трассировка лучей в сцене, тем больший прирост качества будет от смены модели, особенно хорошо это заметно в сценах со сложным освещением. Модели трансформера при масштабировании и реконструкции лучей совместно показывают отличные результаты на практике, обеспечивая лучшую четкость и временну́ю стабильность, меньшее количество ореолов и других артефактов, а также более высокую детализацию именно в движении.

В итоге новый режим Balanced в DLSS 4 по качеству примерно соответствует режиму Quality из DLSS 3, а новый Performance примерно соответствует старому Balanced. Улучшенные режимы Quality и Balanced в DLSS 4 обеспечивают детализацию практически на уровне рендеринга в родном разрешении, а в некоторых случаях даже превосходят его, если говорить о временно́й стабильности и детализации, так как технология масштабирования использует информацию из предыдущих кадров. В итоге технология масштабирования в версии DLSS 4 стала еще лучше и реально дает широкие возможности для улучшения как качества изображения, так и производительности, что встречается весьма редко. Можно смело сказать, что подход с использованием ИИ при рендеринге изменил традиционный компромисс между улучшением качества изображения и повышением частоты кадров: он позволяет получить эти две вещи одновременно, и это важное достижение в области компьютерной графики последних лет. Возможно, использование ИИ в приложениях реального времени вообще уже стало основной надеждой на заметные улучшения технологий рендеринга будущего — просто потому, что традиционные методы повышения производительности и качества за счет создания всё более сложных графических процессоров явно начали хромать.

А вот с генерацией кадров дела обстоят и сложнее, и проще одновременно. Мы знаем ее еще с прошлого поколения GeForce, а внедренная в DLSS 4 технология MFG — это просто генерация большего количества дополнительных кадров по сравнению с уже известной интерполяцией лишь одного кадра в FG. Все плюсы и минусы в целом остались теми же, просто когда FG улучшает плавность вдвое, то MFG делает видеопоток еще более плавным. Но и артефакты от FG никуда не делись, их будет еще больше — в каждом из сгенерированных кадров, а ведь их стало уже до 75% из всего потока. Очевидно, что технология генерации промежуточных кадров отлично работает в сценах с не слишком высокой динамикой, с плавным и предсказуемым движением объектов в сцене, и в таких случаях получается действительно куда более плавный результат по сравнению с исключительно честно отрисованными кадрами. Технология интерполирует все элементы, обеспечивая визуальную точность и четкость с высокой итоговой частотой кадров, что хорошо для игровых мониторов с высокой частотой вывода информации. Чаще всего MFG заметно увеличивает плавность в большинстве сцен и условий, и артефактов в кадры эта технология добавляет не слишком много.

Но в более сложных сценах с резким и/или непредсказуемым движением объектов или большим количеством маленьких или тонких деталей типа проводов и мелких частиц генерация кадров по понятным причинам пасует, так как она не может достоверно понять все нюансы движения в сцене. И артефакты двоения, размытия, искажений на границах объектов и их нестабильности проявляются тем сильнее, чем больше генерируется промежуточных кадров. Среди явных примеров — шевеление листьев на ветру, те же летящие в воздухе листья и другие мелкие объекты, висящие тонкие провода, а также быстрое движение крупных объектов в кадре. Технология генерации кадров не всегда идеально справляется с интерполяцией подобных деталей, и при включении многокадровых режимов 3× и 4× проблемы усугубляются и становятся более заметными. При высокой исходной частоте кадров и в относительно простых сценах с низкой динамикой MFG работает неплохо, артефакты практически незаметны, но при снижении базовой скорости до 30 FPS артефакты будут более заметными, а в сложных сценах картинка иногда портится из-за них довольно неприятно. Будете ли вы обращать настолько пристальное внимание на подобные мелочи при обычной игре — большой вопрос.

Поговорили о больших плюсах и небольших минусах генерации кадров, а теперь о главном минусе: ее включение всегда повышает задержку между вводом от игрока и выводом на экран, ведь генерация требует времени. Поэтому есть требования к базовой частоте FPS для включения генерации кадров (одного или нескольких), которые зависят от жанра игры и даже от устройств ввода информации. Если речь идет о стрелялках от первого лица, а также других динамичных играх, да еще при использовании точных инструментов, вроде клавиатуры и мыши, то для улучшения комфорта нужна достаточно высокая скорость рендеринга (частота кадров) — точно не менее 50-60 FPS, а лучше больше — порядка 90 FPS, чтобы при включенной генерации кадров задержка не снизилась слишком сильно. В играх с видом от третьего лица и других не слишком динамичных проектах и при использовании геймпада задержка вывода ощутима не так сильно, здесь может быть достаточно начальных 40-45 FPS. В многопользовательских же играх любых жанров генерация кадров просто бесполезна, так как лишь ухудшает задержку между вводом информации и выводом результата на экран, пусть и не слишком сильно.

В общем случае, включение генерации одного кадра зачастую даст вам возможность получить приемлемую задержку при 70 исходных FPS и 120 FPS при выводе на экран — это обеспечит комфорт управления и хорошую плавность на игровых мониторах с соответствующей частотой обновления 120-144 Гц. Многокадровая же генерация MFG потребуется в том случае, если ваш монитор умеет выводить 180 или даже 240 FPS. При тех же исходных показателях скорость вывода кадров будет под 240 FPS, и дополнительные кадры еще больше повысят плавность движущейся картинки и ее четкость в движении. То есть многокадровая генерация вообще не нужна при наличии монитора с частотой обновления менее 180 Гц, а особенно она проявит себя на мониторах с частотой обновления 360 или 480 Гц, хотя если ли практический смысл в таких частотах? При наличии лишь 120-герцового монитора генерировать 240 кадров в секунду нет смысла, дисплей их просто не покажет (и даже может вывести на экран большее количество интерполированных кадров с артефактами, чем при однокадровой генерации).

В общем, область применения MFG в итоге довольно узка: у вас должен быть игровой монитор 180+ Гц, вы должны играть в однопользовательскую игру, у вас должна быть достаточно мощная видеокарта, чтобы давать не слишком низкую базовую частоту кадров — ограничений не так уж мало. И в этом главное отличие от технологии масштабирования разрешения DLSS: последнюю можно применять везде, где не хватает производительности, в том числе для улучшения игровых задержек, а вот генерация кадров — вещь куда более нишевая и предназначена для любителей однопользовательских игр при наличии быстрых игровых мониторов. Лично мы действительно увидели улучшение плавности при работе MFG на 240-герцовом 4K-мониторе с мощной видеокартой GeForce RTX 5080, но многие ли могут себе позволить подобный набор, да и вообще так ли всё это нужно рядовому пользователю? К сожалению, в отличие от красивых маркетинговых графиков с трехзначными числами FPS, в реальности многокадровая генерация DLSS 4 впечатляет не так уж сильно. Но и принижать ее достоинства не стоит: она имеет смысл, но удваивает или даже утраивает частоту кадров лишь визуально, а не по ощущениям при игре.

Когда необходимый уровень частоты кадров на входе порядка 50-60 FPS достигается при помощи технологий масштабирования и реконструкции лучей, то включение (M)FG дополнительно работает неплохо, по сути просто добивая частоту кадров до очень плавных 120-240 FPS в зависимости от монитора — с чуть ухудшенной задержкой и с достаточно хорошим качеством интерполированных кадров. Артефакты на картинке при этом есть, но в небольшом количестве, и в динамике без пристального разглядывания заметить их почти невозможно. Качество изображения сгенерированных кадров вполне нормальное: всегда можно найти артефакты в виде ореолов и прочих ошибок интерполяции на стоп-кадрах, но в процессе игры вы их вряд ли заметите. В общем, это полезная опция, но ее нужно включать с умом, так как она сильно зависит от базовой производительности и от имеющегося монитора.

В остальном же технологии увеличения производительности DLSS 4 обеспечивают во многих режимах весьма высокий уровень картинки, лишь с незначительным ухудшением качества, а в некоторых случаях — и с улучшением из-за использования информации из предыдущих кадров. Технологии генерации кадров могут увеличивать плавность видеоряда без значительных потерь в качестве за счет незначительного ухудшения задержек. Польза от продвинутого набора технологий для улучшения производительности и качества неоспорима, глупо оценивать ее работу лишь по «мылу» первых версий DLSS в паре игр многолетней давности. Всегда найдутся ценители «честной картинки», которым нужен рендеринг в полном разрешении, но если вы практически не видите разницы на глаз между «по-настоящему» отрендеренными пикселями и сгенерированными при помощи ИИ в динамике игры, то какая разница, как они были отрисованы? Технологии нейронного рендеринга уже показали свои возможности и продолжают улучшаться, и компания Nvidia явно лидирует в этой сфере, опережая соперников как минимум на шаг.

Что касается личных впечатлений конкретно по многокадровой генерации, то автор изначально относился к ней с некоторым скепсисом, и даже после знакомства с однокадровой генерацией на GeForce RTX 4080 сомнения в полезности еще более продвинутой технологии с бо́льшим количеством дополнительных кадров всё же оставались. Многое изменила смена монитора с 4K/120 Гц на 4K/240 Гц при переходе на видеокарту GeForce RTX 5080: после того, как я посидел подольше за играми в такой аппаратной конфигурации, полезность именно многокадровой генерации удалось почувствовать на своей шкуре. На данный момент многокадровая генерация MFG — чуть ли не единственное реальное превосходство RTX 5080 над RTX 4080, но оно заметно только в случае игровых мониторов с высокой частотой обновления — от 144-180 Гц, а лучше больше.

Как именно это работает и почему полезно? Если включать во всех играх все графические настройки на максимум и использовать разрешение 4K, то даже на RTX 5080 без DLSS с трассировкой пути или просто продвинутой трассировкой лучей игры довольно часто тормозят (Alan Wake 2, Cyberpunk 2077, Half-Life 2 RTX, Indiana Jones and the Great Circle, The Last of Us Part II Remastered и так далее). На помощь приходят технологии DLSS 4 — сначала масштабирование разрешения. Как показала практика, зачастую вполне достаточно качества уровня Balanced или Performance, и без генерации кадров получается уже 50-60 FPS или больше. Играть становится можно, но картинка всё еще неплавная, что очень хорошо заметно на игровом мониторе с высокой частотой обновления.

Именно в таких случаях, когда без генерации кадров, но с масштабированием получается от 50 FPS, и стоит включать генерацию. Даже FG (условно 2×) будет ощущаться лучше, и получаешь уже 100-120 FPS и больше, что отлично подходит для соответствующих мониторов. Но если монитор умеет выводить изображение с частотой 180-240 Гц и выше, то с MFG будет еще лучше, и эта дополнительная плавность реально ощущается. Чаще всего вместо 50-60 FPS получится где-то 160-180 FPS, и хотя по задержкам управления ничего особо не изменится, картинка на соответствующем мониторе будет уже максимально плавной.

С точки зрения автора, главная сложность в материале про DLSS и многокадровую генерацию — как-то объяснить их полезность тем читателям, у кого нет возможности попробовать в деле подобную систему самостоятельно. Даже снять и показать вам видеоролик без каких-то особенно хитрых аппаратных средств видеозахвата можно максимум со 120 FPS, а если еще выводить его на 60-герцовый монитор массового читателя, то он не увидит разницы. Кстати, в том числе поэтому многие вообще считают, что больше 60 FPS просто не нужно. Более того, автору и самому так когда-то казалось — во времена первых 3D-игр. Но так может казаться, лишь пока не попробуешь больше — сначала 120 Гц, затем 240 Гц. Все эти шаги вперед заметны и сказываются на цельности восприятия видеоряда. Конечно, играть можно и при 60 FPS, но со 120/240 FPS точно будет лучше, и вы увидите разницу своими глазами. Стоит ли она дополнительных затрат? Однозначного ответа нет, каждый должен решить сам. Но не верьте слепо тем, кто создает хайпожорские видеоролики с бездумным отрицанием всего, в большинстве случаев они или не пробовали DLSS 4 в деле, или ругают технологии просто потому, что такое хорошо «продается» публике.

В очередной раз повторим, что генерация кадров — не способ повышения производительности, когда не хватает мощности GPU (для этого нужно использовать масштабирование из меньшего разрешения, что та же DLSS умеет). (M)FG — это способ повышения плавности вывода на дисплей в случае, когда задержки после включения масштабирования уже достаточно комфортны, но частота кадров ниже возможностей монитора по частоте обновления. То есть вам нужны хотя бы 50-60 FPS в любом из режимов масштабирования DLSS, от Quality до Performance (Ultra Performance мы бы всё же старались избегать из-за заметной потери четкости), и тогда уже можно включить MFG для получения более плавной картинки на игровом мониторе. Повысить комфорт при недостаточно быстрой видеокарте за счет генерации кадров не получится, она не способна улучшить задержки между действиями игрока и выводом на экран, и даже наоборот — немного их увеличивает. Так что купить GeForce RTX 5070 и получить комфорт и задержки вывода как у RTX 4090 не выйдет, хотя значения выходного FPS действительно могут быть близкими. Вам придется искать компромисс, как бы обменивая часть задержек между вводом и выводом на повышение частоты кадров вывода, увеличивающее исключительно визуальную плавность.

Минус DLSS 4, если говорить в общем, а не только про генерацию кадров, заключается в том, что эта технология поддерживается хоть уже и в очень немалом, но всё же ограниченном наборе игр. Но Nvidia поработала и тут, в последних версиях драйверов сделана достаточно удобная подмена версии набора технологий DLSS Override. Из более важных минусов — небольшая потеря четкости при выборе менее качественных режимов масштабирования, а также появление некоторого количества артефактов в виде остаточных изображений и ореолов вокруг движущихся объектов в сцене при включенной многокадровой генерации. Самый сложно замеряемый, но легко ощущаемый минус — небольшой прирост задержек отклика клавиатуры и мыши от включения MFG. Специальная технология для снижения задержек Reflex помогает их снизить, но не полностью. При выборе подходящего режима игры нужно тщательно следить за задержками, можно даже не инструментально, а просто по ощущениям. Но в итоге с небольшим количеством минусов и оговорок DLSS 4 можно однозначно назвать благом: улучшений этот набор технологий дает предостаточно, причем одновременно и по производительности, и по качеству.