Сегодня, почти через полтора года после анонса моддинг-платформы , NVIDIA выпускает долгожданный набор инструментов для создания RTX Remix Open Beta . Хотя среда выполнения уже доступна в течение некоторого времени, публичная доступность набора инструментов для создателей должна действительно дать толчок работе моддеров по легкому ремастерингу классических компьютерных игр с использованием передовых функций рендеринга, таких как трассировка пути, DLSS 3 и ресурсы с масштабированием AI. NVIDIA также сотрудничает с ModDB, чтобы пользователям было проще проверять, какие игры совместимы с RTX Remix , и получать оптимизированные файлы конфигурации для запуска модов.
В новой версии среды выполнения также имеется ряд улучшений, таких как поддержка Parallax Occlusion Mapping (POM), благодаря которой 2D-текстуры выглядят трехмерными, а Subsurface Scattering (SSS) теперь работает с листвой.
На прошлой неделе я имел удовольствие почти час беседовать с менеджером по продукту NVIDIA RTX Remix Найлом Усмани о прошлом, настоящем и будущем этой амбициозной универсальной платформы для моддинга, включая щекотливую тему потенциальных платных модов, созданных с помощью этого инструмента.
Найл, можешь рассказать, как начался проект RTX Remix?
Да, это интересно. Когда Lightspeed Studios начала экспериментировать с классическими играми и искать возможности внедрить трассировку пути в контент заранее, раньше, чем большинство игровых компаний смогли бы ее реализовать, мы оглянулись назад и увидели, насколько впечатляюще мы это сделали. могли бы оживить классический контент с более простой геометрией, где вы могли бы использовать чрезвычайно футуристические передовые системы освещения и при этом запускать их в реальном времени.
В начале поколения RTX мы смотрели на классический контент. Вы, наверное, знакомы с Quake II RTX . Мы также сделали Minecraft RTX , а затем человек, который руководил этим проектом, начал экспериментировать с этой идеей: ну, мы подключили системы освещения к этим классическим играм с помощью некоторого исходного кода, но, возможно, здесь есть возможность найти обобщающее решение. Мы начали думать, как это может выглядеть. Мы мастера аппаратного обеспечения; мы мастера графических процессоров. Мы разбираемся в конвейерах и структурах рендеринга. Для нас это был естественный союз, когда мы начали понимать, как мы можем перехватывать вызовы отрисовки, вызовы рендеринга, отправляемые с графического процессора, и создавать обобщаемое решение для трассировки пути для старого контента. При этом мы открыли все эти другие вещи.
Что ж, если мы можем перехватывать вызовы отрисовки и нам нужно идентифицировать объекты во времени между каждым кадром, чтобы можно было реалистично обновлять источники света, то почему мы не можем просто заменять ресурсы на лету? Если нам нужно идентифицировать каждый объект кадр за кадром, создать систему освещения, которая может обновляться, то, конечно же, это также означает, что мы можем заменить то, что вы видите на экране, чем-то другим, и тогда это быстро изменилось с того, как мы получаем освещение, на классическое games о том, как мы делаем ремастеры классических игр. Все это стало основой и фундаментом, который в конечном итоге стал RTX Remix, который в то время мы называли T-Rex, что является забавным кодовым названием.
Мы придумали это обобщающее решение, а затем захотели доказать, что оно работает. Все началось как демонстрация технологии Portal. Внутри компании первым доказательством стал Portal, а затем, естественно, это переросло в отношения с Valve в рамках сотрудничества Portal с RTX.
Примерно тогда же люди начали использовать ИИ для улучшения активов.
Ага. Инструмент AI-текстур интересен тем, что NVIDIA всегда была в игре с AI, верно? Мы занимались этим еще до того, как я пришел в NVIDIA. Мы знали, что наше будущее будет связано с пониманием того, как ИИ может улучшить игры в целом, поэтому нас заинтересовала эта идея, ведь моддеров много. Что мы можем сделать, чтобы ускорить их, и где ИИ лучше всего подключить к игровому конвейеру? Когда вы смотрите на эти классические игры, вы смотрите на плоские 2D-текстуры и думаете о том, как плоские 2D-текстуры выглядят в среде с трассировкой пути. Все они как бы становятся одним и тем же материалом. Они либо матовые, либо глянцевые.
Зачем добавлять в игру современный трассировщик пути, если материалы не будут реагировать на освещение? Вам как бы необходимо сочетать современные материалы и ресурсы с современным освещением, поэтому я думаю, что инструмент текстурирования AI идеально подходит, поскольку у вас есть комбинация чрезвычайно грязных старых текстур, которые нуждаются в обновлении, и невероятная потребность эффективно переработать их все. . Вдобавок ко всему, у моддеров не так много времени, верно? Игровая студия, если ей нужно больше художников по материалам или текстурам, может увеличить штат сотрудников.
Если команда моддеров хочет больше художников по материалам и текстурам, им приходится просить и заимствовать у всех других мод-проектов в мире. Когда мы думаем о том, кому бы помогли больше всего, где возникают самые большие проблемы с текстурами? Оба ответа позволяют нам вернуться к RTX Remix, вернуться к классическим играм и вернуться к платформе для моддинга. Так это стало частью наших планов, и я очень хочу, чтобы вы это попробовали.
Инструмент ремастеринга ресурсов искусственного интеллекта, вероятно, является самой большой функцией, доступной в наборе для создания, по сравнению со средой выполнения RTX Remix, не так ли?
Начнем со времени выполнения. Еще в апреле мы открыли исходный код среды выполнения RTX Remix . Среда выполнения — это то, что заставляет игру и мод общаться друг с другом. По сути, это и первое, и последнее, что вы делаете со своим модом. Вы начинаете с того, что помещаете среду выполнения рядом с исполняемым файлом игры, и она, по сути, подключается к игре и обновляет средство визуализации с устаревшего средства визуализации на современное средство визуализации Vulkan. Он отслеживает путь игры, добавляет DLSS и так далее. Но самое важное, что делает среда выполнения в начале процесса моддинга, — это позволяет вам нажать кнопку, чтобы захватить всю игровую сцену, захватить игровые ресурсы и создать файл USD, который включает всю эту информацию, освещение, геометрию. , активы, все это.
В апреле мы открыли исходный код по множеству причин, одна из которых заключалась в том, что мы думали, что людям будет весело начать испытывать моды с трассировкой пути, даже если у них нет отличного способа обновить все игровые ресурсы. И затем мы также сделали его доступным заранее, потому что время выполнения — это то, что влияет на совместимость, поскольку время выполнения — это то, как мод RTX Remix будет взаимодействовать с игрой и подключаться к ней. Улучшение среды выполнения означает, что вы можете расширить список игр и типов движков, с которыми вы совместимы, и поэтому, открыв исходный код и сделав его широко доступным, мы отправились в это путешествие, чтобы начать получать отзывы, начинать понимать широкую сферу применения. о том, как выглядит совместимость с этим инструментом, а также призываем сообщество сотрудничать с нами, чтобы расширить границы возможной совместимости. Это то, что делает среда выполнения.
Чего мы никогда не ожидали, так это того, что люди начнут добавлять обновленные ресурсы в свои моды, используя только среду выполнения. Наше сообщество очень изобретательно. Моддеры нашли способ обойти это. RTX Remix построен на основе Omniverse, поэтому многие функциональные возможности RTX Remix в серверной части аналогичны многим приложениям Omniverse. Мы видели, как моддеры использовали комбинацию USD-композитора приложения Omniverse вместе со своим пониманием текстовых файлов, которые упаковывает среда выполнения, и они смогли, по сути, начать использовать некоторые из набора функций Remix, что-то вроде duct. лента и жвачка делают что-то из того, что делает Remix, но с кучей обходных путей, с кучей манипуляций с файлами, без какого-либо простого или разумного UX. Им все же удалось включить в свои моды кучу обновленных ресурсов. Наше сообщество даже начало изобретать собственные инструменты искусственного интеллекта для текстурирования. Это довольно круто, но набор инструментов для создателей должен упростить все это, чтобы вам не приходилось прибегать к куче хакерских обходных путей, чтобы перенести обновленные ресурсы на вашу игровую сцену.
Сегодня мы выпускаем набор инструментов. Благодаря этому вы можете перенести свой снимок из игры, и он будет прекрасно отображаться в окне просмотра, и вы можете очень легко просто щелкнуть любой ресурс, загрузить свой собственный замененный ресурс и поменять их местами.
По сути, новая вещь — это весь этот пользовательский интерфейс, весь этот рабочий процесс, позволяющий делать все легко и просто. Пользователю Discord потребовались бы недели. Это то, что мы видели в раннем доступе. Моддеры, первое, что они говорят, когда получают набор инструментов: «Ух ты, раньше у меня на это уходила неделя, а теперь я могу сделать это за 10 минут». В этом и состоит инструментарий.
Речь идет о том, чтобы сделать этот процесс щелчка по активу и замены актива красивым высококачественным активом PBR, который имеет отображение параллакса окклюзии, карты высот и эмиссионные маски, нормальную шероховатость, металлические карты и т. д. Теперь вы можете сделать это очень легко. Еще одна вещь, которую вы можете сделать, это создание новых источников света. Вы можете создавать конусные светильники, прожекторы, точечные светильники и цилиндрические светильники. У вас есть множество способов переосветить и переработать освещение сцены, что большинству моддеров не под силу сделать легко.
Вы даже можете создать источник света для объекта. Помните плазменные шары, летающие в Portal RTX? Технически это сетка, и вы создаете для нее источник света, поэтому вы можете создавать эти красивые динамические источники света, которые заставляют вещи выглядеть так круто с тенями и освещением в реальном времени. И, наконец, как вы заметили, инструменты текстурирования AI. Это последняя новая функция, которую собирается включить в набор инструментов RTX Remix, которая позволит пользователям увеличить количество пикселей в 4 раза. Это сеть сверхвысокого разрешения, а также генеративная сеть искусственного интеллекта, которая будет создавать физически точные материалы на лету.
Он проанализирует текстуру и скажет: это камень? Это дерево? Ну, вот как должна выглядеть карта нормалей, и вот как должна выглядеть карта шероховатости, и теперь она будет правильно отражать свет, как будто это действительно камень или дерево, и все эти трещины и щели будут более четкими и будут выглядеть 3D, потому что здесь используется карта нормалей, тогда как оригинал был просто плоским.
У меня есть пара вопросов по этому поводу. Можете ли вы сообщить, это запатентованный алгоритм NVIDIA или, возможно, вы используете какую-то технологию искусственного интеллекта с открытым исходным кодом?
Модель искусственного интеллекта, лежащая в основе AI Texture Tools от RTX Remix, — это наша собственная запатентованная модель, обученная на нашем собственном наборе данных.
Понятно. Другой вопрос возник некоторое время назад в разговоре с ведущим разработчиком Skyblivion , будущего мода с полной конверсией. Им нужны сложные активы, такие как одежда, архитектура и оружие. Они задавались вопросом, сможет ли RTX Remix справиться с этим.
Таким образом, вы на самом деле не создаете ресурсы в RTX Remix за пределами инструмента текстур AI. Это дает вам возможность качественно начать с актива A, а затем улучшить его внешний вид с помощью актива B. Но для большинства ресурсов RTX Remix — это то, как вы можете добавить их в свою игру. Само по себе дело не в том, как вы создаете актив. Когда вы думаете о костюме Half-Life 2 RTX HEV, создатели использовали рабочий процесс, позволяющий создать формат файла, который можно было бы легко перенести в Remix. Затем Remix смог заменить этот старый школьный ресурс этим прекрасным высококачественным активом, в котором было в 34 раза больше полигонов по сравнению с оригиналом .
Если бы вы попытались поместить эту игру в Source Engine, игра достигла бы предела в 4 ГБ видеопамяти и просто вылетела бы. Он не смог бы обрабатывать эти невероятные высококачественные материалы PBR. Это было бы слишком тяжело, но RTX Remix заменяет этот старый рендерер современным рендерером Vulkan без этих ограничений, так что вы можете поместить эти современные ресурсы в эти старые игры.
Так что это не платформа для разработки, это способ легко подключать ресурсы к различным играм, обновлять освещение, изменять освещение, создавать новые источники света и все такое. И символы тоже можно заменить. Это может быть немного сложнее. Есть ресурсы без кожи, которые похожи на обычный реквизит, а есть активы со шкурой, например, зомби из Half-Life 2, у которого есть кости в скелете. Вы даже можете заменить те активы, у которых есть скелеты и скины.
Но в настоящее время то, что мы выпускаем, не обеспечит простой способ сделать это. Это требует немного большего участия, и в нашей дорожной карте есть попытка найти способ обобщить это и облегчить людям замену ресурсов со скинами. На данный момент это единственное реальное ограничение активов. Конечно, RTX Remix придется пережить странные времена с множеством необычных случаев. Знаете, анимированные текстуры, текстуры, которые нравятся вашим шейдерам, всегда будут чем-то, что нам будет трудно перехватить и заменить на лету. Но в целом я бы не сказал, что есть какие-то ограничения.
Он упомянул конкретно архитектуру, как то, что он хотел бы использовать, если бы RTX Remix мог это сделать. Может ли RTX Remix передать текстуру здания, например, в Морровинде?
Ага. Возьмем архитектуру. Здесь у вас есть два подхода. На самом деле, в нашей витрине Морровинда вы можете увидеть и то, и другое. Один из них — инструмент текстурирования AI, верно? У нас есть такая красивая панель потолка. Потолок сильного ветра, и у вас есть линия посередине, и все, что проходит через нее, масштабируется ИИ и получает карты нормалей и карты шероховатостей от ИИ.
Так что да, он вполне может сдать экзамен по архитектуре. Или вы можете сделать то, что мы сделали для настоящей витрины. Все стены, лестницы, земля — все это были высококачественные текстуры, которые мы создали вручную и вставили в сцену, столы и все эти вещи, которые мы сделали вручную.
Один из официальных проектов RTX Remix, Portal: Prelude RTX , также имеет поддержку RTX IO. Будет ли это частью набора функций RTX Remix?
Отличный вопрос. RTX IO не будет присутствовать при запуске открытой бета-версии, но он обязательно станет частью набора инструментов RTX Remix. Это указано в нашей дорожной карте продукта. Это всего лишь вопрос того, как дойти до этого, когда мы доберемся до этого, и тогда каждая модель сможет ощутить преимущества. Для Portal Prelude было сделано что-то вроде сокращения времени загрузки в 5 раз и уменьшения места для хранения самого мода примерно на 40 процентов. По сути, у вас может быть 30 гигабайт качественных текстур, но для пользователя это занимает всего 18 гигабайт. Это очень ценно для моддеров, которые хотят включать в свои моды ресурсы без потерь качества и при этом оставаться в рамках бюджета этих сайтов модов.
Говоря о возможных будущих дополнениях, собираетесь ли вы добавить DLSS 3.5 (Ray Reconstruction)?
Реконструкция лучей — интересная тема. Сегодня нам нечего анонсировать по инструментам Ray Reconstruction и RTX Remix, но я скажу, что Ray Reconstruction есть в Half-Life 2 RTX.
Моддеры RTX Remix всегда интересуются возможностями дальнейшей совместимости, особенно с более поздними API-интерфейсами DirectX или даже OpenGL. Есть новости по этому поводу?
Сообщество постоянно экспериментирует с совместимостью. Как я упоминал ранее, отчасти именно поэтому мы открыли исходный код среды выполнения RTX Remix, чтобы дать каждому возможность опробовать ее в своей любимой игре, вместо того, чтобы нам приходилось гадать и предполагать, что мы знаем все.
Зачем предполагать, что вы знаете все, если вы можете доверять моддерам? Они знают лучше и с большей готовностью пробовать что-то, чем большинство людей. Мы запустили среду выполнения в апреле, и я думаю, что к настоящему времени канал Discord нашел, возможно, сотни игр, которые работают с RTX Remix. Совместимость — это что-то вроде спектра, верно? Это обобщающее решение, которое интерпретирует графические вызовы отрисовки из разных эпох и пытается впоследствии перекомпилировать связное изображение, а затем идентифицировать каждый актив, а затем посмотреть, что моддер назначил в качестве замены для каждого актива, а затем заменить его в реальном времени.
Иногда он обязательно выйдет из строя, поскольку не предназначен для определенного подмножества игр. В результате некоторые игры можно модифицировать до конца. Все работает потрясающе, меняется каждый актив. Большинство из них — игры DirectX 8 и 9 с конвейерами с фиксированными функциями. В некоторых играх, которые больше не использовали конвейеры с фиксированными функциями, но использовали больше моделей на основе шейдеров, возникнут больше проблем с правильным подключением к RTX Remix. Это потому, что с помощью шейдеров мы не можем сказать, что делает игра, пока она не будет нарисована на экране. Это означает, что мы не можем перехватить его и заменить какой-либо из этих ресурсов или заменить любой из этих источников света при использовании шейдеров. Хотя бы сложные шейдеры.
Чтобы вернуть совместимость, мы были впечатлены тем, что делало сообщество. В некоторых случаях они обнаруживали вещи, которые просто работают. В некоторых случаях, как в Dark Messiah of Might and Magic , они буквально перепроектировали игру. В данном конкретном случае моддер обратился к Ubisoft и сказал: «Эй, мы хотим перепроектировать вашу игру». Вы бы позволили нам это сделать? Они делают впечатляющие вещи, чтобы сделать игру полностью совместимой с RTX Remix. Некоторые люди брали традиционно основанные на шейдерах игры и конвертировали их графические конвейеры в конвейеры с фиксированными функциями.
Итак, вы получаете ряд решений. Частично это касается контента, частично — мы работаем над средой выполнения RTX Remix и адаптируем ее ко все большему количеству типов игр и сценариев, а частично — люди, находящиеся посередине, создают оболочки, которые помогают связать контент. к инструменту лучше. Результаты были впечатляющими. Я имею в виду, я не думал, что когда-нибудь увижу, как Skyrim работает с RTX Remix, но все же это возможно.
Это открытый исходный код. На нашем GitHub люди могут публиковать любые проблемы, с которыми они сталкиваются в той или иной игре, или помогать вносить код или решения. И затем, начиная с сегодняшнего дня, мы запускаем партнерство с ModDB, которое значительно повлияет на совместимость.
ModDB — это, я не хочу сказать, Библия, но источник истины для всего Интернета с RTX Remix. У них есть таблица совместимости, которую пользователи могут обновлять или дополнять, и которая будет отслеживать, какие игры совместимы и какая среда выполнения лучше всего подходит для каждой конкретной игры.
Когда вы пытаетесь заставить RTX Remix работать, вам нужно настроить некоторые параметры и создать файл конфигурации, специфичный для методов рендеринга, уникальных для этой игры. ModDB будет хранить эти файлы конфигурации для каждой игры, поэтому теоретически пользователь может взять игру, перейти в ModDB, щелкнуть и продолжить. Это совместимо? Прочтите инструкции о том, какие уникальные вещи нужно сделать в этой игре, чтобы она заработала, скачайте файл конфигурации, соберите все это в одну папку, и все должно работать.
Мы очень воодушевлены будущим совместимости, работаем с сообществом над ее расширением, чтобы облегчить поиск и понимание ModDB, и сами работаем над средой выполнения, чтобы сделать ее совместимой со все большим и большим количеством контента. Как вы, вероятно, видели в нашей дорожной карте продукта, мы также рассматриваем OpenGL.
Полагаю, для OpenGL не существует ETA, которым вы могли бы поделиться прямо сейчас.
Мне сегодня нечем поделиться, к сожалению.
Хорошо. Несколько месяцев назад мы провели интервью по электронной почте, где я задал пару вопросов о потенциальном добавляемом языке сценариев или о способах улучшения частиц. Вы сказали, что их может быть интересно добавить в какой-то момент. Мне было интересно, есть ли у вас какие-нибудь новости по этому поводу сегодня.
У меня не так уж много обновлений по этим темам. Я скажу, что мы учимся все больше и больше. Частицы такие сложные. Они уникальны в каждом двигателе. Я скажу, что больше всего нам помогает понять частицы — это сотрудничество с Orbifold Studios над Half-Life 2 RTX, потому что мы работаем там с мастерами Source Engine, включая парня, который, вероятно, больше всего известный во всем мире художник по частицам Source Engine. Он сделал такие вещи, как переделывание того, как работают взрывы в Half-Life 2 RTX, чтобы они создавали красивые шлейфы дыма, сквозь которые свет может проникать и освещать их цветом света. Это комбинация трассировки пути и частиц. Все, что я скажу, это то, что есть много интересных вещей, связанных с трассировкой путей и частицами, и благодаря этому тесному сотрудничеству мы всегда учимся тому, что больше всего нужно моддерам в этой области. Хотя мне нечего анонсировать, скажу, что я заинтригован.
Может ли быть какая-то система модулей или плагинов для RTX Remix, чтобы моддеры могли, например, добавлять эффекты постобработки или что-то в этом роде?
Это интересный вопрос, правда? Что касается плагинов, то в каждом приложении Omniverse есть рабочий процесс добавления к нему расширений, который расширяет возможности каждого приложения. Поскольку RTX Remix — это приложение Omniverse, вы загрузите программу запуска Omniverse и запустите его из программы запуска Omniverse. Вы также будете обновлять RTX Remix через программу запуска Omniverse, но программа запуска Omniverse также является этапом для открытия этих расширений, которые вместо этого могут расширить возможности любого приложения Omniverse, и существует богатая экосистема открытых вкладов по добавлению расширений сообщества для все виды приложений Omniverse. У людей есть способ расширить возможности набора инструментов, если они изобретательны, и мы полагаем, что люди это сделают.
Постобработка — это функция среды выполнения RTX Remix. Я бы посоветовал людям, которые хотят поделиться, например, новыми фильтрами, зайти на GitHub и создать вклад или запрос на слияние. Отправьте его по-нашему. Если мы проверим его и он будет выглядеть хорошо, ваше дополнение к Remix может превратиться в конечный продукт, который каждый сможет попробовать. Или, альтернативно, вы можете создать форк среды выполнения RTX Remix с открытым исходным кодом, поэкспериментировать и создать свою собственную версию со всевозможными другими функциями. Но, конечно, нам всегда приятно видеть любой вклад в Remix.
0 Комментариев