Investigating the Feasibility of NVIDIA Multi Frame Generation on an RTX 4090 GPU
2025 (English)Independent thesis Basic level (degree of Bachelor), 10 credits / 15 HE credits
Student thesisAlternative title
Undersökning av lämpligheten för NVIDIA Multi Frame Generation på ett RTX 4090 grafikkort (Swedish)
Abstract [en]
Image interpolation has progressed from simple frame blending in video playback to deep learning models capable of synthesizing entirely new frames fast enough for real-time graphics. NVIDIA’s DLSS 4 builds on this lineage with Multi Frame Generation (MFG), which can insert up to three AI‑generated frames between each pair of traditionally rendered frames, effectively tripling or quadrupling the output frame rate (3x or 4x modes). Currently, these modes are exclusively available on Blackwell‑based RTX 50‑series GPUs. This thesis evaluates whether MFG intrinsically requires the RTX 50-series fifth‑generation Tensor Cores and new frame pacing hardware (Flip Metering), or whether comparable performance could theoretically be achieved on the preceding Ada‑based RTX 4090. Using a controlled benchmark, Tensor Core utilization and frametime variance were compared between an RTX 4090 and an RTX 5080 at multiple resolutions and Frame Generation multipliers. The results show that the DLAA stage dominated Tensor Core activity, scaling strongly with image resolution, while the Optical Flow and Frame Generation stages displayed consistently low and resolution-independent utilization. Increasing the multiplier from 2x to 4x did not impact average utilization or burst durations. Under identical workloads, the RTX 4090 even exhibited slightly lower Tensor Core usage than the RTX 5080, suggesting that Tensor Core throughput is not a limiting factor for running MFG on the RTX 4090. Frametime variance increased when enabling Frame Generation 2x on the RTX 4090 compared to native rendering, and was also higher than on the RTX 5080 under identical conditions – indicating that Flip Metering does improve frametime stability. However, it remains unclear how the additional variance introduced by CPU-based pacing would compound at higher Multi Frame Generation multipliers, and further research is therefore needed to assess whether the RTX 4090 can maintain stable frametimes at the higher MFG multipliers.
Abstract [sv]
Bildinterpolering har utvecklats från enkel sammanslagning av bildrutor för videouppspelning till djupinlärningsmodeller som kan generera helt nya bildrutor i realtidsgrafik. NVIDIA DLSS 4 bygger vidare på denna utveckling med Multi Frame Generation (MFG), som kan infoga upp till tre AI-genererade bildrutor mellan varje par av traditionellt renderade bildrutor, vilket i praktiken tredubblar eller fyrdubblar bildfrekvensen (3x- respektive 4x-lägen). I skrivande stund stöds endast dessa lägen på Blackwell-baserade grafikkort i RTX 50-serien. Denna studie undersöker om MFG verkligen kräver femte generationens Tensorkärnor och den nya hårdvarukomponenten Flip Metering som syftar till att jämna ut bildrutetakten i RTX 50-serien, eller om jämförbar prestanda teoretiskt sett kan uppnås på det tidigare Ada-baserade RTX 4090-kortet. Med ett kontrollerat prestandatest jämfördes Tensorkärnornas aktiveringsgrad och variationer i bildrutetider mellan RTX 4090 och RTX 5080 vid flera upplösningar och Frame Generation-lägen. Resultaten visar att DLAA-steget dominerade Tensoraktiviteten och skalade tydligt med bildupplösningen, medan Optical Flow- och Frame Generation-stegen uppvisade konsekvent låg och upplösningsoberoende belastning. Att öka läget från 2x till 4x påverkade varken den genomsnittliga Tensoraktiviteten eller aktiveringstiden. Vid identiska arbetsbelastningar uppvisade RTX 4090 dessutom något lägre Tensorkärnebelastning än RTX 5080, vilket antyder att Tensorkärnornas kapacitet inte utgör en begränsning för RTX 4090:s möjlighet att köra MFG. Variationerna i bildrutetider ökade däremot när Frame Generation 2x aktiverades på RTX 4090 jämfört med traditionell rendering och var även högre än på RTX 5080 under samma omständigheter, vilket tyder på att Flip Metering förbättrar stabiliteten i bildrutetakten. Det är dock oklart hur den ökade variationen som orsakas av CPU-hanterad bildtaktsutjämning skulle förvärras vid högre MFG-lägen, och ytterligare forskning krävs därför för att fastställa om RTX 4090 teoretiskt sett skulle kunna hålla en jämn bildrutetakt under 3x- och 4x-lägena.
Place, publisher, year, edition, pages
2025. , p. 38
Series
TRITA-EECS-EX ; 2025:307
Keywords [en]
Multi Frame Generation, Deep Learning Super Sampling, NVIDIA, DLSS
National Category
Computer and Information Sciences
Identifiers
URN: urn:nbn:se:kth:diva-367645OAI: oai:DiVA.org:kth-367645DiVA, id: diva2:1985716
Supervisors
Examiners
2025-08-052025-07-272026-10-22Bibliographically approved