This paper presents a method for reconstructing the optical properties of objects in a real scene, based on a series of its images with the use of differentiable rendering. The main goal of this study is to develop an approach that enables the high-accuracy reconstruction of the optical characteristics of scene objects while minimizing the computational costs. Introduction considers the relevance of creating realistic models of virtual scenes for computer graphics, as well as their application in virtual reality, augmented reality, and animation. It is noted that, in order to achieve image realism, it is necessary to take into account the scene geometry, illumination parameters, and optical properties of objects. In this study, it is assumed that the scene geometry and light sources are known, and the main task is to reconstruct the optical properties of objects. Section 3 describes the main stages of the proposed approach. The first stage involves data preprocessing, during which the key image points characterized by high brightness and uniform distribution over scene objects are selected. This significantly reduces the amount of data required for optimization. Next, using numerical differentiation and backward ray tracing, luminance gradients are calculated based on the model parameters. The proposed algorithm takes into account both primary and secondary illumination, which improves the accuracy of reconstructing the optical characteristics of the scene. At the final stage, the parameters of the optical models are reconstructed using the ADAM method, improved with the Optuna library for automatic hyperparameter selection. Section 4 describes the experiments carried out on the Cornell Box scene. The result of reconstructing the optical properties is considered and the original and reconstructed luminances are compared. Certain limitations due to the duration of calculations and the sensitivity to data outliers are identified and discussed in detail. In Conclusions, the results are summarized and directions for further development are outlined, including the transfer of calculations to the GPU and the use of more complex models of optical properties to improve the accuracy and speed of the algorithm.
В статье представлен метод реконструкции оптических свойств объектов реальной сцены по ряду ее изображений, основанный на использовании методов дифференцируемого рендеринга. Основной целью исследования является разработка подхода, позволяющего с высокой точностью восстановить оптические характеристики объектов сцены при минимизации вычислительных затрат. Во введении описана актуальность создания реалистичных виртуальных моделей сцен для компьютерной графики и их применения в таких областях, как виртуальная и дополненная реальность, анимация. Отмечено, что для достижения реализма изображения необходимо учитывать геометрию сцены, параметры освещения и оптические свойства объектов. В данной работе предполагается, что геометрия сцены и источники света известны, а основной задачей является восстановление оптических свойств объектов. Раздел “Методы” описывает основные этапы предложенного подхода. Первая стадия включает предварительную обработку данных, в ходе которой осуществляется выбор ключевых точек изображения, характеризующихся высокой яркостью и равномерным распределением по объектам сцены. Это позволяет значительно сократить объем данных, необходимых для оптимизации. Далее, используя численное дифференцирование и обратную трассировку лучей, вычисляются градиенты яркости по параметрам модели. Предложенный алгоритм учитывает как первичное, так и вторичное освещение, что повышает точность восстановления оптических характеристик сцены. На завершающем этапе параметры оптических моделей восстанавливаются с помощью метода Adam, улучшенного с использованием библиотеки Optuna для автоматического подбора гиперпараметров. В разделе результатов представлены эксперименты, выполненные на сцене Cornell Box. Демонстрируется результат восстановления оптических свойств и сравниваются оригинальная и восстановленная яркости. Выявлены ограничения, связанные с длительностью вычислений и чувствительностью к выбросам данных, которые подробно рассмотрены в работе. В заключении подведены итоги и предложены направления для дальнейшего развития, включая перенос вычислений на GPU и использование более сложных моделей оптических свойств для повышения точности и скорости алгоритма.