Mathematical models for calculating the quantitative characteristics of the optimal quantization of information

Cover Page

Abstract

Various additional mathematical aspects related to solving the problem of optimal information quantization in the sense of filling are considered, such as control of quantum elements, accounting for errors of quantum elements, determining the amount of information during quantization, and determining the numerical values of fractals of distributions represented as a sequential fractal distribution. The purpose of the article is to consider additional questions based on a specific "heavy" probability distribution – the normal distribution. The considered questions are made in order to facilitate the solution of applied problems for researchers dealing with the problem of information quantization.

Full Text

Введение

Часть (порция) информации называется квантом. Процесс представления определённого количества информации в виде совокупности квантов называется квантованием информации. Информационные процессы могут сопровождаться своими издержками. Например, при звуковой трансляции текстов, музыки по радио, телевидению временные издержки связаны с необходимостью введения пауз, позволяющих воспринимать их на слух. Письменное представление содержания книги связано с неизбежными издержками на размер шрифта, интервалы между словами, строками. За введение любых издержек, позволяющих улучшить качество восприятия, передачи, хранения информации приходится платить. Минимизировать величину издержек и их стоимость необходимо и в теории информации, особенно в условиях современного информационного бума. По мере увеличения объемов информации, участвующих в процессе хранения, обработки и передачи, растет значимость проблемы оптимального квантования информации.

Первые основополагающие результаты решения класса задач оптимального квантования случайной величины были получены в [1, 2]. В процессе решения практических задач, в которых применяется оптимальное в смысле заполнения квантование информации, разработчику математических моделей систем необходимо рассматривать специфические прикладные вопросы, дополняющие и расширяющие количественные характеристики предложенной математической модели [1]. К таким вопросам можно отнести, например, влияние ошибок на операцию квантования, определение количества используемой информации, учёт контроля элементов квантов, приближённое решение интегрального уравнения, определения плотности вероятности и распределения величины оптимального кванта, нахождение численных значений фракталов распределения. Могут также ставиться и решаться и другие вопросы, не предусмотренные в данной статье [3-8].

Основная математическая модель оптимального квантования

В данной статье используется модель Андронова А.М., Бокоева Т.Н. [1]. Она представляется в следующем виде:

Ψx=(x+c)0(E(z/x)+1)dF(z) (1)

где Ψx – математическое ожидание квантуемой величины распределения Fx, x – величина кванта, c – величина пробела между квантами, E – наибольшая целая часть числа, заключённого в скобках. Авторы [1] применяют обозначение M(x)=Ψ(x). Целью статьи является рассмотрение дополнительных вопросов на основе конкретного распределения вероятностей – нормального распределения. В качестве примера берётся нормальное распределение со следующими значениями параметров m=120h, σ=20h, f(x)=dnorm(x,m,σ) – плотность вероятности, где h является условной единицей времени. Решение (1) представлено в виде графика на Рис. 1. Оптимальная величина кванта, при которой минимальное значение квантованной величины равно M(31)=134,139h.

 

Рис. 1. Зависимость математического ожидания от величины кванта

 

Рассмотрим указанные во введении вопросы при следующих исходных данных:

нормальное распределение и величина пробела между квантами  m=120h, σ=20hf(x)=dnorm(x,m,σ); c=5h вероятность сохранения элемента кванта исправным, p=0,95 затраты времени на восстановление неисправного элемента кванта τ=2,5h.

Влияние ошибок элементов кванта на операцию квантования

  1. Предположим, что средняя величина времени на исправление всех ошибок в кванте равна τx(1px). Тогда выражение для определения величины оптимального кванта и связанных с новым значением пробела c+τx(1px) информационных затрат на квантование будет определяться из выражения:

M1(x)=x+c+τx(1px)0trunc(zx)+1f(z)dz. (2)

  1. Предположим, что τ1=5ha а среднее время на исправление ошибок кванта, определённое при условии применения биномиального распределения ошибок кванта будет определяться по формуле (3).

b(x)=τ1k=0xx!(k1)!(xk)1(1p)kpxk. (3)

 

Рис. 2. Математические ожидания рассчитанных квантованных функций

 

На Рис. 2 представлены для сравнения математические ожидания трёх рассчитанных квантованных функций M(x),  M1(x),  M2(x).

Оптимальные значения квантов и математические ожидания квантованных величин равны:

M(31)=157,032, M1(31)=426,155, M2(31)=191,223.

Следует отметить, что оптимальная величина кванта сохраняется постоянной, равной x0=31 во всех трёх случаях, а затраты квантования изменяются, что указывается в правых частях трёх равенств. Величина пробелов зависит от величины тактического значения c и величины времени для исправления ошибок квант, которая добавляется к c. Средняя величина времени для исправления ошибок зависит от вида распределения ошибок в кванте, вероятности ошибки элемента кванта и затрат на исправление одиночной ошибки в нём. На Рис. 3 и 4 показаны уточнение Рис. 2 и затраты на исправление (восстановление) в рассмотренных двух примерах d(x)=τx(1px) и b(x), определяемого формулой (3).

 

Рис. 3. Математические ожидания рассчитанных квантованных функций с учетом затраты на восстановление

 

Рис. 4. Зависимость затрат на исправление ошибок

Определение количества информации и её максимума при квантовании

  1. Предположим, что за единицу времени (скорость) передаётся I=10ед./h информации. Тогда математическое ожидание количества информации определяется выражением:

M3(x)=(xI+c)0(trunc(zx)+1)f(z)dz. (4)

  1. При условии 1, но с учётом задержки на восстановление ошибок в кванте

b(x)=τ1k=0xx!(k1)!(xk)1(1p)kpxk. (5)

M4х=х·I+c+bx·0(trunc(zx)+1)·f(z)dz. (6)

На Рис. 5 представлены графики для выражений (4) и (6).

Из Рис. 5 следуют оптимальные величины квантов равны x30=31hx40=110h и значения количеств информации при них соответственно 1,374x103ед., 1,916x103ед.

 

Рис. 5. Зависимость математического ожидания количество информации от величины кванта и задержек на восстановление

Контроль элементов кванта в процессе квантования

Исходные данные:

m=120h, σ=20h,  f(x)=dnorm(x,m,σ),  q=1,  c=5h,  q1=0,5.

где qq1 – вероятности ошибок элементов кванта.

На Рис. 6 и 7 представлены следующие значения математических ожиданий квантованного распределения:

MK(x)=(xqx+c)0trunczx+1f(z)dz, MK1(x):=(xq1x+c)0trunczx+1f(z)dz,

MK2(x)=(xqx+c)0trunczxqx+1f(z)dz,

MK3(x):=(xq1x+c)0trunczxq1+1f(z)dz.

 

Рис. 6. Математические ожидания квантованного распределения с учетом ошибок с вероятностью qMK(200)=205,002MK1(200)=205,002

 

Рис. 7. Математические ожидания квантованного распределения с учетом ошибок с вероятностью q1MK2(200)=205,002MK3(200)=9,207

 

Из графиков кривых на рисунках следует, что увеличение вероятности ошибки элементов оптимального (и любого) кванта увеличиваются итоговые показатели квантованного с пробелами распределения вероятностей (в данном случае с 5 единиц до 9,207 единиц).

Применение квантования для последовательного определения значений фракталов распределений вероятностей

Для примера принимаются следующие исходные данные:

x=0,1..200, m=120h, σ=20h,  f(x)=dnorm(x,m,σ).

В рассматриваемом примере применим для ограничения числа определяемых фракталов распределения гипердельтную аппроксимацию [9-10] нормального распределения и ограничимся двумя начальными моментами. Тогда плотность вероятности представится в виде:

f(x)12(Δ(xm+σ)+Δ(xmσ)), (7)

где (x)– дельта-функция Дирака, равная Δ(x)=ddxФ(x).

В нашем случае f(x)12(Δ(x120+20)+Δ(x12020)).

0E(zx)f(z)dz1=0. (8)

Выполним приближённое решение данного интегрального уравнения с помощью гипердельтной аппроксимации. Для примера рассмотрим определение двух начальных момента уравнения (8). Оно иллюстрируется следующими выражениями:

математического ожидания

MM(x)=(x+c)0trunczx+112Δzm+σ+Δzmσdz, (9)

которое приводится к виду:

MM(x)=12(x+c)truncmσx+1+truncm+σx+1; (10)

второго начального момента

MB(x)=12(x+c)2truncmσx+12+truncm+σx+12; (11)

среднее квадратическое отклонение определяется по выражениям (10) и (11)

σσx=MBxMMx2. (12)

На Рис. 8-10 представлены графики функций 10, 11, 12.

 

Рис. 8. Математическое ожидание с учетом гипердельтной аппроксимации. M(31)=157,032M(30)=157,5

 

Рис. 9. Второй начальной момент. M(31)=2,657x104M(30)2=2,481x104

 

Рис. 10. Среднее квадратическое отклонение. σσ(31)=18

 

В частности, коэффициент корреляции определяется с помощью выражений

ηηx=σσ(x)MMx,  ηη31=0,111,  20120=0,167,  18157,032=0,115.

Плотность вероятности и функция распределения оптимального кванта определяются из выражений: x0=100,99..120, fx0=dnormx0, 31, 27, 345, ffx=dnormx157,5, 18, F0x0=100x0f0z0dz0, F031=0,5.

 

Рис. 11. Плотность вероятности

 

Рис. 12. Функция распределения оптимального кванта

Определение значений фракталов

Значения фракталов определяются из выражений [11]. Пусть задана плотность вероятности f(x) на полуинтервале [0, ∞), требуется представить её в виде убывающей фрактальной последовательности, составленной базовым, основным фракталом Ф0 и множеством субфракталов СФi, i=1, 2, 3… Тогда можно принять следующую формулу для производства фрактализации:

0Ezxfzdz1=0, fx=12Δxm+σ+Δxmσ. (13)

В нашем случае получаем уравнение

0trunczx12Δzm+σ+Δxmσdz1=0 (14)

которое приводится к выражению:

rx=12truncmσx+truncm+σx1=0. (15)

Решение rx=0 эквивалентно решению уравнения 0Ezxfzdz1=0.

Содержательный смысл (13) состоит в том, что математическое ожидание E не должно превышать единичного значения, но и не быть отрицательным. Нужно принять равенство x=Ф0 и решить полученное нелинейное уравнение относительно неизвестной величины Ф0. При этом нужно как можно точнее вычислить эту величину. А затем проверить правильность достаточно строгого решения уравнения (13). Эта численная величина и будет представлять базовый, основной факториал. Можно убедиться, что точное решение уравнения (13) достигается при maxФ0 и оно будет единственным. Оно представлено на Рис. 13, по максимальной
величине абсциссы означает, что нулевой фрактал будет равен Ф0=100h.

 

Рис. 13. Определение базового фрактала

 

Следующим шагом процесса будет вычисление значения величины первого субфрактала Ф1. Этот процесс будет аналогичен предыдущему процессу вычисления Ф0. Но нелинейное уравнение необходимо изменить таким образом, чтобы оно приняло следующую форму:

10fuduФ0EzФ0Ф1fzdz1=0. (16)

Уравнение (16) приводится к виду

100truncuФ112Δxm+σ+Δxmσ1=0, (17)

а (17) – к виду

rrx=12truncmσ+100x+truncmσ100x1=0. (18)

Решая (18), получаем максимальное x1=20h, для которого rr(20)=0, это означает что Ф1=20h. Максимум нуля наблюдается при 20h.

Таким образом, первый субфрактал определён. Это соответствует Рис. 14.

 

Рис. 14. Определение первого субфрактала

 

Следующим шагом процесса становится вычисление значения величины второго субфрактала Ф2. Для этого необходимо использовать следующее нелинейное интегральное уравнение:

1Ф0+Ф1fuduФ0+Ф1EzФ0Ф1xfzdz1=0,

Исходные данные уравнения для нахождения второго субфрактала представляется в виде:

x0=Ф2z=u+120,fx=12Δxm+σ+Δxmσ,1120fzdz=2,

120truncz120xΔzm+σ+Δzmσdz1=0.

kkx=truncmσ+120x+truncm+σ120x1=0. (19)

На Рис. 15 представлено решение уравнения (19). 

 

Рис. 15. Определение второго субфрактала

 

Из рисунка следует,что Ф2=0. Итак получены значения трёх фракталов Ф2=100h, Ф2=20h,Ф2=0. Напомним, что это связано с условием применения приближённого гипердельтного распределения для нормального закона распределения с учётом только двух начальных моментов.

Решение всех вычислительных задач выполнялось с помощью вычислительной среды [12].

Заключение

Потребности в решении проблемы оптимального квантования информации в процессах хранения, обработки и передачи больших объемов данных постоянно увеличиваются. Специалистам в области Big Data \ Data Science постоянно приходиться сталкиваться с данной проблемой [13-15]. Однако инженерных моделей и методов решения подобных задач в зарубежной и отечественной литературе встречается не так много. В процессе решения практических задач, в которых применяется оптимальное в смысле заполнения квантование информации, разработчику математических моделей систем необходимо рассматривать специфические прикладные вопросы, дополняющие и расширяющие количественные характеристики предложенной математической модели [1].

В статье рассмотрены конкретные вспомогательные математические модели для решения прикладных практических задач, связанных с квантованием информации, учитывающие затраты на поиск и устранения ошибок в квантах, а также применения квантования для последовательного определения значений фракталов распределений вероятностей. Использование в математических моделях определения характеристик фракталов распределений вероятностей гипердельтную аппроксимацию значительно упростило получение решений, хотя вносит некоторую погрешность. Устранить этот недостаток можно путем увеличения числа этапов в аппроксимирующем гипердельтном распределении, что требует учета большего числа начальных моментов исходного распределения. Подробно вопросы точности гипердельтной аппроксимации обсуждаются в работе [9]. Программа для расчета параметров аппроксимирующего гипердельтного распределения по методу моментов на языке Java представлена в [10].

Представленные в статье математические модели быть полезны аспирантам, докторантам и исследователям конкретных задач практической направленности. 

×

About the authors

Vladimir A. Smagin

A.F. Mozhaysky Military Space Academy

Author for correspondence.
Email: va_smagin@mail.ru
ORCID iD: 0000-0002-0120-6145
SPIN-code: 7284-5007

The honoured worker of a science of the Russian Federation, Doctor of Technical Sciences, Professor

Russian Federation, St. Petersburg

Vladimir P. Bubnov

Emperor Alexander I St. Petersburg State Transport University

Email: bubnov1950@yandex.ru
ORCID iD: 0000-0002-6742-3011
SPIN-code: 3114-6579
https://www.pgups.ru/sveden/employees/bubnov-vladimir-petrovich

Doctor of Technical Sciences, Professor

Russian Federation, St. Petersburg

Shokhrukh K. Sultonov

Emperor Alexander I St. Petersburg State Transport University

Email: sultonovsh@yandex.ru
ORCID iD: 0000-0002-0462-8677
SPIN-code: 7241-7158

Postgraduate student

Russian Federation, St. Petersburg

References

  1. Андронов А.М., Бокоев Т.Н. Оптимальное в смысле заполнения квантование информации // Изв. АН СССР. Техническая кибернетика. – 1979. – № 3. – С.154–158. [Andronov AM., Bokoev TN. Quantization of information, optimal in the sense of filling. Izv Academy of Sciences of the USSR. Technical cybernetics. 1979;3:154-158. (In Russ.)].
  2. Гришанин Б.А. Учёт ценности информации в теории ценности информации // Изв. АН СССР. Техническая кибернетика. – 1967. – № 2. – С. 76–79. [Grishanin BA. Accounting for the value of information in the theory of the value of information. Izv. Academy of Sciences of the USSR. Technical cybernetics. 1967;2:76-79. (In Russ.)].
  3. Киселева Т.П. Особенности синхронизации в системах технологии LTE OFDMA / Сборник трудов XIV Международной отраслевой научно-технической конференции «Технологии информационного общества». 18–19 марта 2020 года; Москва: ООО "Издательский дом Медиа паблишер", 2020. – С. 160–166. [Kiseleva TP. Features of synchronization in systems of LTE OFDMA technology / Proceedings of the XIV International Industrial Scientific and Technical Conference “Information Society Technologies”. 2020 March 18-19; Moscow: “Publishing House Media Publisher” LLC; 2020. pр. 160 -166. (In Russ.)].
  4. Бочарова Д.В. Возможные пути увеличения динамического диапазона обрабатываемого сигнала в трактах предварительной обработки в многоканальных гидроакустических комплексах / Сборник научных статей III Международной научно-технической и научно-методической конференции «Актуальные проблемы инфотелекоммуникаций в науке и образовании». 25–26 февраля 2014 года; Санкт-Петербург. 2014. – С. 53–57. [Bocharova DV. Possible ways to increase the dynamic range of the processed signal in the paths of preprocessing in multichannel hydroacoustic systems / Collection of scientific articles of the III International scientific-technical and scientific-methodical conference “Actual problems of information telecommunications in science and education”. 2014 February 25-26; St. Petersburg. 2014. pр. 53-57. (In Russ.)].
  5. Патент РФ на изобретение № 2005133952/09 Тезин А.В., Шмойлов А.В., Шульгин Р.Н. Способ передачи дополнительной информации при совместном использовании векторного квантования и фрактального кодирования изображений. [Pat. RUS № 2005133952/09 Tezin AV, Shmoilov AV, Shulgin RN. Sposob peredachi dopolnitel'noy informatsii pri sovmestnom ispol'zovanii vektornogo kvantovaniya i fraktal'nogo kodirovaniya izobrazheniy. (In Russ.)]. Доступно по: https://patents.s3.yandex.net/RU2313917C2_20071227.pdf. Ссылка активна на: 11.02.2021.
  6. Chen X, Tuncel E. Low-Delay prediction – and transform-based Wyner-Ziv coding. IEEE Transactions on Signal Processing. 2011;59(2):653-666. doi: 10.1109/tsp.2010.2090524
  7. Khina A, Khisti A, Hassibi B, Kostina V. Tracking and control of Gauss-Markov processes over packet-drop channels with acknowledgments IEEE Transactions on Control of Network Systems. 2019;6(2):549-560. doi: 10.1109/tcns.2018.2850225
  8. Lyandres V. Mobile network synthesis strategy Information and Control Systems. 2019;(1):98-101. doi: 10.31799/1684-8853-2019-1-98-101
  9. Смагин В.А., Филимонихин Г.В. О моделировании случайных процессов на основе гипердельтного распределения // АВТ. – 1990. – № 5. – С. 25–31. [Smagin VA, Filimonikhin GV. On modeling of random processes based on hyperdelt distribution. AUT. 1990;5:25-31. (In Russ.)].
  10. Свидетельство о государственной регистрации программы ЭВМ № 201561737. Сергеев С.А., Бубнов В.П., Бубнов В.В. Программа для расчёта параметров аппроксимирующего гипердельтного распределения по методу моментов. [Certificate of state registration of the computer program №. 201561737. Sergeev SA, Bubnov VP, Bubnov VV. Programma dlya raschota parametrov approksimiruyushchego giperdel'tnogo raspredeleniya po metodu momentov (In Russ.)]. Доступно по: https://new.fips.ru/Archive/EVM/2015/2015.08.20/DOC/RUNW/000/002/015/617/637/document.pdf. Ссылка активна на: 11.02.2021.
  11. Смагин В.А., Бубнов В.П. Математическая модель детерминированных и случайных процессов в виде последовательного гиперфрактального распределения // Автоматика на транспорте. – 2019. – Т. 5. – № 2. – C. 145–159. [Smagin VA, Bubnov VP. Mathematical model of deterministic and random processes in the form of sequential hyperfractal distribution. Automation in transport. 2019; 5(2):145-159. (In Russ.)]. Доступно по: Download (atjournal.ru). Ссылка активна на: 11.02.2021.
  12. Кирьянов Д.В. Mathcad 12. Санкт-Петербург, "БХВ-Петербург", 2005. [Kiryanov DV. Mathcad 12. St. Petersburg: “BHV-Petersburg; 2005. (In Russ.)].
  13. Hering JG. From slide rule to big data: how data science is changing water science and engineering Journal of Environmental Engineering, ASCE. 2019. 145(8):02519001. doi: 10.1061/(asce)ee.1943-7870.0001578
  14. Novikov SV. Data science and big data technologies role in the digital economy TEM Journal: Technology, Education, Management, Informatics. 2020. 9(2):756–762. doi. 10.18421/tem92-44
  15. An T. Science opportunities and challenges associated with SKA big data Science China: Physics, Mechanics and Astronomy. 2019. 62(8):989531. doi: 10.1007/s11433-018-9360-x

Supplementary files

Supplementary Files
Action
1. Fig. 1. Dependence of the mathematical expectation on the magnitude of the quantum

Download (10KB)
2. Fig. 2. Mathematical expectations of the calculated quantized functions

Download (12KB)
3. Fig. 3. Mathematical expectations of the calculated quantized functions, taking into account the cost of restoration

Download (13KB)
4. Fig. 4. Dependence of the cost of error correction

Download (10KB)
5. Fig. 5. Dependence of the mathematical expectation of the amount of information on the quantum size and recovery delays

Download (12KB)
6. Fig. 6. Mathematical expectations of the quantized distribution taking into account errors with probability q

Download (11KB)
7. Fig. 7. Mathematical expectations of the quantized distribution taking into account errors with probability q1

Download (12KB)
8. Fig. 8. Mathematical expectation taking into account the hyperdelta approximation

Download (8KB)
9. Fig. 9. Second starting point

Download (6KB)
10. Fig. 10. Standard deviation

Download (7KB)
11. Fig. 11. Probability density

Download (9KB)
12. Fig. 12. Distribution function of the optimal quantum

Download (8KB)
13. Fig. 13. Definition of the base fractal

Download (2KB)
14. Fig. 14. Definition of the first subfractal

Download (6KB)
15. Fig. 15. Definition of the second subfractal

Download (6KB)

Statistics

Views

Abstract: 306

PDF (Russian): 103

Dimensions

Article Metrics

Metrics Loading ...

PlumX


Copyright (c) 2021 Smagin V.A., Bubnov V.P., Sultonov S.K.

Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 International License.

This website uses cookies

You consent to our cookies if you continue to use our website.

About Cookies