New methods for statistical decision making in conditions of a limited volume of observations and with a prioriy parametric uncertainty

Full Text

ВВЕДЕНИЕ

Первостепенное значение при мониторинге окружающей среды приобретают организация массового сбора информации об изучаемой системе, оперативность ее обработки и достоверная интерпретация данных наблюдений на основе аналитических и численных математических моделей.

Современный этап развития экспериментальных радиофизических и оптических методов исследования окружающей среды характеризуется переходом от пассивного сбора информации об изучаемом объекте к постановке целенаправленных экспериментов. С практической точки зрения важным является синтез комплексной системы сбора и обработки информации об окружающей среде, объединяющей дистанционные и контактные измерения, составляющие основу систем геоинформационного мониторинга.

Основной смысл концепции дистанционного мониторинга состоит в соединении в систему средств сбора данных, методов их обработки, математических моделей природных объектов, компьютерных средств реализации алгоритмов и моделей с широким спектром сервисного обеспечения при визуализации результатов мониторинга [1–3].

Эффективное решение этих задач невозможно без широкого внедрения в практику исследований автоматизированных систем сбора, хранения и обработки данных на базе современных компьютеров с применением технологии открытых систем.

В последнее время разрабатываются методы и алгоритмы компьютерного анализа двумерных изображений земной поверхности. Ведется работа по построению моделей формирования этих двумерных полей и решаются задачи классификации явлений, анализа изображений на изучаемом пространстве. Уже созданные методы и алгоритмы обладают способностью преодолевать такие трудности, как отрывочность и нестационарность информации, наличие малых статистически неоднородных выборок [1–3].

В настоящее время основной тенденцией в построении крупных проблемно-ориентированных информационных систем является использование распределенных баз данных и знаний, использование компьютеров различных классов и производителей, использование локальных и глобальных сетей. При этом возникают сложности в использовании информации баз данных и знаний, реализованных на различных системах управления базами данных (СУБД) и программного обеспечения, разработанного на разных платформах [1–3].

Преодоление указанных сложностей основано на применении технологии открытых информационных систем, использующей стандартные интерфейсы между всеми программно-аппаратными компонентами среды. Важнейшим этапом является построение профиля – набора согласованных стандартов для данной области применения.

Развитие систем дистанционного мониторинга окружающей среды требует решения ряда задач организации потоков данных измерений. Среди этих задач одной из важных является задача принятия статистического решения о наличии на обследуемой части земной поверхности того или иного явления. Одной из особенностей условий сбора информации для такого решения является невозможность получения статистических выборок больших объемов. Поэтому необходимы разработка и исследование оптимальных алгоритмов принятия статистических решений для выборок малого объема при информационных ограничениях.

Для случая, когда число наблюдений достаточно велико, задача решается методом оценки параметров вероятностных распределений. Этот метод эффективен при неограниченном росте объемов выборок, на основе которых производится оценка параметров. При ограниченных объемах выборок полученное методом оценки параметров решающее правило не удовлетворяет необходимым условиям оптимальности: постоянству средней вероятности ошибки первого рода и несмещенности.

Цель данной работы – разработка нового обобщенного адаптивного алгоритма обучения принятию статистических решений для экспоненциальных семейств распределений при априорной параметрической неопределенности в условиях выборок малого объема.

1. ПОСТАНОВКА ЗАДАЧИ

Пусть имеются три случайные величины  с плотностями распределения вероятностей  , известные с точностью до значения параметров , при этом для значения параметра имеются две альтернативы: 1) и 2).

Задача состоит в построении решающего правила, которое позволяло бы по n_i (i = 1, 2, 3) независимым наблюдениям случайных величин

 (1)

указать, какая из альтернатив, или , выбирается в качестве решения.

Решающее правило может быть задано с помощью бинарной функции , причем если , то принимается гипотеза , если же , то принимается гипотеза . В поставленной выше задаче выборочные значения , , случайных величин  являются обучающими. При фиксированных значениях параметров и  решающее правило указанного типа со статистической точки зрения характеризуется двумя величинами [1–5]:

1)  – вероятностью ошибки первого рода, т.е. принятия гипотезы , в случае когда имеет место гипотеза ;

2)  – вероятностью совершения ошибки второго рода, т.е. принятия гипотезы , в случае когда имеет место гипотеза .

Аналитически и  будут выражаться следующим образом:

Поскольку α и β являются случайными величинами, то для характеристики качества применяемого решающего правила используют математические ожидания  и  [1–5]:

 (2)

В некоторых случаях из соображений чисто аналитического характера ограничиваются рассмотрением класса решающих правил, для которых равенство

 (3)

выполняется при всех возможных значениях параметров  и . Этот класс называется классом подобных решающих правил уровня .

Если существует решающее правило , такое что неравенство

имеет место при любых возможных значениях параметров  ,  и любых решающих правил из класса (в предположении, что как , так и  принадлежат к рассматриваемому классу), то такое решающее правило  называется равномерно наиболее мощным решающим правилом. Впервые П.П. Данковым [4] была найдена оптимальная процедура обучения ЭВМ принятию статистических решений для нормально распределенных случайных величин с неизвестными средними и известными дисперсиями [4, 5]. Поскольку равномерно наиболее мощное решающее правило существует только для весьма ограниченного класса задач с параметрической априорной неопределенностью, то на практике при построении тех или иных решающих правил принимают одно из указанных выше (3) требований. Достаточно часто ограничиваются требованием выполнения двух обязательных условий оптимальности: а) постоянство средней вероятности ошибки первого рода  (условие подобия (3)), б) несмещенность:

 (4)

т.е. средняя вероятность правильного обнаружения не должна быть меньше средней вероятности ложных тревог.

Как будет показано далее, решающие процедуры, основанные на теории оценок параметров, не удовлетворяют указанным двум обязательным условиям оптимальности. Поэтому возникает задача улучшения процедуры различения классов сигналов по ограниченному ряду наблюдений выборок каждого класса. Тем не менее ниже предложена методика улучшения процедуры, основанная на теории оценки параметров. В результате для экспоненциальных семейств распределений получены процедуры, удовлетворяющие двум обязательным условиям оптимальности.

2. НОВЫЕ ОПТИМАЛЬНЫЕ ПРОЦЕДУРЫ ПРИНЯТИЯ СТАТИСТИЧЕСКИХ РЕШЕНИЙ ДЛЯ ЭКСПОНЕНЦИАЛЬНЫХ СЕМЕЙСТВ РАСПРЕДЕЛЕНИЙ

Предположим, что случайные величины из (1) имеют следующие плотности распределения вероятностей

, (5)

где , , ,  действительные монотонные функции [1–5].

Можно показать, что совместное условное распределение наблюдаемых последовательностей  () случайных величин  при условии, что заданы значения статистик

 , (6)

не зависит от параметров (). Следовательно, система трех случайных величин  является достаточной статистикой для параметров ,,и решающая функция зависит только от значений этих статистик. В качестве конкретного вида для  и  рассмотрим степенные функции и , часто используемые в радиофизических экспериментах для аппроксимации данных измерений. В дальнейшем нам необходимо иметь вид распределения статистик (6). Для нахождения распределения суммы

сначала найдем распределение случайной функции , а затем с помощью метода математической индукции определим и распределим суммы. Поскольку случайная величина имеет распределение

 (7)

то распределение функции  можно найти посредством следующего выражения [5]:

где  – функция, обратная v.

В результате получаем

Исходя из выражения для распределения композиции случайных величин [5] и используя математическую индукцию, можно показать, что распределение суммы

описывается функцией

 (8)

Для

и

распределения ,  имеют вид аналогичный (8). Совместная плотность распределения вероятностей независимых случайных величин , ,  запишется в форме

при , где

 ; ; ;

3. РЕШАЮЩЕЕ ПРАВИЛО, ОСНОВАННОЕ НА ОЦЕНКЕ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЙ

Классический метод решения задачи различения двух гипотез основывается на достаточно развитой теории точечных оценок параметров вероятностных распределений. Понятие “оценка” совпадает с понятием “статистика”, т.е. с понятием произвольной (измеримой) функции наблюдаемых значений случайной величины. Для рассматриваемого распределения (5) с неизвестными параметрами , и  по методу максимума правдоподобия [3–5] можно получить следующие выражения для оценок этих параметров:

Из условия  получим

Задавая конкретные виды функции и , где , , M, L – действительные числа, получим

,  (9)

Такая оценка параметра  является достаточной, несмещенной, эффективной, а последовательность этих оценок является состоятельной [1, 2, 5], и, следовательно, оценку нельзя улучшить. Однако ниже будет показано, что решающее правило, получаемое с помощью таких оценок, не является наилучшим и, более того, не удовлетворяет основным требованиям, предъявляемым к решающим правилам, если только объемы выборок не увеличиваются неограниченно. Применение метода оценки параметров вероятностных распределений для получения решающего правила выполняется по следующей схеме.

По результатам наблюдений  и  случайных величин  и  производится оценка параметров соответствующих распределений. В нашем случае, как следует из (9), для параметров  и  имеем соответственно следующие оценки:

  (10)

Далее все делается так, как если бы параметры распределений при альтернативах  и действительно имели значение и  соответственно.

Способ построения решающего правила для значений  случайной величины , когда их распределение как при гипотезе , так и при гипотезе  заданы, основан на фундаментальной лемме Неймана–Пирсона.Строится отношения правдоподобия

и выбирается порог , определяющий область принятия гипотезы , т.е. .

Порог  выбирается таким образом, чтобы :

 (11)

а

При конкретных видах функции

; ;

 (12)

имеем

 (13)

Далее следует рассматривать два случая.

Первый случай: . Из (13) получим

 (14)

Используя формулу (8) и подставляя конкретный вид функции  и  из (12) при альтернативе  находим

 (15)

Тогда получим

 (16)

где

 (17)

Из (16) следует, что , где  есть функция, обратная функции . Область принятия гипотезы определяется неравенством . Используя выражение для и из (15) в пространстве  область принятия альтернативы можно определить неравенствами

; .

Вводя обозначения

; , (18)

получаем, что в рассматриваемом случае область принятия гипотезы в пространстве  определится неравенствами

; . (19)

Второй случай: . Из (13) получаем

 (20)

Из неравенства (20), рассуждая аналогично случаю , получаем, что в пространстве  область принятия гипотезы  определится неравенствами

  (21)

Окончательно находим, что область принятия гипотезы  есть объединение областей, определяемых соотношениями (19) и (21) (рис. 1).

Отметим, что решающее правило не зависит от принятой системы измерения. Для определения вероятностей ошибок первого и второго рода вычислим плотность распределения вероятностей статистик и . Перейдем от статистики  с плотностью распределения вероятностей (1) к статистике , определяемой соотношениями , , . Якобиан этого преобразования равен

Отсюда плотность распределения вероятностей статистики  принимает вид

 (22)

где

,

,

,

, , .

Распределение статистики  получим интегрированием функции (22) по переменной w на интервале . В результате находим

где

Для конкретного вида функций  и  из (12) имеем

 (23)

где . Обозначая  и задавая условие , преобразуем  при гипотезе H₁ к виду

a при гипотезе H₂ –

 (24)

Рис. 1. Области принятия гипотез для классического решающего правила.

Из рис. 1 видно, что вероятности ошибок первого и второго рода можно определить следующим образом:

,

,

где

,

, . (25)

4. РЕШАЮЩЕЕ ПРАВИЛО, УДОВЛЕТВОРЯЮЩЕЕ НЕОБХОДИМЫМ УСЛОВИЯМ ОПТИМАЛЬНОСТИ

Для случайных величин, принадлежащих к экспоненциальному семейству распределений с априорной параметрической неопределенностью можно построить несмещенное решающее правило, которое является подобным заданному уровню . Другими словами, решающее правило будет удовлетворять двум обязательным условиям оптимальности, (3) и (4). Искомое решающее правило выберем в классе решающих правил, представленных на рис. 2.

Рис. 2. Области принятия гипотез для оптимального решающего правила; область принятия гипотезы заштрихована.

Для оптимизации свободными остаются только два параметра и .

Требования в процессе оптимизации следующие:

1)  , , (26)

2) , , должен принимать для оптимальной пары  максимальное значение.

Здесь  – заданное число и . Выражение для  и  получаются с помощью P₁и P₂из (25):

 (27)

где введены обозначения

; ; (28)

Задачу (26) решим методом неопределенных множителей Лагранжа. Для этого составим функционал

 (29)

где  – неопределенный множитель Лагранжа, определяемый из условия (27).

Составляем уравнения

где .

После некоторых преобразований получим следующую систему для определения  и :

 (30)

где .

Систему (30) в общем случае можно решить численными методами на компьютере. Изложенная здесь методика позволяет получить решающие правила для частных распределений, которые входят в экспоненциальное семейство распределений. Для этого выражения конкретных функций u и g из (12) подставим в (7) и получим

 (31)

Перечислим конкретные виды распределений (31), представленные в табл. 1:

Таблица 1. Типы распределения, входящие в экспоненциальное семейство

• – экспоненциальное распределение;

• – распределение Релея;

• – гамма-распределение;

• – распределение Вейблла (m′ – известный действительный параметр);

• – нормальное распределение с нулевым средним значением;

• – распределение Накагами (m′ целочисленный параметр).

Рассмотрим частные случаи решающего правила, получаемого методом оценки параметров. В табл. 2 приведены примеры процедур, основанных на методе оценки неизвестных параметров, рассмотрены допустимые вероятности ошибок первого рода при 0.5, 0.1, 0.2, объемы обучающих и контрольных выборок от 1 до 20.

Таблица 2. Примеры классических решающих правил

Приведены также значения порогов  и  и максимальные вероятности ошибок первого рода.

Как видно из табл. 2, максимальная вероятность ошибки первого рода для многих параметров в 25…8 раз превышает допустимую величину.

Зависимости  и  для примера ,  приведены на рис. 3.

Рис. 3. Графики вероятностей ошибок первого и второго рода для классической решающей процедуры.

Рассмотрим частные случаи для решающего правила, удовлетворяющего условиям оптимальности (табл. 3).

Таблица 3. Примеры оптимальных решающих процедур

Рассмотрены допустимые вероятности ошибок первого рода для 0.5, 0.1, 0.2, объемы обучающих и контрольных выборок от 1 до 20, а также приведены значения порогов и .

Нетрудно показать, что в рассмотренных процедурах минимальное значение достигается при . На рис. 4 приведены графики функции  и  для случая , 0.2.

Рис. 4. Графики вероятностей ошибок первого и второго рода для оптимальной решающей процедуры.

Отметим, что при  на оси абсцисс откладывается величина 2 – 1/λ. Ясно, что найденное решающее правило является подобным уровню  и несмещенным.

Для остальных примеров эти графики аналогичные.

В качестве меры эффективности оптимальной процедуры по отношению к процедуре, получаемой методом оценки параметров, рассмотрим величину , где – допустимая вероятность ошибки первого рода для обеих рассмотренных процедур, а – это фактическая вероятность ошибки первого рода при процедуре, получаемой методом оценки неизвестных параметров.

На рис. 5 показаны зависимости  от длины выборки при разных .

Рис. 5. Соотношение решающих процедур для α₀ = 0.05 (1), 0.1 (2) и 0.2 (3).

С ростом ,  уменьшается, при  обе процедуры становятся эквивалентными.

Как видно из рис. 5, при увеличении  уменьшается , а при , α_max →α₀, →0 обе процедуры становятся эквивалентными.

ЗАКЛЮЧЕНИЕ

Таким образом, в данной работе получены следующие результаты.

Предложен новый подход к решению задачи обучения принятию статистических решений по выборкам ограниченного объема для экспоненциальных семейств распределений при априорной параметрической неопределенности.

Разработано решающее правило, удовлетворяющее необходимым условиям оптимальности: постоянству средней вероятности ошибки первого рода и несмещенности. Рассматриваются конкретные решающие процедуры для частных распределений, полученных от обобщенного алгоритма.

Показана эффективность разработанной оптимальной процедуры для выборок малого объема.

ФИНАНСИРОВАНИЕ РАБОТЫ

Работа выполнена в рамках госзадания Института радиотехники и электроники им. В.А. Котельникова РАН.

About the authors

F. A. Mkrtchyan

Author for correspondence.
Email: ferd47@mail.ru
Russian Federation, Fryazino, Moscow region, 141190 Russia

References

Supplementary files

Supplementary Files

Action

1. JATS XML

Download

2. Fig. 1. Acceptance regions of hypotheses for the classical decision rule.

Download (199KB)

Indexing metadata

3. Fig. 2. Hypothesis acceptance regions for the optimal decision rule; the hypothesis acceptance region is shaded.

Download (151KB)

Indexing metadata

4. Fig. 3. Graphs of the probabilities of errors of the first and second kind for the classical decision procedure.

Download (61KB)

Indexing metadata

5. Fig. 4. Graphs of the probabilities of errors of the first and second kind for the optimal decision procedure.

Download (67KB)

Indexing metadata

6. Fig. 5. The ratio of decision procedures for α₀ = 0.05 (1), 0.1 (2) and 0.2 (3).

Download (87KB)

Indexing metadata