В каких случаях применяется формула байеса. Идеи байеса для менеджеров

ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ INFORMATION TECHNOLOGY, COMPUTER SCIENCE, AND MANAGEMENT

О применимости формулы Байеса

DOI 10.12737/16076

А. И. Долгов **

1Акционерное общество «Конструкторское бюро по радиоконтролю систем управления, навигации и связи», г. Ростов-на-Дону, Российская Федерация

On applicability of Bayes" formula*** A. I. Dolgov1**

1«Design bureau on monitoring of control, navigation and communication systems» JSC, Rostov-on-Don, Russian Federation

Предметом данного исследования является формула Байеса. Цель настоящей работы - анализ и расширение области применения формулы. Первоочередной задачей представляется изучение публикаций, посвященных указанной проблеме, позволившее выявить недостатки применения формулы Байе-са, приводящие к некорректным результатам. Следующая задача - построение модификаций формулы Байеса, обеспечивающих учет различных одиночных свидетельств с получением корректных результатов. И, наконец, на примере конкретных исходных данных сравниваются некорректные результаты, получаемые с применением формулы Байеса, и корректные результаты, вычисляемые с помощью предлагаемых модификаций. При проведении исследования использованы два метода. Во-первых, проведен анализ принципов построения известных выражений, применяемых для записи формулы Байеса и ее модификаций. Во-вторых, выполнена сравнительная оценка результатов (в том числе количественная). Предлагаемые модификации обеспечивают более широкое применение формулы Байеса в теории и на практике, в том числе при решении прикладных задач.

Ключевые слова: условные вероятности, несовместные гипотезы, совместимые и несовместимые свидетельства, нормирование.

Bayes" formula is the research subject. The work objective is to analyze the formula application and widen the scope of its applicability. The first-priority problem includes the identification of the Bayes" formula disadvantages based on the study of the relevant publications leading to incorrect results. The next task is to construct the Bayes" formula modifications to provide an accounting of various single indications to obtain correct results. And finally, the incorrect results obtained with the application of Bayes" formula are compared to the correct results calculated with the use of the proposed formula modifications by the example of the specific initial data. Two methods are used in studies. First, the analysis of the principles of constructing the known expressions used to record the Bayesian formula and its modifications is conducted. Secondly, a comparative evaluation of the results (including the quantitative one) is performed. The proposed modifications provide a wider application of Bayes" formula both in theory and practice including the solution of the applied problems.

Keywords: conditional probabilities, inconsistent hypotheses, compatible and incompatible indications, normalizing.

Введение. Формула Байеса находит все более широкое применение в теории и практике , в том числе при решении прикладных задач с помощью вычислительной техники . Использование взаимно независимых вычислительных процедур позволяет особенно эффективно применять данную формулу при решении задач на многопроцессорных вычислительных системах , так как в этом случае параллельная реализация выполняется на уровне общей схемы, и при добавлении очередного алгоритма или класса задач нет необходимости повторно проводить работу по распараллеливанию.

Предметом данного исследования является применимость формулы Байеса для сравнительной оценки апостериорных условных вероятностей несовместных гипотез при различных одиночных свидетельствах. Как показывает анализ, в таких случаях сравниваются нормированные вероятности несовместных комбинированных событий, принадле-

S X <и ч и

IS eö И IS X X <и H

"Работа выполнена в рамках инициативной НИР.

**E-mail: [email protected]

""The research is done within the frame of the independent R&D.

жащих разным полным группам событий . При этом сравниваемые результаты оказываются неадекватными реальным статистическим данным. Это обусловлено следующими факторами:

Используется некорректное нормирование ;

Не принимается во внимание наличие или отсутствие пересечений учитываемых свидетельств.

С целью устранения обнаруженных недостатков выявляются случаи применимости формулы Байеса. Если же указанная формула неприменима, решается задача построения ее модификации, обеспечивающей учет различных одиночных свидетельств с получением корректных результатов. На примере конкретных исходных данных выполнена сравнительная оценка результатов:

Некорректных - получаемых с использованием формулы Байеса;

Корректных - вычисляемых с помощью предлагаемой модификации.

Исходные положения. В основу излагаемых далее утверждений положим принцип сохранения отношений вероятностей: «Корректная обработка вероятностей событий осуществима лишь при нормировании с применением одного общего нормирующего делителя, обеспечивающего равенство отношений нормированных вероятностей отношениям соответствующих им нормируемых вероятностей» . Данный принцип представляет субъективную основу теории вероятностей, однако не отражается должным образом в современной учебной и научно-технической литературе.

При нарушении указанного принципа искажаются сведения о степени возможности рассматриваемых событий. Получаемые на основе искаженных сведений результаты и принимаемые решения оказываются неадекватными реальным статистическим данным.

В предлагаемой статье будут использованы следующие понятия:

Элементарное событие - событие, не делимое на элементы;

Комбинированное событие - событие, представляющее то или иное сочетание элементарных событий;

Совместимые события - события, которые в одних случаях сравнительной оценки их вероятностей могут быть несовместными, а других случаях совместными;

Несовместимые события - события, которые во всех случаях являются несовместными.

Согласно теореме умножения вероятностей, вероятность Р (И ^Е) произведения элементарных событий И ^ и

Е вычисляется в виде произведения вероятностей Р(Ик Е) = Р(Е)Р(И^Е) . В связи с этим формула Байеса часто

записывается в виде Р(Ик\Е) =--- , описывающем определение апостериорных условных вероятностей

Р(И^Е) гипотез Ик (к = 1,...п) на основе нормирования априорных вероятностей Р(И^Е) учитываемых комбинированных несовместимых событий И к Е. Каждое из таких событий представляет произведение, сомножителями которого являются одна из рассматриваемых гипотез и одно учитываемое свидетельство. При этом все рассматривае-

мые события ИкЕ (к = 1,...п) образуют полную группу иИкЕ несовместимых комбинированных событий, в связи

с чем их вероятности Р(Ик Е) должны быть нормированы с учетом формулы полной вероятности , согласно кото-

рой Р(Е) = 2 Р(Ик)Р(Е\Ик). Поэтому формула Байеса чаще всего записывается в наиболее употребляемом виде:

Р(Ик) Р(ЕИк)

Р(Ик\Е) = -. (1)

^ кацией формулы Байеса.

й Анализ особенностей построения формулы Байеса, нацеленного на решение прикладных задач, а также примеры

«и ее практического применения позволяют сделать важный вывод относительно выбора полной группы сравниваемых по степени возможности комбинированных событий (каждое из которых является произведением двух элементарных событий - одной из гипотез и учитываемого свидетельства). Такой выбор осуществляется субъективно лицом, принимающим решение, на основе объективных исходных данных, присущих типовым условиям обстановки: виды и количество оцениваемых гипотез и конкретно учитываемое свидетельство.

Несравниваемые вероятности гипотез при одиночных несовместимых свидетельствах. Формула Байеса традиционно применяется в случае определения не сравниваемых по степени возможности апостериорных условных веро-

ятностей гипотез Н^ при одиночных несовместимых свидетельствах, каждое из которых может «появиться

только в комбинации с какой-либо из этих гипотез» . При этом выбираются полные группы и НкЕ, комбиниро-

ванных событий в виде произведений, сомножителями которых являются одно из свидетельств ц. (1=1,...,т) и одна

из п рассматриваемых гипотез.

Формула Байеса применяется для сравнительной оценки вероятностей комбинированных событий каждой такой полной группы, отличающейся от других полных групп не только учитываемым свидетельством е, но и в общем случае видами гипотез Н ^ и (или) их количеством п (см., например, )

РНкЫ = Р(Нк) Р(еН)

% Р(Нк) Р(Ег\Нк) к = 1

В частном случае при п = 2

РНк\Е,~ Р(Нк) Р(ЕН)

% Р(Нк) Р(Е,\Н к) к = 1

и получаемые результаты являются правильными, ввиду соблюдения принципа сохранения отношений вероятностей:

Р(Н1Е,) _ Р(Н 1)Р(Е,\Н1) / Р(Н2) Р(Е,\Н2) = Р(Н 1) Р(Е,\Н1)

Р(Н 2= % РШ1!) РЕ,\Н0 % ^) РЕ,\Н) " Р(Н 2> 2>"

Субъективность выбора полной группы сравниваемых по степени возможности комбинированных событий (с

теми или иными изменяемыми элементарными событиями) позволяет выбрать полную группу событий и Нк Е ■ с

отрицанием элементарного события Е ■ () и записать формулу Байеса (1 = 1,.. .,т) так:

Р(Нк\Е) -=-РНШ±.

% Р(Нк)Р(Е,Нк)

Такая формула также применима и дает возможность получить правильные результаты, если вычисляемые к

нормированные вероятности сравниваются при различных рассматриваемых гипотезах, но не при различных свиде- ^

тельствах. ¡^

Сравниваемые вероятности гипотез при одиночных несовместимых свидетельствах. Судя по известным публи- ^

няется для сравнительной оценки апостериорных условных вероятностей гипотез при различных одиночных свиде- ^

тельствах. При этом не уделяется внимание следующему факту. В указанных случаях сравниваются нормируемые ^ вероятности несовместных (несовместимых) комбинированных событий, принадлежащих разным полным группам н событий. Однако в данном случае формула Байеса неприменима, так как сравниваются не входящие в одну полную § группу комбинированные события, нормирование вероятностей которых осуществляется с использованием разных л нормирующих делителей. Нормированные вероятности несовместных (несовместимых) комбинированных событий можно сравнивать только в том случае, если они принадлежат одной и той же полной группе событий и нормированы ¡3 с использованием общего делителя, равного сумме вероятностей всех нормируемых событий, входящих в полную §

В общем случае в качестве несовместимых свидетельств могут рассматриваться:

Два свидетельства (например, свидетельство и его отрицание); ^

Три свидетельства (к примеру, в игровой ситуации выигрыш, проигрыш и ничья); ^

Четыре свидетельства (в частности, в спорте выигрыш, проигрыш, ничья и переигровка) и т. д. ^

Рассмотрим довольно простой пример (соответствующий примеру, приведенному в ) применения формулы ^ Байеса для определения апостериорных условных вероятностей гипотезы Н ^ при двух несовместимых событиях в

виде свидетельства Л]- и его отрицания Л]

Р(Н,к) - ^ . ^ Р(А^к» , (2)

] Е Р(Нк> Р(А]\вк> к - 1

■ _ Р(НкА ]) Р(Нк> Р(А ]\нк>

Р(Н,\А,) ----к-]-. (3)

V к\Л]> Р(А > п

] Е Р(Нк) Р(А]\Нк) к -1

В случаях (2) и (3) субъективно выбранными полными группами сравниваемых по степени возможности ком-

бинированных событий являются соответственно множества и Н к А и и Н к А. Это тот случай, когда формула

к-1 к ] к-1 к ]

Байеса неприменима, т. к. нарушен принцип сохранения отношений вероятностей - не соблюдается равенство отношений нормированных вероятностей отношениям соответствующих им нормируемых вероятностей:

Р(Н к А]] Р(Нк) Р(А]\Нк) / Р(Нк) Р(А]\Нк) Р(Нк) Р(А] Нк)

Р(Нк Е Р(Нк) Р(А]\Нк)/ Е Р(Нк) Р(А]\Нк) Р(Нк) Р(А] Нк)

к - 1 /к - 1 Согласно принципу сохранения отношений вероятностей, корректная обработка вероятностей событий осуществима лишь при нормировании с применением одного общего нормирующего делителя, равного сумме всех сравниваемых нормируемых выражений. Поэтому

Е Р(Нк)Р(А]\Нк) + Е Р(Нк)Р(А]\Нк) - Е Р(Нк)[Р(А]\Нк) + Р(Нк) Р(А]\Нк)] - ЕР(Нк) - 1. к -1 к -1 к -1 к -1

Таким образом, обнаруживается тот факт, что существуют разновидности формулы Байеса, отличающиеся от

известных отсутствием нормирующего делителя:

А,) - Р(Н) Р(А]\Нк), Р(Нк А,) - Р(Н) Р(А, Н к). (4)

J к I ■> к

При этом соблюдается равенство отношений нормированных вероятностей отношениям соответствующих им нормируемых вероятностей:

т^А^ Р(Нк) Р(А]\Нк)

А,) Р(Н к) Р(А,Нк)

На основе субъективного выбора нетрадиционно записываемых полных групп несовместных комбинированных событий можно увеличить количество модификаций формулы Байеса, включающих свидетельства, а также то или иное количество их отрицаний. Например, наиболее полной группе комбинированных событий

и и Нк /"./ ^ и и Нк Ё\ соответствует (с учетом отсутствия нормирующего делителя) модификация формула; =1 А"=1 ; =1 лы Байеса

Р(Нк\~) - Р(Н к) ПЁ^^^

где элементарное событие в виде свидетельства Е\ е II II / "/ является одним из элементов указанного множе-

о При отсутствии отрицаний свидетельств, то есть при Ё\ = // е и /"./,

^ Р(Н\Е) Р(Нк) Р(Е,\Нк)

Е Р(Нк) Р(Е\Нк) к - 1

Таким образом, модификация формулы Байеса, предназначенная для определения сравниваемых по степени возможности условных вероятностей гипотез при одиночных несовместимых свидетельствах выглядит следующим образом. В числителе содержится нормируемая вероятность одного из комбинированных несовместных событий, об-110 разующих полную группу, выраженную в виде произведения априорных вероятностей, а в знаменателе - сумма всех

нормируемых вероятностей. При этом соблюдается принцип сохранения отношений вероятностей - и получаемый результат является правильным.

Вероятности гипотез при одиночных совместимых свидетельствах. Формулы Байеса традиционно применяются для определения сравниваемых по степени возможности апостериорных условных вероятностей гипотез Нк (к = 1,...,п) при одном из нескольких рассматриваемых совместимых свидетельств ЕЛ (1 = 1,...,т). В частности (см.,

например, и ), при определении апостериорных условных вероятностей Р(Н 1Е^) и Р(Н 1 Е2) при каждом из двух совместимых свидетельств Е1 и Е2 употребляются формулы вида:

P(H 1) PE\H1) P(Hj) P(E2Hj) P(H J E1) = --1-и P(H J E 2) =--1-. (5)

I P(Hk) PE\Hk) I P(Hk) P(E2 Hk)

k = 1 k = 1 Необходимо учесть, что это еще один случай, когда формула Байеса неприменима. Причем в данном случае должны быть устранены два недостатка:

Проиллюстрированное нормирование вероятностей комбинированных событий некорректно, ввиду принадлежности разным полным группам рассматриваемых событий ;

В символических записях комбинированных событий HkEx и HkE2 не находит отражения тот факт, что учитываемые свидетельства E х и E 2 являются совместимыми.

Для устранения последнего недостатка может быть использована более развернутая запись комбинированных событий с учетом того, что совместимые свидетельства E1 и E2 в одних случаях могут быть несовместными, а в других совместными:

HkE1 = HkE1 E2 и HkE2 = HkE 1E2+HkE1 E2, где E1 и E 2 являются свидетельствами, противоположными E1 и E 2.

Очевидно, что в таких случаях произведение событий Hk E1E2 учитывается дважды. Кроме того, оно может быть учтено еще раз отдельно, однако этого не происходит. Дело в том, что в рассматриваемой ситуации на оцениваемую обстановку влияют три вероятных несовместимых комбинированных события: HkE1E2, HkE 1E2 и

Hk E1E2. При этом для лица, принимающего решение, представляет интерес оценка по степени возможности лишь

двух несовместимых комбинированных событий: HkE1 E2 и HkE 1E2, что соответствует рассмотрению только g

одиночных свидетельств. ¡Ц

Таким образом, при построении модификации формулы Байеса для определения апостериорных условных ве- ¡^

роятностей гипотез при одиночных совместимых свидетельствах необходимо исходить из следующего. Лицо, прини- ^

мающее решение, интересует, какое именно элементарное событие, представленное тем или иным свидетельством из

числа рассматриваемых, реально произошло в конкретных условиях. Если происходит другое элементарное событие в К

виде одиночного свидетельства, требуется пересмотр решения, обусловленного результатами сравнительной оценки н

апостериорных условных вероятностей гипотез с непременным учетом других условий, влияющих на реальную об- щ

становку. 3

Введем следующее обозначение: HkE- для одного (и только одного) несовместимого комбинированного со- ^

бытия, состоящего в том, что из m > 1 рассматриваемых элементарных событий Ei (i = 1,...,m) совместно с гипотезой «

Hk произошло одно элементарное событие Ex и не произошли другие элементарные события. се"

В наиболее простом случае рассматриваются два одиночных несовместимых свидетельства. Если подтвер-

ждается одно из них, условная вероятность свидетельства в общем виде выражается формулой л

P(Hk E-) = P(Ei\Hk) -P(EjE^Hk) = P(Ei\Hk) -P(M^Hk)P(M^Hk) , i = 1, -2 (6) g

В справедливости формулы можно наглядно убедиться (рис. 1).

Рис. 1. Геометрическая интерпретация вычисления Р(Нк Е-) при / = 1,...,2 При условно независимых свидетельствах

Р(К1К2\Нк) = р(Е\Нк)Р(Е2\Нк),

поэтому с учетом (6)

Р(Нк Е-) = РЕ Нк) - Р(Е1 Нк) Р(Е21Нк) , = 1,.,2. (7)

Аналогично вероятность Р(НкЕ-) одного из трех (/ = 1,...,3) несовместимых событий НкЕ^ выражается формулой

Например, при i = 1:

p(HkEl) = P(Ei\Hk)-[ S P(Ei\Hk)P(Ej\Hk) ] + P(EiE2E3Hk)

p(HkE-) = P(E7|Hk)- P(E]E^Hk)- P(E7EjHk) + P(E]E2E3\Hk)

Справедливость данной формулы наглядно подтверждает геометрическая интерпретация, представленная на

Рис. 2. Геометрическая интерпретация вычисления Р(Нк Е-) при / = 1,...,3

Методом математической индукции можно доказать общую формулу для вероятности Р(Нк Е-) при любом количестве свидетельств е, 0=1,...,т):

Р(НкЕ-) = Р(Е,Нк)- т РЕ\Нк) Р(Е]\Нк) + 1 Р(Е\Нк) Р(Е]\Нк) Р(Е^Нк) +■■■ + (-1)

] = 1(] * 0 ],1 * 1

Используя теорему умножения вероятностей, запишем условную вероятность Р(НкЕ~-) в двух формах:

^ из которых следует, что

P(Hk E -) = P(H k) P(E-|Hk) = P(E-) P(Hk

E-)= P(HkE-) "" P(E-)

С использованием формулы полной вероятности P(Ei) = S P(H£) P(Ei Hk) получается, что

Е-) = Р(НкЕТ)

2 Р(НкЕ-) к = 1

Подставив в полученную формулу выражения для Р(НкЕ-) в виде правой части (8), получим окончательный вид формулы для определения апостериорных условных вероятностей гипотез Н^ (к = 1,.. .,п) при одном из нескольких рассматриваемых несовместимых одиночных свидетельств: (Е ^ \Нк)

Р(Нк)[Р(Е,\Нк) - 2 Р(Е,\Нк) Р(Ер к) +...+ (-1)т-1 Р(П Р(Ерк)] Р(Н, Е~) =-] = 1(] * ■----(9)

к 1 п т т т

2 Р(Н к) 2 [Р(Е,\Н к) - 2 Р(ЕгНк) Р(Е^Нк) + ...+ (-1)т-1 Р(П Р (Ер к)]

к=1 , = 1 } = 1(} *,) ■! =1

Сравнительные оценки. Рассматриваются довольно простые, но наглядные примеры, ограничивающиеся анализом вычисляемых апостериорных условных вероятностей одной из двух гипотез при двух одиночных свидетельствах. 1. Вероятности гипотез при несовместимых одиночных свидетельствах. Сравним результаты, получаемые с применением формул Байеса (2) и (3), на примере двух свидетельств Л. = Л и Л. = Л при исходных данных:

Р(Н1 = 0,7; Р(Н2) = 0,3; Р(Л| Н^ = 0,1; Р(Л\н 1) = 0,9; Р(Л\Н2) = 0,6; Р(Л\Н2) = 0,4. В рассматриваемых примерах с гипотезой Н1 традиционные формулы (2) и (3) приводят к следующим результатам:

Р(Н.) Р(А\Но 0 07

Р(Н, Л) =-- 11 = - = 0,28,

2 Р(Н к) Р(А\Нк) к = 1

Р(Н Л Р(А\Н 1) 0 63

Р(Н, Л) =-- 11 = - = 0,84,

2 Р(Нк) Р(А\Нк) к = 1

ормирующих делит Р(Н 1 Л) = Р(Н^ Р(Л\Нр = 0,07; Р(Н^ А) = Р(Н1) Р(л|Н^ = 0,63. 1ения предлагаемых формул отно:

Р<Н)Р(АНА-Р(А|Н1) _ 0,07

а при предлагаемых формулах (4), не имеющих нормирующих делителей: «и

Таким образом, в случае применения предлагаемых формул отношение нормируемых вероятностей равно от- й ношению нормированных вероятностей: К

гт ж Р(Н 1) Р(А\Н 1) А11 |

При использовании известных формул при таком же отношении -;-=-= 0,11 нормируемых веро- н

Р(Н 1) Р(А\Н 1) «§

ятностей, указанных в числителях, отношение получаемых нормированных вероятностей: 2

Р(Н 1) Р(А\Н 1) Р(А\Н 1) 0,63

Р(Н1 Л) = 0,28 Р(Н 1 Л) = 0,84

То есть принцип сохранения отношений вероятностей не соблюдается, и получаются неверные результаты. При этом £

в случае применения известных формул значение относительного отклонения отношения (11) апостериорных услов- и ных вероятностей гипотез от корректных результатов (10) оказывается весьма существенным, так как составляет

°,33 - °,П х 100 = 242%.. I

2. Вероятности гипотез при совместимых одиночных свидетельствах. Сравним результаты, получаемые с приме- д нением формул Байеса (5) и построенной корректной модификации (9), используя следующие исходные данные: ^

Р(Н1 = 0,7; Р(Н2) = 0,3; Р(Е1Н1) = 0,4; Р(Е2Н1) = 0,8; Р(Е1\Н2) = 0,7; Р(Е^Н2) = 0,2. 113

В рассматриваемых примерах с гипотезой H 2 в случае использования традиционных формул (5):

P(H 2) P(E1 H 2) Q, 21

P(H 2 E1) =-2-!-2- = - = Q,429,

I p(Hk) p(El Hk) k = 1

P(H 2) P(E 2 H 2) Q,Q6

P(H 2 E 2) =-2-- = - = 0,097.

I P(Hk) P(E 2 Hk) k = 1

В случае же применения предлагаемой формулы (9) с учетом (7) P(H

P(H2) 0,168

E.) ----- 0,291,

Z P(Hk) Z "

P(H2) 0,018

E0) ----- 0,031.

Z P(Hk) Z k - 1 i - 1

При использовании предлагаемых корректных формул, ввиду одинаковых знаменателей, отношение P(H2) -

Нормируемых вероятностей, указываемых в числителях, равно отношению

P(H2)

нормированных вероятностей:

То есть принцип сохранения отношений вероятностей соблюдается.

Однако в случае применения известных формул при отношении указанных в числителях нормируемых вероятностей

Р(Н 2) Р(Е1\Н 2) _ 0,21 _3 5 Р(Н 2)Р(Е 2 Н 2) 0,06 ,

отношение нормированных вероятностей:

Р(Н 2 = 0.429 = 4,423. (13)

Р(Н 2 \е2) 0,097

То есть принцип сохранения отношений вероятностей, как и прежде, не соблюдается. При этом в случае применения известных формул значение относительного отклонения отношения (13) апостериорных условных вероятностей гипотез от корректных результатов (12) также оказывается весьма существенным:

9,387 4,423 х 100 = 52,9%.

Заключение. Анализ построения конкретных формульных соотношений, реализующих формулу Байеса и ее модификации, предлагаемые для решения практических задач, позволяют утверждать следующее. Полная группа сравнивае-2 мых по степени возможности комбинированных событий может выбираться субъективно лицом, принимающим решение. Данный выбор основывается на учитываемых объективных исходных данных, характерных для типовой об-й становки (конкретные виды и количество элементарных событий - оцениваемых гипотез и свидетельств). Представ--о ляет практический интерес субъективный выбор других вариантов полной группы сравниваемых по степени возмож-

ности комбинированных событий - таким образом обеспечивается существенное разнообразие формульных соотношений при построении нетрадиционных вариантов модификаций формулы Байеса. На этом, в свою очередь, может ^ основываться совершенствование математического обеспечения программной реализации, а также расширение области применения новых формульных соотношений для решения прикладных задач.

Библиографический список

1. Gnedenko, B. V. An elementary introduction to the theory of probability / B. V. Gnedenko, A. Ya. Khinchin. - 114 New York: Dover Publications, 1962. - 144 р.

2. Вентцель, Е. С. Теория вероятностей / Е. С. Вентцель. - 10-е изд., стер. - Москва: Высшая школа, 2006. - 575 с.

3. Андронов. А. М., Теория вероятностей и математическая статистика / А. М. Андронов, Е. А. Копытов, Л. Я. Гринглаз. - Санкт-Петербург: Питер, 2004. - 481 с.

4. Змитрович, А. И. Интеллектуальные информационные системы / А. И. Змитрович. - Минск: ТетраСи-стемс, 1997. - 496 с.

5. Черноруцкий, И. Г. Методы принятия решений / И. Г. Черноруцкий. - Санкт-Петербург: БХВ-Петербург, 2005. - 416 с.

6. Naylor, C.-M. Build Your Own Expert System / C.-M. Naylor. - Chichester: John Wiley & Sons, 1987. - 289 p.

7. Романов, В. П. Интеллектуальные информационные системы в экономике / В. П. Романов. - 2-е изд., стер.

Москва: Экзамен, 2007. - 496 с.

8. Экономическая эффективность и конкурентоспособность / Д. Ю. Муромцев [и др.]. - Тамбов: Изд-во Тамб. гос. техн. ун-та, 2007.- 96 с.

9. Долгов, А. И. Корректные модификации формулы Байеса для параллельного программирования / А. И. Долгов // Суперкомпьютерные технологии: мат-лы 3-й всерос. науч-техн. конф. - Ростов-на-Дону. - 2014.- Т. 1 - С. 122-126.

10. Долгов, А. И. О корректности модификаций формулы Байеса / А. И. Долгов // Вестник Дон. гос. техн. ун-та.

2014. - Т. 14, № 3 (78). - С. 13-20.

1. Gnedenko, B.V., Khinchin, A.Ya. An elementary introduction to the theory of probability. New York: Dover Publications, 1962, 144 р.

2. Ventsel, E.S. Teoriya veroyatnostey. 10th ed., reimpr. Moscow: Vysshaya shkola, 2006, 575 p. (in Russian).

3. Andronov, А.М., Kopytov, E.A., Gringlaz, L.Y. Teoriya veroyatnostey i matematicheskaya statistika. St.Petersburg: Piter, 2004, 481 p. (in Russian).

4. Zmitrovich, А.1. Intellektual"nye informatsionnye sistemy. Minsk: TetraSistems, 1997, 496 p. (in Russian).

5. Chernorutskiy, I.G. Metody prinyatiya resheniy. St.Petersburg: BKhV-Peterburg, 2005, 416 p. (in Russian).

6. Naylor, C.-M. Build Your Own Expert System. Chichester: John Wiley & Sons, 1987, 289 p.

7. Romanov, V.P. Intellektual"nye informatsionnye sistemy v ekonomike. 2nd ed., reimpr. Moscow: Ekzamen, 2007, 496 p. (in Russian).

8. Muromtsev, D.Y., et al. Ekonomicheskaya effektivnost" i konkurentosposobnost". Tambov: Izd-vo Tamb. gos. tekhn. un-ta, 2007, 96 p. (in Russian). IB

9. Dolgov, А1. Korrektnye modifikatsii formuly Bayesa dlya parallel"nogo programmirovaniya. Superkomp"yuternye tekhnologii: mat-ly 3-y vseros. nauch-tekhn. konf. Rostov-on-Don, 2014, vol. 1, pp. 122-126 (in Russian). ^

10. Dolgov, А1. O korrektnosti modifikatsiy formuly Bayesa. ^ Vestnik of DSTU, 2014, vol. 14, no. 3 (78), pp. 13-20 (in Russian). *

При выводе формулы полной вероятности предполагалось, что событие А , вероятность которого следовало определить, могло произойти с одним из событий Н 1 , Н 2 , ... , Н n , образующих полную группу попарно несовместных событий. При этом вероятности указанных событий (гипотез) были известны заранее. Предположим, что произведен эксперимент, в результате которого событие А наступило. Эта дополнительная информация позволяет произвести переоценку вероятностей гипотез Н i , вычислив Р(Н i /А).

или, воспользовавшись формулой полной вероятности, получим

Эту формулу называют формулой Байеса или теоремой гипотез. Формула Байеса позволяет «пересмотреть» вероятности гипотез после того, как становится известным результат опыта, в результате которого появилось событие А .

Вероятности Р(Н i) − это априорные вероятности гипотез (они вычислены до опыта). Вероятности же Р(Н i /А) − это апостериорные вероятности гипотез (они вычислены после опыта). Формула Байеса позволяет вычислить апостериорные вероятности по их априорным вероятностям и по условным вероятностям события А .

Пример . Известно, что 5 % всех мужчин и 0.25 % всех женщин дальтоники. Наугад выбранное лицо по номеру медицинской карточки страдает дальтонизмом. Какова вероятность того, что это мужчина?

Решение . Событие А – человек страдает дальтонизмом. Пространство элементарных событий для опыта – выбран человек по номеру медицинской карточки – Ω = {Н 1 , Н 2 } состоит из 2 событий:

Н 1 −выбран мужчина,

Н 2 −выбрана женщина.

Эти события могут быть выбраны в качестве гипотез.

По условию задачи (случайный выбор) вероятности этих событий одинаковые и равны Р(Н 1 ) = 0.5; Р(Н 2 ) = 0.5.

При этом условные вероятности того, что человек страдает дальтонизмом, равны соответственно:

Р(А/Н 1 ) = 0.05 = 1/20; Р(А/Н 2 ) = 0.0025 = 1/400.

Так как известно, что выбранный человек дальтоник, т. е. событие произошло, то используем формулу Байеса для переоценки первой гипотезы:

Пример. Имеются три одинаковых по виду ящика. В первом ящике 20 белых шаров, во втором – 10 белых и 10 черных, в третьем – 20 черных шаров. Из выбранного наугад ящика вынули белый шар. Вычислить вероятность того, что шар вынут из первого ящика.

Решение . Обозначим через А событие – появление белого шара. Можно сделать три предположения (гипотезы) о выборе ящика: Н 1 , Н 2 , Н 3 − выбор соответственно первого, второго и третьего ящика.

Так как выбор любого из ящиков равновозможен, то вероятности гипотез одинаковы:

Р(Н 1 )=Р(Н 2 )=Р(Н 3 )= 1/3.

По условию задачи вероятность извлечения белого шара из первого ящика

Вероятность извлечения белого шара из второго ящика

Вероятность извлечения белого шара из третьего ящика

Искомую вероятность находим по формуле Байеса:

Повторение испытаний. Формула Бернулли .

Проводится n испытаний, в каждом из которых событие А может произойти или не произойти, причем вероятность события А в каждом отдельном испытании постоянна, т.е. не меняется от опыта к опыту. Как найти вероятность события А в одном опыте мы уже знаем.

Представляет особый интерес вероятность появления определенного числа раз (m раз) события А в n опытах. подобные задачи решаются легко, если испытания являются независимыми.

Опр. Несколько испытаний называюся независимыми относительно события А , если вероятность события А в каждом из них не зависит от исходов других опытов.

Вероятность Р n (m) наступления события А ровно m раз (ненаступление n-m раз, событие ) в этих n испытаниях. Событие А появляется в самых разных последовательностях m раз).

- формулу Бернулли.

Очевидны следующие формулы:

Р n (mменее k раз в n испытаниях.

P n (m>k) = P n (k+1) + P n (k+2) +…+ P n (n) - вероятность наступления события А более k раз в n испытаниях.

Начнем с примера. В урне, стоящей перед вами, с равной вероятностью могут быть (1) два белых шара, (2) один белый и один черный, (3) два черных. Вы тащите шар, и он оказывается белым. Как теперь вы оцените вероятность этих трех вариантов (гипотез)? Очевидно, что вероятность гипотезы (3) с двумя черными шарами = 0. А вот как подсчитать вероятности двух оставшихся гипотез!? Это позволяет сделать формула Байеса, которая в нашем случае имеет вид (номер формулы соответствует номеру проверяемой гипотезы):

Скачать заметку в формате или

х – случайная величина (гипотеза), принимающая значения: х 1 – два белых, х 2 – один белый, один черный; х 3 – два черных; у – случайная величина (событие), принимающая значения: у 1 – вытащен белый шар и у 2 – вытащен чёрный шар; Р(х 1) – вероятность первой гипотезы до вытаскивания шара (априорная вероятность или вероятность до опыта) = 1/3; Р(х 2) – вероятность второй гипотезы до вытаскивания шара = 1/3; Р(х 3) – вероятность третьей гипотезы до вытаскивания шара = 1/3; Р(у 1 |х 1) – условная вероятность вытащить белый шар, в случае, если верна первая гипотеза (шары белые) = 1; Р(у 1 |х 2) – вероятность вытащить белый шар, в случае, если верна вторая гипотеза (один шар белый, второй – черный) = ½; Р(у 1 |х 3) – вероятность вытащить белый шар, в случае, если верна третья гипотеза (оба черных) = 0; Р(у 1) – вероятность вытащить белый шар = ½; Р(у 2) – вероятность вытащить черный шар = ½; и, наконец, то, что мы ищем – Р(х 1 |у 1) – вероятность того, что верна первая гипотеза (оба шара белых), при условии, что мы вытащили белый шар (апостериорная вероятность или вероятность после опыта); Р(х 2 |у 1) – вероятность того, что верна вторая гипотеза (один шар белый, второй – черный), при условии, что мы вытащили белый шар.

Вероятность того, что верна первая гипотеза (два белых), при условии, что мы вытащили белый шар :

Вероятность того, что верна вторая гипотеза (один белый, второй – черный), при условии, что мы вытащили белый шар :

Вероятность того, что верна третья гипотеза (два черных), при условии, что мы вытащили белый шар :

Что делает формула Байеса? Она дает возможность на основании априорных вероятностей гипотез – Р(х 1), Р(х 2) , Р(х 3) – и вероятностей наступления событий – Р(у 1), Р(у 2) – подсчитать апостериорные вероятности гипотез, например, вероятность первой гипотезы, при условии, что вытащили белый шар – Р(х 1 |у 1) .

Вернемся еще раз к формуле (1). Первоначальная вероятность первой гипотезы была Р(х 1) = 1/3. С вероятностью Р(у 1) = 1/2 мы могли вытащить белый шар, и с вероятностью Р(у 2) = 1/2 – черный. Мы вытащили белый. Вероятность вытащить белый при условии, что верна первая гипотеза Р(у 1 |х 1) = 1. Формула Байеса говорит, что так как вытащили белый, то вероятность первой гипотезы возросла до 2/3, вероятность второй гипотезы по-прежнему равна 1/3, а вероятность третьей гипотезы обратилась в ноль.

Легко проверить, что вытащи мы черный шар, апостериорные вероятности изменились бы симметрично: Р(х 1 |у 2) = 0, Р(х 2 |у 2) = 1/3, Р(х 3 |у 2) = 2/3.

Вот что писал Пьер Симон Лаплас о формуле Байеса в работе , вышедшей в 1814 г.:

Это основной принцип той отрасли анализа случайностей, которая занимается переходами от событий к причинам.

Почему формула Байеса так сложна для понимания!? На мой взгляд, потому, что наш обычный подход – это рассуждения от причин к следствиям. Например, если в урне 36 шаров из которых 6 черных, а остальные белые. Какова вероятность вытащить белый шар? Формула Байеса позволяет идти от событий к причинам (гипотезам). Если у нас было три гипотезы, и произошло событие, то как именно это событие (а не альтернативное) повлияло на первоначальные вероятности гипотез? Как изменились эти вероятности?

Я считаю, что формула Байеса не просто о вероятностях. Она изменяет парадигму восприятия. Каков ход мыслей при использовании детерминистской парадигмы? Если произошло событие, какова его причина? Если произошло ДТП, чрезвычайное происшествие, военный конфликт. Кто или что явилось их виной? Как думает байесовский наблюдатель? Какова структура реальности, приведшая в данном случае к такому-то проявлению… Байесовец понимает, что в ином случае результат мог быть иным…

Немного иначе разместим символы в формулах (1) и (2):

Давайте еще раз проговорим, что же мы видим. С равной исходной (априорной) вероятностью могла быть истинной одна из трех гипотез. С равной вероятностью мы могли вытащить белый или черный шар. Мы вытащили белый. В свете этой новой дополнительной информации следует пересмотреть нашу оценку гипотез. Формула Байеса позволяет это сделать численно. Априорная вероятность первой гипотезы (формула 7) была Р(х 1) , вытащили белый шар, апостериорная вероятность первой гипотезы стала Р(х 1 |у 1). Эти вероятности отличаются на коэффициент .

Событие у 1 называется свидетельством, в большей или меньшей степени подтверждающим или опровергающим гипотезу х 1 . Указанный коэффициент иногда называют мощностью свидетельства. Чем мощнее свидетельство (чем больше коэффициент отличается от единицы), тем больше факт наблюдения у 1 изменяет априорную вероятность, тем больше апостериорная вероятность отличается от априорной. Если свидетельство слабое (коэффициент ~ 1), апостериорная вероятность почти равна априорной.

Свидетельство у 1 в = 2 раза изменило априорную вероятность гипотезы х 1 (формула 4). В то же время свидетельство у 1 не изменило вероятность гипотезы х 2 , так как его мощность = 1 (формула 5).

В общем случае формула Байеса имеет следующий вид:

х – случайная величина (набор взаимоисключающих гипотез), принимающая значения: х 1 , х 2 , … , х n . у – случайная величина (набор взаимоисключающих событий), принимающая значения: у 1 , у 2 , … , у n . Формула Байеса позволяет найти апостериорную вероятность гипотезы х i при наступлении события y j . В числителе – произведение априорной вероятности гипотезы х i – Р(х i ) на вероятность наступления события y j , если верна гипотеза х i – Р(y j |х i ). В знаменателе – сумма произведений того же, что и в числителе, но для всех гипотез. Если вычислить знаменатель, то получим суммарную вероятность наступления события у j (если верна любая из гипотез) – Р(y j ) (как в формулах 1–3).

Еще раз о свидетельстве. Событие y j дает дополнительную информацию, что позволяет пересмотреть априорную вероятность гипотезы х i . Мощность свидетельства – – содержит в числителе вероятность наступления события y j , если верна гипотеза х i . В знаменателе – суммарная вероятность наступления события у j (или вероятность наступления события у j усредненная по всем гипотезам). у j выше для гипотезы x i , чем в среднем для всех гипотез, то свидетельство играет на руку гипотезе x i , увеличивая ее апостериорную вероятность Р(y j |х i ). Если вероятность наступления события у j ниже для гипотезы x i , чем в среднем для всех гипотез, то свидетельство понижает, апостериорную вероятность Р(y j |х i ) для гипотезы x i . Если вероятность наступления события у j для гипотезы x i такая же, как в среднем для всех гипотез, то свидетельство не изменяет апостериорную вероятность Р(y j |х i ) для гипотезы x i .

Предлагаю вашему вниманию несколько примеров, которые, надеюсь, закрепят ваше понимание формулы Байеса.

Задача 2. Два стрелка независимо друг от друга стреляют по одной и той же мишени, делая каждый по одному выстрелу. Вероятность попадания в мишень для первого стрелка равна 0,8, для второго - 0,4. После стрельбы в мишени обнаружена одна пробоина. Найти вероятность того, что эта пробоина принадлежит первому стрелку. .

Задача 3. Объект, за которым ведется наблюдение, может быть в одном из двух состояний: Н 1 = {функционирует} и Н 2 = {не функционирует}. Априорные вероятности этих состояний Р(Н 1) = 0,7, Р(Н 2) = 0,3. Имеется два источника информации, которые приносят разноречивые сведения о состоянии объекта; первый источник сообщает, что объект не функционирует, второй - что функционирует. Известно, что первый источник дает правильные сведения с вероятностью 0,9, а с вероятностью 0,1 - ошибочные. Второй источник менее надежен: он дает правильные сведения с вероятностью 0,7, а с вероятностью 0,3 - ошибочные. Найдите апостериорные вероятности гипотез. .

Задачи 1–3 взяты из учебника Е.С.Вентцель, Л.А.Овчаров. Теория вероятностей и ее инженерные приложения, раздел 2.6 Теорема гипотез (формула Байеса).

Задача 4 взята из книги , раздел 4.3 Теорема Байеса.

Краткая теория

Если событие наступает только при условии появления одного из событий образующих полную группу несовместных событий, то равна сумме произведений вероятностей каждого из событий на соответствующую условную вероятность кошелек .

При этом события называются гипотезами, а вероятности – априорными. Эта формула называется формулой полной вероятности.

Формула Байеса применяется при решении практических задач, когда событие , появляющееся совместно с каким-либо из событий образующих полную группу событий произошло и требуется провести количественную переоценку вероятностей гипотез . Априорные (до опыта) вероятности известны. Требуется вычислить апостериорные (после опыта) вероятности, т.е. по существу нужно найти условные вероятности . Формула Байеса выглядит так:

Пример решения задачи

Условие задачи 1

На фабрике станки 1,2 и 3 производят соответственно 20%, 35% и 45% всех деталей. В их продукции брак составляет соответственно 6%, 4%, 2%. Какова вероятность того, что случайно выбранное изделие оказалось дефектным? Какова вероятность того, что оно было произведено: а) станком 1; б) станком 2; в) станком 3?

Решение задачи 1

Обозначим через событие, состоящее в том, что стандартное изделие оказалось дефектным.

Событие может произойти только при условии наступления одного из трех событий:

Изделие произведено на станке 1;

Изделие произведено на станке 2;

Изделие произведено на станке 3;

Запишем условные вероятности:

Формула полной вероятности

Если событие может произойти только при выполнении одного из событий , которые образуютполную группу несовместных событий, то вероятность события вычисляется по формуле

По формуле полной вероятности находим вероятность события :

Формула Байеса

Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.

Вероятность того, что дефектное изделие изготовлено на станке 1:

Вероятность того, что дефектное изделие изготовлено на станке 2:

Вероятность того, что дефектное изделие изготовлено на станке 3:

Условие задачи 2

Группа состоит из 1 отличника, 5 хорошо успевающих студентов и 14 студентов, успевающих посредственно. Отличник отвечает на 5 и 4 с равной вероятностью, хорошист отвечает на 5, 4 и 3 с равной вероятностью, и посредственно успевающий студент отвечает на 4,3 и 2 с равной вероятностью. Случайно выбранный студент ответил на 4. Какова вероятность того, что был вызван посредственно успевающий студент?

Решение задачи 2

Гипотезы и условные вероятности

Возможны следующие гипотезы:

Отвечал отличник;

Отвечал хорошист;

–отвечал посредственно занимающийся студент;

Пусть событие -студент получит 4.

Условные вероятности:

Ответ:

Дано определение геометрической вероятности и подробно рассмотрена широко известная задача о встрече.

При выводе формулы полной вероятности предполагалось, что вероятности гипотез известны до опыта. Формула Байеса позволяет производить переоценку первоначальных гипотез в свете новой информации, состоящей в том, что событие произошло. Поэтому формулу Байеса называют формулой уточнения гипотез.

Теорема (Формула Байеса). Если событие может происходить только с одной из гипотез
, которые образуют полную группу событий, то вероятность гипотез при условии, что событие произошло, вычисляется по формуле

,
.

Доказательство.

Формула Байеса или байесовский подход к оценке гипотез играет важную роль в экономике, т.к. дает возможность корректировать управленческие решения, оценки неизвестных параметров распределения изучаемых признаков в статистическом анализе и.т.п.

Пример. Электролампы изготовляются на двух заводах. Первый завод производит 60% общего количества электроламп, второй – 40%. Продукция первого завода содержит 70% стандартных ламп, второго – 80%. В магазин поступает продукция обоих заводов. Лампочка купленная в магазине оказалась стандартной. Найти вероятность того, что лампа изготовлена на первом заводе.

Запишем условие задачи, вводя соответствующие обозначения.

Дано: событие состоит в том, что лампа стандартная.

Гипотеза
состоит в том, что лампа изготовлена на первом заводе

Гипотеза
состоит в том, что лампа изготовлена на втором заводе

Найти
.

Решение.

5. Повторные независимые испытания. Формула Бернулли

Рассмотрим схему независимых испытаний или схему Бернулли , которая имеет важное научное значение и разнообразные практические применения.

Пусть производится независимых испытаний, в каждом из которых может произойти некоторое событие.

Определение. Испытания называются независимыми , если в каждом из них событие

, не зависящей от того появилось или не появилось событие
в других испытаниях.

Пример. На испытательный стенд поставлены 20 ламп накаливания, которые испытываются под нагрузкой в течении 1000 часов. Вероятность того, что лампа выдержит испытание, равна 0,8 и не зависит от того, что случилось с другими лампами.

В этом примере под испытанием понимается проверка лампы на ее способность выдержать нагрузку в течении 1000 часов. Поэтому число испытаний равно
. В каждом отдельном испытании возможны только два исхода:

Определение. Серия повторных независимых испытаний, в каждом из которых событие
наступает с одной и той же вероятностью
, не зависящей от номере испытания, называется схемой Бернулли.