В этом параграфе описываются, пожалуй, главные фичи теории вероятностей: независимые события и условные вероятности. Эти концепции имеют большое прикладное значение, да и с теоретической точки зрения главным образом благодаря им теория вероятностей выделяется в отдельную ветвь математики.
Условная вероятность
Условная вероятность возникает при ответе на вопрос о том, каковы шансы события при условии,что случилось событие , и обозначается .
Пример. Согласно исследованиям, в среднем пациентов испытывают приступы кашля в течение дня, однако среди курильщиков доля кашляющих составляет . То есть (безусловная) вероятность при добавлении обусловливания может существенно измениться: .
Упражнение. Известно, что в семье два ребёнка, причём один из них мальчик. Какова вероятность, что другой ребёнок тоже мальчик?
Как ни странно, ответ вовсе не . Пол новорождённого ребёнка можно приближённо считать результатом испытания Бернулли с вероятностью успеха .
Из четырёх возможных вариантов ММ, МД, ДМ, ДД условию удовлетворяют только первые три, и лишь в одном случае из этих трёх второй ребёнок тоже мальчик. Поэтому правильный ответ — .
Добавляя формализма, обозначим
и тогда условная вероятность вычисляется по формуле
В общем случае условная вероятность при полагается равной
В зависимости от соотношения событий и условная вероятность может принимать разные значения, например:
- если , то событие исключает реализацию события , и ;
- если , то событие гарантирует осуществление события , и .
Разумеется, чаще всего события и соотносятся между собой более хитрым образом, и значение условной вероятности находится строго между и .
Формула полной вероятности
Пусть пространство разбивается на попарно несовместные события :
Тогда
отсюда по свойству конечной аддитивности находим, что
Переходя к условным вероятностям, получаем формулу полной вероятности:
Пример. Среди населения имеют первую группу крови, — вторую, — третью, — четвёртую. При переливании крови надо учитывать группы крови донора и рецепиента:
- реципиенту с четвёртой группой крови можно перелить кровь любой группы;
- реципиентам со второй и третьей группами можно перелить кровь той же группы или первой;
- реципиентам с первой группой крови можно перелить только кровь первой группы.
С какой вероятностью допустимо переливание в случайно взятой паре донор—реципиент?
Решение. Пусть событие состоит в том, что переливание возможно, а событие — в том, что донор имеет группу . По формуле полной вероятности
Вероятности даны в условии, оттуда же находим, что
Подставляя численные значения, получаем
Упражнение. Решите предыдущий пример, выбирая в качестве разбиения набор событий , каждое из которых заключается в том, что реципиент имеет группу .
По той же формуле полной вероятности получаем, что
Ясно, что ; далее из условия находим, что
Подставляя численные значения, получаем тот же ответ .
Формула полной вероятности легко обобщается на случай счётного числа попарно несовместных событий , а также на случай обусловливания по некоторому событию , например:
Формула Байеса
Заметим, что вероятность можно записать двумя способами
Оставим в левой части и получим формулу Байеса.
Формула Байеса. Для любых событий , c положительной вероятностью
Для вычисления знаменателя в формуле Байеса часто используется формула полной вероятности.
Упражнение. Среди определенной группы людей вероятность некоторой болезни 0.02. Тест, позволяющий выявить болезнь, несовершенен. На больном он дает позитивный результат в 98 случаях из 100, и, кроме того, он дает позитивный результат в 4 случаях из 100 на здоровом. Найдите вероятность того, что человек, на котором тест дал положительный результат, действительно болен.
По формуле Байеса,
По условию, , . Чтобы посчитать вероятность теста быть положительньным, применим формулу полной вероятности:
Тогда по формуле Байеса
Получается, что точность теста очень низка — всего лишь около 1 из 3. Это происходит, потому что больные люди встречаются редко (2 из 100), и эта частота сравнима с долей ошибок I и II рода — 0.02 и 0.04.
Для непрерывного случая тоже есть своя формула полной вероятности, см. раздел про условную вероятность.
Независимые события
События и называются независимыми, если
, то есть информация о реализации события никак не влияет на вероятность события .
По определению условной вероятности независимость событий и эквивалентна тому, что
Последнее равенство годится для определения независмости событий и даже в том случае, если $\mathbb{P}(A) = 0 $ или .
Пример. В полной колоде карт находится карты: масти от двойки до туза. Вероятность вытащить туза равна , карту пиковой масти — . Эти события независимы, поскольку в пересечении этих событий лежит ровно одна карта — туз пик, вероятность появления которого равна .
Пусть теперь вытаскивается сразу две карты. Зависимы ли события «вытащены две карты пиковой масти» и «вытащены туз и король»? Посчитаем:
Вероятность вытащить туза и короля пик равна , что отличается от . Таким образом, эти события зависимы.
События попарно независимы, если при . Эти же события независимы в совокупности, если
Упражнение. Приведите пример попарно независимых событий , , , не являющихся независимыми в совокупности.
Раскрасим тетраэдр в три цвета следующим образом: одна грань красная (R), вторая — зелёная (G), третья — синяя (B), а четвёртая содержит все три цвета. События , , состоят в том, что при случайном броске на нижней грани тетраэдра есть соответствующий цвет.
Тогда
что влечёт попарную независимость событий , , . Однако , что не равно , поэтому эти события не являются независимыми совокупности.
Определение независимости случайных величин из предыдущего параграфа полностью согласуется с только что введённым определением независимых событий. Например, для случая дискретных случайных величин и обозначим
тогда , и поэтому независимость случайных величин и эквивалентна независимости событий и для всевозможных значений и .
Математический термин «независимость» подразумевает статистическую (или стохастическую) независимость, которая может не вполне совпадать по смыслу с интуитивным значением этого термина. Например, если вы два раза подкидываете симметричную монетку, то статистически результат первого броска никак не влияет на результат второго броска. Но так ли это с философской точки зрения? Вот представим две ситуации:
-
вы бросили монетку, быстро подняли с пола, и снова бросили;
-
монетка при первом броске укатилась далеко под диван, и вы полчаса ворочали мебель, прежде чем произвести второе испытание.
Весьма вероятно, что столь досадное происшествие после первого броска могло существенно повлиять на ваше физическое и моральное состояние. И уж точно второй бросок в ситуациях (1) и (2) вы бы совершили совершенно по-разному, что вполне могло отразиться на его результате.
Однако в математике подобным метафизическим измышлениям нет места. С абстрактным понятием независимости гораздо проще работать, поскольку оно игнорирует замысловатые причинно-следственные связи и прочие несущественные детали. В модели независимых испытаний Бернулли каждое следующее испытание статистически никак не зависит от предыдущих. Что бы с вами не происходило, шансы во втором броске — 50 на 50, именно об этом говорит нам независимость испытаний Бернулли с вероятностью успеха , не больше и не меньше.
Условная независимость
Бывает так, что зависимые события и становятся независимыми при выполнении некоторого третьего события . Более формально, события и условно независимы по отношению к событию , если и
Поскольку
то условная независимость событий и эквивалетна равенству
а это, в свою очередь, означает, что
Таким образом, вероятность произведения условно независимых событий равна произведению условных вероятностей. Эта формула полностью аналогична формуле для (безусловно) независимых событий.
Пример (цепь Маркова). Последовательность событий называется марковской цепью, если выполняется марковское свойство
В марковском свойстве заложен следующий смысл: в каждый момент времени «будущее» зависит только от «настоящего» , но не зависит от «прошлого»
Итак, цепь Маркова характеризуется равенством , которое означает, что события и условно независимы по отношению к событию .
Условные распределения
Пусть и — дискретные случайные величины и . По аналогии с условными вероятностями условное распределение случайной величины при условии, что значение случайной величины равно , определяется по формуле
Это действительно распределение вероятностей, поскольку и
В непрерывном случае условное распределение задаётся условной плотностью
где — совместная плотность случайных величин и . И снова проведением маргинализации по убеждаемся в том, что с нормировкой всё в порядке:
Поскольку , из формулы условной плотности получаем непрерывный аналог формулы полной вероятности:
Пример. Выберем случайное число , а затем — случайное число . Как распределена случайная величина ?
Переформулируем задачу: известно, что и . Требуется найти плотность случайной величины . Имеем
Применяя формулу полной вероятности, находим
Упражнение. Пусть случайные величины , , независимы в совокупности. Чему равна вероятность ?
{% cut "Ответ (не открывайте сразу, попробуйте сначала решить самостоятельно)" %}
Обозначим . Требуется найти . По формуле полной вероятности имеем
Далее, , ,
Таким образом,
Условные распределения случайных векторов определяется аналогично с поправкой на возросшее число аргументов: в этом случае и уже не числа, а вектора тех же размерностей, что и сами случайные вектора.
Условные математические ожидания
Условное математическое ожидание отвечает на вопрос «чему равно среднее значение случайной величины при условии, что ?».
Имея в распоряжении матрицу условного дискретного распределения или условную плотность , условное математическое ожидание можно вычислить следующим образом:
- в дискретном случае;
- для непрерывных и .
Важно отметить, что после суммирования или интегрирования по переменной в формуле условного математического ожидания остаются зависимость от . Таким образом, в отличие от обычного среднего, которое является просто числом, условное ожидание представляет собой случайную величину , поскольку его значение зависит от случайного значения .
Свойства условного математического ожидания
-
(линейность).
-
Если , то (монотонность).
-
Если случайные величины и независимы, то .
-
.
-
(law of total expectation).
Упражнение. Prove the law of total expectation.
Пусть . Начнём с дискретного случая:
В непрерывном случае вместо сумм потребуется переставить местами интегралы. Это позволяет сделать теорема Фубини о сведении двойного интеграла к повторному:
Условная дисперсия определяется по формуле
Справедливо равенство (law of total variance).
Регрессия
В машинном обучении часто встречается задача регрессии, в которой требуется восстановить зависимость при наличии выборки
из некоторого неизвестного распределения с совместной плотностью . Стандартный способ решения задачи регресии — минимизация среднего значения функции потерь :
В качестве функции потерь на одном объекте в задаче регрессии обычно выбирают квадратичную функцию: . Тогда
для минимизации этого функционала применим немножко вариационного исчисления и продифференцируем по функции . Получим
откуда
Полученное условное математическое ожидание, называемое функцией регрессии, показывает, чему в среднем равно значение зависимой переменной при условии, что .