16.3. Вероятностные распределения

Принимая то или иное решение в условиях недостаточной информации, нам часто приходится взвешивать шансы, просчитывать риски, а то и вовсе уповать на удачу. Теория вероятностей предоставляет математические инструменты для проведения корректных рассуждений в условиях неопределённости, количественного измерения характеристик случайных событий и оценки правдоподобия их реализации.

Этот и последующий параграфы следует рассматривать как расширенный справочник, позволяющий освежить знания по вероятности и статистике, сделав при этом упор на приложении к машинному обучению. За более систематическим курсом по теории вероятностей читателю следует обратиться к серьёзным учебникам вроде Ширяева или Феллера.
Для погружения в статистику смотри, например, книгу Лагутина. А особо нетерпеливым рекомендуем взглянуть на короткий и ёмкий Probability and Statistics Cookbook.

Вероятностное пространствоВероятностное пространство

В учебниках вероятность традиционно поставляется в комплекте с вероятностным пространством. Не увлекаясь чрезмерным формализмом, можно сказать, что для задания вероятностного пространства нужны:

• непустое множество , называемое пространством элементарных событий (исходов);

• алгебра множеств — набор подмножеств , замкнутый относительно дополнений, объединений и пересечений; каждый элемент называется событием;

• вероятностная мера , приписывающая каждому событию некоторую вероятность .

К вероятностному пространству предъявляются следующие требования:

• (невозможное событие), (достоверное событие);
• ;
• , если и (аддитивность).

Упражнение. Докажите, что и , если .

Аддитивность вероятности легко обобщается по индукции до свойства конечной аддитивности: если события попарно несовместны, то

Множество часто называют носителем; говорят также, что вероятностная мера (масса) сосредоточена, или распределена, на носителе . В зависимости от типа носителя распределения делятся на два типа: дискретные и непрерывные.

Дискретные распределенияДискретные распределения

Вероятность на не более чем счётном пространстве элементарных событий задаётся просто приписыванием неотрицательного числа каждому элементарному исходу с условием . Для произвольного события полагают . Набор чисел называют также распределением вероятностей на множестве . В англоязычной литературе распространён термин probability mass function (сокращённо pmf).

Зачастую в результате эксперимента нас интересуют не вероятности событий сами по себе, а значения некоторой связанной с ними случайной величины, принимающей числовые значения. Например:

• сумма очков, выпавших при броске двух кубиков;
• число метеоритов диаметром более одного метра, падающих на Землю в течение года;
• ежедневный доход от показа рекламных объявлений в интернете.

На каждом элементарном исходе случайная величина принимает некоторое числовое значение . Иными словами, случайная величина — это функция , принимающая значение с вероятностью ; её математическое ожидание (среднее) и дисперсия (среднеквадратичное отклонение) вычисляются по формулам

соответственно. Корень из дисперсии назвают стандартным отклонением случайной величины . Стандартное отклонение и дисперсия показывают, насколько далеко значения случайной величины могут отклоняться от среднего значения. Стандартное отклонение хорошо тем, что, в отличие от дисперсии, измеряется в тех же единицах, что и сама случайная величина.

Равномерное распределениеРавномерное распределение

Так называется распределение вероятностней на множестве , у которого , . Тогда , и мы получили формулу из классического подхода к вероятности, при котором вероятность события равна отношению числа благоприятных исходов к общему их количеству.

Равномерным распределением моделируются различные игровые ситуации:

• подбрасывание симметричной монеты (, );
• подбрасывание кубика (, );
• вращение рулетки в казино ( для европейской, для американской).

Упражнение. У европейской рулетки по чёрных и красных секторов и один сектор «зеро». Игрок ставит €10 на чёрное. В случае успеха казино выплачивает ему ещё €10, в противном случае забирает ставку. Чему равно математическое ожидание, дисперсия и стандартное отклонение выигрыша?

Вопрос на подумать. Бывают ли равномерные распределения в пространствах со счётным носителем?

Равномерные распределения преимущественно встречаются в разного сорта играх. В более жизненных ситациях случайность обычно распределена отнюдь не равномерно.

Распределение БернуллиРаспределение Бернулли

Так называется очень простое распределение всего лишь с двумя исходами:

Бернуллиевская случайная величина — это просто индикаторная функция успешного события: , если случился «успех», , если нас постигла «неудача». Несложные вычисления показывают, что

Если , то снова получается равномерное распределение с двумя исходами. При бернуллиевская случайная величина моделирует подбрасывание несимметричной монеты. В машинном обучении часто встречается задача бинарной классификации, и разбиение на классы обычно кодируется с помощью , например:

• диагностика болезни (болен — , здоров — );
• оценка кредитоспособности клиента (одобрить кредит — , отказать );
• предсказание поведения пользователя (кликнет на рекламу — , пропустит — ).

В этих примерах вероятности классов явно не равны, поэтому несимметричное распределение Бернулли — типичная ситуация в реальных задачах.

Биномиальное распределениеБиномиальное распределение

Биномиальное распределение имеет сумма независимых бернуллиевских случайных величин : , если . Другими словами, случайная величина равна количеству успехов в независимых испытаниях Бернулли с вероятностью успеха . Случайная величина принимает значения от до , и

Отметим, что согласно биному Ньютона

поэтому числа действительно представляют собой распределение вероятностей, называемое также биномиальным. Если , то

Пример. Каждый день рекламу компании А поисковой выдаче Яндекса видят ровно человек. Вчера из них кликнули на рекламу. Для прогнозирования объемов продаж компании А хочется знать, с какой вероятностью не менее 50 людей кликнут на ее рекламу сегодня.

Если моделировать наличие или отсутствие клика бернуллиевской случайной величиной, то общее количество кликов за день моделируется случайной величиной с параметрами и . Тогда с помощью вычислительной техники получаем, что

Отметим, что параметр в предыдущем примере нам, строго говоря, не был известен, и вместо него мы использовали частотную оценку.

Распределение ПуассонаРаспределение Пуассона

Это распределение имеет счётный носитель . Случайная величина имеет пуассоновское распределение с параметром , , если

Известное разложение экспоненты в ряд Тейлора позволяет заключить, что вероятности распределения Пуассона действительно суммируются в единицу. Этот же ряд позволяет вычислить, что

Пуассоновская случайная величина моделирует число редких событий, происходящих в течение фиксированного промежутка времени: если события наступают со средней скоростью , то

Иногда приходится рассматривать биномиальное распределение с большим числом попыток и вероятностью успеха с условием . Оказывается, что вне зависимости от такое распределение быстро стабилизируется, сходясь к пуассоновскому распределению с параметром . Точнее говоря, справедлива следующая теорема.

Теорема (Пуассон). Пусть и . Тогда

Пример. Известно, что на поисковой выдаче яндекса на рекламу компании А кликает в среднем примерно 50 пользоваталей в день. Количество показов достаточно большое и может меняться изо дня в день. Требуется оценить вероятность того, что сегодня будет совершено не менее 50 кликов по рекламным объявлениям.

Распределение количества кликов снова будем моделировать биномиальным распределением . На этот раз число нам неизвестно, но сказано, что оно велико и (вспомним, что , если ). Поэтому можно воспользоваться теоремой Пуассона и заменить биномиальное распределение пуассоновским с параметром . Тогда искомая вероятность равна

что практически совпадает ответом, полученным с помощью биномиального распределения при .

Геометрическое распределениеГеометрическое распределение

Пусть монетка с вероятностью «успеха» подбрасывается до тех пор, пока впервые не случится «успех». Случайная величина , равная общему количеству попыток на этом пути, имеет геометрическое распределение, т.е.

По формуле геометрической прогрессии находим, что

поэтому с нормировкой тут всё в порядке. Чем меньше , тем больше геометрическое распределение похоже на равномерное, что подтверждают и формулы для среднего и дисперсии:

Пример. По оценкам за предыдущие дни пользователь нажимает на рекламу с вероятностью . Сегодня компания B планирует показать очень важное рекламное объявление и требует от Яндекса, чтобы с вероятностью не менее на него кликнули хотя бы раз. Скольким различным людям следует показать это объявление?

Здесь мы имеем дело с геометрическим распределением с вероятностью «успеха» (клика) : именно так распределена случайная величина , равная количеству показов объявления до первого клика по нему. Следовательно,

Эта вероятность должна быть не меньше , т. е. . Отсюда находим, что
. Таким образом, рекламу надо показать как минимум раз.

Гипергеометрическое распределениеГипергеометрическое распределение

Пример. Известно, что партия из деталей содержит бракованных. Какова вероятность того, что среди выбранных наугад деталей окажется ровно бракованных?

Всего есть способов выбора деталей из партии. Число вариантов выбрать деталей из бракованных и из деталей без дефектов равно . По классическому определению вероятности получаем, что искомая вероятность равна

Такое распределение называется гипергеометрическим. Равенство

следует из тождества Вандермонда. Если случайная величина имеет гипергеометрическое распределение с параметрами , , , то

Гипергеометрическое распределение является аналогом биномиального, при котором моделируется выбор без возвращения с вероятностью успеха .

Непрерывные распределенияНепрерывные распределения

Вероятностная модель с конечным или счётным носителем не подходит в тех случаях, когда результатом эксперимента удобно считать произвольное действительное число, например, распределение людей по росту или по весу. Для этого требуется пересмотреть подход к построению пространства элементарных событий : ведь множество действительных чисел континуально, и поэтому вероятность события не получится определить как сумму вероятностей всех составляющих исходов, коих тоже может оказаться континуум. Приходится искать другие способы задания вероятности.

Наиболее часто встречающийся на практике класс непрерывных распределений на числовой прямой задаётся с помощью неотрицательной интегрируемой функции плотности (probability density function, pdf) со свойством

Вероятность события определяется как

при условии, что этот интеграл имеет смысл. В частности,

Замечание. Связь между вероятностью и плотностью распределения весьма напоминает связь между массой и физической плотностью. Когда плотность объекта всюду одинакова, то масса равна плотности, умноженной на объём. Если же объект неоднороден, то плотность становится функцией, сопоставляющей каждой точке некое число (что-то вроде предела отношения массы малого шарика вокруг этой точки к объёму шарика). Тогда масса любого куска объекта может быть вычислена, как интеграл функции плотности по объёму этого куска.

С плотностью вероятности автоматически связана случайная величина , для которой . Функция называется плотностью случайной величины , и обозначается также как . Иногда используется запись . Среднее и дисперсия случайной величины вычисляются по формулам

Равномерное распределениеРавномерное распределение

Равномерное распределение на отрезке , которое часто обозначают , имеет постоянную плонтность на этом отрезке:

Если , то

Вопрос на подумать. Можно ли задать равномерное распределения на неограниченном промежутке, например, на или на ?

Аналогичным образом вводится равномерное распределение в многомерном пространстве: если множество имеет объём , то плотность равномерно распределённой на случайной величины задаётся как . Если , то

и мы получили формулу геометрической вероятности.

Нормальное распределениеНормальное распределение

Случайная величина имеет нормальное (гауссовское) распределение , если её плотность равна

Параметры нормального распределения представляют собой его среднее и дисперсию:

Параметр отвечает за выраженность «колокола» плотности нормального распределения:

• при «колокол» приобретает очертания резко выраженного пика, то есть практически вся вероятностная масса сосретдоточена в малой окрестности точки ;
• при «колокол», наоборот, размывается, и распределение становится больше похоже на равномерное.

Гауссиана, у которой и , называется стандартным нормальным распределением.

Иногда бывает полезно тесно связанное с гауссовским логнормальное распределение.
Случайная величина имеет логнормальное распределение, , если . Плотность логнормальной случайной величины равна

а её среднее и дисперсию можно вычислить по формулам

Показательное распределениеПоказательное распределение

Плотность показательного (экспоненциального) распределения сосредоточена на луче и имеет параметр : , . Если , то

Плотность показательного распределения является убывающей функцией на , а параметр отвечает за скорость этого убывания:

• при убывание очень медленное, и распределение больше похоже на равномерное;
• при , наоборот, вся вероятностная масса сосредоточена около точки .

Показательное распределение моделирует временные интервалы между случайными событиями, наступающими с постоянной скоростью, например:

• время ожидания автобуса на остановке;
• время между телефонными звонками в колл-центре;
• время до выхода из строя вычислительного узла в дата-центре.

Гамма-распределение с положительными параметрами и имеет плотность

где — гамма-функция Эйлера. При гамма-распределение превращается в показательное с параметром . Среднее и дисперсия случайной величины , имеющей гамма-распределение с параметрами и , равны

Бета-распределениеБета-распределение

Плотность бета-распределения с параметрами равна

где — бета-функция Эйлера.

Бета-распределение имеет следующее статистическое приложение. Выберем случайным образом точки , и упорядочим их по возрастанию. Получим набор значений

Оказывается, что случайная величина , называемая -й порядковой статистикой, имеет бета распределение с параметрами и :

Распределение СтьюдентаРаспределение Стьюдента

При проверке статистических гипотез бывает полезно распределение Стьюдента (t-distribution) с степенями свободы, плотность которого равна

где — гамма-функция Эйлера. Распределение Стьюдента похоже на стандартное нормальное распределение; более того, при оно превращается в .

Однако при малых значениях распределение Стьюдента имеет гораздо более тяжёлые «хвосты»: например, при его дисперсия бесконечна, а при та же участь постигает и математическое ожидание (всё из-за расходимости соответствующих интегралов). В остальных случаях

если имеет распределение Стьюдента с степенями свободы.

Распределение ЛапласаРаспределение Лапласа

Плотность распределения Лапласа с параметрами равна

Такое распределение иногда обозначают . Если , то

При распределение Лапласа представляет собой экспоненциальное распределение, плотность которого симметрично отражена на отрицательную полуось: если , то . Распределение Лапласа похоже на нормальное и отличается от него немного более тяжёлыми «хвостами» и тем, что его плотность теряет гладкость в нуле.

Характеристики случайных величинХарактеристики случайных величин

МоментыМоменты

Если , то -й момент случайной величины равен . В зависимости от типа случайной величины моменты вычисляются по-разному:

• , если принимает дискретные значения ;
• , если имеет плотность .

Первый момент — это в точности математическое ожидание (среднее) случайной величины . Дисперсию тоже можно выразить через моменты:

Не у всех случайных величин есть конечные среднее и дисперсия. Например, распределение Коши (оно же распределение Стьюдента с одной степенью свободы) имеет плотность , и если мы попытаемся вычислить первые два момента, то получим расходящиеся интегралы

Упражнение. Приведите пример дискретной случайной величины с бесконечным средним.

Свойства математического ожиданияСвойства математического ожидания

1. Если , то .

2. (линейность).

3. Если , то (монотонность).

4. .

5. Если случайные величины и независимы, то .

6. Если , то (неравенство Маркова).

7. Если функция выпукла вниз, то (неравенство Йенсена).

Law of the unconscious statistician (LOTUS)

Если случайная величина получена применением некоторой детерминированной функцией из случайной величины , , то

• , если дискретна;
• , если непрерывна.

Дисперсия и ковариацияДисперсия и ковариация

Ковариация случайных величин и определяется по формуле

В частности, . На практике часто применяют коэффициент корреляции, который получается нормированием ковариации:

Коэффициент корреляции всегда принимает значения из отрезка . Если , то случайные величины и называют некоррелированными.

Свойства дисперсии и ковариации

1. , причём .

2. , .

3. , .

4. .

5. Если случайные величины и независимы, то и .

6. (неравенство Чебышева).

Функции распределения и плотностиФункции распределения и плотности

Случайная величина является числовой функцией, заданной на пространстве элементарных событий; однако, больший интерес обычно представляет порождаемое ею распределение вероятностей. В дискретном случае достаточно задать вероятности отдельных значений ; для непрерывных же случайных величин на помощь приходят функция распределения и функция плотности.

Функцией распределения (cumulative distribution function, cdf) случайной величины называется функция

Свойства функции распределения :

• , ;
• функция неубывающая;
• функция непрерывна справа: ;
• .

Любая дискретная случайная величина имеет ступенчатую функцию распределения. К примеру, вот как выглядит график функции для :

Если непрерывная случайная величина имеет непрерывную плотность , то

откуда следует, что . В типичных случаях непрерывная случайная величина имеет гладкую возрастающую функцию распределения с двумя горизонтальными асимптотами. Вот примеры графиков функций распределения гауссовских случайных величин:

Медиана и модаМедиана и мода

Математическое ожидание — не единственная числовая метрика, с помощью которой можно пытаться охарактеризовать, чему равно в среднем значение случайной величины. Медиана разбивает вероятностную массу распределения на две равные части. Если случайная величина имеет плотность , то её медиана определяется из условия

В терминах функции распределения это означает, что , или . В непрерывном случае функция распределения строго возрастает, поэтому уравнение имеет единственное решение. Для дискретных случайных величин это может быть не так, и поэтому в общем случае медиану определяют как число , удовлетворяющее условиям

Например, если , то , и поэтому любое число является медианой симметричного бернуллиевского распределения. Бесконечное количество медиан будет у всякой дискретной случайной величины , для которой на целом промежутке.

Мода распределения максимизирует его pmf или pdf:

Мод у распределения может быть больше одной; самое вырожденное в этом смысле распределение — равномерное, каждая точка носителя является его модой. Если плотность случайной величины имеет единственную точку максимума, то она и является модой. Например:

• , если ;
• , если ;
• мода t-распределения Стьюдента также равна нулю.

Все такие распределения унимодальны. Если плотность имеет два или более максимума, то случайная величина называется бимодальной или мультимодальной.

Для симметричных распределений вроде нормального математическое ожидание, медиана и мода совпадают, однако, в общем случае это три различные меры типичного среднего значения случайной величины. Смысл каждой из этой мер наглядно демострирует следующая иллюстрация:

Упражнение. Найдите среднее, медиану и моду экспоненциального распределения с параметром и сравните их между собой.

Классификация случайных величинКлассификация случайных величин

У внимательного читателя (отягощённого математическим образованием впридачу) может возникнуть вопрос: а все ли случайные величины относятся к дискретным или непрерывным? В буквально такой постановке ответ, конечно, отрицательный, поскольку можно получить гибридную случайную величину, сложив дискретную и непрерывную. Но, может быть, всякая случайная величина равна сумме непрерывной и дискретной компонент?

В терминах функций распределения этот вопрос можно переформулировать так: верно ли, что всякая монотонная функция может быть представлена в виде , где — неубывающая ступенчатая функция (функция скачков), а

— гладкая возрастающая функция, полученная интегрированием плотности?