Принимая то или иное решение в условиях недостаточной информации, нам часто приходится взвешивать шансы, просчитывать риски, а то и вовсе уповать на удачу. Теория вероятностей предоставляет математические инструменты для проведения корректных рассуждений в условиях неопределённости, количественного измерения характеристик случайных событий и оценки правдоподобия их реализации.
Этот и последующий параграфы следует рассматривать как расширенный справочник, позволяющий освежить знания по вероятности и статистике, сделав при этом упор на приложении к машинному обучению. За более систематическим курсом по теории вероятностей читателю следует обратиться к серьёзным учебникам вроде Ширяева или Феллера.
Для погружения в статистику смотри, например, книгу Лагутина. А особо нетерпеливым рекомендуем взглянуть на короткий и ёмкий Probability and Statistics Cookbook.
Вероятностное пространство
В учебниках вероятность традиционно поставляется в комплекте с вероятностным пространством. Не увлекаясь чрезмерным формализмом, можно сказать, что для задания вероятностного пространства нужны:
-
непустое множество , называемое пространством элементарных событий (исходов);
-
алгебра множеств — набор подмножеств , замкнутый относительно дополнений, объединений и пересечений; каждый элемент называется событием;
-
вероятностная мера , приписывающая каждому событию некоторую вероятность .
К вероятностному пространству предъявляются следующие требования:
- (невозможное событие), (достоверное событие);
- ;
- , если и (аддитивность).
Упражнение. Докажите, что и , если .
Решение (не открывайте сразу, попробуйте сначала решить самостоятельно)
События и не пересекаются (или, как говорят, несовместны), поэтому из аддитивности вероятностной меры следует, что
. Полагая , получаем , т.е. .
Аддитивность вероятности легко обобщается по индукции до свойства конечной аддитивности: если события попарно несовместны, то
Примечание
Если подходить совсем строго, то система множеств должна быть сигма-алгеброй, а вероятностная мера — сигма-аддитивной, т.е.
Впрочем, эти свойства носят преимущественно теоретичеческий интерес, поскольку в
прикладных задачах редко встречаются бесконечные наборы событий.
Множество часто называют носителем; говорят также, что вероятностная мера (масса) сосредоточена, или распределена, на носителе . В зависимости от типа носителя распределения делятся на два типа: дискретные и непрерывные.
Дискретные распределения
Вероятность на не более чем счётном пространстве элементарных событий задаётся просто приписыванием неотрицательного числа каждому элементарному исходу с условием . Для произвольного события полагают . Набор чисел называют также распределением вероятностей на множестве . В англоязычной литературе распространён термин probability mass function (сокращённо pmf).
Зачастую в результате эксперимента нас интересуют не вероятности событий сами по себе, а значения некоторой связанной с ними случайной величины, принимающей числовые значения. Например:
- сумма очков, выпавших при броске двух кубиков;
- число метеоритов диаметром более одного метра, падающих на Землю в течение года;
- ежедневный доход от показа рекламных объявлений в интернете.
На каждом элементарном исходе случайная величина принимает некоторое числовое значение . Иными словами, случайная величина — это функция , принимающая значение с вероятностью ; её математическое ожидание (среднее) и дисперсия (среднеквадратичное отклонение) вычисляются по формулам
соответственно. Корень из дисперсии назвают стандартным отклонением случайной величины . Стандартное отклонение и дисперсия показывают, насколько далеко значения случайной величины могут отклоняться от среднего значения. Стандартное отклонение хорошо тем, что, в отличие от дисперсии, измеряется в тех же единицах, что и сама случайная величина.
Равномерное распределение
Так называется распределение вероятностней на множестве , у которого , . Тогда , и мы получили формулу из классического подхода к вероятности, при котором вероятность события равна отношению числа благоприятных исходов к общему их количеству.
Равномерным распределением моделируются различные игровые ситуации:
- подбрасывание симметричной монеты (, );
- подбрасывание кубика (, );
- вращение рулетки в казино ( для европейской, для американской).
Упражнение. У европейской рулетки по чёрных и красных секторов и один сектор «зеро». Игрок ставит €10 на чёрное. В случае успеха казино выплачивает ему ещё €10, в противном случае забирает ставку. Чему равно математическое ожидание, дисперсия и стандартное отклонение выигрыша?
Решение (не открывайте сразу, попробуйте сначала решить самостоятельно)
Здесь выигрыш — это случайная величина , принимающая значение евро в -ти исходах и евро в -ти. Распределение равномерное (если верить в честность казино), поэтому евро.
Случайная величина постоянна (а вовсе не «случайна») и при любом исходе равна 100 («квадратных евро»?), поэтому
Стандартное отклонение выигрыша равно евро, что почти совпадает со ставкой игрока. Это отражает сущность игры в рулетку: либо пан, либо пропал. Причём последнее чуть вероятнее из-за отрицательности математического ожидания.
Вопрос на подумать. Бывают ли равномерные распределения в пространствах со счётным носителем?
Ответ (не открывайте сразу, сначала подумайте самостоятельно)
Нет, поскольку условие нормировки требует сходимости ряда , а это равенство никак не может быть выполнено при одинаковых числах . Либо все эти вероятности равны нулю, и тогда их сумма тоже равна нулю; либо же получается бесконечная сумма одинаковых положительных слагаемых, которая равна .
Равномерные распределения преимущественно встречаются в разного сорта играх. В более жизненных ситациях случайность обычно распределена отнюдь не равномерно.
Распределение Бернулли
Так называется очень простое распределение всего лишь с двумя исходами:
Бернуллиевская случайная величина — это просто индикаторная функция успешного события: , если случился «успех», , если нас постигла «неудача». Несложные вычисления показывают, что
Если , то снова получается равномерное распределение с двумя исходами. При бернуллиевская случайная величина моделирует подбрасывание несимметричной монеты. В машинном обучении часто встречается задача бинарной классификации, и разбиение на классы обычно кодируется с помощью , например:
- диагностика болезни (болен — , здоров — );
- оценка кредитоспособности клиента (одобрить кредит — , отказать );
- предсказание поведения пользователя (кликнет на рекламу — , пропустит — ).
В этих примерах вероятности классов явно не равны, поэтому несимметричное распределение Бернулли — типичная ситуация в реальных задачах.
Биномиальное распределение
Биномиальное распределение имеет сумма независимых бернуллиевских случайных величин : , если . Другими словами, случайная величина равна количеству успехов в независимых испытаниях Бернулли с вероятностью успеха . Случайная величина принимает значения от до , и
Отметим, что согласно биному Ньютона
поэтому числа действительно представляют собой распределение вероятностей, называемое также биномиальным. Если , то
Пример. Каждый день рекламу компании А поисковой выдаче Яндекса видят ровно человек. Вчера из них кликнули на рекламу. Для прогнозирования объемов продаж компании А хочется знать, с какой вероятностью не менее 50 людей кликнут на ее рекламу сегодня.
Если моделировать наличие или отсутствие клика бернуллиевской случайной величиной, то общее количество кликов за день моделируется случайной величиной с параметрами и . Тогда с помощью вычислительной техники получаем, что
Отметим, что параметр в предыдущем примере нам, строго говоря, не был известен, и вместо него мы использовали частотную оценку.
Распределение Пуассона
Это распределение имеет счётный носитель . Случайная величина имеет пуассоновское распределение с параметром , , если
Известное разложение экспоненты в ряд Тейлора позволяет заключить, что вероятности распределения Пуассона действительно суммируются в единицу. Этот же ряд позволяет вычислить, что
Пуассоновская случайная величина моделирует число редких событий, происходящих в течение фиксированного промежутка времени: если события наступают со средней скоростью , то
Иногда приходится рассматривать биномиальное распределение с большим числом попыток и вероятностью успеха с условием . Оказывается, что вне зависимости от такое распределение быстро стабилизируется, сходясь к пуассоновскому распределению с параметром . Точнее говоря, справедлива следующая теорема.
Теорема (Пуассон). Пусть и . Тогда
Пример. Известно, что на поисковой выдаче яндекса на рекламу компании А кликает в среднем примерно 50 пользоваталей в день. Количество показов достаточно большое и может меняться изо дня в день. Требуется оценить вероятность того, что сегодня будет совершено не менее 50 кликов по рекламным объявлениям.
Распределение количества кликов снова будем моделировать биномиальным распределением . На этот раз число нам неизвестно, но сказано, что оно велико и (вспомним, что , если ). Поэтому можно воспользоваться теоремой Пуассона и заменить биномиальное распределение пуассоновским с параметром . Тогда искомая вероятность равна
что практически совпадает ответом, полученным с помощью биномиального распределения при .
Геометрическое распределение
Пусть монетка с вероятностью «успеха» подбрасывается до тех пор, пока впервые не случится «успех». Случайная величина , равная общему количеству попыток на этом пути, имеет геометрическое распределение, т.е.
По формуле геометрической прогрессии находим, что
поэтому с нормировкой тут всё в порядке. Чем меньше , тем больше геометрическое распределение похоже на равномерное, что подтверждают и формулы для среднего и дисперсии:
Пример. По оценкам за предыдущие дни пользователь нажимает на рекламу с вероятностью . Сегодня компания B планирует показать очень важное рекламное объявление и требует от Яндекса, чтобы с вероятностью не менее на него кликнули хотя бы раз. Скольким различным людям следует показать это объявление?
Здесь мы имеем дело с геометрическим распределением с вероятностью «успеха» (клика) : именно так распределена случайная величина , равная количеству показов объявления до первого клика по нему. Следовательно,
Эта вероятность должна быть не меньше , т. е. . Отсюда находим, что
. Таким образом, рекламу надо показать как минимум раз.
Гипергеометрическое распределение
Пример. Известно, что партия из деталей содержит бракованных. Какова вероятность того, что среди выбранных наугад деталей окажется ровно бракованных?
Всего есть способов выбора деталей из партии. Число вариантов выбрать деталей из бракованных и из деталей без дефектов равно . По классическому определению вероятности получаем, что искомая вероятность равна
Такое распределение называется гипергеометрическим. Равенство
следует из тождества Вандермонда. Если случайная величина имеет гипергеометрическое распределение с параметрами , , , то
Гипергеометрическое распределение является аналогом биномиального, при котором моделируется выбор без возвращения с вероятностью успеха .
Непрерывные распределения
Вероятностная модель с конечным или счётным носителем не подходит в тех случаях, когда результатом эксперимента удобно считать произвольное действительное число, например, распределение людей по росту или по весу. Для этого требуется пересмотреть подход к построению пространства элементарных событий : ведь множество действительных чисел континуально, и поэтому вероятность события не получится определить как сумму вероятностей всех составляющих исходов, коих тоже может оказаться континуум. Приходится искать другие способы задания вероятности.
Наиболее часто встречающийся на практике класс непрерывных распределений на числовой прямой задаётся с помощью неотрицательной интегрируемой функции плотности (probability density function, pdf) со свойством
Вероятность события определяется как
при условии, что этот интеграл имеет смысл. В частности,
Замечание. Связь между вероятностью и плотностью распределения весьма напоминает связь между массой и физической плотностью. Когда плотность объекта всюду одинакова, то масса равна плотности, умноженной на объём. Если же объект неоднороден, то плотность становится функцией, сопоставляющей каждой точке некое число (что-то вроде предела отношения массы малого шарика вокруг этой точки к объёму шарика). Тогда масса любого куска объекта может быть вычислена, как интеграл функции плотности по объёму этого куска.
С плотностью вероятности автоматически связана случайная величина , для которой . Функция называется плотностью случайной величины , и обозначается также как . Иногда используется запись . Среднее и дисперсия случайной величины вычисляются по формулам
Равномерное распределение
Равномерное распределение на отрезке , которое часто обозначают , имеет постоянную плонтность на этом отрезке:
Если , то
Вопрос на подумать. Можно ли задать равномерное распределения на неограниченном промежутке, например, на или на ?
Ответ (не открывайте сразу, сначала подумайте самостоятельно)
Строго говоря, нет, покольку интеграл от константы по неограниченному промежутку расходится, и потому не может равняться единице. Однако при байесовском выводе в качестве априорного распределения иногда приходится выбирать ненормируемое распределение, в том числе, например, равномерное на . Такое «распределение» (которое на самом деле никакое не распределение) также называют несобственным.
Аналогичным образом вводится равномерное распределение в многомерном пространстве: если множество имеет объём , то плотность равномерно распределённой на случайной величины задаётся как . Если , то
и мы получили формулу геометрической вероятности.
Нормальное распределение
Случайная величина имеет нормальное (гауссовское) распределение , если её плотность равна
Параметры нормального распределения представляют собой его среднее и дисперсию:
Параметр отвечает за выраженность «колокола» плотности нормального распределения:
- при «колокол» приобретает очертания резко выраженного пика, то есть практически вся вероятностная масса сосретдоточена в малой окрестности точки ;
- при «колокол», наоборот, размывается, и распределение становится больше похоже на равномерное.
Гауссиана, у которой и , называется стандартным нормальным распределением.
Иногда бывает полезно тесно связанное с гауссовским логнормальное распределение.
Случайная величина имеет логнормальное распределение, , если . Плотность логнормальной случайной величины равна
а её среднее и дисперсию можно вычислить по формулам
Показательное распределение
Плотность показательного (экспоненциального) распределения сосредоточена на луче и имеет параметр : , . Если , то
Плотность показательного распределения является убывающей функцией на , а параметр отвечает за скорость этого убывания:
- при убывание очень медленное, и распределение больше похоже на равномерное;
- при , наоборот, вся вероятностная масса сосредоточена около точки .
Показательное распределение моделирует временные интервалы между случайными событиями, наступающими с постоянной скоростью, например:
- время ожидания автобуса на остановке;
- время между телефонными звонками в колл-центре;
- время до выхода из строя вычислительного узла в дата-центре.
Гамма-распределение с положительными параметрами и имеет плотность
где — гамма-функция Эйлера. При гамма-распределение превращается в показательное с параметром . Среднее и дисперсия случайной величины , имеющей гамма-распределение с параметрами и , равны
Бета-распределение
Плотность бета-распределения с параметрами равна
где — бета-функция Эйлера.
Бета-распределение имеет следующее статистическое приложение. Выберем случайным образом точки , и упорядочим их по возрастанию. Получим набор значений
Оказывается, что случайная величина , называемая -й порядковой статистикой, имеет бета распределение с параметрами и :
Доказательство
Пусть . Неравенство означает, что из элементов выборки хотя бы не превосходят . Заметим, что для каждого индикатор является бернуллиевской случайной величиной с вероятностью успеха . У нас есть таких бернуллиевских величин, и неравенство равносильно тому, что среди испытаний Бернулли случилось не менее успехов. Вероятность того, что случилось ровно успехов, равна, как мы уже знаем,
Чтобы получить вероятность того, что успехов хотя бы , надо просуммировать эти числа по от до :
Чтобы получить плотность, продифференцируем функцию распределения:
Легко проверяется, что , , и поэтому
И мы видим, что большинство слагаемых сокращается и выживает лишь одно:
Распределение Стьюдента
При проверке статистических гипотез бывает полезно распределение Стьюдента (t-distribution) с степенями свободы, плотность которого равна
где — гамма-функция Эйлера. Распределение Стьюдента похоже на стандартное нормальное распределение; более того, при оно превращается в .
Однако при малых значениях распределение Стьюдента имеет гораздо более тяжёлые «хвосты»: например, при его дисперсия бесконечна, а при та же участь постигает и математическое ожидание (всё из-за расходимости соответствующих интегралов). В остальных случаях
если имеет распределение Стьюдента с степенями свободы.
Распределение Лапласа
Плотность распределения Лапласа с параметрами равна
Такое распределение иногда обозначают . Если , то
При распределение Лапласа представляет собой экспоненциальное распределение, плотность которого симметрично отражена на отрицательную полуось: если , то . Распределение Лапласа похоже на нормальное и отличается от него немного более тяжёлыми «хвостами» и тем, что его плотность теряет гладкость в нуле.
Характеристики случайных величин
Моменты
Если , то -й момент случайной величины равен . В зависимости от типа случайной величины моменты вычисляются по-разному:
- , если принимает дискретные значения ;
- , если имеет плотность .
Первый момент — это в точности математическое ожидание (среднее) случайной величины . Дисперсию тоже можно выразить через моменты:
Не у всех случайных величин есть конечные среднее и дисперсия. Например, распределение Коши (оно же распределение Стьюдента с одной степенью свободы) имеет плотность , и если мы попытаемся вычислить первые два момента, то получим расходящиеся интегралы
Упражнение. Приведите пример дискретной случайной величины с бесконечным средним.
Ответ
Такое может быть только если случайная величина принимает счётное число значений. Пусть, например, , . Поскольку , это корректное распределение вероятностей. С другой стороны, , а это почти что гармонический ряд, который расходится.
Свойства математического ожидания
-
Если , то .
-
(линейность).
-
Если , то (монотонность).
-
.
-
Если случайные величины и независимы, то .
-
Если , то (неравенство Маркова).
-
Если функция выпукла вниз, то (неравенство Йенсена).
Law of the unconscious statistician (LOTUS)
Если случайная величина получена применением некоторой детерминированной функцией из случайной величины , , то
- , если дискретна;
- , если непрерывна.
Дисперсия и ковариация
Ковариация случайных величин и определяется по формуле
В частности, . На практике часто применяют коэффициент корреляции, который получается нормированием ковариации:
Коэффициент корреляции всегда принимает значения из отрезка . Если , то случайные величины и называют некоррелированными.
Свойства дисперсии и ковариации
-
, причём .
-
, .
-
, .
-
.
-
Если случайные величины и независимы, то и .
-
(неравенство Чебышева).
Функции распределения и плотности
Случайная величина является числовой функцией, заданной на пространстве элементарных событий; однако, больший интерес обычно представляет порождаемое ею распределение вероятностей. В дискретном случае достаточно задать вероятности отдельных значений ; для непрерывных же случайных величин на помощь приходят функция распределения и функция плотности.
Функцией распределения (cumulative distribution function, cdf) случайной величины называется функция
Свойства функции распределения :
- , ;
- функция неубывающая;
- функция непрерывна справа: ;
- .
Любая дискретная случайная величина имеет ступенчатую функцию распределения. К примеру, вот как выглядит график функции для :
Если непрерывная случайная величина имеет непрерывную плотность , то
откуда следует, что . В типичных случаях непрерывная случайная величина имеет гладкую возрастающую функцию распределения с двумя горизонтальными асимптотами. Вот примеры графиков функций распределения гауссовских случайных величин:
Замечание о плотностях дискретных случайных величин
Дискретные случайные величины не имеют плотности в описанном выше смысле. Например, возьмем – выпавшее число на идеальной кости. Тогда равна 0 везде кроме 1, 2, 3, 4, 5, 6. При этом вероятность выпасть 1 равна , то есть
для любого малого . Среди обычных функций мы такой плотности не найдём, однако, её можно выразить в терминах обобщенных функций:
где – дельта-функция Дирака, обладающая свойством
для любой непрерывной функции . Отсюда, в частности, следует, что
До какой-то степени можно представлять себе как «функцию», равную везде, кроме , а в нуле принимающую некоторое экзотическое «бесконечное» значение.
Медиана и мода
Математическое ожидание — не единственная числовая метрика, с помощью которой можно пытаться охарактеризовать, чему равно в среднем значение случайной величины. Медиана разбивает вероятностную массу распределения на две равные части. Если случайная величина имеет плотность , то её медиана определяется из условия
В терминах функции распределения это означает, что , или . В непрерывном случае функция распределения строго возрастает, поэтому уравнение имеет единственное решение. Для дискретных случайных величин это может быть не так, и поэтому в общем случае медиану определяют как число , удовлетворяющее условиям
Например, если , то , и поэтому любое число является медианой симметричного бернуллиевского распределения. Бесконечное количество медиан будет у всякой дискретной случайной величины , для которой на целом промежутке.
Мода распределения максимизирует его pmf или pdf:
Мод у распределения может быть больше одной; самое вырожденное в этом смысле распределение — равномерное, каждая точка носителя является его модой. Если плотность случайной величины имеет единственную точку максимума, то она и является модой. Например:
- , если ;
- , если ;
- мода t-распределения Стьюдента также равна нулю.
Все такие распределения унимодальны. Если плотность имеет два или более максимума, то случайная величина называется бимодальной или мультимодальной.
Для симметричных распределений вроде нормального математическое ожидание, медиана и мода совпадают, однако, в общем случае это три различные меры типичного среднего значения случайной величины. Смысл каждой из этой мер наглядно демострирует следующая иллюстрация:
Упражнение. Найдите среднее, медиану и моду экспоненциального распределения с параметром и сравните их между собой.
Ответ
Если , то
Классификация случайных величин
У внимательного читателя (отягощённого математическим образованием впридачу) может возникнуть вопрос: а все ли случайные величины относятся к дискретным или непрерывным? В буквально такой постановке ответ, конечно, отрицательный, поскольку можно получить гибридную случайную величину, сложив дискретную и непрерывную. Но, может быть, всякая случайная величина равна сумме непрерывной и дискретной компонент?
В терминах функций распределения этот вопрос можно переформулировать так: верно ли, что всякая монотонная функция может быть представлена в виде , где — неубывающая ступенчатая функция (функция скачков), а
— гладкая возрастающая функция, полученная интегрированием плотности?
Ответ (не открывайте, если не хотите его знать)
И здесь ответ отрицательный: существуют непрерывные монотонные функции вроде лестницы Кантора с производной, равной нулю почти всюду. Поскольку , лестница Кантора не может быть получена интегрированием никакой плотности. Случайные величины с такими функциями распределения, как лестница Кантора, называются сингулярными. Из теоремы Лебега о декомпозиции вытекает, что любая вероятностная мера на числовой прямой может быть представлена в виде суммы дискретной, абсолютно непрерывной (имеющей плотность) и сингулярной компонент.