16.4. Многомерные распределения

До этого мы рассматривали только одномерные распределения вероятностей на числовой прямой. Однако ничто не мешает в качестве носителя выбрать пространство более высокой размерности. И снова все представляющие практический интерес распределения делятся на два класса: дискретные и непрерывные.

Дискретные многомерные распределенияДискретные многомерные распределения

Пусть, например, эксперимент состоит из двух фаз: сначала подбрасывается монетка, а затем кубик. Тогда вероятностная масса сосредоточена в точках , , . Вероятность каждого исхода можно записать в виде таблицы

	«Неудача»	«Успех»

Результат подбрасывания монеты моделирует бернуллиевская случайная величина , а результат броска кубика — равномерно распределённая на множестве случайная величина . Содержимое таблицы вероятностей каждого исхода можно также представить матрицей

которая задаёт совместное распределение случайных величин и : . Пару случайных величин в таком контексте называют также случайным вектором.

Элементы матрицы не обязаны совпадать; например, монета может быть несимметричной с вероятностью «успеха» , и тогда таблица вероятностей примет вид

	«Неудача»	«Успех»

Контрольный вопрос. Какая таблица вероятностей соответствует эксперименту, в котором результат подбрасывания монеты «портит» кубик следующим образом: на нём могут равновероятно выпасть только значения или в случае «неудачи» и , или в случае «успеха»?

В общем случае дискретное -мерное распределение задаётся многомерным тензором из неотрицательных чисел , суммирующихся в единицу. Такие тензоры используются для задания совместного распределения вероятностей случайного вектора из дискретных случайных величин:

Непрерывные многомерные распределенияНепрерывные многомерные распределения

Непрерывное распределение на плоскости задаётся плотностью ; при этом вероятность события равна

при условии, что этот интеграл имеет смысл. Простейший пример — равномерное распределение на единичном квадрате : его плотность равна , и

Именно так на единичном квадрате формально определяется геометрическая вероятность.

Плотность непрерывного распределения в является неотрицательной функцией вида со свойством

Говорят, что случайный вектор имеет совместную плотность , если

для всех достаточно «хороших» (измеримых по Лебегу) множеств .

Маргинальные распределенияМаргинальные распределения

Из совместного распределения можно получить распределение в пространстве меньшей размерности путём суммирования или интегрирования по части переменных. Например, если матрица задаёт совместное распределение случайных величин и , , то каждый из наборов чисел

неотрицателен и суммируется в единицу:

Таким образом, числа и задают некоторые распределения вероятностей, называемые маргинальными.

Упражнение. Найдите маргинальные распределения, если совместное распределение задано матрицей

В непрерывном случае ситуация похожая: если случайный вектор имеет совместную плотность , то функции

являются плотностями маргинальных распределений.

Для -мерных распределений можно находить маргинальные распределения, суммируя или интегрируя по любым наборам переменных с индексами ; в результате получится маргинальное распределение по оставшимся переменным.

Независимость случайных величинНезависимость случайных величин

Случайные величины и называются независимыми, если совместное распределение случайного вектора распадается на произведение одномерных. Точнее говоря,

• дискретные случайные величины и независимы, если для всех возможных и ;
• непрерывные случайные величины и независимы, если их совместная плотность
  .

Если случайные величины и независимы, то распределение каждой из них является маргинальным распределением их совместного распределения, поскольку

и

Случайные величины независимы в совокупности, если их совместное распределение (совместная плотность) распадается в произведение одномерных распределений (плотностей).

Пример. Рассмотрим гауссовских случайных величин с плотностями

Совместную плотность случайного вектора определим как произведение плотностей его компонент:

Случайный вектор с такой плотностью имеет многомерное нормальное (гауссовское) распределение c независимыми в совокупности компонентами. Любое маргинальное распределение случайного вектора обладает плотностью того же вида, и поэтому также является гауссовским.

Характеристики случайных векторовХарактеристики случайных векторов

Математическое ожидание случайного вектора является вектором той же размерности и вычисляется покомпонентно:

Каждая компонента случайного вектора — это обычная случайная величина, и её среднее можно вычислить стандартными методами:

• в дискретном случае;
• в непрерывном случае.

Математическое ожидание перестановочно с линейным преобразованием случайного вектора: , где — фиксированная матрица.

Вместо дисперсии у случайного вектора есть матрица ковариаций:

Матрица ковариаций симметрична и состоит из попарных ковариаций компонент случайного вектора :

Упражнение. Докажите, что ковариационная матрица любого случайного вектора неотрицательно определена.

Если случайные величины независимы в совокупности, то , и ковариационая матрица случайного вектора диагональна:

Например, матрица ковариации гауссовского случайного вектора с плотностью

равна , поскольку компоненты вектора независимы в совокупности и имеют нормальное распределение .

Аналогом ковариации в многомерном случае служит матрица ковариаций между случайными векторами и :

Матрицу ковариаций можно также вычислить по формуле

Упражнение. Пусть случайный вектор получен из случайного вектора линейным преобразованием: . Как связаны между собой их ковариационные матрицы?

Преобразования плотностей случайных векторовПреобразования плотностей случайных векторов

Нередко приходится иметь дело не с самими случайными векторами, а с функциями от них. Но как найти плотность случайного вектора , зная плотность ?

Предположим, что — гладкая обратимая функция. Тогда для измеримого имеем

Чтобы перейти к интегралу по , сделаем замену переменной . По формуле замены координат в кратном интеграле получаем

где – якобиан преобразования , т.е. определитель матрицы Якоби .
Таким образом,

Упражнение. Пусть – случайный вектор с плотностью . Какова плотность случайного вектора , где – постоянный вектор, а – постоянная обратимая матрица?

Распределение суммы независимых случайных величинРаспределение суммы независимых случайных величин

В дискретном случае найти распределение суммы двух независимых случайных величин несложно. В самом деле,

В силу независимости случайных величин и последняя сумма равна

Полученная формула называется формулой свёртки.

Пусть теперь и – независимые непрерывные случайные величины с плотностями и соответственно. Сам собой напрашивается аналог формулы свёртки с плотностями вместо вероятностей, но чтобы достаточно строго вывести его и не запутаться, мы немного схитрим. А именно, мы рассмотрим случайный вектор и его (обратимое!) преобразование

Обратное к нему будет иметь вид

Тогда по правилу преобразования плотности

где в последнем равенстве мы воспользовались независимостью и . Распределение случайной величины – это маргинальное распределение, которое вычисляется следующим образом:

Эта формула также называется формулой свёртки.

Примеры многомерных распределенийПримеры многомерных распределений

Рассмотрим несколько популярных распределений случайных векторов.

Мультиномиальное распределениеМультиномиальное распределение

Биномиальное распределение моделирует -кратное подбрасывание монеты с вероятностями «успеха» и «неудачи» . Мультиномиальное распределение обобщает этот эксперимент: теперь подбрасывается кубик с гранями, и вероятность выпадения -й грани равна , . Обозначим через количество выпадений -й грани в серии из бросков. Тогда случайный вектор имеет мультиномиальное распределение, при котором

При мультиномиальное распределение превращается в категориальное, известное также под названием multinoulli. Категориальное распределение моделирует случайный выбор одного из классов с заданными вероятностями .

Многомерное нормальное распределениеМногомерное нормальное распределение

Многомерное нормальное (гауссовское) распределение задаётся функцией плотности

где , — невырожденная симметричная матрица размера . Такое распределение обозначается .

Если случайный вектор , то , ; таким образом, параметры гауссовского распределения — это его среднее и матрица ковариаций.

Упражнение. Пусть и . Докажите, что .

Важный частный случай случайного гауссовского вектора с независимыми компонентами был рассмотрен в примере из секции про независимость случайных величин. Такое распределение получается, если матрица диагональна, . Тогда , , и поэтому

Отсюда снова получаем формулу совместной плотности

которую можно переписать в виде

откуда следует независимость в совокупности компонент вектора .

Если ковариационная матрица не является диагональной, то отдельные компоненты случайного вектора зависимы. Тем не менее, всегда найдётся линейное (и даже ортогональное) преобразование, которое превратит вектор в гауссовский вектор с независимыми компонентами. Для этого достаточно найти ортогональную матрицу со свойством

и далее воспользоваться формулой плотности линейного преобразования гауссовского вектора.

По тем же соображениям облако точек, сгенерированных из распределения , будет напоминать эллипсоид с полуосями, пропорциональными вектору . Линии уровня плотности задаются уравнениями вида , а такое равенство эквивалентно квадратичной форме

где и – некоторые константы. С помощью описанной выше ортогональной замены эта квадратичная форма может быть приведена к главным осям:

в координатах это выглядит как

Мы получили практически каноническое уравнение -мерного эллипсоида. В это будут эллипсы, сплюснутые тем сильнее, чем дальше от единицы отношение собственных значений матрицы .

Нормальным будет и всякое маргинальное распределение многомерного гауссовского вектора.

Упражнение. Пусть случайный вектор имеет гауссовское распределение с параметрами

где , , , , .
Докажите, что случайный вектор , полученный маргинализацией по компонентам вектора , является гауссовским с параметрами и .

Распределение ДирихлеРаспределение Дирихле

Распределение Дирихле сосредоточено на -мерном симплексе

Плотность распределения Дирихле равна

где – вектор положительных параметров, а – многомерная бета-функция. Если ,
то