6.1-13* Используя формулу Стирлинга, докажите, что

С?п = -(1 + 0(1/п)).(6.16)

6.1-14* Дифференцируя Н(Х), покажите, что максимум достигается при А = 1/2. Чему равно Н(1/2)?

6.2. Вероятность

В этом разделе мы напомним основные понятия теории вероятностей.

Пусть задано некоторое множество S, которое мы называем вероятностным пространством (sample space), а его элементы - элементарными событиями (elementary events). Каждый из элементов может рассматриваться как возможный исход испытания. Например, бросанию двух различных монет соответствует вероятностное пространство, содержащее четыре строки длины 2, составленные из символов о (орёл) и р (решка):

S = {оо, ор, ро, рр}

Событием (event) называется подмножество пространства S. Например, в нашем примере можно рассмотреть событие «выпал один орёл и одна решка», т.е. множество {ор,ро}.

Событие S (всё вероятностное пространство) называется достоверным событием (certain event), а событие 0 называется невозможным событием (null event). События А и В называются несовместными (mutually exclusive), если АПВ = 0. Каждое элементарное событие s G S мы будем считать событием {s} С S. Различные элементарные события несовместны.

Сказанное относится без оговорок к случаю конечного или счётного множества S. В общем случае определение сложнее, и событиями считаются не все подмножества множества S, а только некоторые. Они должны образовывать <т-алгебру (пересечение и объединение счётного числа событий есть событие; дополнение события есть событие). Мы не будем говорить об этом подробно, хотя некоторые примеры такого рода (равномерное распределение на отрезке) нам встретятся.

Аксиомы вероятности

Распределением вероятностей (probability distribution) на вероятностном пространстве S называется функция Р, ставящая в соответствие каждому событию некоторое неотрицательное число

и удовлетворяющая следующим требованиям (аксиомам вероятности, по-английски probability axioms):

1.PA 0 для любого события А.

2.P{S} = 1.

3.P{AU-B} = Р{А} + Р{-В} для любых двух несовместных событий А и В, и, более того,

P{U,-A,-} = J]P{At-}.

для любой (конечной или счетной) последовательности попарно несовместных событий А\, А2,

Число Р{А} называется вероятностью события A (probability of the event А). Заметим, что аксиома 2 фиксирует «единицу измерения» вероятностей, принимая за 1 вероятность достоверного события.

Вот несколько простых следствий из этих аксиом. Невозможное событие имеет нулевую вероятность Р{0} = 0. Если А С В, то Р{А} Р{В}. Используя обозначение А для события S - А (дополнение к А), имеем Р{А} = 1 - Р{А}. Для любых двух событий А и В имеет место

Р{А и В} = Р{А} + Р{В} - Р{А П В}(6.17)

Р{А} + Р{Б}.(6.18)

В нашем примере с бросанием двух монет, положим вероятность каждого элементарного исхода равной 1/4. Тогда вероятность выпадения по крайней мере одного орла будет

Р{оо, ор, ро} = Р{оо} + Р{ор} + Р{ро} = 3/4.

Иначе: вероятность того, что не будет ни одного орла, равна Р{рр} = 1/4, поэтому вероятность появления по меньшей мере одного орла есть 1 - 1/4 = 3/4.

6.2.1. Дискретное распределение вероятностей

Распределение вероятностей на конечном или счётном вероятностном пространстве называется дискретным (discrete). Для таких распределений можно написать

P{A} = J2?{s},

seA

для любого события А, поскольку оно является объединением не более чем счётного множества несовместных элементарных событий. Если множество S конечно и все элементы его равновероятны,

то получается равномерное распределение вероятностей (uniform probability distribution) на конечном множестве S. При этом вероятность любого события, включающего в себя к элементарных исходов из \S\, равна k/\S\. В таких случаях говорят «выберем случайно элемент s £ 5».

В качестве примера рассмотрим бросание симметричной монеты (flipping a fair coin), для которой вероятности орла и решки одинаковы и равны 1/2. Бросая её п раз, мы приходим к равномерному распределению на пространстве S = {о,р}п, состоящем из 2п элементов. Каждое элементарное событие из S можно рассматривать как строку длины п элементов множества {о, р}, и все такие строки имеют вероятность 1/2™. Событие

А = {выпало к орлов и п - к решек}

есть подмножество S и состоит из А = Ск элементов, так как существует Ск строк, содержащих ровно к орлов. Тем самым, вероятность события А равна Р{А} = Ск/2п.

Непрерывное равномерное распределение вероятностей

Будем считать элементарными исходами точки некоторого отрезка [а, Ь]. Определим вероятность события [с, d] С [а, Ь] формулой

р<м> = £.

В этом случае, как мы говорили, надо считать событиями не все подмножества отрезка, а только некоторые, которые называют измеримыми. Мы не приводим соответствующих определений, отсылая читателя к любому учебнику по теории вероятностей или по теории меры.

Заметим, что вероятность каждой точки равна 0, и потому вероятность полуинтервала (с, d] и интервала (с, d) могут быть определены той же формулой.

Такое распределение вероятностей называют непрерывным равномерным распределением (continuous uniform probability distribution).

Условная вероятность и независимость

Иногда мы располагаем частичной информацией о результате эксперимента. Например, пусть нам известно, что в результате бросания двух симметричных монет по крайней мере одна из них выпала орлом. Какова вероятность того, что обе монеты выпали орлом? Известная нам информация позволяет исключить случай