1. OSNOVE VERJETNOSTNEGA RAČUNA
   1. Izidi in verjetnostni prostori
   2. Elementarna pogojna verjetnost in neodvisnost

    

2. SLUČAJNE SPREMENLJIVKE IN SLUČAJNI VEKTORJI
   1. Sredstva iz teorije mere
   2. Standardne porazdelitve
   3. Matematično upanje
   4. Transformacije slučajnih spremenljivk
   5. Pogojno matematično upanje in pogojne porazdelitve
   6. Martingali

    

3. TRANSFORMACIJE IN KONVERGENCE SLUČAJNIH SPREMENLJIVK
   1. Rodovne funkcije in procesi razvejanja
   2. Karakteristične funkcije
   3. Konvergenca slučajnih spremenljivk
   4. Konvergenca v porazdelitvi

1.  OSNOVE VERJETNOSTNEGA RAČUNA

    1.1  Izidi in verjetnostni prostori

Primer: V 17. stoletju je bila popularna stava na vsoto pik na treh kockah. Galilej je napisal vse možne izide, ki jih je 6³.

Ideja formalizacije verjetnosti je, da napišemo vsaj v načelu vse možne "izide" nekega eksperimenta, ki vsebuje naključnost. Dogodki bodo v formalizaciji postali podmnožice množice vseh izidov. Množico vseh izidov ponavadi označimo z grško črko Ω.

Vsak dogodek se "zgodi" z neko določeno verjetnostjo. Verjetnost bo formalno pravilo, ki vsakemu dogodku priredi število na intervalu [0,1]. Temu številu bomo rekli VERJETNOST DOGODKA. Verjetnost dogodka A označimo s P(A). Pri tem smiselno zahtevamo naslednje:

1. P({})=0
2. P(Ω)=1
3. P(AUB)=P(A)+ P(B), če je A∩B={}.

Primer: V genetiki nastopajo modeli, kjer izbiramo naključno permutacijo. (podrobnosti-predavanja)

Sedaj nas zanima ali so lahko vse podmnožice dogodki? Odgovor na to je: NE! Omejiti se moramo na poddružino podmnožic, ki bodo dogodki. Kakšna poddružina bo to in kakšno bo tam pravilo P? Odgovor nam daje

IZREK (Caratheodorijev izrek o razširitvi mere): Pravilo P, dano s predpisom P(A)= (1/2)ⁿ, lahko razširimo do mere na
σ-algebri, ki jo generirajo cilindrične množice (to so množice, ki imajo predpisanih prvih n členov), oblike
{*}x...x{*}x{0,1}x{0,1}x... (brez dokaza)

Definicija: VERJETNOSTNI PROSTOR je trojica (Ω, F, P), kjer je:

1. Ω množica izidov
2. F je σ-algebra podmnožic; v verjetnosti so podmnožice dogodki
3. P je mera na F z vrednostmi v [0,1] in P(Ω)=1.

Opomba: Nenegativni meri z maso 1 bomo rekli "verjetnostna mera".

Opomba: Vsi izreki in leme bodo tukaj brez dokazov! Le-te lahko naredite sami ali se udeležite predavanj.

LEMA 1.1: Naj bodo A₁,...,A_n dogodki. Potem velja:

1. P(A_i^c)=1- P(A_i)
2. Če je A₁<A₂, potem je P(A₁)< P(A₂)
3. P(A₁U A₂) = P(A₁)+ P(A₂) - P(A₁∩A₂)
4. P(UA) = ∑P(A_i) - ∑P(A_i∩A_j) + ∑P(A_i∩A_j∩A_k) - ... ...+(-1)^n-1P(A₁∩...∩A_n).

Opomba: Točki (iv.) v srednji šoli rečemo "pravilo vključitev in izključitev".

Primer: Izbiramo slučajno permutacijo, tako da je verjetnost vsake posamezne permutacije enaka 1/n!. Zanima nas verjetnost dogodka, da permutacija nima nobene fiksne točke. Označimo dogodek z A. Lažje je izračunati P(A^c), tj. verjetnost, da ima permutacija vsaj eno fiksno točko. Računamo po formuli za vključitve in izključitve. (podrobnosti-predavanja)

LEMA 1.2:

1. Če velja A₁ < A₂ < A₃ < ..., potem je P(UA_i) = lim P(A_n), ko n−>∞.
2. Če velja A₁ > A₂ > A₃ > ..., potem je P(∩A_i) = lim P(A_n), ko n−>∞.

LEMA 1.3 (Prva Borel-Cantellijeva lema): Naj bodo A₁,A₂,... dogodki, za katere je ∑P(A_k) < ∞.
Definirajmo Ā = {ωЄΩ: ω vsebovan v neskončno A_k}. Velja P(Ā) = 0.

NAZAJ NA KAZALO!

    1.2  Elementarna pogojna verjetnost in neodvisnost

Primer: Vzemimo 52 standardnih kart, jih premešamo in z vrha damo eno karto igralcu α in eno karto igralcu β. Definiramo dogodka:
A = { α dobi asa}
B = { β dobi asa}.
Dobimo "absolutni verjetnosti" P(A)=4/52 in zaradi simetrije P(B)=4/52. Če pa vemo, da α dobi asa, velja P(B)=3/51, saj izmed 4 asov sedaj ostanejo 3 in namesto vseh 52 kart, jih imamo na voljo le še 51. Torej, če vemo, da se je dogodek A zgodil, se naše "mnenje" o verjetnosti dogodka B spremeni. Isto velja, če se A ni zgodil. "Pogojna verjetnost" dogodka B glede na A je enaka 3/51. Če se je "zgodil" dogodek A, smo s tem omejeni na izide v A. Ideja za pogojno verjetnost je, da je P(B|A) delež B znotraj A.

Definicija: Naj bo P(A)>0. POGOJNA VERJETNOST B glede na A, v oznakah P(B|A), je definirana s predpisom
P(B|A)=P(A∩B)/P(A).

Primer: Vzemimo družino z 2 otrokoma. Recimo, da je spol otroka z verjetnostjo 1/2 moški(m) in 1/2 ženski(ž). Definirajmo dogodka:
A = {oba otroka sta moškega spola}
B = {vsaj en otrok je moškega spola}
Izračunajmo verjetnost P(A|B). Verjetnostni prostor je {mm, mž, žm, žž}. Verjetnosti izidov so 1/4. Dobimo:
P(A|B)=P(A∩B)/P(B)= (1/4)/(3/4)=1/3.

Definicija: Končna ali števna družina dogodkov {H_k} je PARTICIJA verjetnostnega prostora, če je UH_k=Ω in velja
H_i∩H_j={} za i≠j.

LEMA 1.4 (Formula za popolno verjetnost): Predpostavimo, da je H_i particija, P(H_i)>0 za vse i. Velja P(A)=∑P(A|H_i)·P(H_i).

LEMA 1.5: Za dogodke A₁,...,A_n velja P(A₁∩...∩A_n)= P(A_n|A₁∩...∩A_n-1 )·P(A_n-1|A₁∩...∩ A_n-2)·...· ·P(A₃|A₁∩A₂)· P(A₂|A₁)·P(A₁).

Primer (Polyeva žara): Začnemo z žaro, v kateri je ena črna kroglica mase θ>0. Na vsakem koraku izberemo kroglico z verjetnostjo, ki je proporcionalna masi, tj. težje kroglice bolj verjetno jemljemo ven. Če je kroglica črna, jo vrnemo v žaro in dodamo novo kroglico mase 1 in barve, ki je še nismo videli. Če smo izbrali barvasto kroglico (tj. tako, ki ni črna), jo vrnemo v žaro in dodamo kroglico mase 1, iste barve, kot je bila izvlečena kroglica.
Vprašanje: Ko žara "raste" ali narašča število barv čez vsako mejo z verjetnostjo 1 ali se ustali pri nekem (slučajnem) številu?
Odgovor: Število barv se nikoli ne ustali z verjetnostjo 1. (podrobnosti-predavanja)

Poglejmo, kaj se lahko zgodi:

Komentar: Na prvem koraku imamo samo eno izbiro, torej izvlečemo črno kroglico, jo vrnemo v žaro in dodamo kroglico oranžne barve. Na drugem koraku izvlečemo oranžno, jo vrnemo v žaro in na tretjem koraku spet izvlečemo črno. Kroglico vrnemo v žaro in dodamo novo kroglico zelene barve, itd.

Primer: V posodi imamo m belih in n črnih kroglic. Igramo naslednjo igro: Igralec A izbira kroglice naključno, dokler ne dobi kroglice druge barve, kot so bile prej izvlečene kroglice. Potem to kroglico vrne v posodo, kroglice ene barve, ki so bile prej izvlečene, pa niso več v igri. Sedaj na 2. koraku igralec B izbira kroglice na enak način. Seveda je sedaj kroglic manj. Igralca se menjavata in slej ko prej bo eden izvlekel zadnjo kroglico.
Vprašanje: Kakšna je verjetnost, da je zadnja kroglica bela?
Odgovor: Verjetnost, da je zadnja kroglica bela je enaka 1/2. (podrobnosti-predavanja)

Primer (Jetniški paradoks): Jetniki A, B in C so v neki mračni deželi obsojeni na smrt. Vladar bo naključno izbral enega od jetnikov in ga pomilostil. Jetnik A pravi: "Ječar, če mi poveš, kdo od jetnikov B in C bo obešen, mi ne daš nobene informacije, saj bo eden od njiju gotovo obešen." Ječar mu odvrne: "Če ti povem, potem ostaneta samo dva jetnika na izbiro za pomilostitev in tvoja verjetnost za preživetje se bo z 1/3 dvignila na 1/2."
Vprašanje: Kdo ima prav?
Napišimo verjetnostni prostor. Le-ta mora biti nekoliko večji kot samo {AB, AC, BC}, saj mora vsebovati tudi ječarjeve izbire. Predlog:

Komentar: Prvi dve črki sta nesrečneža, ki bosta visela, zadnja črka pove, kaj bo rekel ječar, števila, ki so desno, pa so verjetnosti izidov. Tretjine izhajajo iz dejstva, da bo vladar izbiral naključno. Imamo pa tudi opravka s pomanjkljivo informacijo, saj porazdelitev verjetnosti med zadnja dva izida ni jasna iz besedila naloge, zato jo razdelimo tako kot piše. Pri tem upoštevamo, da je xЄ[0,1]. Sedaj računamo pogojne verjetnosti in dobimo odgovor.
Odgovor: Če je x=1/2, ima prav jetnik, v ostalih primerih (še posebej, če je x=0) pa ima prav ječar.
(podrobnosti-predavanja)

    Neodvisnost dogodkov

Kaj pomeni z besedami enakost P(A|B)=P(A)? V tem primeru to pomeni, da B "ne pove nič" o A, česar ne bi vedeli že od prej. Prepišimo to malo drugače:
P(A|B)= P(A∩B)/P(B)=P(A)    =>    P(A∩B)=P(A)·P(B).

Definicija: (i) Dogodka A in B sta NEODVISNA, če velja P(A∩B)=P(A)·P(B).
(ii) Dogodki {A_i} so NEODVISNI, če za vsako končno poddružino A_i1,...,A_in velja P(∩A_ik)=∏P(A_ik).

Primer: Delimo po eno karto z dobro premešanega kupa kart.
A={karta je rdeča}
B={karta je as}
A in B sta očitno neodvisna, ker je delež asov med rdečimi in črnimi kartami enak. Formalno: P(A)=1/2, ker je pol rdečih in pol črnih kart, P(B)=4/52, ker so 4 asi med 52 kartami in P(A∩B)=2/52, ker sta dva rdeča asa med 52 kartami.

Primer (Paradoks Chevaliera de Mereja): Gledamo naslednji igri na srečo:
(a) Vržemo 4 kocke štirikrat. Zmagamo, če vidimo vsaj eno šestico.
(b) Vržemo 2 kocki štiriindvajsetkrat. Zmagamo, če vsaj enkrat pade dvojna šestica.
Vprašanje: V kateri igri imamo večjo verjetnost za zmago?
Namig: Dogodki, povezani z ločenimi kockami ali meti, so neodvisni!
Odgovor: Večjo možnost za zmago imamo v igri (a). (podrobnosti-predavanja)

LEMA 1.6 (Druga Borel-Cantellijeva lema): Naj bodo A₁,A₂,... neodvisni dogodki, za katere je ∑P(A_k) = ∞.
Definirajmo A= {ωЄΩ: ω vsebovan v neskončno A_k}. Velja P(A) = 1.

Primer (Kockarjev bankrot): Oglejmo si naslednjo igro na srečo: Igralca A in B začneta z m in n zlatniki. V vsaki "rundi" vržeta kovanec. Če je izid grb, igralec A dobi zlatnik od igralca B, če je izid številka, dobi igralec B zlatnik od igralca A. Konec igre je, ko eden od igralcev povsem obere drugega.
Vprašanje: Kolikšna je verjetnost, da bo igralec A obral igralca B?  Torej P(A)=?
Odgovor: Najprej zapišimo nekaj oznak:
* P(G)=p je verjetnost grba
* P(Š)=q je verjetnost številke
* p+q=1
* razmerje q/p označimo z x

Velja:  če je p=q, potem je P(A)= m/(m+n)

če je p≠q, potem je P(A)=(x^m-1)/(x^m+n-1). (podrobnosti-predavanja)

NAZAJ NA KAZALO!

2.  SLUČAJNE SPREMENLJIVKE IN SLUČAJNI VEKTORJI

Začnimo z nekaj primeri za motivacijo.

Primer1: V Galilejevem primeru je bil Ω = {1,2,3,4,5,6}³. Pri metu kock nas ni zanimal posamezni izid, tj. trojica, ampak neka vrednost, povezana z izidom, tj. vsota pik. Možne vrednosti, če govorimo o vsoti pik, so od 3 do 18. Tej vrednosti bomo rekli "slučajna spremenljivka", ker je njena vrednost odvisna od slučaja in ker se spreminja.

Opomba: Tipično označimo slučajne spremenljivke z velikimi tiskanimi črkami s konca abecede, npr. X, Y, Z,...

Primer2: Vzemimo Ω=S_n (tj. permutacije n elementov). Vsako permutacijo lahko zapišemo kot produkt ciklov, npr.
σ=(1234)(56). Permutacije izbiramo naključno, vsako z verjetnostjo 1/n!.
Definiramo lahko celo vrsto slučajnih spremenljivk:
X=število ciklov permutacij
Y=dolžina najdaljšega cikla
M_k=število ciklov dolžine k, k=1,2,...,n
Slučajne spremenljivke lahko tudi sestavimo v vektor, npr.M=(M₁,...,M_n). Takemu vektorju rečemo "slučajni vektor".

Primer3: Vzemimo Ω=S_n. Naključno izberimo permutacijo, vsako z verjetnostjo 1/n!. Na naključno izbrani permutaciji izvedemo QuickSort. Slučajna spremenljivka je npr. T=čas, potreben za sortiranje. Kaj bi nas zanimalo v zvezi s T? Če merimo T s celimi števili, nas zanima recimo verjetnost P(T=k).

Definicija: SLUČAJNA SPREMENLJIVKA je merljiva funkcija iz verjetnostnega prostora Ω v nek metrični prostor (M,d), opremljen z Borelovo σ-algebro.

Opomba: (a) Merljivost bomo definirali nekoliko drugače: X:(Ω,F) -> (M,d) je "merljiva", če je praslika vsake Borelove množice v M merljiva v (Ω,F).
Z oznakami: Če je AЄB(M), zahtevamo X^-1(A)ЄF.

(b) Elemente Ω tipično označimo z ω. Potem lahko zapišemo recimo X(ω).

(c) Če je M=Rⁿ ali morda Banachov prostor, bomo tipično govorili o slučajnih vektorjih
     namesto o slučajnih spremenljivkah.

Pri slučajnih spremenljivkah nas niti ne zanima toliko sama funkcija X. Bolj nas zanima, s kakšno verjetnostjo bo slučajna spremenljivka "zavzela" dano vrednost.
Sedaj bi radi definirali pojem "porazdelitve" slučajne spremenljivke. Oglejmo si splošno definicijo. Za vsako Borelovo množico A lahko izračunamo verjetnost P(XЄA)=P(X^-1(A)). Pogovorno: računamo verjetnost, da vrednost X "pade" v A. S tem smo definirali mero na B(M), tj. Borelova σ-algebra. Mero označimo z μ_x. Formalno je μ_x=P(X^-1(A)).

Definicija: Meri μ_x rečemo PORAZDELITEV SLUČAJNE SPREMENLJIVKE X.

Opomba: Besedo "porazdelitev" uporabimo zato, ker μ_x "porazdeli" verjetnost posameznim Borelovim množicam.

NAZAJ NA KAZALO!

    2.1  Sredstva iz teorije mere

Najprej se lotimo Dynkinove leme. Potrebujemo dve na videz suhoparni definiciji.

Definicija: Naj bo (S,Ŝ) merljiv prostor. Družina podmnožic P je π-sistem, če velja:
(a) S Є P
(b) če sta A,B Є P, je tudi A∩B Є P.

Primeri: (a) Vsaka topologija je π-sistem.

(b) S=R={realna števila}, P={{}, (a,b], a<b} je π-sistem.

(c) S=R, P={R, (-∞,a], a Є R} je π-sistem.

(d) S=Rⁿ, P={Rⁿ, ∏(-∞,a_i], a_i Є R za i=1,...,n} je π-sistem.

(e) Recimo, da imamo merljiva prostora (S₁,Ŝ₁) in (S₂,Ŝ₂). Definirajmo vse pravokotnike:
     P={AxB Є S₁xS₂; A Є Ŝ₁, B Є Ŝ₂}. Ta družina je π-sistem.

Definicija: Naj bo (S,Ŝ) merljiv prostor. Družina L je λ-sistem, če velja:
(a) S Є L
(b) če sta A,B Є L in je A Є B, je B\A Є L
(c) če so A₁,A₂,...disjunktne in A_i Є L za vsak i, je UA_i Є L.

Komentar: Definiciji π-sistema in λ-sistema sta "dve polovici" definicije σ-algebre.

Opomba: Vedno obstaja najmanjša σ-algebra, ki vsebuje dano družino množic (vzamemo presek vseh σ-algeber, ki vsebujejo to družino). Rekli bomo, da ta družina generira σ-algebro.

Primer: Če sta (S₁,Ŝ₁) in (S₂,Ŝ₂) merljiva prostora, potem vsi pravokotniki oblike AxB; A Є Ŝ₁, B Є Ŝ₂, generirajo produktno
σ-algebro Ŝ₁xŜ₂ na prostoru S₁xS₂.

LEMA 2.1 (Jevgenij Borisovič Dynkin): Naj bo P π-sistem in L λ-sistem, ki vsebuje P. Potem L vsebuje tudi σ-algebro σ(P), ki jo generira P. V oznakah: PЄL => σ(P)ЄL.

Primer uporabe: Naj bo μ končna mera na R. Ali je natanko določena z vrednostmi μ((a,b])?

Dynkin: Pa denimo, da imamo meri μ in η za kateri je μ₁((a,b])=μ₂((a,b]) za poljubna a<b.
Definiramo L={AЄ B(R): μ₁(A)=μ₂(A)}. L vsebuje π-sistem P={R,(a,b]: a<b}. P generira Borelovo σ-algebro.
Trivialno preverjanje pove, da je L λ-sistem, torej je L vsebovan v Borelovi σ-algebri B(R).
Meri se ujemata na Borelovih množicah, torej res obstaja ena sama mera.

Primer (Fubinijeva konstrukcija + izrek): Ideja: Imamo prostora z mero (S₁,Ŝ₁,μ) in (S₂,Ŝ₂,η).
Radi bi konstruirali mero μ x η na produktu (S₁xS₂, Ŝ₁xŜ₁), za katero velja
(μ x η)(AxB)=μ(A)·η(B) za AЄŜ₁ in BЄŜ₂.
Postavimo se na stališče, da Fubinijev izrek "pričakujemo". Vemo kakšna je mera vsakega pravokotnika, radi pa bi definirali mero za poljuben C Є Ŝ₁xŜ₁.
Označimo za dani x Є S₁ prerez C_x kot: C_x={y Є S₂: (x,y) Є C}. Poglejmo sliko:

Ugibamo: (μ x η)(C)=∫_S1η(C_x)dμ(x).
Sedaj nastopita dve tehnični motnji in sicer  moramo dokazati:
(i) C_x je merljiva množica za vsak xЄS₁
(ii) Funkcija x -> η(C_x) je merljiva. (podrobnosti-predavanja)
Komentar: S pomočjo Dynkinove leme in izreka LMK (Lebesgue-ov izrek o monotoni konvergenci; glej predavanja iz Teorije mere) dokažemo obe točki in Fubinijev izrek.

Opomba: Običajna oznaka je ∫_Sf(x)dμ(x), v verjetnosti pa se je udomačila oznaka ∫_Sf(x)μ(dx), tj. vrednost funkcije pomnožimo z mero koščka, ne pa s koščkom mere.

NAZAJ NA KAZALO!

    2.2  Standardne porazdelitve

Formalno so slučajne spremenljivke merljive funkcije X:(Ω,F,P) -> (M,d). Porazdelitev slučajne spremenljivke X je mera μ_x, definirana s predpisom μ_x(A)=P(XЄA)=P(X^-1(A)).

Definicija: Slučajna spremenljivka je DISKRETNA ali ima DISKRETNO PORAZDELITEV, če obstaja števna množica {x₁,x₂,...}ЄM, taka, da je P(XЄ{x₁,x₂,...})=1.

Za diskretne slučajne spremenljivke je porazdelitev μ_x skoncentrirana na množici {x₁,x₂,...}. Za opis diskretne mere μ_x je dovolj navesti μ_x({x_i}) za vsak x_i. Velja: P(XЄA)=∑P(X=x_i)=∑μ_x({x_i})=μ_x(A) za x_iЄA.

Primer: Recimo, da mečemo kovanec n-krat. Meti so neodvisni, verjetnost za grb pa je pЄ(0,1). Definiramo: X=število grbov v n metih. X je diskretna spremenljivka z možnimi vrednostmi v {0,1,...,n}. Porazdelitev opišemo z verjetnostmi P(X=k). Kako lahko dobimo k grbov v n metih? Recimo GGG...GŠŠŠ...Š, pri čemer je k grbov in n-k številk. Dobimo P(GG...GŠ...Š)=p^k ·(1-p)^n-k. Uporabili smo predpostavko o neodvisnosti metov. Isto velja za poljuben vrstni red k grbov in n-k številk. Verjetnost za tako zaporedje je vedno p^k·(1-p)^n-k. Vseh možnih zaporedij s k grbi in n-k številkami je "n nad k" ali če zapišemo s fakultetami: n!/(k!(n-k)!). Pri tem smo izbrali samo pozicije grbov (za številke je simetrično). Posamezna zaporedja vodijo do nezdružljivih dogodkov. Torej je

            za k=0,1,...n. Nekatere porazdelitve imajo svoja imena. Porazdelitev X se imenuje BINOMSKA PORAZDELITEV s parametroma n in p. Oznaka: X~Bin(n,p). Če P(X=k) seštejemo po vseh k, moramo seveda dobiti 1.

Primer: Mečimo kovanec, dokler ne vidimo grba. Naj bo X=število potrebnih metov, vključno z zadnjim.
Medklic: V načelu je lahko X=∞, če dobimo zaporedje ŠŠŠŠ... Ampak verjetnost tega dogodka je enaka 0. Če neka slučajna spremenljivka ni definirana na množici z mero 0, nas to ne skrbi. To drži tudi za X.
X je diskretna slučajna spremenljivka z vrednostmi v {1,2,...}. Dobiti moramo zaporedje ŠŠŠŠ...ŠG. Velja

             Rečemo, da ima X GEOMETRIJSKO PORAZDELITEV s parametrom p. Oznaka: X~Geom(p).

Primer: Mečemo kovanec in čakamo na m grbov, m>0. Definiramo X=število potrebnih metov, vključno z zadnjim. X je diskretna slučajna spremenljivka z vrednostmi v {m,m+1,...}. Kaj se mora zgoditi? GŠ...Š..G...Š..GG...ŠG, pri čemer zadnji G pomeni grb na k-tem mestu, na prejšnjih k-1 mestih pa je m-1 grbov in (k-1)-(m-1)=k-m številk. Ker so meti neodvisni, je prvih k-1 metov neodvisnih od zadnjega in velja

(*)

           za q=1-p. Rečemo, da ima X NEGATIVNO BINOMSKO PORAZDELITEV s parametroma m in p. Oznaka: X~NegBin(m,p).

Primer: S.Banach je bil strasten kadilec. Vedno si je kupil dve škatli vžigalic (v vsaki škatli je n vžigalic) ter dal eno škatlo v levi in drugo v desni žep. Vsakič, ko je prižigal cigareto, je naključno segel v enega od žepov. Če je iz škatlice vzel zadnjo vžigalico, tega ni opazil in je škatlico dal nazaj v žep. Prej ali slej bo Banach iz žepa potegnil prazno škatlico. Naj bo X=število vžigalic v "drugi" škatlici. Banacha je skrbela verjetnost P(X=0). Izračunajmo porazdelitev P(X=k) za k=0,...n. Zapišemo: P(X=k)=P(v levem žepu 0, v desnem žepu k, Banach seže v levi žep)+P(v desnem žepu 0, v levem žepu k, Banach seže v desni žep). Če se zgodi prva od možnosti, potem to pomeni, da je v levem žepu porabil vseh n vžigalic, v desnem mu jih je ostalo še n-k in trenutno si prižiga 1 cigaret, torej si Banach prižiga (n+(n-k)+ 1)=(2n-k+1)-vi cigaret. Pri tem je natanko (n+1)-krat segel v levi žep. Uporabimo negativno binomsko porazdelitev, pri čemer ima zdaj 2n-k+1 vlogo k-ja in n+1 ima vlogo m-ja iz formule (*)-glej zgoraj! Ker ima dva žepa, bodo v formuli nastopale polovice. Dobimo:

            Zaradi simetrije ima drug dogodek enako verjetnost in na koncu sledi:

            za k=0,1,...,n. Poglejmo še BANACHOVO VERJETNOST:

            Za n=50 vžigalic dobimo P(X=0)≈1/16.

Primer: V posodi imamo B belih in R rdečih kroglic. Naključno izberemo n kroglic brez vračanja. "Naključno" pomeni, da je vsak nabor n kroglic enako verjetno izbran. Označimo N=B+R, X=število belih kroglic med izbranimi kroglicami. X je slučajna spremenljivka z vednostmi med max(0,n-R)≤k≤min(n,B). Porazdelitev opišemo z verjetnostjo P(X=k). Deliti moramo ugodne možnosti z vsemi možnimi izbori. Dobimo:

           za max(0,n-R)≤k≤min(n,B). Rečemo, da ima X HIPERGEOMETRIJSKO PORAZDELITEV s parametri n, B, N. Oznaka: X~HiperGeom(n,B,N).

Primer: Z dobro premešanega kupa 52 standardnih kart razdelimo 5 kart. Kolikšna je verjetnost, da dobimo poker iz asov, tj. 4 asi+neka karta? Označimo X=število asov med 5 kartami. Očitno je X~HiperGeom(5,4,52). Sledi, da je

Primer: Kovanec mečemo vedno večkrat, tj n -> ∞, s tem da je verjetnost grba vedno manjša. Torej, ko mečemo n-krat, vržemo kovanec z verjetnostjo P(grb)=p_n, p_n -> 0. Vzamemo, da n·p_n -> λ>0, ko n->∞ (pričakovano število grbov konvergira). Kaj se dogaja z verjetnostmi P(X_n=k), ko n->∞ in X_n~Bin(n, p_n)? Računamo limito, ko gre n->∞. Torej:

           Iz analize si sposodimo: Če c_n->c, ko n->∞, potem (1+c_n/n)ⁿ -> e^c, ko n->∞. V našem primeru: c_n= -λ-nr_n -> -λ. Zato je lim P(X_n=k)=(λ^k/k!)·e^-λ. Torej je

           za k=0,1,.... Tako porazdelitev imenujemo POISSONOVA PORAZDELITEV s parametrom λ. Oznaka: X~Po(λ).

Opomba: Poissonova porazdelitev je model za število "redkih" dogodkov v mnogo ponavljanjih, npr. zavarovalne premije in prometne nesreče v zavarovalništvu.

Abracham De Moivre je želel izračunati binomske verjetnosti numerično. To je na roko težko izračunati. De Moivre je najprej izpeljal Stirlingovo formulo, ki pravi:

kjer je |r_n|<1/12n. Za primer izračunajmo naslednjo limito za fiksen xЄR:

kjer je X_n~Bin(n,p). Rezultat bo:

 (podrobnosti-predavanja)

Opomba: Limiti se reče LAPLACEOV INTEGRALNI LIMITNI IZREK. To je poseben primer centralnega limitnega izreka (2.semester).

IZREK 2.2 (Bernsteinova neenakost): Naj bo S_n~Bin(n,p). Za vsak ε>0 velja

LEMA 2.3:

1. Če je X=(X₁,...,X_n) slučajni vektor z vrednostmi v Rⁿ, potem so X₁,...X_n slučajne spremenljivke.
2. Če so X₁,...X_n slučajne spremenljivke z vrenostmi v R, potem je X=(X₁,...,X_n) slučajni vektor.

Opomba: Iz leme sledi, da so vsi podvektorji slučajnega vektorja X tudi slučajni vektorji.

Definicija: (a) Naj bo X slučajna spremenljivka z vrednostmi v R. PORAZDELITVENO FUNKCIJO X definiramo kot
F_x(x)=P(X ≤ x)= μ_x((-∞,x]).
(b) Naj bo X slučajni vektor z vrednostmi v Rⁿ. PORAZDELITVENO FUNKCIJO definiramo kot
F_X(x₁,...,x_n)= P(X_i ≤ x_i za vse i)=μ_x(∏(-∞,x_i]) za i=1,...,n.

LEMA 2.4: Naj bo F_x porazdelitvena funkcija slučajne spremenljivke X. Velja:

1. F_x enolično določa μ_x
2. F_x je nepadajoča
3. F_x je desno zvezna
4. lim F_x(x)=1, ko x->∞ in lim F_x(x)=0, ko x->-∞.

Primer: Naj funkcija F ustreza pogojem (ii), (iii) in (iv) iz leme 2.4. Ali je F(x)=μ((-∞,x]) za neko verjetnostno mero μ na R? Odgovor: DA! (podrobnosti-predavanja)

Opomba: Podobne izreke lahko dokažemo za porazdelitvene funkcije vektorjev.

Druga kategorija porazdelitev, ki jih bomo obširno uporabljali, so mere z gostoto.

Definicija: (a) Porazdelitev μ_x ina GOSTOTO f_x glede na Lebesgueovo mero, če velja P(XЄA)=μ_x(A)=∫_Af_x(x)dx.
(b) Vektor X ima GOSTOTO f_x, če velja P(XЄA)=μ_x(A)=∫_Af_x(x)dx.

Primer: Predstavljajmo si, da mečemo kovanec z verjetnostjo p_n, dokler ne dobimo prvega grba. Označimo število metov s T_n. Vemo,da je T_n~Geom(p_n). Recimo, da so časovni intervali med meti dolgi h_n. Dejanski čas do prvega grba je h_n·T_n. Vemo

           Izberimo h_n in p_n tako, da bo veljalo h_n/p_n -> λ>0, ko n->∞. To pomeni, da kovanec mečemo vedno hitreje, verjetnost za grb pa je vedno manjša. Dobimo

           To vzamemo za motivacijo za definicijo eksponentne porazdelitve. Slučajna spremenljivka X ima EKSPONENTNO PORAZDELITEV s parametrom λ>0, če ima gostoto

            Oznaka: X~exp(λ). Velja P(X≥t)=e^-λt za t>0.

Definicija: Za slučajne spremenljivke, katerih porazdelitev ima gostoto glede na Lebesgueovo mero, pravimo, da so ZVEZNE.

Opomba: Terminologija je utečena, ni pa dobro izbrana. Ne gre za zveznost X, temveč za absolutno zveznost μ_x glede na Lebesgueovo mero.

Definicija: VEČRAZSEŽNA NORMALNA GOSTOTA je definirana na Rⁿ kot

                kjer je XЄRⁿ, Σ je pozitivno definitna matrika in μЄRⁿ je dan vektor.

Opomba: Σ>0, da sploh obstaja integral. V načelu bi morali preveriti, da je ∫f_X(x)dx=1. (kasneje!)

NAZAJ NA KAZALO!

    Neodvisnost slučajnih spremenljivk (vektorjev)

Rekli smo, da sta dogodka A in B neodvisna, če je P(A∩B)=P(A)·P(B). Kdaj sta slučajni spremenljivki X in Y neodvisni? Intuitivno: Če je dogodek A "povezan" z X in B dogodek "povezan" z Y, bi morala biti X in Y neodvisna. Kakšni pa so dogodki, povezani z X? V splošnem so to dogodki oblike {XЄA'} za A'ЄB(R).

Definicija: (a) Slučajni spremenljivki X in Y sta NEODVISNI, če za poljubna A in B velja P(XЄA,YЄB)=P(XЄA)·P(YЄB),
A in B sta Borelovi množici.
(b) Slučajne spremenljivke X₁,...,X_n so NEODVISNE, če velja P(X₁ЄA₁,..., X_nЄA_n)=P(X₁ЄA₁)·...·P(X_nЄA_n)
za vse A_iЄB(R).
(c) Slučajne spremenljivke (X_i)_iЄI so NEODVISNE, če je neodvisna vsaka končna poddružina teh spremenljivk.

Kako se neodvisnost slučajnih spremenljivkX in Y "pozna" na njuni porazdelitvi? Bolj natančno: Sestavimo vektor (X,Y). Porazdelitev tega slučajnega vektorja je mera μ_X,Y na R². Kaj lahko rečemo o tej meri? Začnimo s pravokotniki AxB; A,BЄB(R):
μ_X,Y(AxB)=P(XЄA,YЄB)=P(XЄA)·P(YЄB)=μ_X(A) ·μ_Y(B)=(μ_Xxμ_Y)(AxB).
Ugotavljamo: meri μ_X,Y in μ_Xxμ_Y se ujemata na pravokotnikih oblike AxB. Od prej pa vemo: če se meri ujemata na pravokotnikih, se ujemata(Dynkin), torej sta enaki: μ_X,Y=μ_Xxμ_Y.

LEMA 2.5 : Slučajne spremenljivke X₁,...,X_n so neodvisne, če in samo če je porazdelitev μ_X1,...,Xn=μ_X1x...xμ_Xn.

Recimo, da ima vektor X gostoto f_X glede na Lebesgueovo mero. Kako najdemo gostoto prve komponente, tj. X₁?  X₁ ima gostoto, dano z f_X1(x₁)=∫_R^n-1f _X(x₁,...,x_n)dx₂...dx_n. Enako velja za vse ostale komponente. Če sta X in Y neodvisni, je f_X,Y=f_X·f_Y skoraj povsod. (podrobnosti-predavanja)

Primer: Spomnimo se, kako smo definirali večrazsežno normalno porazdelitev. Kdaj so komponente neodvisne? Če so, mora biti f_X=f_X1·...·f_Xn. Če so vse funkcije parcialno odvedljive in >0, lahko najprej logaritmiramo in parcialno odvajamo po x_i in x_j, i≠j. (podrobnosti-predavanja)

Opomba: Odvedljivost f_Xi za i=1,...,n sledi iz izrekov o integralih s parametrom. (Analiza 2)

Opomba: Robnih gostot nismo izračunali. Dokazali smo, da je v primeru, ko je Σ diagonalna, f_X produkt nekih funkcij. Z malenkost Fubinija ugotovimo, da so te neke funkcije proporcionalne robnim gostotam.

Primer: Naj bo X=(X₁,...,X_n) slučajni vektor z vrednostmi v Zⁿ (vse komponente so celoštevilske). Če velja P(X₁=k₁,...,X_n=k_n)=f₁(k₁) ·...·f_n(k_n) za neke funkcije f₁,...,f_n, potem so X₁,...,X_n neodvisne. (podrobnosti-predavanja)

NAZAJ NA KAZALO!

    2.3  Matematično upanje (pričakovana vrednost)

Najprej komentarja za motivacijo:
(i) Ali je povprečje smiselna količina? Je, saj je povprečje nek povzetek podatkov, pri čemer se seveda nekaj informacij izgubi.
(ii) Če kocko vržemo mnogokrat, kaj dobimo v povprečju? Dobimo 3,5.
Bolj splošno: Recimo, da generiramo slučajne spremenljivke X₁, X₂,..., ki so neodvisne in enako porazdeljene s porazdelitvijo μ. Kateremu številu se bodo približevala povprečja (X₁+...+X_n)/n ? (podrobnosti-predavanja)

Definicija: MATEMATIČNO UPANJE slučajne spremenljivke X definiramo kot E(X)=∫_Rxμ_x(dx). Rečemo, da upanje obstaja, če je ∫_R|x|μ_x(dx)<∞.

V resnici je običajna definicija naslednja: E(X)=∫_ΩX(ω)P(dω). Rečemo, da upanje obstaja, če je ∫_Ω|X(ω)|P(dω)<∞.

LEMA 2.6 : Integral ∫_Ω|X(ω)|P(dω) obstaja, če in samo če obstaja integral ∫_R|x|μ_x(dx). Če integrala obstajata, je tudi ∫_ΩX(ω)P(dω)= ∫_Rxμ_x(dx).

LEMA 2.7: Naj bosta X in Y slučajni spremenljivki. Velja:

1. E(αX+βY)=αE(X)+βE(Y)
2. če je X≥0, je E(X)≥0
3. če sta X in Y neodvisni in f in g omejeni Borelovi, je E(f(X)g(Y))=E(f(X))·E(g(Y)).

Komentar: Če obstaja ali E(|XY|) ali E(|X|) in E(|Y|), potem je E(XY)=E(X)·E(Y). Obstoj E(|XY|) implicira E(|X|)<∞, E(|Y|)<∞ in obratno. Potreben je Fubinijev izrek.

Primer: Naj bo X~Bin(n,p). Izračunajmo E(X). Vemo, da je

            Če to odvajamo po x dobimo

            Sedaj vstavimo x=1 ter upoštevamo, da je p+q=1 in dobimo

            S pomočjo teh enakosti lahko sedaj izračunamo upanje

Poglejmo sedaj, kako izračunamo upanje, če je X diskretna slučajna spremenljivka ali če poznamo gostoto slučajne spremenljivke.
(i) Če je X diskretna slučajna spremenljivka z vrednostmi v {x₁, x₂,...}, je E(X)=Σx_k·P(X=x_k), če je Σ|x_k|P(X=x_k)<∞.
(ii) Če je f_x gostota X, je E(X)=∫_Rxf_x(x)dx, če je ∫_R|x|f_x(x)dx<∞.

Primer: Naj bo X HiperGeom(n,B,N). Želimo izračunati E(X). Po definiciji je matematično upanje težko izračunati. Ideja:
Mislimo si, da kroglice izbiramo eno po eno brez vračanja, dokler jih ne izberemo n. Definiramo slučajno spremenljivko

     (*)-nadaljevanje spodaj!

Opomba: Slučajnim spremenljivkam I₁,...,I_k pravimo INDIKATORJI. Očitno je X=I₁+...+I_n. Po linearnosti je E(X)=E(I₁)+...+E(I_n).

Definicija: Če je za neko slučajno spremenljivko I verjetnost P(I=0)=q in P(I=1)=p=1-q, pravimo, da ima I BERNOULLIJEVO PORAZDELITEV s parametrom p. Oznaka: I~Bernoulli(p).

Iz definicije takoj sledi: I~Bernoulli(p) => E(I)=p. V našem zgornjem primeru velja I_k~Bernoulli(B/N) za k=1,...,n. Zaradi simetrije je enako verjetno, da je prva kroglica bela, druga kroglica bela,...,n-ta kroglica bela. Sledi: E(X)=E(I₁)+...+ E(I_n)=B/N+...+B/N=n·B/N.

Primer: Naj bo X~N(μ,σ²). Zanima nas E(X) in E(X²).
Rešitev: E(X)=μ in E(X²)=σ²+μ². (podrobnosti-predavanja)

Primer: Dokazali smo tudi formulo: E(g(x,y))=∫g(x,y)μ_X,Y(dx,dy). Območje integriranja je R². Bolj splošno, če integriramo po Rⁿ, velja: E(g(x))=∫g(x) μ_X(dx). Če ima X gostoto, je E(g(x))=∫g(x)f_X(dx).
Vzemimo X~N(μ,Σ). Ta X ima gostoto. Zanima nas E(X_i·X_j).
Rešitev: E(X_i·X_j)=μ_iμ_j+σ_ij. (podrobnosti-predavanja)

Primer: Naj bo X≥0. Velja:

          Torej, če povzamemo:

        Podobno velja za ">", če bi pisali (0,∞) namesto [0,∞). Za celoštevilske slučajne spremenljivke pa se ta formula poenostavi v

Opomba: To formulo lahko dokažemo tudi direktno.

NAZAJ NA KAZALO!

    Varianca in kovarianca

Motivacija: Matematično upanje je neke vrste "povprečje" slučajne spremenljivke. Radi bi povzeli še "razpršenost". Radi bi predlagali neko mero razpršenosti. Možnosti je več.
Ideja: Razpršenost je povprečna "razdalja" X od matematičnega upanja E(X). Po Gaussu za mero razdalje vzamemo kvadrat. Iskali bomo povprečje (X-E(X))².

Definicija: VARIANCA slučajne spremenljivke X je definirana kot var(X)=E((X-E(X))²). STANDARDNI ODKLON definiramo kot SD(X)=(var(X))^1/2.

Alternativni izraz za varianco je še: var(X)=E((X-E(X))²)=E(X²-2E(X)·X+E(X)²)=E(X²)-2E(X)E(X)+ E(X)²=E(X²)-2E(X)²+E(X)²=E(X²)-E(X)².

Primer: Naj bo X~Bin(n,p). Zanima nas var(X). Po enem od zgornjih primerov vemo, da je E(X)=np. Sedaj potrebujemo še E(X²). Po istem zgornjem primeru imamo idejo:

            Sedaj to dvakrat odvajamo po x in dobimo

            Vstavimo x=1 ter upoštevamo, da je p+q=1 in dobimo

            Sledi

            Torej je

Primer: Recimo, da je X~HiperGeom(n,B,N). Koliko je var(X)? Spomnimo se, da je X=I₁+...+I_n. Torej iščemo var(X)=var(ΣX_k), za k=1,...,n. Po definiciji je var(X)=E(X²)-E(X)², zato posebej izračunamo E(X²) in E(X)². Dobimo:

            Ko izraza odštejemo in preuredimo, dobimo:

Definicija: Količino E(X·Y)-E(X)·E(Y) imenujemo KOVARIANCA spremenljivk X in Y. Oznaka: cov(X,Y)= E(X·Y)-E(X)·E(Y).

Interpretacija kovariance: Interpretiramo lahko predznak. Pozitiven predznak pomeni, da v primeru, ko je X velik, tudi Y "teži" k temu, da je večji in obratno, ko je kovarianca negativna.

Definicija: KORELACIJSKI KOEFICIENT slučajnih spremenljivk X in Y je količina:

Komentarja:
(i) Po Cauchy-Schwarzovi neenačbi je vedno |ρ(X,Y)|≤1. Če je |ρ(X,Y)|=1, obstajata α in β, da velja αX+βY=γ za neko konstanto γ.
(ii) V grobem smislu ρ meri "moč povezave" med X in Y.

Definicija: (a) Naj bo X slučajni vektor. VARIANCA X je definirana kot matrika (C_ij), i,j=1,...,n, pri čemer je C_ii=var(X_i) in C_ij=cov(X_i,X_j). Oznaka: var(X).
(b) Naj bosta X in Y slučajna vektorja (ne nujno iste dimenzije). KOVARIANČNO MATRIKO definiramo kot cov(X,Y)= (C_ij), i=1,...,m in j=1,...,n, C_ij=cov(X_i,Y_j) in dim(X)=m, dim(Y)=n.

LEMA 2.8 : Naj bosta X in Y slučajna vektorja in A in B matriki takih dimenzij, da lahko izračunamo A·X in B·Y.
Velja: cov(A·X,B·Y)= A·cov(X,Y)·B^T.

Vrnitev k primeru: Želeli smo izračunati varianco X~HiperGeom(n,B,N). Glej (*)-zgoraj!! Upoštevamo še znano formulo za varianco vsote in ker vemo, da je I_k~Bernoulli(B/N), velja: var(I_k)=(B/N)·(R/N). Zaradi simetrije je porazdelitev (I_k,I_l) enaka za vsak par k,l. Sledi, da so tudi vse kovariance enake. Velja:

Izračunajmo sedaj varianco:

Primer (Nobelova nagrada za ekonomijop 1954, Harry Markowitz): Imamo enoto denarja (recimo 1 milijon evrov). Na razpolago imamo n različnih delnic. Predpišimo si želeni donos μ. Radi bi porazdelili to enoto denarja med n delnic, da bo tveganje najmanjše možno.
Kaj bomo predpostavljali?
(i) Računamo znotraj fiksnega časovnega obdobja, recimo 1 leto.
(ii) Donosnost delnice i obravnavamo kot slučajno spremenljivko X_i. Predpostavljamo, da poznamo μ_i=E(X_i) za vse i=1,...,n. μ_i so pričakovani donosi. (podrobnosti-predavanja)

NAZAJ NA KAZALO!

    2.4  Transformacije slučajnih spremenljivk

Vprašanje: Naj bo X slučajni vektor z gostoto f_X(x). Recimo, da je dimenzija X enaka n. Naj bo θ:Rⁿ -> Rⁿ. Definiramo Y=θ(X). Y je spet n-dimenzionalni slučajni vektor. Ali ima gostoto? Če jo ima, kako jo izračunamo?
Recimo, da je θ bijektivna in zvezno parcialno odvedljiva. Predpostavimo, da je tudi θ^-1 zvezno parcialno odvedljiva.
Slika za R²:

Prvo opažanje: zaradi bijektivnosti je P(xЄU)=P(yЄV). Po drugi strani: če imata x in y gostoti, velja: P(xЄU)=∫_Uf_x(x)dx in P(yЄV)=∫_Vf_y(y)dy.
Intuitivno: Isto količino verjetnosti "trpamo" v različne množice. Če θ v točki x "stiska", se bo gostota povečala, če "širi", se bo gostota zmanjšala. Faktor stiskanja/širjenja je Jacobijeva matrika oz. determinanta |J_θ(x)|.
Uganemo: f_Y(y)=f_X( θ^-1(y))·|J_θ^-1(y)|.

IZREK 2.9 : Naj bo X slučajni vektor z gostoto f_X. Naj za neko odprto množico U iz Rⁿ velja P(XЄU)=1. Naj bo θ bijektivna preslikava, θ:U->V, V iz Rⁿ odprta, taka, da sta θ in θ^-1 zvezno parcialno odvedljivi.
Potem je gostota Y=θ(X) na V enaka f_Y(y)=f_X( θ^-1(y))·|J_θ^-1(y)|.

Primer: Naj bosta U in V neodvisni gama spremenljivki, U~Γ(a,λ) in V~Γ(b,λ). Definirajmo (X,Y)=(U/(U+V),U+V). Zanima nas f_X,Y. V izreku vzemimo U=(0,∞)². Gostota (U,V) je zaradi neodvisnosti enaka:

          Definirajmo θ(u,v)=(u/(u+v),u+v). θ bijektivno preslika (0,∞ )² na (0,1)x(0,∞) in θ je ustrezno parcialno odvedljiva. Računamo:

            Sledi:

            za 0<x<1, y>0.

            Za 0<x<1, y>0 dobimo torej

            Sklepi:
(i) X in Y sta neodvisni, ker je gostota produkt gostot.
(ii) Y~Γ(a+b,λ). Z drugimi besedami: če je U~Γ(a,λ) in V~Γ(b,λ) in sta neodvisni, je U+V~Γ(a+b,λ).

Definicija: Slučajna spremenljivka X z gostoto

               ima BETA PORAZDELITEV s parametroma a,b>0. Oznaka: X~Beta(a,b).

Opomba: Beta porazdelitev lahko "načaramo" iz Gama porazdelitve kot X=U/(U+V).

Primer: Naj bo Z~N(0,I). Gostota Z je

           Velja Z^TZ=Z₁²+... +Z_n², detI=1. Naj bo A nxn obrnljiva matrika in μЄRⁿ. Definiramo θ(Z)= A·Z+μ=X.
Velja: θ^-1(X)=A^-1(X-μ) in J_θ (X)=1/det(A). Odprti množici U in V sta Rⁿ. Za X=θ(Z)=A·Z+μ izračunamo gostoto f_X(x). (podrobnosti-predavanja)

Komentar:
(i) Ko smo definirali N(μ,Σ) porazdelitev, smo rekli Σ>0. Po Choleskem lahko zapišemo Σ=A·A^T za neko matriko A. Porazdelitev X~N(μ,Σ) je enaka porazdelitvi A·Z+μ, če je Σ=A·A^T.
(ii) Naj bo Z~N(0,I) in A simetrična idempotentna matrika, tj. A²=A. Kakšna je porazdelitev slučajne spremenljivke U=Z^TAZ?

Predpriprave: (a) Naj bo X~N(μ,Σ) in B obrnljiva nxn matrika. Kakšna je porazdelitev B·X?
X=A·Z+μ => B·X=B·A·Z+B·μ ~N(Bμ,BAA^TB^T)=N(Bμ,BΣB^T).
 (b) Če je Z~N(0,I) in je Q ortogonalna matrika, je QZ~N(0,QIQ^T)=N(0,I).
 (c) Naj bo Z~N(0,1). Zanima nas gostota Z². Poiščemo porazdelitveno funkcijo X=Z². Spoznamo: X~Γ(1/2,1/2). (podrobnosti-predavanja)
Dodatek: Če so Z₁,...,Z_r neodvisne in Z_i~N(0,1), potem je Z₁²+...+Z_r²~Γ(r/2,1/2). V statistiki ima taka porazdelitev ime χ²(r) (=hi kvadrat porazdelitev s parametrom r).

Računamo torej porazdelitev Z^TAZ. A je simetrična, zato je A=Q^TΛQ, kjer je Λ diagonalna. Ker je A idempotentna, so lastne vrednosti 0 in 1. Lahko izberemo

kjer je r=rang(A)=število enic.
Računamo: Z^TAZ=Z^TQ^TΛQZ= W^TΛW=W₁²+...+W_r²~Γ(r/2,1/2)=χ²(r). To so kvadrati neodvisnih N(0,1) spremenljivk.
(iii) Naj bo X~N(μ,Σ). Kako bi izračunali robno porazdelitev X₁? Označimo:

Ideja: Izbrali bi radi A' in a' tako, da bosta X₁ in (Y₂,...,Y_n) neodvisna. Dovolj je "načarati" nekoreliranost. Označimo Y'=[a' A']·X=(Y₂,...Y_n). Izračunamo cov(X₁,Y')=0. (podrobnosti-predavanja)
Še vedno je vprašanje, kako "načarati" nekoreliranost. Izbrati moramo stolpce v [a' A']^T tako, da so ortogonalni na prvo vrstico Σ. Ker je stolpcev n-1, to vedno lahko naredimo in celo tako, da so stolpci linearno neodvisni. (podrobnosti-predavanja)

Primer: Recimo, da sta X in Y slučajni spremenljivki z gostoto f_X,Y. Kako najdemo gostoto Z=X+Y? Definirajmo θ(x,y)=(x+y,y). Potem je θ^-1(z,y)=(z-y,y) in J_θ^-1(z,y)=1. Sledi f_Z,Y (z,y)=f_X,Y(z-y,y). Porazdelitev Z dobimo kot robno gostoto f_Z(z)=∫f_X,Y(z-y,y)dy. Če sta X in Y neodvisni, je f_Z(z)=∫f_X(z-y)·f_Y(y)dy.

Primer: Naj bosta X in Y slučajni spremenljivki z gostoto f_X,Y in Z=Y/X. Zanima nas gostota Z-ja. Definiramo θ(x,y)=(x,y/x). Vzamemo U=R²\{0}xR. Dobimo: θ^-1(x,z)=(x,xz) in J_θ^-1(x,z)=x. Sledi: f_X,Z(x,z)=f_X,Y(x,xz)·|x| (=dvojna gostota)
Še robna gostota: f_Z(z)=∫f_X,Y(x,xz)|x|dx. Naj bosta recimo Z₁ in Z₂ neodvisni z Z_i~N(0,1), i=1,2. Naj bo W=Z₁/Z₂. Računamo:

Definicija: Slučajna spremenljivka C z gostoto f_C(x)=1/π(1+x²) se imenuje CAUCHY-jeva. Oznaka: C~Cauchy.

NAZAJ NA KAZALO!

    Vsote diskretnih slučajnih spremenljivk

Naj bosta X in Y celoštevilski slučajni spremenljivki in Z=X+Y. Porazdelitev Z izračunamo kot P(Z=n)=P(U{X=k,Y=n-k})=ΣP(X=k,Y=n-k) (to je unija disjunktnih dogodkov). Če sta X in Y neodvisni, dobimo P(Z=n)=ΣP(X=k)·P(Y=n-k). Če sta X in Y nenegativni, dobimo formuli: P(Z=n)=ΣP(X=k,Y=n-k), k=0,...,n, za neodvisni X,Y pa P(Z=n)=ΣP(X=k)·P(Y=n-k), k=0,...,n.

Primer: Naj bosta X in Y neodvisni in za k,l=0,1,... a>0, b>0, β>0, (a)_k=a·(a+1) ·...·(a+k-1)= Pochhammerjev simbol, naj bo

            Po formuli je

           (podrobnosti-predavanja)

Posledice: (i) Če sta X,Y~Geom(p) in neodvisni, je X+Y~NegBin(2,p).
(ii) Če so X₁,...X_m neodvisne in X_i~Geom(p) za i=1,...,m, je X₁+...+X_m~NegBin(m,p). Posledično velja: Če sta X,Y neodvisni in X~NegBin(m,p), Y~NegBin(n,p), je X+Y~NegBin(m+n,p).

Opomba: Pogosto smo naleteli na primere, ko sta bili X in Y porazdeljeni po nekem tipu porazdelitev in je bila tudi vsota istega tipa.

Primer: Naj bosta X,Y neodvisni, X~Po(λ), Y~Po(μ). Računamo:

            Sledi: X+Y~Po(λ+μ).

Primer (Zavarovalništvo): V zavarovalništvu privzamemo, da so časi med posameznimi zahtevki neodvisne, enako porazdeljene slučajne spremenljivke z exp(λ) porazdelitvijo. Zanima nas porazdelitev števila zahtevkov do nekega časa T. Dobimo: N_T~Po(λT). (podrobnosti-predavanja)

NAZAJ NA KAZALO!

    2.5  Pogojno matematično upanje in pogojne porazdelitve

Primer: Recimo, da naključno izberemo točko na trikotniku Δ={(x,y):0≤y≤1, 0≤x≤y}. Slika:

           Recimo, da vam povem x koordinato, ne pa y koordinate. Smiselno lahko rečemo, da je matematično upanje pri tej dodatni informaciji (1+x)/2. Ohlapno bi lahko zapisali, da je E(Y|X=x)=(1+x)/2=Ψ(x). Kolmogorov pravi: kot smo zapisali, je E(Y|X=x) neka funkcija x. Pri izbiri točke je tudi x koordinata slučajna! Torej bi morali pogojno matematično upanje obravnavati kot nekaj "slučajnega". Tisto nekaj je številka. Pogojno matematično upanje bi torej moralo biti slučajna spremenljivka. Katera? Če razmislimo, je to (X+1)/2. Oznaka za to slučajno spremenljivko je E(Y|X).

Primer: Dvema igralcema razdelimo po 5 kart s standardnega kupa kart. X=število asov igralca A in Y=število asov igralca B. Zapišemo lahko: za k=0,...,4 je E(Y|X=k)=5·(4-k)/47. Kaj bi bilo E(Y|X)? Rečemo lahko: E(Y|X)=5·(4-X)/47. Kako je s formalnimi definicijami? Definirali smo P(A|B)=P(A∩B)/P(B). Kot prvi korak poskušajmo definirati E(X|B). Definicijo P(A|B) lahko razumemo, kot da smo "odvrgli" B^C in B delili s P(B), da smo spet dobili verjetnostni prostor. S tem razmišljanjem bi moralo biti: E(X|B)=1/P(B)·∫_B X(ω)P(dω)=1/P(B)·E(X·1_B).

Opomba: 1_B je indikator B, torej Χ_B.

Definicija: Če je P(B)>0, definiramo E(X|B)=1/P(B)·E(X·1_B).

Opomba: Privzamemo, da je E(|X|)<∞. Če je {B_k} particija Ω s P(B_k)>0 za vse k, velja E(X)=Σ E(X|B_k)·P(B_k).

Naj bosta X in Y diskretni slučajni spremenljivki z vrednostmi {x₁,x₂,...} in {y₁,y₂,...}. Ker poznamo definicijo E(Y|B), lahko definiramo E(Y|{X=x_k})=Σy_l·P(Y=y_l|X=x_k). Izraz je odvisen od x_k, torej je funkcija x_k. Označimo jo s ψ, definirana je na {x₁,x₂,...}. Rečemo lahko: E(Y|X=x_k)=ψ(x_k). Kaj bi definirali kot E(Y|X)? Po Kolmogorovu: E(Y|X)=ψ(X).

Retorično vprašanje:
Definirali smo E(Y|X), če je (X,Y) slučajni diskretni vektor. Recimo, da je X' slučajna spremenljivka, taka, da sta družini {{X=x_k}} in {{X'=x'_l}} enaki. Kaj lahko rečemo o E(Y|X) in E(Y|X')? Po definicijah do zdaj, je E(Y|X)=E(Y|X'). Opažanje: E(Y|X) je odvisno le od tega, kako X "razparcelira" Ω na množice {X=x_k}. To preprosto dejstvo povemo na učen način takole: E(Y|X) je odvisno samo od σ(X), kjer je σ(X) najmanjša σ-algebra, glede na katero je X merljiva. Kolmogorov pravi: zakaj ne bi definirali E(X|G), kjer je G neka σ-algebra, vsebovana v σ-algebri F. ( (Ω,F,P) je naš verjetnostni prostor.) Kako? Vrnimo se k diskretnemu primeru. Izračunajmo za neko omejeno gunkcijo g:

Povzamemo začetek in konec: E(E(X|Y)·g(Y))=E(X·g(Y)).

Opomba: To velja za vsak g.

S čim bi lahko nadomestili g(Y), tako da bi bila definicija uporabna tudi za splošne σ-algebre?
Opazimo: g(Y) je slučajna spremenljivka, merljiva glede na σ(Y). Po drugi strani pa je vsaka σ(Y) merljiva funkcija enaka g(Y) za nek g. Mogoče lahko namesto g(Y) pišemo indikatorje I_G' množic G' iz G=σ(Y). Še ena opazka: E(X|Y) je merljiva glede na σ(Y), ker je funkcija Y.

Definicija: Naj bo (Ω,F,P) verjetnostni prostor, X slučajna spremenljivka z E(|X|)<∞ in naj bo G σ-algebra, vsebovana v F. POGOJNO MATEMATIČNO UPANJE E(X|G) je slučajna spremenljivka z lastnostma:
(i) E(X|G) je G-merljiva
(ii) za vsak G'ЄG velja: E(X·I_G')=E(E(X|I_G')·I_G').

Vprašanji: (i) Ali E(X|G) sploh obstaja?
(ii) Če obstaja ali je enolično določeno?

Odgovora: (i) Za dokaz obstoja posežemo po Radon-Nikodymovem izreku. Privzemimo najprej, da je X≥0. Definiramo dve meri na σ-algebri G:
     (1) P|_G  (Če P z F zožimo na G, je še vedno mera na G.)
     (2) Q(G)=∫_GX(ω)P(dω)  (Zlahka se s pomočjo LMK prepričamo, da je Q mera.)
Po razmisleku dobimo, da je matematično upanje kar Radon-Nikodymov odvod Q glede na P,tj. E(X|G)=dQ/dP. (podrobnosti-predavanja)
(ii) Enoličnost: Recimo, da imamo dva kandidata Z in Z' za E(X|G). Po definiciji je potem: E(ZI_G')=E(Z'I_G') za G'ЄG. Vstavimo G'={Z>Z'}. Sledi P(Z>Z')=0. Podobno dobimo P(Z<Z')=0. Torej velja Z=Z' skoraj gotovo.

Opombe: (i) Naj bo Ω=[0,1), F=Borelova σ-algebra in P=Lebesgueova mera. Naj bo G σ-algebra, ki jo generirajo intervali [a_i,a_i+1), a₀=0, a₀12<... in a_i->1. Naj bo X slučajna spremenljivka. Katere funkcije so merljive glede na G? To so funkcije, ki so konstantne na [a_i,a_i+1) za vse i=0,1,2,... Vemo, med katerimi funkcijami iščemo E(X|G). Kolikšna bo vrednost E(X|G) na [a_i,a_i+1)? To bo kar povprečna vrednost 1/(a_i+1-a_i)·∫_[ai,ai+1)X(ω)dω.

(ii) Po poti smo govorili o E(X|Y). Ugotovili smo (vsaj v diskretnem primeru), da je E(X|Y)=ψ(Y) za neko funkcijo ψ. Definirali smo E(X|σ(Y)).

Tehnična lema: Naj bo Z σ(Y)-merljiva slučajna spremenljivka. Potem obstaja Borelova funkcija ψ, da velja ψ(Y)=Z. S to tehnično lemo v rokah lahko rečemo, da je E(X|Y)=E(X|σ(y))=ψ(Y) za neko funkcijo ψ. Za diskreten primer je to vse skupaj trivialno, tj. če je (X,Y) diskreten, so trditve trivialne.

(iii) Večina pogojnih matematičnih upanj bo oblike E(X|Y) ali E(XwY₁,...,Y_n)=E(X|σ(Y₁,..., Y_n)), kjer je σ(Y₁,...,Y_n) najmanjša σ-algebra, glede na katero so Y_i merljive. Nadaljna verzija tehnične leme pove, da je E(X|Y₁,...,Y_n)=ψ(Y₁,...,Y_n).

(iv) Pogosto lahko pogojno matematično upanje uganemo, vendar to ni dokaz. Imamo samo osumljenca. Dokazati moramo, da je osumljenec G-merljiv in da je E(osumljenec· I_G)=E(X·I_G).

LEMA 2.10 : Naj bosta X₁, X₂ slučajni spremenljivki, tako da velje E|X₁|<∞ in E|X₂|<∞. Naj bo GЄF σ-algebra. Velja:
(i) E(αX₁+βX₂|G)=αE(X₁|G)+βE(X₂|G)
(ii) Če je X₁≥0, je E(X₁|G)≥0
(iii) Naj bo U G-merljiva in E|UX₁|<∞. Potem je E(UX₁|G)= U·E(X₁|G)
(iv) Naj bo HЄG σ-algebra. Velja: E(X₁|H)=E(E(X₁|G)|H) (="TOWER PROPERTY")
(v) Naj bo Φ:R->R konveksna in E(|Φ(X₁)|)<∞. Potem velja: E(Φ(X₁)|G)≥Φ(E(X₁|G)). (=JENSENOVA NEENAKOST)

NAZAJ NA KAZALO!

    Primeri izračuna matematičnega upanja

Primer1: Naj bosta X in Y neodvisni slučajni spremenljivki in f:R²->R merljiva, taka, da je E|f(X,Y)|<∞. Računamo pogojno matematično upanje E(f(X,Y)|Y). Vemo, da je odgovor oblike ψ(Y) za neko merljivo funkcijo ψ. Iščemo to funkcijo. Intuitivna ideja: "Pogojno matematično upanje je matamatično upanje pri danem Y". Ker je X neodvisen od Y, se lahko "pretvarjamo", da je Y konstanta, torej rečemo: ψ(y)=E(f(X,y))=∫_Rf(x,y)μ_X(dx).
Dokazati moramo:
(i) ψ je merljiva in skoraj povsod <∞:
Glej drobovje Fubinijeve konstrukcije za merljivost.
(ii) ψ(Y) je osumljenec. Merljivost glede na σ(Y) je jasna.
Stranski komentar: po definiciji mora veljati E(E(X|Y)1_G)=E(X1_G) za vsak GЄσ(Y). Vsak tak G je oblike G=Y^-1(B) za neko merljivo množico B. Z drugimi besedami: 1_G=1_B(Y). S trivialno uporabo izreka o monotoni konvergenci in aproksimacijo nenegativnih omejenih merljivih funkcij z enostavnimi dobimo, da velja (*) E(E(X|Y)·g(Y))=E(X·g(Y)) za vsak omejen merljiv g≥0. Če preverimo (*), smo preverili tudi definicijo. (podrobnosti-predavanja)

Primer2: Naj imata X,Y gostoto f_X,Y. Računamo E(X|Y) ali bolj splošno E(Φ(X)|Y). Predpostavljamo E|X|<∞ in E|Φ(X)|<∞. Vemo: E(Φ(X)|Y)=ψ(Y) za nek ψ. Kandidat za ψ bi bil

           Preverimo pravilnost odgovora: merljivost in končnost funkcije ψ sledita iz Fubinijeve konstrukcije. (podrobnosti-predavanja)

Primer3: Naj bosta (X,Z) in (Y,Z) slučajna vektorja z enako porazdelitvijo. Ali je potem E(X|Z)=E(Y|Z)? (s.g.= skoraj gotovo) Vemo: če imamo gostoto, potem to velja. Poglejmo: E(X|Z)=ψ₁(Z) in E(Y|Z)=ψ₂(Z). Po definiciji je E(E(X|Z)·g(Z))=E(X·g(Z)) in E(E(Y|Z)·g(Z))=E(Y·g(Z)). Ker sta (X,Z) in (Y,Z) enako porazdeljena, velja enakost E(X·g(Z))=E(Y·g(Z)). Sledi: E(ψ₁(Z)·g(Z))=E(ψ₂(Z)·g(Z)) za vsako merljivo g≥0. Če vzamemo za g karakteristično funkcijo g(z)=1_{(ψ1(z)>ψ2(z))}, dobimo P(ψ₁(Z)>ψ₂(Z))=0. Z zamenjavo vlog dobimo še obratno neenakost in zato velja ψ₁(Z)=ψ₂(Z) s.g.

Opomba: To ne pomeni, da je ψ₁=ψ₂, ampak le ψ₁(Z)=ψ₂(Z).

Uporaba: Naj bo (X₁,...,X_n) slučajni vektor z neodvisnimi, enako porazdeljenimi komponentami. Naj bo S_n=X₁+...+X_n. Predpostavljamo E|X₁|<∞. Računamo E(X₁| S_n).
Uganemo: E(X₁|S_n)=S_n/n.
Preverimo na naslednji način:
Vsi pari (X_i,S_n) so enako porazdeljeni. Sledi: E(X₁|S_n)=E(X₂|S_n)=...=E(X_n|S_n) s.g. Seštejemo in dobimo: E(X₁|S_n)+...+E(X_n|S_n)=E(S_n|S_n)=S_n s.g. Po drugi strani pa je E(X₁|S_n)+...+E(X_n|S_n)=n·E(X₁|S_n). Sledi: n·E(X₁|S_n)=S_n  =>  E(X₁|S_n)=S_n/n.

Opomba: Isti razmislek deluje, če vemo, da imajo pari (X_i,S_n) enako porazdelitev. Primer takega pogoja je izmenljivost: X₁,...,X_n so izmenljive, če je porazdelitev (X_σ(1),...,X_σ(n)) enaka za vsako permutacijo σЄS_n.(=simetrična grupa)

Primer4: Če sta X,Y neodvisni, je E(X|Y)=E(X). Naj bo vektor

             Računamo E(X|Y). Ideja: Ali lahko najdemo tako konstanto α, da bosta spremenljivki X-αY in Y neodvisni? Dovolj je, ker je (X-αY,Y) večrazsežen, normalen, da je cov(X-αY,Y)=0. Računamo: cov(X-αY,Y)=cov(X,Y)-αcov(Y,Y)=σ₁₂-ασ₂₂=0. Dobimo α=σ₁₂/σ₂₂. Sledi: E(X-αY|Y)=E(X-αY)=μ₁-αμ₂. Po drugi strani pa je E(X-αY|Y)=E(X|Y)-αY. Dobimo rezultat: E(X|Y)=μ₁+α(Y-μ₂) za α=σ₁₂/σ₂₂.

Posplošimo: Če je X₁ neodvisna od (X₂,...,X_n), je E(X₁|X₂,...,X_n)= E(X₁). Naj bo X=(X₁,...,X_n)~N(μ,Σ), kjer je

              Zanima nas E(X₁| X₂,...,X_n). Poskusimo odšteti X₁ neko linearno kombinacijo X₂,...,X_n, tako, da bo rezultat neodvisen od (X₂,...,X_n). Iščemo izraz oblike X₁-a^TX', X'= (X₂,...,X_n)^T, a^T=(a₂,...,a_n). Izračunamo kovarianco: cov(X₁-a^TX',X')=cov(X₁,X')-a^Tcov(X',X')= σ₁-a^TΣ'=0. Sledi: a=(Σ')^-1σ₁^T. Dobimo: E(X₁-a^TX'|X')=E(X₁-a^TX')=μ₁-a^Tμ'= E(X₁|X')-a^TX'. Torej je E(X₁|X')= μ₁+a^T(X'-μ').

NAZAJ NA KAZALO!

    Pogojne porazdelitve

Začeli bomo s formulo P(A|B)=P(A∩B)/P(B), P(B)≥0. Recimo, da je X slučajna spremenljivka in B dogodek s P(B)>0. Definirali smo E(X|B)= E(X·1_B)/P(B). Kaj bi bila definicija pogojne porazdelitve X glede na B? Porazdelitev je v načelu mera na prostoru, kjer ima X svoje vrednosti. Označimo začasno pogojno porazdelitev z μ_X(*|B). Kaj bi bila ta mera? μ_X(A|B)= P({XЄA}∩B)/P(B). Preverimo, da velja: E(X|B)=∫_Rxμ_X(dx|B) (če je X realna slučajna spremenljivka). Računamo za X≥0:

Pogojno matematično upanje je integral pogojne porazdelitve.

Opomba: Če X ni nenegativna, gledamo X⁺ in X^-.

Naslednji korak: Recimo, da sta X in Y diskretni slučajni spremenljivki. Definirati znamo: μ_X(*|{Y=y_l})= P({XЄ*}∩{Y=y_l})/P(Y=y_l)=Q(*,y_l); vlogo B igra {Y=y_l}. Q je funkcija dveh spremenljivk. Prva spremenljivka je merljiva množica, druga pa možna vrednost Y. Kaj lahko rečemo o funkciji, ki slika A v Q(A,y_l)? Funkcija Q:A->Q(*,y_l) (za fiksen y_l) je mera. Smiselno je definirati Q(*,y_l) kot pogojno porazdelitev X glede na {Y=y_l}. Ponovimo razmislek Kolmogorova: Za različne y_l dobimo različne pogojne porazdelitve (ali različne mere). Ampak y_l so možne vrednosti neke slučajne količine Y. Podobno kot pri matematičnih upanjih si drznemo reči, da bo pogojna porazdelitev X glede na Y neka "slučajna mera" (odvisna od Y). Kakšna bi bila pa splošna definicija pogojne porazdelitve? Po istem razmisleku kot pri pogojnih matematičnih upanjih, bomo definirali POGOJNO PORAZDELITEV slučajne spremenljivke X glede na GЄF, kjer je G σ-algebra. Kakšne bi bile zahteve?
(i) Če označimo s Q:BxΩ->[0,1] pogojno porazdelitev, lahko gledamo funkcijo ω->Q(A,ω) za fiksen A.  Zahtevali bi G merljivost.
(ii) Funkcija A->Q(A,ω) je mera za fiksen ω.
(iii) Veljati mora E(1_(XЄA)|G)=Q(A,*).

Vprašati se moramo:
(1) Ali tak objekt obstaja?
(2) Ali je enolično določen?

Odgovor:
(1) V splošnem Q ne obstaja. V splošnem je X slučajna spremenljivka z vrednostmi v metričnem prostoru (M,d). Če je (M,d) poljski prostor (tj. v neki ekvivalentni metriki je poln in separabilen), potem Q obstaja.
(2) Enoličnost je preprosta do s.g.

Komentar k zahtevi (iii)  E(1_(XЄA)|G)=Q(A,*): Ker je pogojno matematično upanje linearno, velja za vsako enostavno funkcijo f, da je E(f(X)|G)(ω)=∫_Mf(x)Q(dx,ω). Kaj če je f nenegativna, merljiva in omejena? Za pogojna matematična upanja velja LMK v smislu: če Y₁2<...->Y, Y_n≥0, E(Y)<∞, potem E(Y₁|G)2|G)<...->E(Y|G).

Za omejeno f≥0 takoj sledi, da je E(f(X)|G)(ω)=∫_Mf(x)Q(dx,ω).

Še en dodatek: Če je X≥0, lahko iz istega LMK dobimo E(X|G)(ω)=∫_RxQ(dx,ω).

Primeri: (i) Če sta X in Y diskretni, definiramo najprej Q'(A,y)=P(XЄA,Y=y)/P(Y=y) za P(Y=y)>0. Pogojna porazdelitev X glede na Y (ali σ(Y)) je Q(A,ω)=Q'(A,Y(ω)). Trivialno preverimo zahteve.

(ii) Naj bosta X,Y slučajni spremenljivki z gostoto f_X,Y na R². Definirajmo:

            Pogojna porazdelitev je Q(A,ω)=Q'(A,Y(ω)). Preverjanje je rutinsko. (Sredstvo je drobovje Fubinijevega izreka!) V čem je ideja? Pričakujemo, da je pogojna gostota X glede na Y proporcionalna funkciji x->f_X,Y(x,y).

(iii) Naj bosta X, Y neodvisna slučajna vektorja z vrednostmi v R^m. Kaj je pogojna porazdelitev Z=X+Y glede na Y? Ideja: Če bi X prišteli fiksen vektor, bi se porazdelitev prestavila za tisti fiksni vektor. Če pa prištevamo neodvisni slučajni vektor, porazdelitev X "slučajno" prestavimo. Ideja: Q(A,ω)=μ_X( A-Y(ω)). Pri preverjanju nastopi tehnična motnja: dokazati moramo, da je funkcija y->μ_X(A-y) merljiva za fiksen y. To gre z Dynkinovo lemo. Ostala preverjanja so rutinska.

NAZAJ NA KAZALO!

    2.6  Martingali

Najprej potrebujemo nekaj definicij.

Definicija: Naraščajočemu zaporedju σ-algeber F₀⊆ F₁⊆ F₂⊆...⊆F rečemo FILTRACIJA (prostora Ω).

Pojem martingala je motiviran s "fair" igrami na srečo. Kar pričakujemo v naslednji igri je enako temu, kar trenutno imamo.

Definicija: Naj bo {F_n} filtracija. Zaporedje parov (X_n,F_n), kjer je X_n slučajna spremenljivka z E(|X_n|)<∞ za n≥0 je MARTINGAL, če velja: E(X_n+1|F_n)= X_n za n≥0.

Dodatek: Za vsak n mora biti X_n F_n-merljiva.

Komentar: F_n interpretiramo kot "preteklost" do vključno trenutka n.

Definicija: (i) (X_n,F_n) je SUB-MARTINGAL, če je E(X_n+1|F_n)≥X_n skoraj gotovo.
(ii) (X_n,F_n) je SUPER-MARTINGAL, če je E(X_n+1|F_n)≤X_n skoraj gotovo.

Primeri: (i) Naj bodo X₀,...,X_n slučajne spremenljivke, ki so neodvisne in velja E(X_i)=0 za vse i. Naj bo F_n=σ(X₀,...,X_n) in S_n=X₀+...+X_n. (S_n,F_n) je martingal. Računamo:
E(S_n+1|F_n)=E(X_n+1+S_n|X₀,..., X_n)=E(X_n+1|X₀,...,X_n)+E(S_n|X₀,...,X_n)=E(X_n)+S_n=S_n, saj je E(X_i)=0 za vsak i.

(ii) Naj bodo X₁,X₂,... neodvisne, enako porazdeljene s P(X_i=1)=p in P(X_i=-1)=1-p=q za p≠1/2. Definiramo F_n=σ(X₁,...,X_n), S_n=X₁+...+X_n, X₀=0. Naj bo Y_n=(q/p)^S_n. To je De Moivrov martingal. Preverimo:

Oglejmo si sedaj nekaj preprostih posledic definicij.

Posledica1: Naj bo m>n. Potem je E(X_m|F_n)=E(E(X_m|F_m-1)|F_n)=E(X_m-1| F_n)=...=E(X_n|F_n)=X_n.

Posledica2: Iz prve posledice takoj sledi opazka, da za m>n in GЄF_n velja E(X_m·1_G)=E(X_n·1_G).

Opomba: Obe posledici veljata tudi za sub-martingal, tj. E(X_m|F_n)≥X_n in E(X_m·1 _G)≥E(X_n·1_G).

Posledica3: Iz druge posledice ali iz definicij takoj sledi, da je E(X₀)=E(X₁)=E(X₂)=...= E(X_n)=...
Za sub-martingal pa velja E(X₀)≤E(X₁)≤E(X₂)≤...≤E(X_n)...

Motivacija za koncept opcijskega časa:
Pri igrah na srečo lahko "izstopimo" v slučajnem trenutku T.
Primer: Igramo, dokler dvakrat zapored ne izgubimo, potem nehamo, tj. ko dvakrat zapored izgubimo, nehamo igrat. T postane slučajna spremenljivka z vrednostmi v splošnem 0,1,2,...;∞ (=to je zapis za {0,1,2,...}U{∞}). Kakšni T-ji pridejo v poštev, če izključujemo jasnovidnost? To pomeni, da izstopimo na podlagi "informacije", ki jo "imamo na razpolago" do T. Kako to opisati matematično? Oglejmo si dogodek {T≤n} za n≥0. Če se ta dogodek zgodi, smo se za izstop odločili na podlagi prvih n iger. Kateri objekt "vsebuje" dogodke v zvezi s prvimi n igrami? To je F_n!

Definicija: Slučajna spremenljivka T:Ω->{0,1,...;∞} je OPCIJSKI ČAS, če velja, da je T F-merljiva in da je za vsak n≥0 dogodek {T≤n}ЄF_n.

Opomba: Take T lahko razumemo kot strategije brez jasnovidnosti.

Primer: (i) Naj bodo X₀,X₁,...celoštevilske slučajne spremenljivke. Definiramo T=inf{n≥0: X_nЄA} s konvencijo inf{{}}=∞. Pokažimo, da je to opcijski čas: {T≤n}= U{X_kЄA}, k=0,...,n. Sledi {T≤n}ЄF_n.
(ii) T=inf{n≥1: X_n≥X_n-1}, inf{{}}=∞. Preverimo: {T≤n}=U{X_k≥X_k-1}, k=1,...,n. Sledi {T≤n}ЄF_n.

LEMA 2.11 : Naj bo (X_n,F_n) martingal (oz. sub-martingal). Naj bo T omejen opcijski čas. (Kot funkcija ima zgornjo mejo.) Potem velja: E(X_T)=E(X₀) (oz. E(X_T)≥E(X₀)).

Opomba: Formalno je X_T=X(ω)_T(ω).

Posledica: Recimo, da igramo ruleto in je X₀,X₁,...naše premoženje v trenutkih n=0,1,...Stave pri ruleti so take, da v povprečju vedno izgubimo. V matematiki se to prevede v izjavo, da je X₀,X₁,...super-martingal glede na F_n=σ(X₀,X₁,...,X_n). Za super-martingal in omejen opcijski čas T≤N je E(X_T)≤E(X₀)=x₀=neka konstanta, tj. začeten kup denarja. T je strategija.
Sklep: Vse strategije v omejenem času, ki niso jasnovidne, v povprečju izgubljajo.
Kaj pa strategije, ki niso omejene v času? Uporabimo naslednji trik:
Če sta T in S opcijska časa, je tudi T/\S=min{T,S} opcijski čas. Preverimo: {T/\S≤n}={T≤n}U{S≤n}ЄF_n. Konstante so opcijski časi, torej je T/\S opcijski čas. Vemo,da lema 2.11 velja za omejene T. Dosti T je neomejenih.

Protiprimer: Naj bodo X₁,X₂,... neodvisne slučajne spremenljivke, tako da je P(X_i=1)=P(X_i=-1)=1/2. Definiramo S₀=0, S_n=X₁+...+X_n, F_n=σ(S₀,S₁,...,S_n). Velja: (S_n,F_n) je martingal.
Definiramo T=inf{n;S_n=1}. Zlahka dokažemo, da je P(T < ∞)=1. Očitno je E(S₀)=0, E(S_T)=1 (ker je P(S_T=1)=1) in zato lema 2.11 NE VELJA!
Kakšne predpostavke potrebujemo? Vemo, da je T/\N opcijski čas in velja E(X_T/\N)=E(X₀) (po lemi 2.11). Po drugi strani je res: E|X_T-X_T/\N|=E(|X_T-X_N|·1_(T>N))≤ E(|X_T|·1_(T>N))+E(|X_N|·1_(T>N)). Če je P(T<∞)=1 (sicer razprava ni smiselna) je lim X_T/\N=X_T, ko N->∞. Vemo: E(X_T)=E(limX_T/\N) za N->∞. Kakšne predpostavke potrebujemo?

LEMA 2.11(a) : Naj bo (X_n,F_n) martingal (oz. sub-martingal). Naj bo T opcijski čas z P(T<∞)=1.
Naj velja:
(i) E|X_T|<∞
(ii) limsup E|X_N|·1_(T>N)=0.
Potem je E(X_T)=E(X₀)  (oz. E(X_T)≥E(X₀)).

Primer: Naj bodo X₁,X₂,...neodvisne, enako porazdeljene slučajne spremenljivke in P(X_i=1)=p, P(X_i=-1)=q, p≠q, S₀=0, S_n=X₁+...+X_n. Vemo, da je M_n= (q/p)^S_n martingal. Skica:

            Definirajmo T=inf{n≥1; S_nЄ{a,b}}. Očitno je |M_T|≤M za nek M. Dokazali smo že, da je P(T<∞)=1. Oglejmo si še |M_N|·1_(T>N). Zlahka se prepričamo, da je ta izraz ≤A·1_(T>N) za nek A (na 1_(T>N) ima M_N kvečjemu končno mnogo različnih vrednosti). Oba pogoja sta izpolnjena. Sledi: E(M_T)=E(M₀)=1 po lemi 2.11(a). Po drugi strani je: M_T= (q/p)^a·1_(ST=a)+(q/p)^b·1_(ST=b). Sledi: 1=E(M_T)=(q/p)^a·P(S_T=a)+(q/p)^b·P(S_T=b). Torej je 1-(q/p)^a=((q/p)^b- (q/p)^a)·P(S_T=b). Rezultat:

Primer (Maksimalna neenakost): Pogosto je potrebno oceniti verjetnost P(maxX_n≥C) za 1≤n≤N. Če je X_n sub-martingal, lahko to verjetnost ocenimo. Kako? Izmislimo si ustrezen opcijski čas in uporabimo lemo 2.11.
Dobimo: P(maxX_n≥C)≤E(X_N)/C za 1≤n≤N. (podrobnosti-predavanja)

Če X_n niso nenegativni, vzamemo X_n⁺=max(0,X_n). Zaradi Jensenove neenakosti (x->max(0,x) je konveksna) je E(X_n+1⁺|F_n)≥E(X_n+1|F_n)⁺≥X_n⁺. Iz tega sledi, da je (X_n⁺,F_n) tudi sub-martingal. Za C > 0 je potem po istem postopku P(maxX_n≥C)≤E(X_N⁺)/C (maksimalna neenakost).

Opomba: Elementarno velja za Y≥0, da je P(Y≥C)≤E(Y)/C.

Primer: Vrnimo se k primeru rulete. X_n je super-martingal. Recimo, da imamo končno kredita L, kar pomeni X_n≥-L za vse n. Lema 2.11 pravi, da je E(X_T/\N)≤E(X₀)=x₀. Predpostavimo, da je P(T<∞)=1. Potem X_T/\N->X_T, ko N->∞. Vemo (po Fatoujevi lemi) da je E(X_T)=E(liminfX_T/\N)≤liminf E(X_T/\N)≤liminf x₀=x₀, pri čemer gre N->∞.

NAZAJ NA KAZALO!

3.  TRANSFORMACIJE IN KONVERGENCE SLUČAJNIH SPREMENLJIVK

    3.1  Rodovne funkcije in procesi razvejanja

Za zaporedje c₀,c₁,c₂,... lahko formalno definiramo potenčno vrsto G(z)=Σc_kz^k; c_k,zЄC in k=0,...,∞. Tej funkciji rečemo RODOVNA FUNKCIJA zaporedja {c_k}. Če ta potenčna vrsta konvergira za vse |z|≤ρ, ρ>0, potem G natanko določa koeficiente c_k, recimo po formuli

za K_r={z: |z|=r} in 0<r<ρ.
Ideje za rodovne funkcije so imeli De Moivre, Stirling in Euler. Ideja: V rodovno funkcijo lahko "zapakiramo" porazdelitev nenegativne celoštevilske slučajne spremenljivke kot G_X(s)=ΣP(X=k)s^k= E(s^x) in k=0,...,∞.

Opomba: Razumemo 0⁰=1.

Za primer izračunajmo nekaj rodovnih funkcij:
(i) X~Geom(p)

(ii) X~Po(λ)

LEMA 3.1 : (i) G_X enolično določa porazdelitev nenegativne celoštevilske slučajne spremenljivke X.

                (ii) Če sta X,Y neodvisni, nenegativni, celoštevilski slučajni spremenljivki, je G_X+Y=G_X·G_Y.

                (iii) Velja E(X)=limG_X'(s) za s->1 in bolj splošno: E(X·(X-1)·...·(X-k+1))=limG_X^(k)(s) in s->1.

Primer: Naj bo X celoštevilska, nenegativna, dana s predpisom

            za k=0,1,... in β,a>0. Izračunajmo rodovno funkcijo. Najprej potrebujemo majhen trik:

            Računamo:

Primer (mešane porazdelitve): Naj bosta X in Λ slučajni spremenljivki in naj za k=0,1,...velja

           Podali smo torej pogojno porazdelitev X glede na Λ. Pogojno na Λ ima X Poissonovo porazdelitev s parametrom Λ. Naj bo Λ~Γ(a,λ). Kakšna je porazdelitev X? Izračunajmo G_X:

           Če bi pisali β namesto λ, bi še prej spoznali rodovno funkcijo-glej rezultat prejšnjega primera!

NAZAJ NA KAZALO!

    Procesi razvejanja

Leta 1871 je Sir Francis Galton (1822-1911) postavil naslednje vprašanje: vzemimo angleškega aristokrata. Predstavljajmo si (tj. predpostavljajmo), da bo imel k potomcev z verjetnostjo p_k za k=0,1,... Vsak od potomcev bo imel spet slučajno število potomcev, neodvisno od ostalih. k potomcev bo imel z verjetnostjo p_k. Rodbina se nadaljuje po tem ključu.
Vprašanje: Kolikšna je verjetnost, da rodbina začetnega aristokrata izumre?
Problem je rešil Reverend H.W.Watson, leta 1874 z rodovnimi funkcijami. Za matematično obravnavo moramo jasno povedati predpostavke:
(i) Predpostavljali bomo, da so generacije simultane, tj. da ne pride do zamika.
(ii) Števila potomcev posameznikov v n-ti generaciji so neodvisne slučajne spremenljivke.
Potrebujemo še nekaj oznak: Rodovno funkcijo števila posameznikov označimo z G, torej G(s)=Σp_ks^k. Število posameznikov v n-ti generaciji označimo z Z_n, n=0,1,...
Možen graf dogajanja:

Predpostavke moramo prevesti v bolj matematični jezik. Vzemimo (zelo formalno) neskončen nabor slučajnih spremenljivk {ζ_ij}_i,j≥1, kjer so ζ_ij neodvisne, enako porazdeljene, nenegativne, celoštevilske slučajne spremenljivke, z rodovno funkcijo G. Postavimo Z₀=1, Z₁=ζ₁₁, Z₂=ζ₂₁+ζ₂₂+...+ζ_2Z1, ..., Z_n+1=ζ_n+1,1+...+ζ_n+1,Zn.

Opomba: Če je Z_n=0, je Z_n+1=0.

Opomba: Ker so ζ_ij neodvisne, je Z_n neodvisna od ζ_n+1,1,...,ζ_n+1,Zn-1.

Potrebujemo lemo:

LEMA 3.2 : Naj bodo ζ₁,ζ₂,... neodvisne, enako porazdeljene, nenegativne, celoštevilske slučajne spremenljivke. Naj bo N od njih neodvisna, nenegativna, celoštevilska slučajna spremenljivka. Definiramo: X=ζ₁+...+ζ_N. Velja: G_X(s)=G_N(G_ζ1(s)).

Kaj ta lema pomeni za proces razvejanja? Vemo, da je Z_n+1=ζ_n+1,1+...+ζ_n+1,Zn in Z_n je neodvisen od ζ_n+1,1,ζ_n+1,2,... Označimo rodovno funkcijo Z_n z G_n. Sledi: G_n+1(s)=G_n(G(s)). Dobimo rekurzivno formulo za rodovne funkcije.

Opomba: Predpostavke lahko zelo kompaktno strnemo v E(s^Z_n+1|Z_n,Z_n-1,...,Z₀)=G(s)^Z_n.

Nadaljujmo s procesom razvejanja: Označimo A_n={Z_n=0}. Velja: A₁⊆A₂⊆A₃⊆... (tj. ko rodbina enkrat izumre, je ni več). Dogodek {rodbina izumre} je enak uniji UA_n, n=1,...,∞, tj. vsaj ena generacija mora biti prazna. Po lemi 1.2 je η:=P(UA_n)=limP(A_n), n=1,...,∞. Kako izrazimo P(A_n)=P(Z_n=0) z rodovnimi funkcijami? Velja: P(Z_n=0)=G_n(0). Sledi η=limG_n(0), ko n->∞. Iz rekurzije pa sledi: G_n+1=G◦G◦..◦G=G◦G_n (kompozitum je asociativen). Torej je: η=limG_n+1(0)=limG(G_n(0))=G(limG_n(0))=G(η), ko n->∞.

Sklep:
η=P(rodbina izumre) je fiksna točka funkcije G na intervalu [0,1]. η=1 je vedno fiksna točka. Ni pa nujno edina! Prava verjetnost je NAJMANJŠA fiksna točka funkcije G na [0,1]. (podrobnosti-predavanja)

IZREK 3.3 : Naj bo Z₀,Z₁,... proces razvejanja in označimo z μ=E(Z₁)=pričakovano število potomcev. Potem velja:
(i) Če je μ<1, je η=1.
(ii) Če je μ>1, je ηЄ[0,1).
(iii) Če je μ=1 in var(Z₁)>0, je η=1.

Opomba: Zakaj v točki (iii) predpostavljamo, da je var(Z₁)>0? Če tega ne predpostavimo, ostane naslednji primer:

            Torej: P(Butalci forever)=1. Butalska rodovna funkcija je G(s)=s.

Recimo, da je ηЄ[0,1), torej μ>1. Kaj se dogaja z velikostjo populacije, če rodbina ne izumre? Problema se bomo lotili z martingali. Oglejmo si X_n=η^Z_n, kjer je η fiksna točka in ηЄ[0,1). Definiramo F_n= σ(Z₀,Z₁,...,Z_n). Zaporedje (X_n,F_n) je martingal. Zakaj? Predpostavke o procesu razvejanja smo strnili v to, da je E(s^Z_n+1|Z₀,...,Z_n)=G(s)^Z_n. Vstavimo s=η in trditev sledi.

EKSKURZIJA V MARTINGALE:

Definicija: Zaporedje slučajnih spremenljivk X₁,X₂,... z vrednostmi v R (ali v (M,d)) KONVERGIRA SKORAJ GOTOVO glede na P, če je P({w: X_n(w) konvergira})=1. Oznaka:

Opomba: (i) V načelu bi morali dokazati, da je dogodek v P(...) merljiv. Vendar ga zlahka napišemo s števnimi unijami in preseki.
(ii) V teoriji mere temu pravimo konvergenca skoraj povsod.

IZREK 3.4 : Naj bo (X_n,F_n) sub-martingal. Naj velja liminfE(X_n⁺)<∞; (X⁺=max(0,X)). Potem zaporedje X_n konvergira s.g. proti X_∞ za neko slučajno spremenljivko X_∞, ko n->∞.

Kaj ta izrek pove o procesu razvejanja? Vemo, da je X_n=η^Z_n martingal. Ker je ηЄ[0,1) in Z_nЄ{0,1,2,...}, je X_n omejen, torej je predpostavka iz izreka 3.4 utemeljena oz. izpolnjena. Torej X_n konvergira s.g. Na dogodku {rodbina izumre} je ta limita enaka 1. Označimo X_∞=limX_n s.g., n->∞ in A={Z_n=0 za nek n≥1}. Po LDK velja: E(X_∞)= E(limX_n)=limE(X_n)=limη=η, n->∞.
Po drugi strani zapišemo:
E(X_∞)=E(X_∞·1_A+X _∞·1_A^C)=E(1_A+X_∞ ·1_A^C)=P(A)+E(X_∞·1_A^C)= η+E(X_∞·1_A^C). Ko izraza enačimo, dobimo: η=η+E(X_∞·1_A^C). Iz tega sledi, da je E(X_∞·1_A^C)=0. Torej je X_∞=0 na A^C, ker je X_∞≥0 s.g.! (podrobnosti-predavanja)

Vrnimo se sedaj h konvergenci martingalov. Najprej potrebujemo preprosto neenačbo za sub-martingal. Če je (X_n,F_n) sub-martingal in sta T in S opcijska časa z 0≤S≤T≤N, potem velja: E(X_S)≤E(X_T).
Zdaj pa lahko začnemo z dokazovanjem konvergence sub-martingalov. Ideja: Izbrali si bomo interval [a,b]. Dokazali bomo, da sub-martingal "prečka" [a,b] samo končno mnogokrat. Definirajmo nekaj količin za sub-martingal (X_n,F_n):
S₁=inf{n≥0, X_n≤a}
T₁=inf{n>S₁, X_n≥b}
...
S_i=inf{n>T_i-1, X_n≤a}
T_i=inf{n>S_i, X_n≥b}
Definiramo U(a,b,N)=max(j: T_j≤N). Ta slučajna spremenljivka šteje, kolikokrat je X_n "prečkal" interval [a,b] od spodaj navzgor v času do N. Definirajmo še S_i^*=S_i/\N=min(N,S_i) in T_i*=T_i/\N=min(N,T_i). S_i^* in T_i^* so tudi opcijski časi in po definiciji velja S_i^*≤T_i^*.

LEMA 3.5 (Neenačba za prečkanja): Velja E(U(a,b,N))≤E((X_N-a)₊)/(b-a)≤ (E|X_N|+|a|)/(b-a).

LEMA 3.6 : Naj bo X_N sub-martingal in naj velja liminfE(X_n⁺)<∞, n->∞. Potem X_n konvergira s.g.

NAZAJ NA KAZALO!

    3.2  Karakteristične funkcije

Želimo transformacijo, ki bi bila uporabna za poljubne slučajne spremenljivke in bi imela še kakšno lepo lastnost. Sposodimo si Fourierjevo transformacijo iz analize in definiramo:

Definicija: Naj bo X slučajna spremenljivka z vrednostmi v R. Njeno KARAKTERISTIČNO FUNKCIJO definiramo kot Φ_X(t)=E(e^itx).

Opomba: (i) Če je Z slučajna spremenljivka z vrednostmi v C, razumemo E(Z) po komponentah.
(ii) Φ_X obstaja za vsak t, ker je |e^itx|≤1.
(iii) Terminologija je nekoliko nenatančna. V resnici bi morali govoriti o karakterističnih funkcijah porazdelitve X. Lahko napišemo: Φ_X(t)=E(e^itx)=∫_Re^itxμ_X(dx).

Nekaj primerov karakterističnih funkcij:

Primer1: Naj bo X nenegativna, celoštevilska slučajna spremenljivka, z rodovno funkcijo G_X. Potem je:

Primer2: Poskusimo izračunati Φ_X za X~N(0,1). V načelu je:

Primer3: Naj bo X~Γ(a,λ). Računamo karakteristično funkcijo:

            (*)-Utemeljitev zamenjave integrala in vsote:
Po izreku LDK lahko vedno zamenjamo vrstni red, če je Σ|f_n| integrabilna. V našem konkretnem primeru je f_n(x)=(itx)^k·x^a-1·e^-λx/k!. Dobimo: Σ|f_k(x)|=...=x^a-1e^-λxe^|t|·|x|. To je integrabilna funkcija, če je |t|≤λ. Za poljubne t lahko sklepamo na podlagi holomorfnosti funkcije t->Φ_X(t) na pozitivni polravnini, tj. Re(z)>0. Bralec: kako pa je z injektivnostjo?

IZREK 3.7 : Karakteristična funkcija Φ_X natanko določa porazdelitev μ_X.

Komentar: Če se izkaže, da je Φ_XЄL¹(R), lahko z majhno spremembo dokaza ugotovimo, da ima X gostoto, ki je dana z f_X(x)=(1/2π)·∫e^-itΦ_X(t)dt.

LEMA 3.8 : (i) Naj bo X slučajna spremenljivka in Φ_X njena karakteristična funkcija. Velja: |Φ_X|≤1 in Φ_X je enakomerno zvezna na R.
(ii) Φ_X(-t)=Φ_X(t)^* (tj. konjugirano-pišemo tudi s črto nad izrazom).
(iii) Če sta X in Y neodvisni, je Φ_X+Y=Φ_X·Φ_Y.

Primeri: (i) Naj bosta X in Y neodvisni in X~Γ(a,λ), Y~Γ(b,λ). Potem je

             Zaradi enoličnosti je X+Y~Γ(a+b,λ).

(ii) Vzemimo X z Laplaceovo porazdelitvijo, tj. f_X(x)=1/2·e^-|x|. Izračunajmo:

           Iztržili smo naslednje: Če je Y Cauchy-jeva, torej ima gostoto f_Y(y)=1/(π(1+y²)), je karakteristična funkccija enaka Φ_Y(t)=e^-|t|.

(iii) Naj bodo X₁,...,X₄ med sabo neodvisne in X_i~N(0,1) za vse i. Definirajmo: Y:=X₁·X₂+X₃·X₄. Zanima nas porazdelitev Y. Izračunajmo karakteristično funkcijo produkta X₁·X₂. Vemo: če sta X,Z neodvisni, je E(f(X,Z)|Z)=ψ(Z), kjer je ψ(Z)=E(f(X,Z)). Pri izračunu se delamo, da je X₂ konstanta. Torej je:

            Ker sta X₁·X₂ in X₃·X₄ neodvisni in enako porazdeljeni, je Φ_Y(t)=Φ_X1·X2(t)·Φ_X3·X4(t)= 1/(1+t²).  To pa je karakteristična funkcija porazdelitve z gostoto f_Y(y)=(1/2)·e^-|y| na R.

(iv) Vemo, da je Φ_X(t)=E(e^itx)=∫_Re^itxμ_X(dx). Kako pa je z odvedljivostjo Φ_X? To je vprašanje o odvajanju integrala s parametrom. Izrek, ki zadošča našim potrebam je naslednji:

IZREK : Funkcija t->∫_Rf(x,t)μ_X(dx) je odvedljiva v t₀ЄR, če velja:
(i) parcialni odvod ∂f/∂t obstaja za tЄ(t₀-ε,t₀+ε) in za vsak xЄR
(ii) |∂f/∂t(x,t)|≤g(x) za xЄR, tЄ(t₀-ε,t₀+ε) in gЄL¹(μ_X).
V tem primeru je odvod enak ∫∂f/∂t(x,t)μ_X(dx).

Opomba: Povsem podobni izreki veljajo za višje odvode. (podrobnosti-predavanja)

Še nekaj sorodnikov karakteristične funkcije:

Definicija: Naj bo X nenegativna slučajna spremenljivka s porazdelitvijo μ_X. LAPLACEOVO TRANSFORMACIJO definiramo kot ψ(λ)=E(e^-λx)=∫e^-λxμ_X(dx), xЄ[0,∞) in λ≥0.

Dve vprašanji:
(i) Enoličnost?
(ii) Kako je z vsotami neodvisnih slučajnih spremenljivk?

Odgovora:
(i) Funkcija z->E(e^-zx)=∫e^-zxμ_X(dx) obstaja za Re(z)≥0. Ta funkcija je zvezna za Re(z)≥0. Poleg tega je ta funkcija za Re(z)>0 holomorfna. Opazimo, da je ψ(it)=Φ_X(t). Skličemo se na izrek o edinosti iz kompleksne analize: če poznamo ψ(λ) za λЄ(0,∞), poznamo tudi ψ(z) za Re(z)≥0. Zaradi zveznosti na zaprti polravnini, poznamo ψ tudi na imaginarni osi. Sledi: poznamo karakteristično funkcijo Φ_X in s tem porazdelitev.
(ii) Naj bosta X,Y≥0 in neodvisni. Potem je ψ_X+Y(λ)= E(e^-λ(x+y))=E(e^-λx∙e^-λy)=E(e^-λx)∙E(e^-λy)= ψ_X(λ)∙ψ_Y(λ).

Primer: Naj bodo Z₁,...,Z_n neodvisne in Z_i~N(0,1). Definiramo: W=a₁²/Z₁²+...+a_n²/Z_n². Izračunamo gostoto a²/Z² za Z~N(0,1). Označimo T=a²/Z². Računamo:

            Odvajamo in dobimo:

            za t>0.

           Sestavine: Vemo, da je Z₁/Z₂~Cauchy, če sta Z₁ in Z₂ neodvisni in N(0,1). Torej je E(e^itZ₁/Z₂)= e^-|t|. (podrobnosti-predavanja)

Primer: Pogosto imamo v verjetnosti opravka z vsotami slučajno mnogo slučajnih spremenljivk. Tipično: X₁,X₂,... so neodvisne, enako porazdeljene in N je nenegativna, celoštevilska slučajna spremenljivka. Definiramo:

            Podobno kot pri rodovnih funkcijah velja:
(i) Φ_S(t)=G_N(Φ_X1(t)).
(ii) Če so X_i≥0, velja tudi ψ_S(λ)=G_N(ψ_X1(λ)).

Primer: Recimo, da je N~Po(μ) in so X_i~exp(1). Zanima nas porazdelitev X₁+...+X_N. Vemo, da je G_N(s)=e^-μ(1-s). Računamo:

            Sledi:

NAZAJ NA KAZALO!

    Večrazsežne karakteristične funkcije

Ideja je vzeta iz analize (Fourierjeva transformacija).

Definicija: Naj bo X slučajni vektor. Njegovo KARAKTERISTIČNO FUNKCIJO definiramo kot Φ_X(t)= E(e^itx)=∫_Rⁿe^itxμ_X(dx).

Vprašanje: Ali Φ_X enolično določa μ_X?

Odgovor: Da! (podrobnosti-predavanja)

Misel: Če imata X in X' enako porazdelitev, imata tudi enako karakteristično funkcijo.

Primer (Slučajni sprehod na Z^d): Pijanec začne slučajni sprehod v točki (0,0). Na vsakem koraku si naključno in neodvisno izbere smer, v kateri se bo premaknil. Pomik na koraku n je slučajni vektor z vrednostmi (1,0), (-1,0), (0,1) in (0,-1). Kolikšna je verjetnost, da se bo slučajni sprehajalec vrnil v izhodišče? Odgovor je odvisen od dimenzije!
Slika za d=2:

            Označimo z N=število "obiskov" točke 0. Po razmisleku dobimo: Za d=2 je E(N)=∞. Za d≥3 z istim postopkom dobimo, da je E(N)<∞. Označimo z ρ verjetnost, da se pijanec vrne v izhodišče. Po vrnitvi se zgodbica "začne znova". Recimo, da je "poskus" oditi iz (0,0) in se NE vrniti. Posamezni poskusi po vrnitvi v izhodišče so neodvisni. Število obiskov (0,0) bo Geom(1-ρ). Sledi: N~Geom(1-ρ). Vemo, da je E(N)=∞ za d=2 in E(N)<∞ za d≥3 ter E(N)=1/(1-ρ). Torej je: ρ=1 za d=2 in ρ<1 za d≥3. (podrobnosti-predavanja)

NAZAJ NA KAZALO!

    3.3  Konvergenca slučajnih spremenljivk

Poznamo več različnih tipov konvergenc slučajnih spremenljivk. Izbira je odvisna od namena. Potrebovali bomo preprosti neenačbi:
Če je slučajna spremenljivka X≥0, je P(X≥x)≤E(X)/X. To je neenačba Markova.
Bolj splošno lahko rečemo: če je Φ:[0,∞)->[0,∞) naraščajoča, je P(X≥x)≤E(Φ(X))/Φ(X).
Poseben primer je neenačba Čebiševa: če je Y slučajna spremenljivka, potem je P(|Y-E(Y)|≥y)≤var(Y)/y².

V naslednjih definicijah naj bodo vse slučajne spremenljivke definirane na istem verjetnostnem prostoru (Ω,F,P).

Definicija: (i) Zaporedje slučajnih spremenljivk X₁,X₂,...KONVERGIRA V VERJETNOSTI proti spremenljivki X, če za vsak ε>0 obstaja n_ε, tako da za n≥n_ε velja  P(|X-X_n|>ε)<ε.

Opomba: Ta konvergenca je v teoriji mere znana kot konvergenca po meri. V definiciji lahko zahtevamo, da je P(|X-X_n|>ε)<δ za n≥n_δ,ε, kjer sta ε in δ predpisana.
Oznaka:

(ii) Zaporedje slučajnih spremenljivk X₁,X₂,...KONVERGIRA SKORAJ GOTOVO proti spremenljivki X, če je P({w: limX_n(w)=X(w)})=1, ko n->∞.

Opomba: V teoriji mere je to konvergenca skoraj povsod. Množico v P(...) lahko zapišemo tudi z unijami in preseki.
Oznaka:

 
(iii) Zaporedje slučajnih spremenljivk X₁,X₂,...KONVERGIRA V L^p-NORMI proti spremenljivki X, če velja E(|X_n-X|^p)->0, ko n->∞ in p≥1.
Oznaka:

LEMA 3.11 : Naj bodo X₁,X₂,...;X slučajne spremenljivke.
(i) Če X_n->X s.g., potem X_n->X v verjetnosti.
(ii) Če X_n->X v L^p-normi, potem X_n->X v verjetnosti.

Opomba: To sta edini implikaciji, ki veljata brez dodatnih predpostavk in nobena od implikacij ne velja v obratni smeri.

LEMA 3.12 : Naj bodo X₁,X₂,...;X slučajne spremenljivke. Velja:
(i) X_n->X v verjetnosti, če in samo če ima vsako podzaporedje {X_nk} nadaljnje podzaporedje, ki konvergira s.g.
(ii) Če je f zvezna funkcija, f:R->R in X_n->X v verjetnosti, potem f(X_n)->f(X) v verjetnosti.

Tipično vprašanje pri konvergenci slučajnih spremenljivk je naslednje: Naj bodo X₁,X₂,... slučajne spremenljivke in S_n=X₁+...+X_n. Kdaj lahko najdemo zaporedji a_n in b_n, da velja (S_n-a_n)/b_n->Y in konvergenca Є{P,s.g.,L^p,d}?

IZREK 3.13 : Naj bodo X₁,X₂,... nekorelirane slučajne spremenljivke z matematičnim upanjem μ=E(X_n) za vse n. Naj bo var(X_n)≤c<∞ za vse n. Naj bo S_n= X₁+...+X_n. Potem velja S_n/n -> μ v verjetnosti, ko n->∞.

Opomba: To je ŠIBKI ZAKON VELIKIH ŠTEVIL.

Primer: Naj bo f:[0,1]->R zvezna (in s tem enakomerno zvezna). Naj bodo I₁,I₂,... neodvisne, enako porazdeljene slučajne spremenljivke, I_k~Bernoulli(p). Vemo: var(I_k)=p(1-p)≤1/4 za vse p Є[0,1]. Označimo: S_n=I₁+...+I_n. Vemo: S_n~Bin(n,p). Po izreku vemo, da je S_n/n->p v verjetnosti. Po Čebiševu velja še več: P(|S_n/n - μ|>δ)≤(var(S_n/n))/δ²≤1/4δ²n. Naj bo ε>0. Najprej ocenimo:

            Za zgoraj izbran ε>0 obstaja δ>0, tako da je |f(x)-f(y)|<ε, če je |x-y|≤δ. V zgornji oceni izberimo ta δ in dobimo:

            Ugotovili smo, da velja E(f(S_n/n))->f(p), ko n->∞, enakomerno v p. Po drugi strani pa je

            Sledi: B_n(p)->f(p) enakomerno za pЄ[0,1]. To je Weierstrassov kriterij-Analiza 1.

IZREK 3.14 : Naj bodo X₁,X₂,... neodvisne, enako porazdeljene slučajne spremenljivke. Označimo S_n=X₁+...+X_n. Naslednji trditvi sta ekvivalentni:
(i) (S_n/n - μ_n)->0 za neko zaporedje μ_n.
(ii) x·P(|X₁|>x)->0, ko x->∞. V tem primeru lahko vzamemo μ_n=E(|X₁|·1_(|X1|≤n)).

Primer: Kaj so "fair" igre na srečo? Recimo, da igramo isto igro na srečo večkrat. Čisti dobiček v n-ti igri označimo z X_n. Privzamemo, da so X₁,X₂,...neodvisne in enako porazdeljene slučajne spremenljivke.
Podprimer: Pri ruleti in stavah na številko je P(X₁=-1)=36/37 in P(X₁=35)=1/37. Sledi: E(X₁)=-1/37. Igra v tem smislu ni "fair". Za "fair" igro bi moralo biti E(X₁)=0.
Za konkretni primer stave na eno številko, bi za "fair" stavo x moralo veljati: -x·36/37 + 35/37 =0 => x=35/36.
Druga možna interpretacija "fair" stave je naslednja:
Označimo S_n=X₁+...+X_n. Lahko rečemo, da je igra "fair", če je razmerje dobiček/vložek≈1. Bolj matematično: Označimo stavo za n iger s c_n. Dovolimo si, da je stava na igro odvisna od števila iger. Lahko rečemo, da je igra "fair", če velja S_n/n·c_n -> 1, pri čemer lahko tip konvergence še izberemo med {s.g.,P,L^p}.

Primer (Sankt-Petersburški paradoks): Odločimo se igrati n iger. Stava je c_n. Ponudnik meče kovanec, dokler ne dobi grba. Če se to zgodi v n-tem metu, je izplačilo 2ⁿ. Kaj je fair stava? Če označimo z X_i dobiček, je ta enak X_i=2^Y_i-c_n, kjer je Y_i~Geom(1/2). Če izračunamo, je E(X_i)= +∞-c_n=+∞. Pristop z matematičnimi upanji NE funkcionira.

Komentar: Osnovno verzijo izreka 3.14 zlahka posplošimo: Naj bodo za vsak n slučajne spremenljivke X_n,1,...,X_n,n neodvisne. Če velja

              potem velja

Primer: Pokažimo, da ta izrek "prime" za Sankt-Persburški paradoks. Definiramo kar X_n,k=X_k za vse n in a_n'=b_n=n·log₂n. (podrobnosti-predavanja)
Dobimo:

Povzemimo, kaj je bilo pomembno pri konvergenci v verjetnosti:
(i) Kaj je definicija?
(ii) Izrek, ki sklepa o konvergenci v verjetnosti na podlagi s.g. konvergence.
(iii) Ta konvergenca je pogosto dobro tehnično sredstvo.

NAZAJ NA KAZALO!

    Skoraj gotova konvergenca

Za slučajne spremenljivke X₁,X₂,..., ki so neodvisne, enako porazdeljene in velja var(X₁)<∞ in E(X₁)=0 velja: S_n/n -> 0 v verjetnosti in S_n=X₁+...+X_n. Vemo, da je s.g. konvergenca "močnejša". Ali lahko P poostrimo do s.g.? Odgovor je DA!

IZREK 3.15 : Naj bodo X₁,X₂,...neodvisne, enako porazdeljene slučajne spremenljivke in S_n= X₁+...+X_n. Naj bo E(X₁)=μ in var(X₁)=σ²<∞. Potem S_n/n -> μ s.g.

Komentar: (i) Izrekom s s.g. konvergenco pogosto rečemo KREPKI ZAKONI VELIKIH ŠTEVIL.
(ii) To je formalna potrditev intuitivne motivacije za definicijo s.g. konvergence.
(iii) Zahteva, da je var(X₁)<∞, je odveč. Izrek velja tudi, če zahtevamo samo E|X₁|<∞. Če pa je E|X₁|=∞, potem izrek ne velja.
(iv) Obstaja mnogo izrekov tipa s.g. konvergence. Novejši tipi takih izrekov uporabljajo martingale za dokaz konvergence.

NAZAJ NA KAZALO!

    3.4  Konvergenca v porazdelitvi

Motivacija: Večinoma so nas bolj zanimale porazdelitve, kot pa slučajne spremenljivke same. Mogoče lahko kaj povemo o porazdelitvi vsot S_n=X₁+...+X_n za neodvisne slučajne spremenljivke X₁,X₂,...,tudi, če ne znamo eksplicitno povedati porazdelitve S_n ali je ta komplicirana. Zato potrebujemo koncept "podobnosti" ali "bližine" porazdelitev in koncept konvergence. Porazdelitve so mere. Torej potrebujemo koncept konvergence mer. Ideja je "podobnost na otip". Mero "otipamo" tako, da integriramo neko funkcijo.
Ideja: Poskusimo definirati, da μ_n->μ, če ∫f(x)μ_n(dx)->∫f(x)μ(dx) za nek nabor funkcij f. Kaj je pravi nabor? Lahko vzamemo Borelove funkcije z |f|≤1. Dobimo konvergenco v totalni variaciji. Ali bi moralo veljati, da δ_1/n->δ₀? Velja ||δ_1/n-δ₀||_TV=1 (TV=totalna variacija). Razlog, zakaj to ni dobro, je ta, da so Borelove funkcije preveč "oglate". V verjetnosti definiramo:

Definicija: (i) Če za vsako omejeno, zvezno funkcijo f:(M,d)->R velja ∫_Mf(x)μ_n(dx)->∫_Mf(x)μ(dx), ko n->∞, potem pravimo, da VERJETNOSTNE MERE μ_n ŠIBKO KONVERGIRAJO proti verjetnostni meri μ.
Oznaka:

(ii) Slučajne spremenljivke X₁,X₂,... z vrednostmi v (M,d) KONVERGIRAJO V PORAZDELITVI proti X, če za vsako omejeno, zvezno funkcijo f:(M,d)->R velja E(f(X_n))->E(f(X)), ko n->∞.
Oznaka:

Komentar: (i) Če je (M,d) poljski prostor (poln, separabilen) in so μ mere, ki so "združljive" s topologijo, potem lahko definiramo metriko Prohorova z ρ(μ,ν)=inf{ε>0:μ(F)≤ν(F^ε)+ε, F zaprta}, pri čemer je F^ε ε-okolica, tj. F^ε={y: d(y,F)<ε}.
(ii) V resnici govorimo o konvergenci porazdelitev, ne slučajnih spremenljivk samih.
(iii) Konvergenco in metriko potrebujemo zato, da lahko aproksimiramo komplicirane porazdelitve.

Opomba: Zakaj smo za "otipavanje" mer izbrali zvezne funkcije? Zato, ker bi otipavanje z Borelovimi funkcijami zahtevalo preveč od konvergence. Že pred definicijo smo videli, da v primeru Borelove funkcije dobimo konvergenco v totalni variaciji. Sedaj potrebujemo nekaj tehničnih lem.

LEMA 3.16 : Naslednje trditve so ekvivalentne:
(i) X_n=>X v porazdelitvi
(ii) limsupP(X_nЄF)≤P(XЄF) za zaprte F in n->∞
(iii) liminfP(X_nЄG)≥P(XЄG) za odprte G in n->∞.

Komentarji in posledice:
(i) Iz dokaza leme je razvidno, da se lahko pri definiciji omejimo na enakomerno zvezne funkcije f.
(ii) Naj bodo X₁, X₂,... slučajne spremenljivke z vrednostmi v R. Izjava X_n=>X v porazdelitvi je ekvivalentna izjavi F_Xn(x)->F_X(x) za vse x, v katerih je F_X zvezna. To je pravzaprav stara definicija zveznosti.

Primer: Naj bodo X₁,X₂,... neodvisne slučajne spremenljivke in X_i~U(0,1) za i≥1. Definiramo M_n=max(X₁,...,X_n). Oglejmo si zaporedje n·(1-M_n). Računamo za X≥0:

             Ko gre n->∞, dobimo limP(n·(1-M_n)≤X)=1-e^-x. Povzemimo:

            Na desni je porazdelitvena funkcija slučajne spremenljivke X~exp(1). Konvergenca velja za vse XЄR. Zapišemo:

Komentar: Konvergenca F_Xn je ena od glavnih metod za dokazovanje konvergence v porazdelitvi.

LEMA 3.17 : Naj bodo X₁,X₂,...;X in Y₁,Y₂,... slučajne spremenljivke. Naj velja: X_n->X v porazdelitvi in Y_n->0 v verjetnosti. Potem velja: X_n+Y_n->X v porazdelitvi.

Opomba: Če bi imeli Y_n->0 v porazdelitvi namesto v verjetnosti, potem lema ne bi veljala!

NAZAJ NA KAZALO!

    Uporaba karakterističnih funkcij

IZREK 3.18 (P.Levy): Naj bodo X₁,X₂,... slučajne spremenljivke z vrednostmi na R. Naj bodo Φ_X1,Φ_X2,... njihove karakteristične funkcije. Če velja Φ_Xn->g(t) po točkah za vsak t in je g zvezna v t=0, potem je g karakteristična funkcija neke slučajne spremenljivke X in velja X_n->X v porazdelitvi.

Komentar: Zakaj zveznost v t=0? To je gotovo potreben pogoj. Če X_n->X v porazdelitvi in opazimo, da je x->e^itx zvezna, sledi, da mora biti tudi Φ_X zvezna v t=0 (kar tako ali tako vemo). Prva res tehtna uporaba je naslednja:

IZREK 3.19 (CENTRALNO LIMITNI IZREK): Naj bodo X₁,X₂,... neodvisne, enako porazdeljene slučajne spremenljivke z E(X₁)=μ, var(X₁)=σ² in naj velja E|X₁|³<∞. Označimo S_n=X₁+...+X_n. Velja:

Definicija: Družina verjetnostnih mer {μ_i} je TESNA (beri OMEJENA), če za vsak ε>0 obstaja kompaktna množica K_ε, da velja μ_i(K_ε)>1-ε za vse i.

IZREK 3.20: Naj bo {μ_k} tesno zaporedje verjetnostnih mer. Tako zaporedje ima konvergentno podzaporedje in s tem tudi stekališče.

LEMA 3.21 : Če za zaporedje mer μ₁,μ₂,... velja Φ_k(t)->g(t) po točkah, ko n->∞ in je g zvezna v t=0, potem je zaporedje tesno.

Bistvo dokaza Levy-jevega izreka: Ker Φ_n->g in je g zvezna v t=0, je {μ_k} tesno. Kot tako ima stekališče po izreku 3.20. Konvergenca Φ_n pa pomeni, da je stekališče največ eno. S tem je izrek dokazan.

Definicija: TRIKOTNA SHEMA slučajnih spremenljivk je nabor X_nk, n≥1, 1≤k≤r_n.

Posplošitev centralnega limitnega izreka je:

IZREK 3.22 (Lindeberg-Fellerjev izrek): Naj bo {X_nk} trikotna shema slučajne spremenljivke Z in r_n->∞, naraščajoče zaporedje. Naj velja:
(i) Za vsak n so X_n1,...,X_nrn neodvisne slučajne spremenljivke.
(ii) E(X_nk)=0 za vse n,k in s_n²=var(X_n1)+...+var(X_nrn)<∞.
(iii) Za vsak ε>0 naj velja Lindeberg-Fellerjev pogoj:

                    Označimo: S_n=(X_n1+...+X_nrn)/s_n. Velja S_n->Z~N(0,1).

Komentar: (i) Ne zahtevamo, da so X_n1,X_n2,... enako porazdeljene. Ohranimo pa predpostavko o neodvisnosti.
(ii) Kaj pove Lindeberg-Fellerjev pogoj? V grobem pove, da novena od slučajnih spremenljivk X_n1,X_n2,... ni bistveno "večja" od ostalih.

Primer: V kitajsko restavracijo prihajajo po vrsti naravna števila. V restavraciji je neskončno miz, ki so oštevilčene z 1,2,3,...Dogaja se naslednje:
(i) 1 se usede za mizo 1
(ii) ko pride k, si ogleda mize in sede levo od j z verjetnostjo 1/(θ+k-1) ali pa se usede za naslednjo še nezasedeno mizo z verjetnostjo θ/(θ+k-1). k se obnaša neodvisno od tega, kaj so naredili 1,2,...,k-1. Slika:

            V resnici smo konstruirali slučajno permutacijo π=(13)(265)(4)(7). Če bi šli do n, bi dobili slučajno permutacijo n števil. Naj bo S_n število zasedenih miz po n gostih. Kaj znamo povedati o S_n za velike n? Definirajmo

            Zapišemo lahko: S_n=ξ₁+...+ξ_n. Iz besedila naloge sledi, da so ξ₁,ξ₂,... neodvisne in da je ξ_i~Bernoulli(θ/(θ+i-1)).
Komentar: Za θ>0 in fiksen n rečemo, da ima S_n Poisson-Dirichletovo(θ) porazdelitev.
Rodovna funkcija S_n je oblike

            Omejimo se na primer, ko je θ=1. V tem primeru vsako permutacijo dobimo z verjetnostjo 1/n! in rodovna funkcija je

          P(S_n=k) je koeficient pri s^k v zgornji rodovni funkciji. Vemo, da so ti koeficienti P(S_n=k)=S_n^(k)/n!, kjer je S_n^(k) Stirlingovo število prve vrste. Za S_n^(k) ni uporabne eksplicitne oblike. Za aproksimacije se zatečemo k Lindeberg-Fellerju. Velja: S_n=ξ₁+...+ξ_n, kjer so ξ_i neodvisne, vendar ne enako porazdeljene slučajne spremenljivke. Preveriti moramo predpostavke Lindeberg-Fellerjevega izreka. (podrobnosti-predavanja) Dobimo:

LEMA 3.23 : Naj bodo Z₁,...,Z_n in W₁,...,W_n kompleksna števila, po absolutni vrednosti manjša od θ. Velja:

Posledica: Za kompleksna števila C_n,C iz C_n->C, sledi (1+C_n/n)->e^C, ko n->∞.

LEMA 3.24 : Za xЄR velja

Opomba: Zadnje leme so samo sredstvo za pomoč pri dokazu Lindeberg-Fellerjevega izreka!

Komentar: (i) V prvi verziji centralno limitnega izreka smo predpostavljali E|X₁|³<∞. Če vzamemo kar X_nk=X_k v Lindeberg-Fellerjevem izreku, vidimo, da predpostavka ni potrebna. Dovolj je predpostavljati E(X₁)=μ in var(X₁)=σ²<∞.
(ii) Levy-jev izrek velja tudi v več dimenzijah.

NAZAJ NA KAZALO!

KONEC