01. stats.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# I. 확률변수(Random Variable)와 확률분포\n",
    "\n",
    "\n",
    "\n",
    "1. 확률변수 \n",
    "\n",
    "확률변수 X는 표본공간 $\\Omega$ 상에서 정의되는 real valued function이다. 확률변수는 어떤 확률적 실험의 결과로 나올 수 있는 모든 가능한 결과(표본공간)에 대해 실수공간(상태공간) 상의 값을 대응시킨다. 하나의 실험에 대해 여러 가지 확률변수가 정의될 수도 있는데, 가령 주사위를 던지는 실험에서 눈금의 값을 그대로 대응시키는 확률변수가 있을 수 있고, 짝수는 0, 홀수는 1을 대응시키는 확률변수가 있을 수 있다.\n",
    "\n",
    "\n",
    "\n",
    "2. 확률밀도함수(PDF)와 누적분포함수(CDF)\n",
    "\n",
    "확률변수는 확률분포를 동반하며, 확률분포는 확률(밀도)함수 또는 누적분포함수를 통해 표현될 수 있다.\n",
    "\n",
    "확률함수(probability function)는 확률변수가 취하는 값이 이산적인 경우, $X$가 취하는 각 값에 대해 확률을 대응시켜준다.\n",
    "\n",
    "확률밀도함수(PDF;probability density function)는 $X$가 취하는 값이 연속적인 경우, $X$가 취하는 값이 I라는 구간에 속할 확률을 해당 구간의 면적$P(X \\in I) = \\displaystyle \\int_{I}f(x)dx$을 통해 제공한다.\n",
    "\n",
    "\n",
    "\n",
    "누적분포함수(CDF;cumulative distribution function)는 $X$가 취하는 값이 특정값보다 낮을 확률을 제공한다. $F(x) \\equiv P(X\\leq x) = \\displaystyle\\int_{-\\infty}^{x}f(t)dt$\n",
    "\n",
    "3. 결합확률밀도함수(joint probability density function)\n",
    "\n",
    "\n",
    "\n",
    "두개의 확률변수 X,Y가 이산적인 경우, 결합확률함수는 $f_xy(x_i, y_i) \\equiv P(X=x_i, Y=y_i)$와 같이 주어지며, 연속적인 경우 결합확률밀도함수는 $f_xy((x, y) \\in D) \\equiv \\displaystyle\\iint_{D} f_xy(x,y) dxdy$와 같이 주어진다.\n",
    "\n",
    "\n",
    "\n",
    "[4] 한계확률밀도함수(marginal probability density function)\n",
    "\n",
    "다른 변수들을 고정했을 때 해당 변수의 한계확률밀도를 말한다.\n",
    "\n",
    "$f_x(x_i) = \\displaystyle\\sum_{j} f_{xy}(x_i, y_i), \\quad i=1,2,... \\quad$ : X의 한계확률함수\n",
    "\n",
    "$f_x(x_i) = \\displaystyle\\int_{-\\infty}^{\\infty} f_{xy}(x, y)dy \\quad $ : X의 한계확률밀도함수\n",
    "\n",
    "\n",
    "\n",
    "[5] 조건부확률밀도함수(conditional probability density function)\n",
    "\n",
    "\n",
    "\n",
    "이산적인 경우 $Y=y_j$로 주어졌을 때, $X$의 조건부확률함수는 다음과 같이 주어진다.\n",
    "\n",
    "$f_{x|y}(x_i | y_i) = P(X=x_i | Y=y_j) = \\dfrac{P(X=x_i, Y=y_j)}{P(Y=y_j)} = \\dfrac{f_{xy}(x_i, y_j)}{f_y(y_j)} = \\dfrac{f_xy(x_i,y_j)}{\\displaystyle\\sum_{i} f_{xy}(x_i, y_j)}$\n",
    "\n",
    "\n",
    "\n",
    "연속적인 경우 Y=y로 주어졌을 때, X의 조건부확률밀도함수는 다음과 같이 주어진다.\n",
    "\n",
    "$f_{x|y}(x|y) = \\dfrac{f_xy(x,y)}{f_{y}(y)} = \\dfrac{f_xy (x,y)}{\\displaystyle\\int_{-\\infty}^{\\infty} f_xy(x,y) dx} $\n",
    "\n",
    "\n",
    "# II. 수학적 기대값(Mathematical Expectation)\n",
    "\n",
    "1. $E(X), V(X)$\n",
    "\n",
    "$g(X)$가 확률변수 $X$의 함수라 하자. \n",
    "\n",
    "$E(g(X)) = \\displaystyle\\sum_{i} g(x_i)f(x_i) \\quad $ (이산적인 경우)\n",
    "\n",
    "$E(g(X)) = \\displaystyle\\int_{-\\infty}^{\\infty} g(x)f(x)dx \\quad $ (연속적인 경우)\n",
    "\n",
    "$g(X)=X$일 때, $E(g(X))=E(X)=\\mu$를 확률변수 X의 평균이라 한다.\n",
    "\n",
    "$g(X)=(X-E(X))^2$일 때, $E(g(X))=E[(X-E(X))^2]=V(X)=\\sigma^2$을 확률변수 X의 분산이라 한다.\n",
    "\n",
    "$\\sigma = \\sqrt{V(X)}$는 X의 표준편차라 한다.\n",
    "\n",
    "\n",
    "2. $E(X,Y), Cov(X,Y)$\n",
    "\n",
    "$g(X,Y)$가 확률변수 $X$,$Y$의 함수라 할 때,\n",
    "\n",
    "$E(g(X,Y))=\\displaystyle\\sum_i \\displaystyle\\sum_j g(x_i, y_j)f(x_i, y_j) \\quad $ (이산적인 경우)\n",
    "\n",
    "$E(g(X,Y))=\\displaystyle\\int_{-\\infty}^{\\infty} \\displaystyle\\int_{-\\infty}^{\\infty} g(x, y)f(x, y) dx dy \\quad$ (연속적인 경우)\n",
    "\n",
    "$g(X,Y) = (X-\\mu_X)(Y-\\mu_Y)$일 때 $E[(X-\\mu_X)(Y-\\mu_Y)]=Cov(X,Y)$를 $X$와 $Y$의 공분산(Covariance)이라 한다.\n",
    "\n",
    "3. 수학적 기대값의 성질\n",
    "\n",
    "$V(X) = E(X^2) - [E(X)]^2$\n",
    "\n",
    "$Cov(X,Y) = E(XY) - E(X)E(Y)$\n",
    "\n",
    "$E(aX+bY+c)=aE(X)+bE(Y)+c$\n",
    "\n",
    "$V(aY+bY+c)=a^2V(X)+b^2V(Y)+2ab Cov(X,Y) \\quad$ (a,b,c는 상수)\n",
    "\n",
    "$E(\\displaystyle\\sum_i a_i X_i) = \\displaystyle\\sum_i a_i E(X_i)$\n",
    "\n",
    "$V(\\displaystyle\\sum_i a_i X_i) = \\displaystyle\\sum_i \\displaystyle\\sum_j a_i a_j Cov(X_i, X_j) \\quad$ ($a_i$는 상수, 단, $Cov(X_i, X_i) = V(X_i))$\n",
    "\n",
    "$\\rho_{XY} = \\dfrac{Cov(X,Y)}{\\sqrt{V(X)}\\sqrt{V(Y)}} \\quad$ : 확률변수 X, Y 간의 상관계수(correlation coefficient)\n",
    "\n",
    "\n",
    "# III. 확률적 독립(Stochstic Independence)\n",
    "\n",
    "1. 확률적 독립의 정의\n",
    "\n",
    "일반적으로 $n$개의 확률변수 $X_1, X_2, ... , X_n$이 서로 확률적으로 독립(mutually stochastically inpedendent)이라 함은, 각 변수의 한계확률밀도함수를 $f_1(x_1), f_2(x_2),...,f_n(x_n)$이라 할 때, $X_1, X_2, ... , X_n$의 결합확률밀도함수가 $f(x_1,x_2, ..., x_n)=f_1(x_1)f_2(x_2)...f_n(x_n)=\\displaystyle\\prod_i f_i(x_i)$와 같이 한계확률밀도함수의 곱으로 나타나는 경우로 정의된다.\n",
    "\n",
    "2. 확률적 독립과 관련된 성질\n",
    "\n",
    "확률변수 $X_1, X_2, ... , X_n$이 서로 확률적으로 독립일 경우,\n",
    "\n",
    "$E\\left\\{ \\displaystyle\\prod_i^n u_i(X_i) \\right\\} = \\displaystyle\\prod_i^n E(u_i(X_i))$이 성립한다. 이를테면 $E(X_1 X_2) = E(X_1) E(X_2)$.\n",
    "\n",
    "$Cov(X_i, X_j) = \\rho_{X_i X_j} = 0$. 그러나 그 역은 성립하지 않는다.\n",
    "\n",
    "$Var(\\displaystyle\\sum_i a_i X_i) = \\displaystyle\\sum_i a_i^2 V(X_i)$. 이를테면 $V(X_1 \\pm X_2 ) = V(X_1) + V(X_2)$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# IV. 이산형 확률분포들(discrete probability distributions)\n",
    "\n",
    "1. 베르누이 실험(Bernouilli Experiment)：가능한 결과가 오직 두가지로 나타나는 실험. \n",
    "확률변수 $X$를 한번이 네르누이 실험에서 나오는 성공의 횟수라고 하고, 성공의 확률을 $p$라고 하면 $X$의 확률분포는 다음과 같다.\n",
    "\n",
    "$P(X=1)=p, P(X=0)=1-p=q$. 달리 표현하면, $f(i) = p^i q^{1-i}, \\quad i=0,1$.\n",
    "\n",
    "$E(X)=p, \\quad V(X)=pq$\n",
    "\n",
    "2. 이항분포(binomial distribution): N번의 독립적 베르누이 실험시, 성공의 횟수\n",
    "\n",
    "$f(i) = B(n,p) = \\binom{N}{i}p^i q^{N-i}, \\quad i=0,1,2,...,N$\n",
    "\n",
    "$E(X)=Np, \\quad V(X)=Npq$\n",
    "\n",
    "3. 푸아송분포(Poisson distribution):　시간당 $\\psi$의 비율로 물고기가 잡힐 때, $T$시간 동안 잡힐 물고기의 수.\n",
    "\n",
    "$f(i) = P(\\lambda) = \\dfrac{\\lambda^i e^{-\\lambda}}{i!}$. 이때 $\\lambda = T \\times \\psi$.\n",
    "\n",
    "$E(X) =\\lambda, \\quad V(X)=\\lambda$\n",
    "\n",
    "$n$이 충분히 크고 $p$가 충분히 작은 값일 때, $B(n,p)$는 $P(np)$로 근사.\n",
    "\n",
    "$\\lambda_1$, $\\lambda_2$의 모수를 갖는 두 독립적인 푸아송 분포의 함은 $\\lambda_1+\\lambda_2$를 모수로 하는 푸아송분포를 함.\n",
    "\n",
    "4. 다항분포(multinomial distribution): 각 시행 당 3개 이상의 결과가 가능한 실험을 독립적으로 행할 때, A가 X번, B가 Y번 나올 확률.\n",
    "\n",
    "$f(i,j) = \\displaystyle\\binom{n}{i,j,k} p_X^i p_Y^j p_Z^k, \\quad i=0,1,...,n, j=0,1,...,n-i$. 단, $k=n-i-j, p_z = 1-p_X-p_Y$.\n",
    "\n",
    "$Cov(X,Y) = -np_X p_Y$\n",
    "\n",
    "X와 Y의 한계확률분포는 각각 이항분포 $B(n, P_X), B(n, P_Y)$가 된다.\n",
    "\n",
    "\n",
    "# V. 연속형 확률분포들(continuous probability distributions)\n",
    "\n",
    "## [기본 분포들]\n",
    "\n",
    "1. 균등분포(uniform distribution)\n",
    "\n",
    "$f(x) = U(a,b) =\\dfrac{1}{b-a}, a<x<b \\quad$ 그 밖의 구간에서는 0.\n",
    "\n",
    "$F(X) =\n",
    "\\begin{cases} \n",
    "0 & \\text{if } x \\leq a \\\\\n",
    "\\dfrac{x - a}{b - a} & \\text{if } a < x < b \\\\\n",
    "1 & \\text{if } x \\geq b\n",
    "\\end{cases}$\n",
    "\n",
    "$E(X) = \\dfrac{a+b}{2}$\n",
    "\n",
    "$V(X) = \\dfrac{(b-a)^2}{12}$\n",
    "\n",
    "2. 기하분포(exponential distribution)\n",
    "\n",
    "물고기 한마리 낚는데 걸리는 시간이 $\\beta$일 때(또는 시간당 $\\psi=1/\\beta$의 비율로 물고기가 낚임), 첫 물고기를 낚을 때까지 걸리는 시간.\n",
    "\n",
    "$f(x) = E(x) = \\dfrac{1}{\\beta}\\exp(-\\dfrac{x}{\\beta}), x>0$\n",
    "\n",
    "$F(X) =\n",
    "\\begin{cases} \n",
    "0 & \\text{if } x \\leq 0 \\\\\n",
    "1-\\exp(-\\dfrac{x}{\\beta}) & \\text{if } x > 0\n",
    "\\end{cases}$\n",
    "\n",
    "$E(X) = \\beta$\n",
    "\n",
    "$V(X) = \\beta^2$\n",
    "\n",
    "3. 정규분포(normal distribution)\n",
    "\n",
    "$f(x) = N(\\mu, \\sigma^2) = \\dfrac{1}{\\sqrt{2\\pi}\\sigma}\\exp[-\\frac{1}{2}(\\frac{x-\\mu}{\\sigma})^2] \\quad -\\infty < x < \\infty$\n",
    "\n",
    "$E(X) = \\mu$\n",
    "\n",
    "$V(X) = \\sigma^2$\n",
    "\n",
    "$X_1 \\sim N(\\mu_1, \\sigma_1^2), X_2 \\sim N(\\mu_2, \\sigma_2^2)$이면\n",
    "\n",
    "$aX_1 + bX_2 \\sim N(a\\mu_1 + b\\mu_2, a^2 \\sigma_1^2 + b^2 \\sigma_2^2 + 2ab \\sigma_{12}) $\n",
    "\n",
    "## [변환을 통해 도출되는 분포들]\n",
    "\n",
    "1. $\\chi^2$ 분포 : 정규분포를 따르는 변수들의 제곱합의 분포\n",
    "\n",
    "$X = \\displaystyle\\sum_{i=1}^{n} Z_i^2$ ($Z_1, ..., Z_n$은 서로 독립인 표준정규분포)\n",
    "\n",
    "$f(x) = \\chi_n^2(x) = \\dfrac{x^{\\frac{n}{2}}e^{-\\frac{x}{2}}}{2^{\\alpha}{\\Gamma(\\frac{n}{2})}} \\quad x>0$\n",
    "\n",
    "$E(X) = n$\n",
    "\n",
    "$V(X) = 2n$\n",
    "\n",
    "2. t-분포 : 정규분포를 카이제곱 분포로 나누고 $\\sqrt{n}$을 곱한 분포\n",
    "\n",
    "$X = \\dfrac{Z}{\\sqrt{V/n}}$\n",
    "\n",
    "이때 $Z \\sim N(0,1), V \\sim \\chi_n^2$이며 $Z, V$는 서로 독립.\n",
    "\n",
    "$f(x) = t_n(x) = \\dfrac{  \\Gamma(\\frac{n+1}{2}) } { \\Gamma(\\frac{n}{2}) \\sqrt{n\\pi} } \\dfrac{1}{ {(1 + \\frac{x}{n})}^{\\frac{n+1}{2}} } \\quad  -\\infty < x < \\infty$\n",
    "\n",
    "$E(X)=0 \\quad $ ($n\\geq2$인 경우에만 존재)\n",
    "\n",
    "$V(X)=\\dfrac{n}{n-2} \\quad $  ($n\\geq3$인 경우에만 존재)\n",
    "\n",
    "자유도가 1인 t분포는 표준코시분포가 됨.\n",
    "\n",
    "3. F-분포 : 서로 독립인 두 카이제곱분포가 있을 때, 두 값의 비율의 분포\n",
    "\n",
    "$X = \\dfrac{V_1/n}{V_2/m}$\n",
    "\n",
    "$F_{n,m} = 1/F_{m,n}$\n",
    "\n",
    "$t_n^2 = F_{1,n}$\n",
    "\n",
    "이때 $V_1 \\sim \\chi_n^2, V_2 \\sim \\chi_m^2$이며 $V_1, V_2$는 서로 독립.\n",
    "\n",
    "$f(x) = F_{n,m} = \\dfrac{  \\Gamma(\\frac{n+m}{2}) } { \\Gamma(\\frac{n}{2}) \\Gamma(\\frac{m}{2})  } \\left(\\dfrac{n}{m}\\right)^{\\frac{n}{2}} \\dfrac{ x^{\\frac{n}{2}-1}}{ {(1 + \\frac{n}{m} x)}^{\\frac{n+m}{2}} } \\quad x>0$\n",
    "\n",
    "$E(X) = \\dfrac{m}{m-2} \\quad$  ($n\\geq3$인 경우에만 존재)\n",
    "\n",
    "$V(X) = \\dfrac {2m^2(n+m-2)} { n (m-2)^2(m-4)} \\quad $  ($n\\geq5$인 경우에만 존재)\n",
    "\n",
    "$F_{n,m} \\sim \\dfrac{1}{F_{m,n}}$\n",
    "\n",
    "$t_n^2 = \\dfrac{Z^2}{V_n/n} = F_{1,n}$\n",
    "\n",
    "\n",
    "## [기타 확률분포들]\n",
    "\n",
    "1. lognormal 분포\n",
    "\n",
    "$Y = \\exp(X), X \\sim N(\\mu, \\sigma^2)$\n",
    "\n",
    "2. logistic 분포\n",
    "\n",
    "$f(x) = \\dfrac{e^{-x}}{(1+e^{-x})^2} \\quad -\\infty < x < \\infty$\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": []
  }
 ],
 "metadata": {
  "language_info": {
   "name": "python"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}