2-2 Keras 모델 저장하기.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "1e6c2023",
   "metadata": {},
   "source": [
    "# 여러가지 방법의 모델 구축\n",
    "\n",
    "## keras\n",
    "1. sequential API\n",
    "\n",
    "2. functional API \n",
    "\n",
    "3. class definition\n",
    "\n",
    "\n",
    "\n",
    "## 배울 것\n",
    "\n",
    "1. weight 저장방법\n",
    "2. 모델 전체 저장방법 -> serializing model\n",
    "    - weight\n",
    "    - 모델 구조\n",
    "    - model.compile() 로 정의한 학습 방법\n",
    "    - optimizer, state"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "8b069563",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Sequential"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "94f3912d",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Functional"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "e6a49318",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Class"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e31c4749",
   "metadata": {},
   "source": [
    "# weight 저장방법\n",
    "\n",
    "\n",
    "저장할 때는 동일한 방법으로 모델을 구현하고 해당 모델에 가중치를 로드해야한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4ee46a1f",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a6bd0cad",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "31a4724e",
   "metadata": {},
   "source": [
    "# model 전체 저장방법\n",
    "\n",
    "```\n",
    "\n",
    "model.save('')\n",
    "```\n",
    "\n",
    "#### 반드시 디렉토리 형태로 저장된다.\n",
    "\n",
    "\n",
    "\n",
    "```\n",
    "model = keras.models.load_model('')\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e7ecef86",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ca4955be",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "4c993696",
   "metadata": {},
   "source": [
    "## 위의 모델 저장방법을 사용하는 경우, 모델 + 모델에 대한 설정까지 포함한다\n",
    "\n",
    "\n",
    "- 모델의 아키텍처 (구조)\n",
    "- 모델의 가중치 (내용물)\n",
    "- 컴파일 정보 (구동방식)\n",
    "- optimizer, 현재까지 학습한 상태 (현재의 위치)\n",
    "\n",
    "\n",
    "## 저장 가능 형식은 Tensorflow SavedModel, Keras H5 형식\n",
    "\n",
    "- 디폴트는 SavedModel 형식이다.\n",
    "\n",
    "\n",
    "\n",
    "## SavedModel 형식이 사용자 정의 Object를 다루는 방법\n",
    "\n",
    "- class name, call function, losses, weights, config를 저장한다.\n",
    "- 사용자 정의 class가 코드에 존재하지 않아도 가능하다. (애초에 클래스 이름과 call function이 존재하기 때문에)\n",
    "- 하지만, call function 만을 저장하기 때문에 학습 및 평가는 가능하지만 다른 method는 사용하지 못한다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f6004174",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "46e919a8",
   "metadata": {},
   "source": [
    "# Keras H5\n",
    "\n",
    "H5 형식은 다음과 같이 저장하며\n",
    "\n",
    "- 모델의 아키텍쳐\n",
    "- 모델의 가중치\n",
    "- 컴파일 정보\n",
    "\n",
    "\n",
    "saved model과의 차이는 \n",
    "\n",
    "- 사용자 정의 object를 저장하지 않는다는 것\n",
    "- add_loss(), add_metric()으로 추가한 것은 저장되지 않는다.\n",
    "- Saving the model to HDF5 format requires the model to be a Functional model or a Sequential model.\n",
    "> 즉, Functional model or a Sequential model 에 대해서만 사용이 가능하다.  \n",
    "> 내부에서 subclass layer의 사용도 하지 못한다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "7ec93e40",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "29a265b0",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "c064f4e5",
   "metadata": {},
   "source": [
    "# 아키텍처 저장\n",
    "\n",
    "SubClass 모델이 아닌 아래의 방식으로 구현하였을 때만 사용이 가능하다.\n",
    "- 함수형\n",
    "- Sequential API\n",
    "\n",
    "\n",
    "```\n",
    "get_config()\n",
    "\n",
    "\n",
    "from_config()\n",
    "\n",
    "\n",
    "tf.keras.models.model_to_json()\n",
    "\n",
    "\n",
    "tf.keras.models.model_from_json()\n",
    "```\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "9ac440a6",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "409b5e08",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "24ab5f66",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "e0f4e6ea",
   "metadata": {},
   "source": [
    "# 모델의 가중치 값만 저장하거나 로딩하기\n",
    "\n",
    "오직 가중치만 저장하고 가져오기만 가능하도록 하고싶을 수가 있다. 이럴 때가 있나 싶지만\n",
    "\n",
    "1. 추론즉, 결과값 반환만을 수행하고 싶을 때 사용한다. 이 때는 학습이 필요하지 않기 때문에 compile option, optimizer들이 필요가 없다.\n",
    "2. 전이학습을 진행하는 경우에 사용한다. 이 전 모델의 상태만 재사용하여 새로운 모델을 트레이닝하는 경우, 즉, 이전 모델의 compile option, optimizer가 필요하지 않지 않기 때문에 가중치만 가져와서 사용한다.\n",
    "\n",
    "\n",
    "## 전이학습\n",
    "\n",
    "> 기존의 데이터를 통해 구현한 문제 해결 방식들을 연관성이 존재하는 다른 문제에 적용할 수 있도록 하는 머신러닝의 한 방법\n",
    "\n",
    "이 때, 가중치 값만 가져오기 떄문에 모델의 아키텍처는 구현이 되어있거나 선언되어있어야한다.\n",
    "\n",
    "* 가중치가 존재하지 않는 relu, dropout, batchNormalization 과같은 layer가 있더라도 가중치의 값을 로딩할 수 있다.\n",
    "\n",
    "\n",
    "\n",
    "### 메모리 상에서 가중치 전달\n",
    "\n",
    "```python\n",
    "# 해당 모델에서 weight를 가져온다.\n",
    "model.get_weights()\n",
    "\n",
    "\n",
    "#\n",
    "new_model.set_weights(<weight>)\n",
    "\n",
    "```\n",
    "\n",
    "\n",
    "### 디스크에 가중치 저장, 로드\n",
    "\n",
    "```python\n",
    "model.save_weights(<save_format>)\n",
    "\n",
    "```\n",
    "\n",
    "모델을 저장하고 다시 로드할 때, 반드시 모델을 구현하는 방식 (subclass, functional API, sequential API)을 동일하게 사용해야한다."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}