Parte 2. S01. Inicio del entorno de trabajo con SparkR.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "370bfa4e-8166-45db-a647-fafb435f326a"
    }
   },
   "source": [
    "<span style='font-size:2.4em'>Procesamiento masivo de datos con SparkR</span>\n",
    "\n",
    "<span style='font-size:1.5em'>VIII Jornadas de usuarios de R. Albacete, Castilla-La Mancha, 17 y 18 de noviembre de 2016</span>\n",
    "\n",
    "Taller impartido por: <span style='font-size:1.2em'>Manuel Jesús Parra Royón</span>\n",
    "\n",
    "\n",
    "![Alt](https://sites.google.com/site/manuparra/home/logoparty.png)\n",
    "\n",
    "<HR>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "c698a2da-cc7f-4b9b-809d-0761b5113cc6"
    }
   },
   "source": [
    "## Inicio del entorno de trabajo con SparkR"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "9e2fe0c4-601e-4d73-a965-669b2bea7448"
    }
   },
   "source": [
    "![Spark+R](https://sites.google.com/site/manuparra/home/SparkRlogo.png)\n",
    "\n",
    "Lo primero que hacemos para trabajar con el entorno es añadir la bilioteca de **SparkR** al **LibPath** de ``R`` y cargamos la biblioteca de **SparkR**.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "nbpresent": {
     "id": "45622838-273b-4f2b-bacb-ce8b298cf543"
    }
   },
   "outputs": [],
   "source": [
    ".libPaths(c(file.path(Sys.getenv(\"SPARK_HOME\"),\"R/lib/\"),.libPaths()))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Comprobamos que está bien indicado el path y está tomando la bilbioteca adecuada:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "Sys.getenv(\"SPARK_HOME\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Cargamos la biblioteca de SparkR"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "nbpresent": {
     "id": "cb912087-095a-4d93-8344-77e6325883f3"
    }
   },
   "outputs": [],
   "source": [
    "# Usamos a opción de warn=-1 si queremos que no muestre warning y sólo \n",
    "# muestre errores (más limpias las salidas)\n",
    "# options(warn=-1)\n",
    "library(SparkR)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "96a3584c-1d0d-4ea9-8d52-fe02582751c9"
    }
   },
   "source": [
    "Comenzamos una sesión con Spark. \n",
    "\n",
    "Para ello creamos una sesión en Spark, indicándole el modo de inicio de la sesión que queremos: *modo local* `local`, *todos los núcleos disponibles* `[*]` y la *cantidad de memoria RAM a utilizar* `2g`.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "nbpresent": {
     "id": "ff66828a-e3e8-4680-946e-1e9d84acc90d"
    }
   },
   "outputs": [],
   "source": [
    "# Iniciamos la sesión con Spark.\n",
    "# Parametros mínimos: appName => Nombre del trabajo en Spark\n",
    "#                     master  => local[*] Usará tantas hebras como cores disponibles.\n",
    "#                     sparkConfig => opciones de ejecución de Spark, por ejemplo limitación de memoria a 2GB.\n",
    "sparkR.session(appName=\"EntornoInicio\", master = \"local[*]\", sparkConfig = list(spark.driver.memory = \"2g\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Otros modos posibles de inicialización de Spark:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "# sparkR.session(appName=\"NombreAplicacion\", master = \"local\", sparkConfig = list(spark.driver.memory = \"4g\"))\n",
    "# sparkR.session(appName=\"AplicacionMLData\", master = \"local[20]\", sparkConfig = list(spark.driver.memory = \"2g\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Más información sobre los métodos de inicialización de Spark: https://spark.apache.org/docs/latest/sparkr.html#starting-up-from-rstudio"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "nbpresent": {
     "id": "497641a9-3a54-4155-a39c-24ce0f4a9493"
    }
   },
   "source": [
    "Una vez que hayamos terminado el script, **siempre al fina**l, es necesario siempre cerrar la sesión con Spark para liberar recursos.\n",
    "\n",
    "El problema que tiene no usar este comando es que si no se liberan recursos y los dataframes están en memería y además tenemos limitada la memoria, entonces Spark no funcionará correctamente al acumuluar y no despejar lo que hemos usado."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "nbpresent": {
     "id": "31597c06-9963-4d1a-9aa5-096680e2e6ad"
    }
   },
   "outputs": [],
   "source": [
    "# Cerramos la sesión con Spark y liberamos recursos.\n",
    "sparkR.session.stop()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Por tanto el flujo de trabajo con SparkR debe ser el siguiente:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![FlujoTrabajoSparkR](https://sites.google.com/site/manuparra/home/flujotrabajo.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Algunas diferencias entre SparkR 1.5 la versión de SparkR 2.0\n",
    "\n",
    "* Se ha cambiado la función ``table`` por ``tableToDF``.\n",
    "* La clase DataFram se ha sustituido por SparkDataFrame para evitar conflictos.\n",
    "* Ahora se usa sparkR.session() para arrancar la sesión con SparkR, en lugar de sparkR.init().\n",
    "* No se necesita un sparkContext para las funciones para crearDataFrame, read.json, cacheTables, read.df, ...\n",
    "* La función `registerTempTable` se ha reemplazado por `createOrReplaceTempView` para trabajar con SparkSQL.\n",
    "* La función `dropTempTable` se ha cambiado por `dropTempView`.\n",
    "\n",
    "### Software vivo y en continuo cambio\n",
    "\n",
    "* Es importante estar siempre informado de las mejoras y cambios que trae una u otra versión que se publica de SparkR, ya que posiblemente mejore aspectos como rendimiento, definiciones, flujos de trabajo, herramientas, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<HR>\n",
    "# Zona de pruebas del NOTEBOOK en SparkR\n",
    "![FooterSparkR](https://sites.google.com/site/manuparra/home/footer_SparkR_v2.png)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Escribe todas las pruebas en R que necesites a partir de aquí\n",
    "\n",
    "<HR>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "R",
   "language": "R",
   "name": "ir"
  },
  "language_info": {
   "codemirror_mode": "r",
   "file_extension": ".r",
   "mimetype": "text/x-r-source",
   "name": "R",
   "pygments_lexer": "r",
   "version": "3.3.1"
  },
  "nbpresent": {
   "slides": {},
   "themes": {
    "default": "e0e51597-5ca5-40be-84b2-d2bb41981c19",
    "theme": {
     "563b9d05-fb33-4f5d-88f7-bda098be8308": {
      "backgrounds": {
       "backgroundColor": {
        "background-color": "backgroundColor",
        "id": "backgroundColor"
       }
      },
      "id": "563b9d05-fb33-4f5d-88f7-bda098be8308",
      "palette": {
       "backgroundColor": {
        "id": "backgroundColor",
        "rgb": [
         34,
         34,
         34
        ]
       },
       "headingColor": {
        "id": "headingColor",
        "rgb": [
         238,
         238,
         238
        ]
       },
       "linkColor": {
        "id": "linkColor",
        "rgb": [
         170,
         34,
         51
        ]
       },
       "mainColor": {
        "id": "mainColor",
        "rgb": [
         238,
         238,
         238
        ]
       }
      },
      "rules": {
       "a": {
        "color": "linkColor"
       },
       "h1": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 7
       },
       "h2": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 5
       },
       "h3": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 3.75
       },
       "h4": {
        "color": "headingColor",
        "font-family": "Ubuntu",
        "font-size": 3
       },
       "h5": {
        "color": "headingColor",
        "font-family": "Ubuntu"
       },
       "h6": {
        "color": "headingColor",
        "font-family": "Ubuntu"
       },
       "h7": {
        "color": "headingColor",
        "font-family": "Ubuntu"
       },
       "li": {
        "color": "mainColor",
        "font-family": "Ubuntu",
        "font-size": 5
       },
       "p": {
        "color": "mainColor",
        "font-family": "Ubuntu",
        "font-size": 5
       }
      },
      "text-base": {
       "color": "mainColor",
       "font-family": "Ubuntu",
       "font-size": 5
      }
     },
     "e0e51597-5ca5-40be-84b2-d2bb41981c19": {
      "backgrounds": {
       "backgroundColor": {
        "background-color": "backgroundColor",
        "id": "backgroundColor"
       }
      },
      "id": "e0e51597-5ca5-40be-84b2-d2bb41981c19",
      "palette": {
       "backgroundColor": {
        "id": "backgroundColor",
        "rgb": [
         253,
         246,
         227
        ]
       },
       "headingColor": {
        "id": "headingColor",
        "rgb": [
         88,
         110,
         117
        ]
       },
       "linkColor": {
        "id": "linkColor",
        "rgb": [
         38,
         139,
         210
        ]
       },
       "mainColor": {
        "id": "mainColor",
        "rgb": [
         101,
         123,
         131
        ]
       }
      },
      "rules": {
       "a": {
        "color": "linkColor"
       },
       "h1": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 7
       },
       "h2": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 5
       },
       "h3": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 3.75
       },
       "h4": {
        "color": "headingColor",
        "font-family": "Oswald",
        "font-size": 3
       },
       "h5": {
        "color": "headingColor",
        "font-family": "Oswald"
       },
       "h6": {
        "color": "headingColor",
        "font-family": "Oswald"
       },
       "h7": {
        "color": "headingColor",
        "font-family": "Oswald"
       },
       "li": {
        "color": "mainColor",
        "font-family": "Lato",
        "font-size": 5
       },
       "p": {
        "color": "mainColor",
        "font-family": "Lato",
        "font-size": 5
       }
      },
      "text-base": {
       "color": "mainColor",
       "font-family": "Lato",
       "font-size": 5
      }
     }
    }
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}