Rating prediction with sklearn.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "import scipy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/sklearn/cross_validation.py:44: DeprecationWarning: This module was deprecated in version 0.18 in favor of the model_selection module into which all the refactored classes and functions are moved. Also note that the interface of the new CV iterators are different from that of this module. This module will be removed in 0.20.\n",
      "  \"This module will be removed in 0.20.\", DeprecationWarning)\n"
     ]
    }
   ],
   "source": [
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "\n",
    "from sklearn.metrics import classification_report\n",
    "from sklearn.linear_model import ElasticNet, LinearRegression\n",
    "from sklearn.linear_model import LogisticRegression\n",
    "from sklearn.metrics import mean_squared_error, mean_absolute_error, confusion_matrix\n",
    "from sklearn.naive_bayes import MultinomialNB\n",
    "from sklearn.neural_network import MLPClassifier, MLPRegressor\n",
    "\n",
    "from sklearn.ensemble import GradientBoostingRegressor, GradientBoostingClassifier\n",
    "from sklearn.cross_validation import  train_test_split"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "import functools"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "import pymystem3\n",
    "import json\n",
    "import re\n",
    "mystem = pymystem3.Mystem()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "_id,context_id,label,text,likes,rating\n",
      "\n"
     ]
    }
   ],
   "source": [
    "X = []\n",
    "R = []\n",
    "with open('dz4/big_train.csv', 'r') as f:\n",
    "    print(f.readline())\n",
    "    for line in f:\n",
    "        data = line.strip().split(',')\n",
    "        _id,context_id,label,text,likes,rating = data\n",
    "\n",
    "        if rating == 'n/a':\n",
    "            continue\n",
    "        R.append(int(rating))\n",
    "        X.append(text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/sklearn/feature_extraction/text.py:1059: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.\n",
      "  if hasattr(X, 'dtype') and np.issubdtype(X.dtype, np.float):\n"
     ]
    }
   ],
   "source": [
    "vec = TfidfVectorizer(min_df=12, max_df=0.8)\n",
    "_X = vec.fit_transform(X)\n",
    "X_train, X_test, Y_train, Y_test = train_test_split(_X, R, test_size=0.5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "clf = LogisticRegression(C=10)\n",
    "clf.fit(X_train, Y_train)\n",
    "Y_pred = clf.predict(X_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "             precision    recall  f1-score   support\n",
      "\n",
      "          1       0.58      0.49      0.53      3064\n",
      "          2       0.39      0.22      0.28      2841\n",
      "          3       0.39      0.30      0.33      3881\n",
      "          4       0.43      0.30      0.35      6429\n",
      "          5       0.80      0.94      0.87     25820\n",
      "\n",
      "avg / total       0.66      0.70      0.67     42035\n",
      "\n",
      "0.9242535981919828\n",
      "0.4583085523968122\n"
     ]
    }
   ],
   "source": [
    "print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "inverse_voc = {_id:word for (word,_id) in vec.vocabulary_.items()}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Рейтинг 5\n",
      "вкусно, вкусные, спасибо, вполне, радует, звезды, вкусный, отличное, отличная, понравилось, целом, восторге, хорошая, очень, музыка, вкусная, вкусное, ставлю, быстро, высоте, удобно, довольна, отлично, доволен, выбор, но, достаточно, десерты, обязательно, хорошо, правда, оторваться, отличный, особенно, приятно, первые, понравился, интерьер, немного, минусов, порадовала, отличные, подарок, небольшой, часто, бывает, уютное, нареканий, рады, остальном, некоторые, лучших, тонкая, смотря, жизни, ты, восторг, сытно, респект, вежливый, хорошее, удовольствием, довольны, формата, минусы, кофейне, чисто, брать, взгляд, приветливый, нравится, хорошем, прекрасная, несмотря, помню, уютно, круто, приятные, порадовал, состояние, здорово, мир, благодаря, лучшая, читаю, твердая, пока, неплохой, всем, весьма, еще, хороший, супер, бургеры, бонусы, большинство, обожаю, гриле, касается, выпить\n",
      "\n",
      "Рейтинг 4\n",
      "обязательно, спасибо, вкусно, хорошее, рекомендую, всегда, отлично, молодцы, отличный, жизнь, отличное, целом, столиков, книга, минусов, отличная, нравится, всем, чаще, продолжение, приятно, вкусные, восторге, столика, меру, огромный, приятное, правда, немного, особенно, атмосфера, новый, живая, идеально, вишней, моя, оторваться, следующий, также, откровенно, встречала, вина, порадовали, происходит, суши, пожалели, жизни, приносит, легко, сесть, изначально, радуют, удовольствием, внимание, прекрасный, замечательная, удобные, супа, оценку, огромное, разнообразное, запомнила, прочитала, поняли, отметить, минус, представилась, главное, кассой, стойкой, милые, сын, глинтвейн, ваших, полезной, 350, жарят, хорошие, настоятельно, понравился, огонь, обычно, майонез, мою, ура, моментально, ризотто, красиво, радовать, всяких, получении, дыхании, твердую, понравились, обожаю, поставили, приятный, среднего, разумеется, вполне\n",
      "\n",
      "Рейтинг 3\n",
      "рекомендую, спасибо, ногой, придем, удовольствием, отличное, приятно, обязательно, греческий, нашего, советую, прекрасное, оторваться, единственное, разу, дочка, ужас, всем, очередной, хороший, вкусно, располагает, однозначно, четверку, приходили, покупки, прекрасно, домашнему, отличный, приятное, место, отдельной, кинга, жалко, баллов, замечательная, карточки, замечательное, пожалеете, уют, обслуживать, екатеринбурге, угодно, простое, прекрасная, подводя, захватывает, шоке, кстати, прав, никогда, прекрасна, поразило, потрясающе, плотная, тортики, сегодняшний, положительное, видя, классно, ужасно, естественно, терпеть, достойное, читайте, закончилась, старая, доволен, никто, екатеринбурга, отвратительное, удобный, верхней, молча, обожаю, листья, дворе, отвратительно, лучших, ровно, клиент, помогла, обещала, продолжения, ммм, филиале, зелени, замечательно, пусто, качественно, выходной, вкусного, помочь, пена, искала, думая, летом, дело, проходил, рук\n",
      "\n",
      "Рейтинг 2\n",
      "пойду, никому, проходить, рекомендую, ногой, ждал, помимо, капуста, женой, солянка, чайничек, моей, замечательное, очередная, требует, повод, настолько, реально, кошмар, читателей, наклейками, заслуживают, алкогольных, искренне, пойдет, живем, рыбный, денег, мероприятия, начиная, тройку, пятерка, нравилось, режим, обнаружено, курили, испортить, возвращаться, существуют, прекрасен, полная, молчу, внимательно, спасибо, изумительные, отвратительные, фото, желание, замену, предупредить, продавец, проходил, прождали, жидкий, любимых, низкой, четко, дочитал, взрослым, великолепны, замечательном, вишня, высший, крафтовое, грязные, интерьера, горячего, посчитали, пять, подругу, забыли, учится, свадьбы, рисовать, плотной, фавориты, маленькую, тёмное, жаловаться, спорю, собственной, грибов, обязательно, огромной, диванах, грязный, внимательные, чайниках, 08, школа, оттуда, показали, комментарии, страница, возможным, образуется, рабочие, курс, рассказ, речь\n",
      "\n",
      "Рейтинг 1\n",
      "неприятно, звезды, разочарование, ужасное, троечку, четверку, четвёрка, не, ужасно, четверка, странная, разочаровала, разочарована, зачем, испорчено, ужасный, обидно, ногой, скучная, отказ, невкусный, отвратительное, факту, увы, отвратительно, расстроила, хочеться, ужасен, несли, запах, балла, плохо, слишком, закончилось, вцелом, видимо, особого, сухие, ужасная, но, желания, медленное, приборы, невкусно, сожалению, вместо, балл, никакого, снизила, отсутствует, четверочка, четвёрочку, отвратительная, неприятный, восторга, странное, неплохое, поставила, минус, желать, описывается, представляет, вряд, управления, издательство, целом, отвратительный, крошки, трудом, мелкий, печально, испортили, ели, извините, комнатах, сделайте, расстраивает, плечами, поверхностно, увлекла, безвкусный, празднования, испортить, пойду, шаурмы, меры, устарело, посетим, ссылки, заказы, расстроил, хромает, молодежи, непонятно, впечатление, роллах, столовой, ужас, громкая, посредственно\n",
      "\n"
     ]
    }
   ],
   "source": [
    "for i in range(5):\n",
    "    print('Рейтинг',5-i)\n",
    "    print(', '.join([inverse_voc[idx]  for idx in clf.coef_[i].argsort()[:100]])+'\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "def preprocessing(word_sequence):\n",
    "    # сливаем не и ни с предыдущим словом\n",
    "    last_word = ''\n",
    "    target_word = ('не','ни')\n",
    "    \n",
    "    for word in word_sequence:\n",
    "        if last_word in target_word:\n",
    "            yield last_word+'_'+word\n",
    "        else:\n",
    "            if not word in target_word:\n",
    "                yield word\n",
    "        last_word = word\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['ни_мог',\n",
       " 'не_приодалеть',\n",
       " 'препятствие',\n",
       " 'не_не',\n",
       " 'не_не',\n",
       " 'не_нет',\n",
       " 'девид',\n",
       " 'блейн',\n",
       " 'нет']"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "[i for i in preprocessing('ни мог не приодалеть препятствие не не не нет девид блейн нет'.split())]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "_X = [' '.join(preprocessing(text.lower().split())) for text in X]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/sklearn/feature_extraction/text.py:1059: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.\n",
      "  if hasattr(X, 'dtype') and np.issubdtype(X.dtype, np.float):\n"
     ]
    }
   ],
   "source": [
    "vec = TfidfVectorizer(min_df=12, max_df=0.8)\n",
    "_X2 = vec.fit_transform(_X)\n",
    "X_train, X_test, Y_train, Y_test = train_test_split(_X2, R, test_size=0.5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "clf = LogisticRegression(C=10)\n",
    "clf.fit(X_train, Y_train)\n",
    "Y_pred = clf.predict(X_test)\n",
    "print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "             precision    recall  f1-score   support\n",
      "\n",
      "          1       0.57      0.51      0.54      2979\n",
      "          2       0.40      0.24      0.30      2789\n",
      "          3       0.41      0.29      0.34      3987\n",
      "          4       0.43      0.33      0.37      6373\n",
      "          5       0.81      0.94      0.87     25907\n",
      "\n",
      "avg / total       0.67      0.71      0.68     42035\n",
      "\n",
      "0.865350303318663\n",
      "0.4408944926846675\n"
     ]
    }
   ],
   "source": [
    "print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Рейтинг 5\n",
      "вкусные, рекомендую, вкусно, понравилось, целом, отличная, очень, вкусное, нравится, спасибо, звезды, вкусная, люблю, понравилась, понравился, вкусный, правда, уютно, вполне, приятно, советую, отличное, восторге, но, понравились, особенно, удобно, музыка, ставлю, радует, атмосфера, довольна, быстро, проблем, небольшой, интересные, высоте, здорово, обязательно, обслуживал, отличный, понять, всегда, первые, отлично, претензий, приветливый, удовольствие, немного, оторваться, не_совсем, дыхании, интересный, неудобно, действительно, супер, приятное, хорошая, хорошо, хорошем, лучших, течение, круто, достаточно, делает, полезна, подарок, замечаний, своем, легко, первой, каждого, интерьер, вернусь, выбор, скажу, не_плохо, респект, другими, приятная, любимый, каждый, подача, лучшая, кальян, здесь, вежливый, окна, порадовала, приняла, минусов, для, детства, блюда, простая, порции, отличные, некоторые, потому, прекрасно\n",
      "\n",
      "Рейтинг 4\n",
      "рекомендую, вкусно, спасибо, хорошее, обязательно, отличное, советую, вкусные, порадовало, отлично, жизнь, отличный, нравится, прекрасный, довольны, вкусный, понравился, немного, спокойно, жизни, приятно, минусов, лучшая, вкусная, радует, интересно, понравилось, образом, чаще, всегда, замечательная, скидку, лучшее, случайно, приятный, понравилась, большие, приятная, благодаря, наша, не_видели, подарок, понравились, всем, живая, положили, формат, тонком, прочитала, замечательное, несмотря, обычно, уютное, вежливые, приносит, поняли, недорого, легко, литра, дыхании, креветками, меру, довольна, папа, обожаю, гарниры, никому, предупредили, мастер, чудо, этих, осилила, играла, ребёнок, бизнесе, происходит, муж, баллов, вишней, колбасы, стоят, отличная, редко, не_помню, невероятно, особенно, ни_ногой, слегка, приехал, десерты, нравятся, тихо, прекрасная, кажется, доволен, жалоб, побольше, получается, случая, каждый\n",
      "\n",
      "Рейтинг 3\n",
      "рекомендую, удовольствием, спасибо, обязательно, отличное, понравилось, вкусно, молодцы, советую, нашего, отличная, ни_ногой, круто, приятные, не_ногой, всем, не_пробовала, приятное, дыхании, городе, хватает, написать, очередной, достойный, плотная, жутко, удобный, понравилась, карта, ммм, лучших, не_советую, забегаловка, прекрасное, взяли, понимаешь, рук, екатеринбурге, танцпол, высоте, приятная, единственный, сказка, отличный, приходишь, процветания, не_радовать, хочет, зашёл, подарок, приятно, ужас, четверка, замечательно, форме, интересом, лапша, платье, нашла, обожаю, совет, вашими, не_пожалела, душевно, полотенца, заходить, увлекательно, чебуреки, не_только, восторге, отвратительно, события, потрясающе, понимание, рада, благодарность, угодно, планирую, вперед, живой, летней, сомнения, портить, испорченный, прекрасно, доволен, мясная, замечательная, удивительно, курицу, четверку, негатив, отчего, облепиховый, нежная, сфере, очень, дочке, удобное, шоке\n",
      "\n",
      "Рейтинг 2\n",
      "ни_ногой, не_пойду, рекомендую, ужасное, не_приду, моей, принять, спасибо, возвращаться, потрясающе, восхитительно, не_видела, абсолютно, зовут, отвратительное, зря, не_вкусно, линии, похвал, минуты, собственной, неизменно, обязательно, отзывы, звезд, не_рекомендую, молчу, великолепное, не_вижу, забегаловка, сказок, не_советую, извинений, всем, описать, начиная, повод, приличного, вкуснейший, любимое, замечательном, продолжайте, самые, принёс, высший, чайничек, рекомендовать, мамой, благодарю, интерьеру, заехали, длительное, успехов, не_жалею, обожаю, годы, самую, сливок, приехали, 500, пожалела, похвалы, выбирала, выпечкой, теперь, жидкий, помимо, решения, фу, салатом, гаргантюа, желании, душой, испортить, грязные, пирог, мес, почитайте, не_низкие, горячая, тарелки, не_пойдем, айленд, троечку, чудесное, администраторы, сложилось, ароматный, отдельно, плед, продукты, чистая, ужасный, технической, держать, поехали, находить, не_пошла, привести, думал\n",
      "\n",
      "Рейтинг 1\n",
      "разочарование, неприятно, не_рекомендую, не_понравилась, звезды, разочарована, четверка, снижаю, разочаровала, не_самая, ужасно, восторга, не_советую, балла, не_очень, печально, не_понравилось, зачем, ни_ногой, не_стоит, троечку, ни_о, куплена, увы, счастьем, отвратительное, но, не_плохая, четверку, вряд, не_пойду, разочаровывает, сожалению, видимо, явно, не_вкусно, ожидала, никакого, запах, разочаровал, недостаточно, ужасный, странная, ошибки, неплохое, четвёрка, не_более, отвратительный, плохое, разочаровало, фу, итоге, разочарован, боюсь, отвратительно, скучная, не_всегда, хуже, не_стала, забывают, неплохо, слишком, факту, не_тратьте, подросткам, снизила, ужасное, не_зацепило, жуткий, не_думаю, неяркие, испорчено, минус, разочаровали, не_особо, кошмар, расстраивает, посредственная, целом, простите, маргариту, ужасная, отравление, ужасен, ушла, завышен, не_хватило, завышена, испортили, неприятный, особого, невкусно, портят, медленное, простенькая, не_приятно, обидно, вместо, неуютно, поработать\n",
      "\n"
     ]
    }
   ],
   "source": [
    "inverse_voc = {_id:word for (word,_id) in vec.vocabulary_.items()}\n",
    "for i in range(5):\n",
    "    print('Рейтинг',5-i)\n",
    "    print(', '.join([inverse_voc[idx]  for idx in clf.coef_[i].argsort()[:100]])+'\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "en_reg = ElasticNet(alpha=0.0001, l1_ratio=0.5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "en_reg.fit(X_train , Y_train)\n",
    "Y_pred = en_reg.predict(X_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.9187469520137104\n",
      "0.7248434986475798\n"
     ]
    }
   ],
   "source": [
    "print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "zero_index = en_reg.coef_==0\n",
    "nonzero_index = en_reg.coef_!=0"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['dz4_tfidf_nonzero_index_mask.pck']"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "joblib.dump(nonzero_index, 'dz4_tfidf_nonzero_index_mask.pck')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true,
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "000, 007, 01, 02, 033, 05, 05л, 07, 100, 1000, 1000р, 100500, 100гр, 100р, 101, 105, 109, 10ти, 110, 1100, 110р, 115, 119, 12, 120, 1200, 120р, 125, 129, 13, 130, 1300, 130р, 135, 140, 1400, 140р, 145, 146, 149, 150, 1500р, 150р, 155, 159, 16, 160, 1600, 160р, 165, 169, 17, 170, 1700, 170р, 175, 179, 180, 1800, 180р, 185, 189, 190, 1900, 1905, 190р, 1929, 195, 1984, 199, 1990, 1991, 1999, 199р, 1г, 1го, 1й, 1л, 1час, 2000, 2000р, 2001, 2002, 2003, 2005, 2006, 2007, 2009, 200гр, 200мл, 200р, 2010, 2011, 2012, 2015, 2015г, 2016г, 2017г, 2035, 205, 209, 210, 210р, 215, 220, 2200, 220р, 225, 230, 230р, 235, 24, 240, 240р, 245, 25, 250, 2500, 250гр, 250мл, 250р, 255, 26, 260, 260р, 27, 270, 270р, 275, 280, 280р, 29, 290, 290р, 295, 299, 2gis, 2г, 2гис, 2й, 2м, 2ом, 2х, 300, 3000, 300мл, 300р, 30р, 31, 310, 32, 320, 320р, 33, 330, 34, 340, 3500, 350р, 36, 360, 365, 37, 370, 38, 380, 39, 390, 390р, 395, 3d, 3й, 3х, 400, 4000, 400гр, 400мл, 400р, 40р, 41, 410, 42, 420, 43, 430, 44, 440, 45, 450, 4500, 450р, 46, 460, 47, 470, 480, 49, 490, 4ка, 4ку, 4х, 50, 500, 5000, 500мл, 500р, 500руб, 50р, 51, 52, 54, 55, 550, 550р, 56, 560, 57, 58, 59, 590, 5ка, 5ку, 5ти, 600, 6000, 600р, 60р, 62, 63, 64, 65, 650, 66, 660, 67, 69, 700, 7000, 700р, 70р, 72, 74, 75, 750, 77, 79, 7ми, 80, 800, 800р, 80р, 85, 850, 8500, 850р, 89, 900, 90р, 90х, 95, 95р, 96, 98, 99, 99р, __, ___, al, ale, all, alliance, american, an, and, apple, are, at, bbq, be, beer, ben, berry, best, big, black, book, boomdonuts, box, brugge, brut, bukowski, burger, business, but, by, cafe, can, carbonara, city, club, coffe, coffeeshop, com, company, context, css, cup, daddy, dance, dc, de, dente, detail, diner, dj, done, donna, donuts, dvd, eat, ekaterinburg, end, engels, etc, ever, facebook, fashioned, fast, fi, flamp, food, for, foursquare, free, friday, fridays, friends, gertz, go, good, google, gourmet, green, grill, grott, had, hall, happy, hard, have, heroes, hot, house, how, hr, html, http, https, id, ii, il, in, instagram, intouch, ipa, is, it, jane, jaws, kfc, killfish, king, kitchen, kumon, la, life, like, live, lonely, lounge, love, lt, maccheroni, mail, market, maximilians, mcdonald, me, medium, mia, modern, mojo, music, my, new, no, not, of, old, olia, olivia, on, one, ozon, pab, pale, pan, papa, party, pdf, pepperoni, ping, pingpong, pizza, place, planet, plov, pong, pr, pre, project, pub, python, rare, read, red, restaurant, rock, room, rosy, royal, sisters, smm, so, sorriso, star, stout, street, su, subway, take, talk, tesla, that, there, they, this, time, times, to, true, try, udc, up, ve, very, vip, visit, vk, was, wc, welcome, well, white, wi, wifi, windows, with, wok, wtf, www, xd, xix, xl, xx, xxi, xxl, yankee, you, your, youtube, zappos, а3, а4, а5, ааа, аааа, ааааа, абажуры, абзац, абзаца, абзацев, абсент, абсолютная, абсолютное, абсолютной, абсолютный, абсолютным, абстрагироваться, абсурд, абсурда, абы, авакадо, авансом, август, августа, августе, авокадо, авось, авто, автобиографии, автобиография, автобус, автобуса, автобусе, автовокзала, автограф, автомат, автомата, автомате, автоматически, автоматов, автоматом, автоматы, автомобилей, автомобили, автомобиль, автомобиля, авторам, авторами, авторе, авторитет, авторов, автором, авторская, авторские, авторский, авторским, авторскими, авторских, авторского, авторское, авторской, авторском, авторскую, автору, агава, агаве, агаву, агата, агента, агентства, агрессивно, агрессии, агрессия, ад, ада, адаптации, адаптация, адаптирована, адаптировано, адаптировать, адекватен, адекватная, адекватно, адекватного, адекватное, адекватной, адекватном, адекватную, адекватны, адекватным, адекватными, адекватных, аджарски, аджику, админ, админа, администраторам, администраторов, администратором, администратору, администраторы, администрации, администрацию, адреса, адресам, адресе, адресована, адски, адский, аду, аж, ажиотаж, ажиотажа, азарт, азбуке, азбуки, азбуку, азиатская, азиатский, азиатских, азиатской, азиатскую, азии, азия, азов, азы, аида, ай, айленд, айн, айран, айриш, айс, айсберг, айсберга, академа, академе, академии, академический, академического, академическом, акварели, аквариум, аквариуме, аки, аккомпанемент, аккурат, аккуратная, аккуратнее, аккуратненько, аккуратное, аккуратность, аккуратны, аккуратный, аксессуары, акт, актера, актеров, актеры, активировать, активная, активнее, активно, активного, активное, активной, активности, активность, активные, активный, активным, активных, актрисы, актуальна, актуальная, актуально, актуальной, актуальности, актуальность, актуальны, актуальные, актуальный, акунин, акунина, акустика, акцент, акцентов, акцентом, акценты, акцией, акций, акционные, акцию, акциям, акциями, акциях, алана, алатыре, алатырь, алгоритм, алгоритмов, алгоритмы, александр, александре, александром, александру, алексей, алексею, алексея, алена, алены, али, алиби, алина, алиса, алисе, алису, алисы, алко, алкоголе, алкоголем, алкоголь, алкогольная, алкогольного, алкогольное, алкогольной, алкогольную, алкогольные, алкогольный, алкогольным, алкогольными, алкогольных, алкоголю, алкоголя, аллен, аллена, аллергии, аллергия, алфавит, алфавитный, аль, альбома, альбоме, альбомов, альбому, альбомчик, альбомы, альденте, альпина, альпины, альтернатив, альтернатива, альтернативные, альтернативный, альтернативных, альтернативу, альтернативы, аля, алёна, ам, амаретто, амбиций, америка, американ, американец, американка, американо, американская, американски, американские, американский, американским, американскими, американских, американское, американской, американском, американскому, американскую, американцев, американцы, америке, америки, америку, амундсена, ан, анализ, анализа, анализировать, анализирует, анализом, анализу, анализы, аналитика, аналог, аналога, аналоги, аналогии, аналогичная, аналогично, аналогичного, аналогичное, аналогичные, аналогичный, аналогичным, аналогичными, аналогичных, аналогов, ананас, ананаса, ананасами, ананасовый, ананасом, ананасы, анастасии, анастасию, анатомии, ангел, ангела, ангелов, англ, англии, английская, английски, английские, английский, английским, английских, английского, английское, английской, английском, английскому, английскую, англичан, англия, андрей, андрею, андрея, анекдот, анекдотов, анекдоты, анжелы, аниматор, аниматора, аниматоры, анкету, анкеты, анна, анне, аннотации, аннотацию, анну, анны, ансамбль, антее, антей, анти, антисанитария, антон, антона, антону, антураж, антуража, антуражем, антуражу, анчоусами, аншлаг, аншлага, аня, ап, апельсин, апельсина, апельсинами, апельсиново, апельсинового, апельсиновой, апельсиновый, апельсиновым, апельсином, аперитив, аперитива, апероль, аплодисменты, апогеем, апофеозом, аппарат, аппарата, аппаратура, аппетита, аппетитная, аппетитнее, аппетитно, аппетитное, аппетитной, аппетитную, аппетитные, аппетитный, аппетитным, аппетитными, аппетитных, аппетитом, аппликации, апреле, апреля, априори, арахис, арахиса, арахисом, арбат, арбата, арбате, арбату, арбуз, арбуза, арбузный, арбузом, аргумент, аргументируя, аргументов, аргументом, аргументы, аренда, арендовали, арендовать, аренду, аренды, аркадия, арку, армении, армии, армию, армия, армянское, аромата, ароматами, ароматная, ароматно, ароматного, ароматное, ароматной, ароматные, ароматным, ароматными, ароматов, ароматом, ароматы, арт, артем, артему, артист, артиста, артистов, артисты, артур, артура, артём, архангельского, архитектор, архитектура, архитектуре, архитектуры, аспект, аспектам, аспектах, аспекте, аспектов, аспекты, ассам, ассортимента, ассортименте, ассортиментом, ассортименту, ассоциации, ассоциаций, ассоциация, ассоциируется, аст, асти, астрид, астрономии, ася, атас, атлант, атлас, атмосфере, атмосферная, атмосферности, атмосферность, атмосферные, атмосферный, атмосферы, атрибутика, атрибутики, атрибутов, атрибуты, аттракцион, ау, аудио, аудиокнигу, аудиторией, аудитории, аудиторию, аудитория, аура, аутентичная, аутентично, аутентичное, аутентичной, аутентичности, аутентичность, аутентичные, аутентичный, афиши, афишу, афоризмов, африке, африки, ах, ахерн, ахтунг, аэропорт, аэропорта, аэропорту, ая, ба, баба, бабл, бабло, бабочек, бабочка, бабочки, бабули, бабуля, бабушек, бабушка, бабушкам, бабушке, бабушки, бабушкин, бабушкой, бабушку, бабы, баварская, баварские, баварский, багаж, багет, багета, багетом, бадриджани, бажова, база, базар, базе, базилик, базилика, базиликом, базовая, базовые, базовых, базу, базы, байки, баклажан, баклажана, баклажанами, баклажанов, баклажаном, баклажаны, бал, бала, баланс, баланса, балкан, балканский, балкон, балкона, балконе, балкончик, баллами, баллы, балов, баловать, балтика, балтимор, балую, балы, бальзам, бальзамический, бальной, банален, банальная, банально, банальное, банальной, банальностей, банальны, банальный, банальным, банальных, банан, банана, бананами, бананов, бананово, банановый, банановым, бананом, бананы, бане, бани, банк, банка, банках, банке, банкет, банкета, банкете, банкетного, банкетное, банкетном, банкетный, банкетов, банкетом, банкеты, банки, банковской, банком, банкомат, банкомата, банку, баннер, банок, баночек, баночка, баночках, баночке, баночки, баночку, бань, баню, баня, барабанная, барам, баранина, бараниной, баранину, баранины, бараньи, барах, барашка, барбара, барбары, баре, баристе, баристы, бармен, барменам, барменами, барменов, барменом, бармену, бармены, барная, барное, барной, барном, барную, барные, барными, барных, баров, баром, барто, бару, бархат, барчик, бары, барышень, барышни, барышня, баскет, басни, бассейн, бассейна, бассейне, бассейном, батат, батон, батончики, батут, баумана, баунти, башне, башни, башню, башня, бе, беатрис, бег, бегает, бегал, бегала, бегали, бегать, бегают, бегающие, беги, бегите, бегло, бегом, беготни, беготня, бегу, бегут, бедная, бедно, бедного, бедной, бедную, бедные, бедный, бедным, бедных, беды, бежала, бежали, бежит, бежишь, безалкогольного, безалкогольное, безалкогольные, безалкогольный, безалкогольным, безалкогольных, безбожно, безвкусное, безвкусной, безвкусную, безвкусным, безвкусными, безвозвратно, бездну, безе, безжалостно, безлимит, безмерно, безнадежно, безнал, безнала, безналичного, безналичный, безналом, безналу, безо, безобразие, безобразия, безобразно, безоговорочно, безопасно, безопасности, безопасность, безошибочно, безразличие, безразлично, безудержного, безукоризненно, безумие, безумия, безумное, безумные, безумный, безумных, безупречен, безупречна, безупречная, безупречно, безупречное, безупречный, безупречным, безусловный, безуспешно, безысходности, бейдж, бейджа, бейдже, бейджик, бейджика, бейджике, бейлиз, бекон, бекона, беконе, беконом, белинского, белка, белки, белковым, белла, бело, белого, белое, белой, белок, белом, белому, белореченской, белорусского, белорусской, белоснежная, белоснежные, белую, белые, белым, белыми, белых, бельгии, бельгийские, бельгийский, бельгийского, бельгийское, белье, белья, бен, бенедикт, бенуа, бергамотом, берег, берега, берегите, берегу, бережно, березовский, березовском, беременная, беременной, беременности, беременность, беременным, беременных, берет, берете, берется, беречь, берешь, бери, берн, берри, берут, берутся, берём, берёт, берёте, берёшь, бесед, беседа, беседам, беседе, беседка, беседке, беседки, беседку, беседовали, беседовать, беседой, беседок, беседу, беседы, бесконечная, бесконечное, бесконечности, бесконечные, бесконечный, бесконечных, бесплатная, бесплатно, бесплатного, бесплатное, бесплатной, бесплатную, бесплатные, бесплатный, бесплатным, бесплатных, бесповоротно, бесподобен, бесподобна, бесподобная, бесподобно, бесподобное, бесподобны, бесподобные, бесподобный, беспокоит, бесполезно, бесполезные, беспредел, беспроигрышный, бесследно, бессмысленно, бесспорно, бестселлер, бестселлера, бестселлеров, бестселлером, бесценно, бесценный, бесят, бефстроганов, бешеной, бешеные, би, библией, библии, библиотека, библиотеке, библиотеки, библиотеку, библию, библия, бигмак, бизнесах, бизнесланч, бизнесмен, бизнесмена, бизнесменам, бизнесменов, бизнесмены, бизнесов, бизнесом, бизнесс, бизнесу, бизнесы, билет, билета, билетов, билеты, билли, бильярд, бильярда, бильярде, бильярдный, бильярдных, бильярдом, биографией, биографии, биографию, биография, биолог, биологии, бирже, бирки, бисквит, бисквита, бистро, битва, битве, битву, битвы, битком, битые, бить, биться, биф, бифштекс, бич, бишь, бл, благ, блага, благо, благодарен, благодарим, благодарить, благодарна, благодарностью, благодарны, благодарных, благополучия, благополучно, благородно, благородной, благородный, благородных, блаженства, блаженство, бланка, бланш, бледно, бледные, бледный, блек, блеск, блеска, блестит, блестящая, блестяще, блестящий, ближайшая, ближайшего, ближайшее, ближайшей, ближайшем, ближайшие, ближайший, ближайшим, ближайших, ближайшую, ближнего, близ, близка, близки, близкие, близкий, близким, близкими, близких, близкого, близкое, близлежащих, близок, близости, близость, блина, блинами, блинная, блинный, блинных, блинов, блином, блинчик, блинчика, блинчиками, блинчиках, блинчики, блинчиков, блог, блога, блоге, блок, блока, блоками, блоки, блокнота, блокноте, блокнотик, блокнотом, блокноты, блондинка, блэк, блю, блюдам, блюдами, блюдах, блюде, блюдечке, блюдом, блюду, блюдце, блюз, бо, боб, боба, бога, богат, богата, богатая, богато, богатого, богатое, богатой, богатства, богатство, богатые, богатый, богатым, богатых, богаче, боге, боги, богов, богом, богу, бодрая, бодрит, бодро, бодрого, бодрости, бодрые, бодрый, бодрящий, боевой, божественен, божественная, божественного, божественное, божественной, божественны, божественные, божественным, божечки, боимся, боитесь, боится, боишься, бой, бойко, бок, бока, бокал, бокала, бокалам, бокалами, бокалах, бокале, бокалов, бокалом, бокалу, бокалы, бокальчик, бокальчиком, бокам, боком, бокс, боксы, боку, болгарский, болгарским, болгарского, боле, болезней, болезни, болезнь, болезнью, болела, болели, болельщиков, болеть, боли, болит, болоньезе, болтаем, болтает, болтаешь, болтали, болтать, болтают, болтовни, болтовня, боль, больная, больнице, больницу, больницы, больно, больного, больной, больным, больных, большакова, большее, большей, большем, большему, большечем, больший, большими, большинства, большинстве, большинство, большинством, большинству, больших, большого, большом, большому, большущая, большущий, большую, болью, бомбический, бомжей, бон, бонуса, бонусами, бонусная, бонусной, бонусную, бонусные, бонусных, бонусом, бонусы, бордо, борется, борис, бориса, борода, бородатый, бородинским, бородой, бороться, бортом, борща, борще, борщей, борщи, борщом, борщу, борьба, борьбе, борьбу, борьбы, ботанике, ботаники, боулинге, бочек, бочке, бочки, бочку, боя, боялась, боялись, боялся, боясь, боятся, бояться, брак, брака, браком, брали, бранч, браслет, браслетики, браслеты, брат, брата, братом, брату, братьев, браться, братья, брауна, брауни, бредом, бренда, бренди, брендов, брендом, бренды, британии, британский, британских, британского, бродить, бродский, бродского, брокколи, брони, бронировала, бронировали, бронирование, бронированием, бронировании, бронирования, бронируем, бронируйте, бронируют, бронью, бросает, бросается, бросал, бросала, бросали, бросать, бросают, бросаются, бросив, бросил, бросила, бросилась, бросили, бросились, бросилось, бросился, брошюра, брошюры, брр, бррр, брускет, брускетт, брускетта, брускетту, брускетты, брускеты, брусникой, брусничный, брусничным, брутально, брутальный, брызги, брынза, брынзой, брюгге, брюки, брюле, брюнетка, брют, бубновского, буд, буддизма, будешь, будит, будке, буднего, будней, будни, будние, будний, будничный, будням, будоражит, будучи, будущего, будущее, будущей, будущему, будущие, будущий, будущим, будущих, будь, буженина, бужениной, буйство, букв, буква, буквальном, буквам, буквами, букварь, букварю, букваря, букве, буквой, букву, букет, букетом, буклет, буковский, буковском, булка, булками, булке, булки, булкой, булку, булок, булочек, булочка, булочками, булочке, булочкой, булочку, бульвар, бульваре, бульон, бульона, бульоне, бульоном, бульончик, бум, бумага, бумаге, бумаги, бумагой, бумагу, бумажек, бумажка, бумажки, бумажку, бумажная, бумажного, бумажное, бумажной, бумажном, бумажную, бумажные, бумажный, бумажными, бумажных, бурбон, бургера, бургерам, бургерах, бургерная, бургерной, бургерную, бургерных, бургером, бургеру, бурито, бурно, буррито, бурю, буря, бутер, бутерброд, бутербродов, бутерброды, бутылка, бутылкам, бутылками, бутылках, бутылке, бутылки, бутылкой, бутылку, бутылок, бутылочек, бутылочка, бутылочках, бутылочке, бутылочки, бутылочкой, бутылочку, бутылочного, бутылочное, буузы, буфет, бухать, бц, бываем, бывает, бывал, бывала, бывали, бывало, бывать, бывая, бывшая, бывшего, бывшей, бывшем, бывшие, бывший, бывших, быдла, быдло, быка, былого, былой, былые, былых, быстр, быстрее, быстрей, быстренько, быстрого, быстрой, быстром, быстрому, быстрота, быстроту, быструю, быстры, быстрые, быстрым, быстрых, быт, быта, бытия, бытовой, бытовом, бытовые, бытовых, быту, бьет, бьют, бюджет, бюджета, бюджетно, бюджетного, бюджетное, бюджетные, бюджетный, бюджетных, бюджетом, ва, ваби, вагон, вадим, вадима, важен, важна, важная, важнее, важного, важной, важном, важности, важность, важную, важны, важные, важный, важными, важных, вазу, вазы, вай, вайнера, вайфай, вайфая, вакууме, валентина, валерии, валерий\n",
      "\n"
     ]
    }
   ],
   "source": [
    "print(', '.join([inverse_voc[idx] for idx in np.arange(len(zero_index))[zero_index][:2000]])+'\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "# _en_reg = ElasticNet(alpha=0.0001, l1_ratio=0.7)\n",
    "# _en_reg.fit(X_train[:,nonzero_index] , Y_train)\n",
    "# Y_pred = _en_reg.predict(X_test[:,nonzero_index])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "# print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "# print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "vec_bigramm = TfidfVectorizer(min_df=12, max_df=0.8, ngram_range=(2,2))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/sklearn/feature_extraction/text.py:1059: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.\n",
      "  if hasattr(X, 'dtype') and np.issubdtype(X.dtype, np.float):\n"
     ]
    }
   ],
   "source": [
    "_X2 = vec_bigramm.fit_transform(_X)\n",
    "X_train, X_test, Y_train, Y_test = train_test_split(_X2, R, test_size=0.5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(42035, 47666)"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "             precision    recall  f1-score   support\n",
      "\n",
      "          1       0.56      0.37      0.44      3072\n",
      "          2       0.39      0.20      0.27      2733\n",
      "          3       0.41      0.25      0.31      4033\n",
      "          4       0.40      0.27      0.32      6351\n",
      "          5       0.76      0.94      0.84     25846\n",
      "\n",
      "avg / total       0.64      0.68      0.65     42035\n",
      "\n",
      "1.1708814083501844\n",
      "0.5268942547876769\n"
     ]
    }
   ],
   "source": [
    "clf = LogisticRegression(C=10)\n",
    "clf.fit(X_train, Y_train)\n",
    "Y_pred = clf.predict(X_test)\n",
    "print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[ 1124,   347,   333,   249,  1019],\n",
       "       [  427,   559,   470,   396,   881],\n",
       "       [  238,   341,   991,   830,  1633],\n",
       "       [  103,   108,   438,  1714,  3988],\n",
       "       [  100,    72,   198,  1104, 24372]])"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "confusion_matrix(y_true=Y_test, y_pred=Y_pred)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Рейтинг 5\n",
      "очень вкусно, очень вкусные, из минусов, очень понравилось, очень вкусный, очень нравится, отличная книга, несмотря на, очень понравилась, очень вкусная, мне понравилось, хорошая книга, было бы, отдельное спасибо, очень быстро, хотелось бы, как всегда, очень приятно, единственный минус, на высоте, отличное место, рекомендую всем, как раз, очень понравился, все понравилось, книга понравилась, всем советую, остались довольны, для меня, вот это, из лучших, книга очень, всем рекомендую, еда вкусная, очень понравились, все очень, данную книгу, очень хорошее, спасибо вам, хорошее место, по делу, было очень, мне понравился, мне нравится, очень довольна, большой выбор, спасибо что, приятная атмосфера, полезная книга, претензий нет, вкусно быстро, но при, живая музыка, вкусно но, очень даже, все на, что очень, очень рекомендую, мой вкус, рада что, очень удобно, спасибо автору, от души, прекрасная книга, кажется что, порции большие, советую всем, казалось бы, снова снова, книга хорошая, пальчики оближешь, так что, блюда вкусные, приветливый персонал, место очень, br очень, приятное место, вкусный кофе, любой вкус, во рту, люблю это, радует что, вкусная еда, как надо, очень уютно, книгу на, очень легко, по настоящему, персонал вежливый, остальном все, замечательная книга, ставлю звезды, всю серию, так держать, мне понравилась, очень приятная, очень вкусное, на двоих, пока что, понравилось все, самые вкусные, кто любит, на одном, обслуживание быстрое, всем кто, все равно, приятная музыка, понравилось что, за это, приятно что, всегда вкусно, эту книжку, крем суп, когда мы, тем не_менее, выше всяких, интерьер приятный, бы чтобы, начиная от, вкусные роллы, очень приятное, уютное место, всяких похвал, эту книгу, достаточно быстро, думаю что, держать руках, за этим, время было, была очень, очень круто, хачапури по, на троечку, которые можно, есть что, от метро, приятно удивлена, остался доволен, за этого, очень радует, обслуживание хорошее, почти все, цены средние, все как, одно время, всё понравилось, подойдет для, нареканий нет, бы сказал, книга отличная\n",
      "\n",
      "Рейтинг 4\n",
      "очень вкусно, спасибо за, очень вкусные, очень понравилось, отличное место, очень понравилась, отличная книга, все понравилось, мне понравилось, единственный минус, еда вкусная, всем рекомендую, рекомендую всем, всем советую, очень приятно, все вкусно, очень вкусный, для себя, огромное спасибо, так держать, чаще всего, хотелось бы, хорошая книга, очень вкусное, большой выбор, очень рекомендую, спасибо вам, за исключением, остались довольны, каждый день, но целом, хорошее качество, очень интересная, книга понравилась, на одном, самые вкусные, быстрое обслуживание, на стенах, просто супер, на высоте, тоже очень, свою жизнь, очень довольна, одном дыхании, всем кто, приятное место, одно из, было не_очень, хорошее место, из минусов, вкусно быстро, что по, все книги, порции большие, очень нравится, мне понравился, очень понравились, очень приятная, очень хорошее, очень удобно, для этого, роллы вкусные, несмотря на, все быстро, что очень, высшем уровне, живая музыка, свое время, очень приятное, по настоящему, легко читается, огромный плюс, по душе, очень даже, мне нравится, интересный интерьер, но тоже, ресторан на, средний чек, вежливый персонал, очень довольны, как обычно, главное что, того стоит, ну конечно, очень интересно, кофе вкусный, замечательное место, книга для, все мы, читается легко, рада что, мне понравилась, на высшем, замечательная книга, что надо, готовят вкусно, еще одна, очень приятный, что книга, конечно же, чтобы сделать, начну того, осталась довольна, как понимаю, то можно, они очень, очень хочется, посидеть друзьями, свободных столиков, деле это, то новое, можно смело, приятная атмосфера, лучше чем, уютное место, то как, ближайшее время, отдельное спасибо, достаточно быстро, очень хороший, один минус, нам сказали, отличие от, всю серию, три звезды, прекрасная книга, все супер, всё понравилось, несколько видов, очень шумно, его еще, место где, уже писала, цены на, большой плюс, очень вкусная, на месте, цены приемлемые, само собой, своей жизни, меню бизнес, отличное заведение, мне по, за два, но такого, на обслуживание, так вкусно, того чтобы, это то\n",
      "\n",
      "Рейтинг 3\n",
      "очень вкусно, очень понравилось, отличное место, очень рекомендую, спасибо за, очень понравилась, рекомендую всем, всем кто, очень довольна, всем советую, единственный минус, все понравилось, отличное заведение, так держать, очень приятно, очень нравится, приветливый персонал, всем рекомендую, очень понравились, больше ни_ногой, можно купить, больше никогда, очень интересная, но думаю, из лучших, вкусно сытно, хорошее заведение, очень хорошо, одном дыхании, придем еще, это место, спасибо вам, спасибо большое, большое спасибо, отличная книга, приятный персонал, на высоте, вкусно покушать, большим количеством, вкусный кофе, br если, очень вкусное, того стоит, тут на, нет как, много полезной, практически все, хорошее место, меня очень, после такого, все просто, качество издания, со мной, вообще то, ужасное обслуживание, от метро, то точно, мне понравилось, спасибо автору, огромное спасибо, рада что, место хорошее, больше туда, большое количество, хочется попробовать, очень мило, но это, заказ но, что надо, книга понравилась, раз так, отдельное спасибо, всё таки, что ее, именно такой, мне уже, отличное качество, всю серию, все супер, просто супер, можно сделать, первую очередь, всю жизнь, очень уютно, она мне, меньше чем, то там, всем любителям, во мне, после него, это время, первый последний, на декабристов, очень приятное, только здесь, хорошая книга, единственное что, всяких похвал, прекрасное место, советую всем, твердая четверка, за полчаса, новый год, то странно, как раз, вкусная кухня, идеальное место, всего за, очень радует, это или, очень вкусные, среднего но, приятное впечатление, были заняты, мне очень, во рту, отзыв об, на марта, книга про, мой сын, держать руках, заходила на, самая вкусная, открыла для, по ним, заведения но, подарок для, рядом домом, было достаточно, если так, здесь очень, время как, чай из, исходя из, очень довольны, место центре, субботний вечер, ничего лишнего, мне книга, приятное место, мы сидели, перед сном, люблю это, рекомендую прочтению, хочу отметить, большие порции, мясо на, выше всяких, книга которая, иногда даже\n",
      "\n",
      "Рейтинг 2\n",
      "так держать, больше сюда, всем советую, больше туда, если вам, всем рекомендую, на этом, любимое заведение, br это, еще еще, потом еще, же все, единственный плюс, три звезды, очень приятное, большое спасибо, это действительно, очень уютное, из любимых, очень понравилось, красиво вкусно, больше ни_ногой, очень все, бизнес ланчей, вкус как, спасибо огромное, отличное заведение, общем рекомендую, обслуживающий персонал, этот день, так можно, будет интересно, очень рекомендую, замечательное заведение, после этого, хорошее местечко, что внутри, меня просто, больше не_пойду, первую книгу, ну конечно, за 500, еще нужно, официант на, на людей, из 10, все продумано, очень довольны, из моих, была еще, за такой, ничего лишнего, за чашкой, нет слов, потрясающая книга, огромное спасибо, супер br, br рекомендую, есть такое, салат цезарь, для подарка, книга потрясающая, выходного дня, народу очень, этой кофейне, сытые довольные, именно то, что это, ничего не_сказать, туда больше, общем мне, огромный выбор, взгляд книга, это лучшее, отличная книга, картошки фри, самое любимое, блюдо но, отличный ресторан, еще одна, громко играет, книги как, отличное настроение, вы молодцы, понятно но, овощи гриль, вся серия, процветания вам, этих книг, ничего из, меня не_было, шеф повар, свои места, больше нечего, но вы, как же, на жизнь, идеально подходит, раньше была, жадина говядина, книги br, небольшой компанией, по нему, персонал все, всегда всё, любимое место, очень хорошее, уже по, вместе ребенком, но оно, читать обязательно, спасибо большое, обязательно вернемся, свой отзыв, книга уже, внутри уютно, книга отличная, отличное место, уж больно, на другой, филиал на, одно удовольствие, других местах, выбрать что, нет книга, твердая пятерка, тоже было, ещё одна, больше никогда, удовольствием рассматривает, вернусь сюда, любимых мест, очень медленное, рекомендую книгу, кафе цены, снова снова, советую всем, br ps, сюда снова, то сразу, всем знакомым, книга много, как понимаю, всё такое, цены приятно, только тогда, удобные диванчики, от души, нашем городе, лучших традициях\n",
      "\n",
      "Рейтинг 1\n",
      "так себе, большой минус, ничего особенного, на троечку, но увы, много воды, из плюсов, вопросов нет, ожидала большего, ничего нового, твердая четверка, очень медленно, лучше бы, очень обидно, больше не_пойду, единственный плюс, при том, ощущение что, но вот, но последний, очень поверхностно, очень плохо, больше туда, книга не_понравилась, 20 минут, по факту, как так, огромный минус, твердую четверку, ни_о чем, очень душно, очень долго, целом не_плохо, очень мало, мелкий шрифт, не_первой свежести, но сегодня, все впечатление, есть невозможно, неплохо но, на четверку, решайте сами, ставлю звезды, пол книги, на деле, только потому, заказ на, полное разочарование, целом неплохое, вряд ли, долго ждали, понимаю что, могли бы, просто ужас, как то, интересно но, персонал это, впечатление что, очень маленькие, из пальца, была разочарована, желать лучшего, ничего но, тонкая бумага, минус балл, больше не_приду, можно но, больше сюда, целом неплохо, очень шумно, но не_более, как будто, вкусно но, очень тонкие, никому не_советую, если бы, как столовой, быстро но, больше никогда, на что, не_в лучшую, очень тесно, больше ни_ногой, оставляет желать, данном заведении, за обслуживание, мало что, все всем, нет желания, ее купила, очень неплохая, хорошая но, со стола, кому нравится, сделать заказ, понравилась прочитала, но некоторые, только вот, нормально но, 15 минут, очень маленькая, целом хорошо, очень жаль, мне не_понравилось, курсе что, br однако, фирменный салат, вечно нет, целом хорошее, красивая но, большая просьба, но осадок, на недостатки, есть можно, еда не_очень, три звезды, вкусные но, не_на высоте, абсолютно ничего, вкусно единственный, из за, положительные отзывы, поели на, уютно приятная, вся книга, но слегка, претензий нет, на тройку, покупать не_буду, вкусная но, да уж, был явно, туда больше, другом месте, на раз, нет нет, очень не_понравилось, вовремя но, медленное обслуживание, снимаю за, все понимаю, есть интересные, звезды за, сюда больше, для разнообразия, на любителя, обстановка мне, жирный минус, но обслуживание, обслуживание только\n",
      "\n"
     ]
    }
   ],
   "source": [
    "inverse_voc = {_id:word for (word,_id) in vec_bigramm.vocabulary_.items()}\n",
    "for i in range(5):\n",
    "    print('Рейтинг',5-i)\n",
    "    print(', '.join([inverse_voc[idx]  for idx in clf.coef_[i].argsort()[:150]])+'\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "# + "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "def concat_important_word(word_sequence):\n",
    "    # сливаем не и ни с предыдущим словом\n",
    "    last_word = ''\n",
    "    target_word = ('не','ни', 'очень', 'так', 'мне')\n",
    "    \n",
    "    for word in word_sequence:\n",
    "        if last_word in target_word:\n",
    "            yield last_word+'_'+word\n",
    "        else:\n",
    "            if not word in target_word:\n",
    "                yield word\n",
    "        last_word = word\n",
    "        \n",
    "\n",
    "@functools.lru_cache(maxsize=1000)\n",
    "def not_cyrilic(word):\n",
    "    if re.match('.+[A-Za-z]+.+', word):\n",
    "        return '_not_cyrilic_'\n",
    "    return word\n",
    "\n",
    "\n",
    "@functools.lru_cache(maxsize=10**6)\n",
    "def normalize_by_mystem(from_my_stem):\n",
    "    from_my_stem = json.loads(from_my_stem)\n",
    "    if not from_my_stem['text'].strip():\n",
    "        return ''\n",
    "    \n",
    "    if 'analysis' in from_my_stem and from_my_stem['analysis']:\n",
    "        try:\n",
    "            return not_cyrilic(from_my_stem.get('analysis', [{}])[0].get('lex'))\n",
    "        except:\n",
    "            print(from_my_stem)\n",
    "            raise Exception\n",
    "    else:\n",
    "        return not_cyrilic(from_my_stem.get('text'))\n",
    "    \n",
    "# @functools.lru_cache(maxsize=10**6)\n",
    "def preprocessing(string):\n",
    "    return ' '.join(\n",
    "        i for i in \n",
    "        concat_important_word(\n",
    "            map(normalize_by_mystem,\n",
    "                [\n",
    "                    json.dumps(j)\n",
    "                    for j in mystem.analyze(string.lower())\n",
    "                    if j.get('text',' ').strip()\n",
    "                ]\n",
    "            )\n",
    "        )\n",
    "    )\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "X_big_train = X"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "_id,context_id,text\n",
      "\n"
     ]
    }
   ],
   "source": [
    "X_target = []\n",
    "with open('./dz4/rating_test_without_rating.csv', 'r') as f2:\n",
    "    print(f2.readline())\n",
    "    for line in f2:\n",
    "        X_target.append(line.strip())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "_X = [preprocessing(text) for text in (X_big_train+X_target)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "vec = TfidfVectorizer(min_df=5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "TfidfVectorizer(analyzer='word', binary=False, decode_error='strict',\n",
       "        dtype=<class 'numpy.int64'>, encoding='utf-8', input='content',\n",
       "        lowercase=True, max_df=1.0, max_features=None, min_df=5,\n",
       "        ngram_range=(1, 1), norm='l2', preprocessor=None, smooth_idf=True,\n",
       "        stop_words=None, strip_accents=None, sublinear_tf=False,\n",
       "        token_pattern='(?u)\\\\b\\\\w\\\\w+\\\\b', tokenizer=None, use_idf=True,\n",
       "        vocabulary=None)"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vec.fit(_X)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/sklearn/feature_extraction/text.py:1059: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.\n",
      "  if hasattr(X, 'dtype') and np.issubdtype(X.dtype, np.float):\n"
     ]
    }
   ],
   "source": [
    "_X2 = vec.transform(X_big_train)\n",
    "X_train, X_test, Y_train, Y_test = train_test_split(_X2, R, test_size=0.5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "from sklearn.externals import joblib\n",
    "# joblib.dump(vec,'dz4_unigram_tfidf_vectorizer.pck')\n",
    "# joblib.dump(_X, 'dz4_raw_data.pck')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['dz4_X_train.pck']"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "joblib.dump(_X2, 'dz4_X_train.pck')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "vec = joblib.load('dz4_unigram_tfidf_vectorizer.pck')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "             precision    recall  f1-score   support\n",
      "\n",
      "          1       0.45      0.43      0.44      3095\n",
      "          2       0.26      0.26      0.26      2804\n",
      "          3       0.28      0.31      0.29      3948\n",
      "          4       0.30      0.39      0.34      6352\n",
      "          5       0.85      0.77      0.81     25836\n",
      "\n",
      "avg / total       0.64      0.61      0.63     42035\n",
      "\n",
      "1.1889377899369573\n",
      "0.594338051623647\n"
     ]
    }
   ],
   "source": [
    "clf = LogisticRegression(C=10, class_weight={1:5, 2:7, 3:6, 4:5, 5:0.5})\n",
    "clf.fit(X_train, Y_train)\n",
    "Y_pred = clf.predict(X_test)\n",
    "print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAEACAYAAACpoOGTAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAEwNJREFUeJzt3X2wXXdd7/H3J4TKxUqovZKjSSH31lLAcSaCfVCccStC\n0zoadey16ExbEKYjRRjvzB1arkPSwRnlDxQ6DCAQMEUg1Cq2lV4aMWQc7tw+IA2tkz4EtQ9pyQGl\nQYv3jz58/WP/UjeH3zln55zTs/dp36+ZPVn7u37r7O/+JXt/9lrrrJ1UFZIkzbVu0g1IkqaTASFJ\n6jIgJEldBoQkqcuAkCR1GRCSpK5FAyLJ5iT7khxMckeS3271HUkOJ/lyu20b2ebyJIeS3JnkNSP1\nbUnuSnJPkreN1LckuSnJ3Uk+lWT9Sj9RSdLxyWLXQSSZAWaq6kCSE4G/A7YDvwb8W1X94ZzxLwU+\nCZwBbAY+D5wGBLgHeBXwEHArcEFV3ZXk08A1VfVnST4AHKiqP17B5ylJOk6L7kFU1ZGqOtCWHwHu\nBDa11elssh3YU1WPVdW9wCHgzHY7VFX3VdWjwJ42FuBngT9vy7uBX17a05EkrZTjOgeRZAuwFbi5\nlS5NciDJR5JsaLVNwAMjmz3YanPrh4FNSU4GHq6qJ0bqP3Q8fUmSVt7YAdEOL10DvLXtSbwfOLWq\ntgJHgHcfG9rZvBapz13n939I0oSNdTK4nTS+Bvh4VV0LUFXfGBnyYeD6tnwYOGVk3WaG5xwCvHBu\nvar+Ocnzk6xrexHHxvf6MDgkaQmqqvchfUHj7kF8FDhYVe89Vmgnr4/5FeDv2/J1wAVJTkjy34Af\nBm5heFL6h5O8KMkJwAXAtW2bfcD5bfmikfp3qaqpv+3YsWPiPTwderRP+5z221rpc6kW3YNI8krg\nN4A7ktzG8PDP24FfT7IVeAK4F7ikvYEfTHI1cBB4FHhTDTt8PMmbgb0Mg2lXVd3VHuYyYE+SdwK3\nAbuW/IwkSSti0YCoqv8LPKuz6nMLbPP7wO936p8DTu/U/wk4a7FeJEmrxyupnwKDwWDSLSxqLfQI\n9rnS7HNlrZU+l2rRC+WmSZJaS/1K0jRIQj2FJ6klSc8wBoQkqcuAkCR1GRCSpC4DQpLUZUBIkrr8\nj3kk6SkyM7OF2dn7Jt3GknkdhCQ9RZIwHV9O7XUQkqQVZEBIkroMCElSlwEhSeoyICRJXQaEJKnL\ngJAkdRkQkqQuA0KS1GVASJK6DAhJUpcBIUnqMiAkSV0GhCSpy4CQJHUZEJKkLgNCktRlQEiSugwI\nSVKXASFJ6jIgJEldBoQkqcuAkCR1GRCSpC4DQpLUZUBIkroWDYgkm5PsS3IwyR1J3tLqJyXZm+Tu\nJDcm2TCyzZVJDiU5kGTrSP2iJPe0bS4cqb88ye1t3XtW+klKko7fOHsQjwH/s6peBvwEcGmSlwCX\nAZ+vqtOBfcDlAEnOBU6tqtOAS4APtvpJwDuAM4CzgB0jofIB4A1V9WLgxUnOWaknKElamkUDoqqO\nVNWBtvwIcCewGdgO7G7Ddrf7tD+vauNvBjYk2QicA+ytqm9V1VFgL7AtyQzwfVV1S9v+KuCXVuLJ\nSZKW7rjOQSTZAmwFbgI2VtUsDEMEeEEbtgl4YGSzw602t/7gSP1wZ7wkaYLWjzswyYnANcBbq+qR\nJDXf0M796tRZpN61c+fOJ5cHgwGDwWD+piXpGWl/uy3PWAGRZD3DcPh4VV3byrNJNlbVbDtM9PVW\nPwycMrL5ZuChVh/MqX9hgfFdowEhSeoZ8J1vt1cs6aeMe4jpo8DBqnrvSO064OK2fDFw7Uj9QoAk\nZwNH26GoG4FXJ9nQTli/GrixHZ761yRnJknb9lokSROVqnmP5gwHJK8E/ha4g+GhnwLeDtwCXM3w\n0//9wPnt5DNJ3gdsA74NvK6qvtzqFwP/u/2M36uqq1r9FcCfAM8Bbqiqt87TSy3WryRNi+Fn3ml4\nzwpV1Tucv/BWa+kN14CQtJas9YDwSmpJUpcBIUnqMiAkSV0GhCSpy4CQJHUZEJKkLgNCktRlQEiS\nugwISVKXASFJ6jIgJEldBoQkqcuAkCR1GRCSpC4DQpLUZUBIkroMCElSlwEhSeoyICRJXQaEJKnL\ngJAkdRkQkqQuA0KS1GVASJK6DAhJUpcBIUnqMiAkSV0GhCSpy4CQJHUZEJKkLgNCktRlQEiSugwI\nSVKXASFJ6jIgJEldiwZEkl1JZpPcPlLbkeRwki+327aRdZcnOZTkziSvGalvS3JXknuSvG2kviXJ\nTUnuTvKpJOtX8glKkpZmnD2IjwHndOp/WFUvb7fPASR5KfA/gJcC5wLvz9A64H3t5/wI8NokL2k/\n513Au6vqdOAo8JvLekaSpBWxaEBU1ReBhzur0qltB/ZU1WNVdS9wCDiz3Q5V1X1V9Siwp40F+Fng\nz9vybuCXj+sZSJKeEss5B3FpkgNJPpJkQ6ttAh4YGfNgq82tHwY2JTkZeLiqnhip/9AyepIkrZCl\nBsT7gVOraitwBHh3q/f2KmqR+tx1tcSeJEkraEknhKvqGyN3Pwxc35YPA6eMrNsMPMQwBF44t15V\n/5zk+UnWtb2IY+PntXPnzieXB4MBg8FgKU9Bkp7G9rfb8qRq8Q/sSbYA11fVj7b7M1V1pC3/DnBG\nVf16kpcBnwDOYnhY6a+B0xjuqdwNvAr4GnALcEFV3ZXk08BfVNWnk3wA+EpVfXCePmqcfiVpGiRh\nOg6KhKrqHclZ0KJ7EEk+CQyAk5PcD+wAfibJVuAJ4F7gEoCqOpjkauAg8CjwpvaO/niSNwN7GYbF\nrqq6qz3EZcCeJO8EbgN2He+TkCStvLH2IKaFexCS1pK1vgfhldSSpC4DQpLUZUBIkroMCElSlwEh\nSeoyICRJXQaEJKnLgJAkdRkQkqQuA0KS1GVASJK6DAhJUpcBIUnqMiAkSV0GhCSpy4CQJHUZEJKk\nLgNCktRlQEiSugwISVKXASFJ6jIgJEldBoQkqcuAkCR1GRCSpC4DQpLUZUBIkroMCElSlwEhSeoy\nICRJXQaEJKnLgJAkdRkQkqQuA0KS1GVASJK6DAhJUteiAZFkV5LZJLeP1E5KsjfJ3UluTLJhZN2V\nSQ4lOZBk60j9oiT3tG0uHKm/PMntbd17VvLJSZKWbpw9iI8B58ypXQZ8vqpOB/YBlwMkORc4tapO\nAy4BPtjqJwHvAM4AzgJ2jITKB4A3VNWLgRcnmftYkqQJWDQgquqLwMNzytuB3W15d7t/rH5V2+5m\nYEOSjQwDZm9VfauqjgJ7gW1JZoDvq6pb2vZXAb+0jOcjSVohSz0H8YKqmgWoqiPAC1p9E/DAyLjD\nrTa3/uBI/XBnvCRpwlb6JHU696tTZ5G6JGnC1i9xu9kkG6tqth0m+nqrHwZOGRm3GXio1Qdz6l9Y\nYPy8du7c+eTyYDBgMBjMO1aSnpn2t9vypGrxD+xJtgDXV9WPtvvvAr5ZVe9Kchnw/Kq6LMl5wKVV\n9fNJzgbeU1Vnt5PUXwJeznCv5UvAK6rqaJKbgd8GbgU+C1xZVZ+bp48ap19JmgbJsYMokxaqqnfE\nZkGL7kEk+STDT/8nJ7kf2AH8AfBnSV4P3A+cD1BVNyQ5L8lXgW8Dr2v1h5O8k2EwFHBFO1kN8Cbg\nT4DnADfMFw6SpNU11h7EtHAPQtJastb3ILySWpLUZUBIkroMCElSlwEhSeoyICRJXQaEJKnLgJAk\ndRkQkqQuA0KS1GVASJK6DAhJUpcBIWlFzcxsIcnEbzMzWyY9FWueX9YnaUVN2RfUTbaD6ZoLv6xP\nkrQyDAhJUpcBIUnqMiAkSV0GhCSpy4CQJHUZEJKkLgNCktRlQEiSugwISVKXASFJ6jIgJEldBoQk\nqcuAkCR1GRCSpC4DQpLUZUBIkroMCElSlwEhSeoyICRJXQaEJKnLgJAkdRkQkqSuZQVEknuTfCXJ\nbUluabWTkuxNcneSG5NsGBl/ZZJDSQ4k2TpSvyjJPW2bC5fTkyRpZSx3D+IJYFBVP1ZVZ7baZcDn\nq+p0YB9wOUCSc4FTq+o04BLgg61+EvAO4AzgLGDHaKhIkiZjuQGRzs/YDuxuy7vb/WP1qwCq6mZg\nQ5KNwDnA3qr6VlUdBfYC25bZlyRpmZYbEAXcmOTWJG9otY1VNQtQVUeAF7T6JuCBkW0Pt9rc+oOt\nJkmaoPXL3P4nq+pIkh8A9ia5m2Fo9KRzvzp1FvgZ7Ny588nlwWDAYDA4nn4l6Rlgf7stz7ICou0h\nUFXfSPKXwJnAbJKNVTWbZAb4eht+GDhlZPPNwEOtPphT/8J8jzkaEJKkngHf+bZ6xZJ+ypIPMSV5\nbpIT2/L3Aq8B7gCuAy5uwy4Grm3L1wEXtvFnA0fboagbgVcn2dBOWL+61SRJE7ScPYiNwGeSVPs5\nn6iqvUm+BFyd5PXA/cD5AFV1Q5LzknwV+DbwulZ/OMk7gS8xPLR0RTtZLUmaoFTNe7h/6iSptdSv\n9EyUHDu9OGlh0u8XUzYXvfO9C/JKamkFzMxsIcnEbzMzWyY9FXoacQ9CWgFT9klxsh04F//ZwXTN\nhXsQkqSVYUBIkroMCElSlwEhSeoyICRJXQaEJKnLgJAkdRkQkqQuA0KS1GVASJK6lvsfBq26xx9/\nfKKPv27dunb5vCQ9va25gHj2s0+Y2GNXFW9841v40IfeM7EeJGm1rLmAqJrkHsRf8A//8KcTfHxJ\nWj2eg1ijpuHrpf1qaenpbc3tQWhodvY+Jv01wrOznouRns7cg5AkdRkQkqQuA0KS1GVASJK6DAhJ\nUpcBIUnqMiAkSV0GhCSpy4CQJHUZEJKkLgNCktRlQEiSugwISVKXASFJ6jIgJEldBoQkqcuAkCR1\nGRCSpK6pCYgk25LcleSeJG+bdD+S9Ew3FQGRZB3wPuAc4EeA1yZ5yWS7Wrr9+/dPuoUx7J90A2NZ\nG3O5dqyd+dw/6QbGsnbmc2mmIiCAM4FDVXVfVT0K7AG2T7inJVsb/2j2T7qBsayNuVw71s587p90\nA2NZO/O5NNMSEJuAB0buH241SdKErJ90A006teoNfN7zfuEpbmV+jz32NZ7znFMn9viStJpS1X0f\nXt0mkrOBnVW1rd2/DKiqeteccZNvVpLWoKrqfRBf0LQExLOAu4FXAV8DbgFeW1V3TrQxSXoGm4pD\nTFX1eJI3A3sZnhfZZThI0mRNxR6EJGn6TMtvMT0pya4ks0luX2DMlUkOJTmQZOtq9jfSw4J9Jvnp\nJEeTfLndfncCPW5Osi/JwSR3JHnLPOMmOp/j9Dkl8/k9SW5Oclvrc0dnzAlJ9rT5/H9JXjilfV6U\n5Osj8/n61e6z9bGuPf51nXUTn8uRXhbqc1rm8t4kX2l/77fMM+b4XutVNVU34KeArcDt86w/F/hs\nWz4LuGlK+/xp4LoJz+UMsLUtn8jwPM9Lpm0+x+xz4vPZ+nhu+/NZwE3AmXPW/xbw/rb8a8CeKe3z\nIuDKKZjP3wH+tPd3Oy1zOUaf0zKX/wictMD6436tT90eRFV9EXh4gSHbgava2JuBDUk2rkZvo8bo\nE/q/vrtqqupIVR1oy48Ad/Ld15dMfD7H7BMmPJ8AVfXvbfF7GJ7Dm3uMdjuwuy1fw/AXL1bdGH3C\nhOczyWbgPOAj8wyZirkco0+Ygn+bDHtY6D39uF/rUxcQY5h7Ud2DTO9FdWe33b3PJnnZJBtJsoXh\nHs/Nc1ZN1Xwu0CdMwXy2Qw23AUeAv66qW+cMeXI+q+px4GiS71/lNsfpE+BX2qGGq9ub4Gr7I+B/\nMc81T0zJXLJ4nzD5uYRhfzcmuTXJGzvrj/u1vhYDYuyL6ibs74AXVdWPMfyeqb+cVCNJTmT4Ceyt\n7RP6d6zubDKR+Vykz6mYz6p6ovWwGTirE1Rz5zNMYD7H6PM6YEtVbQX+hv/8pL4qkvw8MNv2HEP/\n3+HE53LMPic6lyN+sqp+nOHezqVJfmrO+uN+ra/FgDgMnDJyfzPw0IR6mVdVPXJsN7+q/g/w7Al9\nklzP8E3341V1bWfIVMznYn1Oy3yO9POvDL8waNucVQ/Q5rNd3/O8qlrsUORTZr4+q+rhGn7vGcCH\ngVescmuvBH4xyT8CnwJ+JslVc8ZMw1wu2ucUzOWxPo60P78BfIbhd9yNOu7X+rQGxHxJDcO0vhCe\nvAL7aFXNrlZjc8zb5+ixvSRnMvyV4m+uVmMjPgocrKr3zrN+WuZzwT6nYT6T/NckG9ryfwF+Drhr\nzrDrGZ60BDgf2Ld6HQ6N02eSmZG724GDq9chVNXbq+qFVfXfgQuAfVV14ZxhE5/Lcfqc9Fy2Hp7b\n9sBJ8r3Aa4C/nzPsuF/rU3Gh3KgknwQGwMlJ7gd2ACcw/OqND1XVDUnOS/JV4NvA66axT+BXk/wW\n8Cjw/xn+FsZq9/hK4DeAO9rx6ALeDryIKZrPcfpkCuYT+EFgd4ZfT78O+HSbvyuAW6vqr4BdwMeT\nHAL+heGbyjT2+ZYkv8hwPr8JXDyBPr/LFM5l1xTO5UbgMxl+HdF64BNVtTfJJSzjte6FcpKkrmk9\nxCRJmjADQpLUZUBIkroMCElSlwEhSeoyICRJXQaEJKnLgJAkdf0HycPsFgmxpLYAAAAASUVORK5C\nYII=\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x1272c2320>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.figure()\n",
    "plt.hist(Y_pred, bins=10)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true,
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Рейтинг 5\n",
      "удобно, определенно, вкусный, приятно, вкусно, хороший, жизнь, любовь, небольшой, обязательно, отличный, безусловно, спасибо, сытно, 50р, радовать, самообслуживание, любитель, приветливый, оперативно, правда, концепция, раф, частенько, вновь, огонь, прошлое, крем, состояние, балл, вежливый, безумно, вынос, милый, уютно, процесс, стиль, тепло, наиболее, предостаточно, уха, атмосфера, аккуратно, наличные, жидкость, обстановка, резкий, продолжение, шикарный, респект, наслаждаться, любимая, потрясающе, особенно, жкт, фаст, неплохо, немного, поучиться, хорошо, пожелание, благодаря, удовольствие, поэтому, отец, приличный, предложение, унитаз, достойный, апельсиновый, приятный, разнообразие, ксения, история, божественно, переплет, отлично, брать, выбор, одновременно, море, быстрый, край, музыка, ресторанчик, действительность, среднее, критично, благодарность, сладкий, всегда, интерьер, большой, особый, кесадилья, поклон, хинкали, весело, ум, вполне\n",
      "\n",
      "Рейтинг 4\n",
      "обязательно, спасибо, папа, прекрасный, потрясающий, жизнь, коллега, душевно, чистота, охранник, остро, разумеется, отлично, многое, отличный, основное, вкусный, рад, великолепный, пр, супчик, щас, вспомнить, бронировать, мастер, настоящий, грамотно, класть, чудесно, четверка, пятерка, спец, оливье, пекарь, восторг, медленный, сытный, постепенно, поделиться, инцидент, полезно, брусничный, админ, несомненно, сбегать, наглядно, будущее, огромный, выгодно, снижать, белый, вариант, внизу, присутствие, забронированный, улыбчивый, снимать, аккуратно, 130, ориентироваться, екатерина, ужинать, политика, питаться, увлекательно, глупо, браво, чур, храниться, оператор, зона, безупречно, поделать, парковка, фирменный, солнце, курочка, путеводитель, гостеприимство, крупный, творчество, фудом, троечка, товар, связь, действовать, альбом, рай, мир, чистый, путем, резко, неизменно, инструмент, целенаправленно, корпоратив, рассказ, труд, аджарски, бомба\n",
      "\n",
      "Рейтинг 3\n",
      "обязательно, настоящему, косяк, уходить, перекрикивать, уют, возможность, любить, нежный, полтора, бонус, запись, сказка, вперед, дочка, классно, сборник, отличный, облепиховый, гуляш, спасибо, дочь, неправильно, ввиду, возмущение, скептически, пробовать, немножко, безумно, успешно, честному, радовать, игра, давненько, режим, объявление, картина, четверка, сердце, легкий, гиннесс, великолепный, отменный, завтра, написать, чувствовать, фи, превосходный, жить, дарья, сон, тихий, вежливость, очередной, божественный, светлана, совет, неубранный, спаржа, повод, питер, нисколько, 8500, волшебный, носить, салатик, плитка, этаж, динамичный, грамотный, сдача, свежо, холодильник, 28, чили, додо, голова, спускаться, чрезвычайно, бифштекс, браво, нарисовать, фаворит, восхитительно, снаружи, заново, рагу, полбеды, разглядеть, профи, потрясающе, сзади, фэйс, путаница, надежда, нередко, карамельный, знание, курс, базилика\n",
      "\n",
      "Рейтинг 2\n",
      "изумительно, восхитительно, пятый, 2500, вок, прозрачный, нарезка, лайма, горе, потрясающе, отравление, чайничек, чемпионат, деловой, фон, шампанское, стабильность, вчерашний, повод, курник, росмэн, преступление, существо, браво, уснуть, картинка, быдло, поиск, кафешку, прочтение, семья, половинка, ругаться, реализация, стих, сельдерей, рыбка, черничный, доказательство, разом, творчески, грузинский, багет, таракан, мандариновый, тройка, направо, техник, окончательно, карл, вдоль, промолчать, напоследок, тетрадка, травяной, саша, 08, фотографировать, посредственно, болтать, возвращаться, почувствовать, пойти, сабов, сумрачно, антон, хамить, щас, познавательный, пристально, смертельно, фея, контроль, специальный, урок, собирать, весы, директор, напрямую, крушовица, посиделки, пеперони, ужасный, доедать, тираж, тематический, празднование, полноценный, сладкоежка, поттер, узкий, паренек, чтото, отдавать, власть, котлета, тоска, офсет, красочный, подвал\n",
      "\n",
      "Рейтинг 1\n",
      "разочарование, неприятно, четверка, ужасно, отвратительно, невкусно, увы, отказ, вода, отвратительный, видимо, желать, ужасный, но, обидно, мусор, балл, неприятный, грязно, зачем, ужас, кошмар, позор, брак, безвкусный, невкусный, посыл, холодная, чушь, герой, трц, кирпич, явно, касса, посредственно, противно, неуютно, ладно, типичный, обман, волос, испортить, приевшийся, откровенно, неоправданно, поверхностно, мда, якобы, оценка, гадость, осадочек, курица, вперемешку, тупо, особа, ноль, поработать, вместо, мелкий, молча, уборщица, плохо, некрасиво, рц, официант, нормально, фу, ожидать, разбавлять, красный, основательно, испорченный, душно, чересчур, изо, дивс, изменять, кассир, уборка, столовка, жуткий, официантка, наспех, заведениеочень, хамство, расследование, переводить, похудеть, системный, двойка, осадок, водичка, половина, проженный, кнопка, капец, печально, предлагать, корпоративный, омлет\n",
      "\n"
     ]
    }
   ],
   "source": [
    "inverse_voc = {_id:word for (word,_id) in vec.vocabulary_.items()}\n",
    "for i in range(5):\n",
    "    print('Рейтинг',5-i)\n",
    "    print(', '.join([inverse_voc[idx]  for idx in clf.coef_[i].argsort()[:100]])+'\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "en_reg = ElasticNet(alpha=0.0001, l1_ratio=0.5)\n",
    "en_reg.fit(X_train , Y_train)\n",
    "Y_pred = en_reg.predict(X_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.9117759645778402\n",
      "0.7240743395652224\n"
     ]
    }
   ],
   "source": [
    "# print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYMAAAEACAYAAABRQBpkAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAFwtJREFUeJzt3X+w3XV95/HnC1MotjRGtuSuiRARQXRraVwhu7brEQsk\nOIKdERt2LYjYtfXndKeuQWfMZdxpxVlGdFxLO00pOEoq2BbsspA6cNxhK7+EFJRfcSuQgNz1R4Kj\nzjj8eO8f55PM8Xpvcu6P3HNu8nzMnLnf8z6f7/m+T3Lv93W+P873pKqQJB3cDhl2A5Kk4TMMJEmG\ngSTJMJAkYRhIkjAMJEkMEAZJNiWZSHLvpPr7kjyY5L4kH++rX5RkW5IHkpzeV1/bxj+c5EN99VVJ\nbkvyUJKrkyyZrxcnSRrMIFsGVwBn9BeSdIA3Af+mqn4N+O+tfiLwVuBEYB3w2fQcAnymPc8rgXOT\nvLw93SXApVV1ArALuHCuL0qSNDP7DIOquhXYOan8h8DHq+qZNuZ7rX42sLmqnqmqR4BtwMnttq2q\nHq2qp4HNbSzAqcCX2vSVwO/M/uVIkmZjtscMjgf+Q9u9c0uSV7f6CmB737jHW21yfQewIsmRwM6q\neq6v/qJZ9iRJmqXZ7p9fArygqtYkeQ1wDXAskCnGFlOHTrXxk+fx+hiStMBmGwbbgb8FqKo7kzzb\n3uXvAI7uG7cSeILeCv/n6lX1vSQvSHJI2zrYPX5KSQwKSZqFqprqzfoeg+4mmvwO/u+BNwAkOR44\ntKq+D1wP/G6SQ5O8BDgOuAO4EzguyTFJDgXWA9e157oZOKdNn99Xn+4Fjfxt48aNQ+/hQOjRPu1z\n1G+Lpc9B7HPLIMkXgA5wZJLHgI3AXwFXJLkP+ClwXltR35/ki8D9wNPAu6vXybNJ3gtsoRdAm6rq\nwbaIDcDmJB8D7gE2DdS5JGne7DMMquo/TvPQ700z/k+BP52ifiNwwhT1bwOn7KsPSdL+4yeQ94NO\npzPsFvZpMfQI9jnf7HN+LZY+B5FB9yeNgiS1mPqVpFGQhJqnA8iSpAOYYSBJMgwkSYaBJAnDQJKE\nYSBJwjCQJGEYSJIwDKQD0tjYKpIsyG1sbNWwX67mgZ9Alg5ASVi4rwbJwFfG1HD4CWRJ0kAMA0mS\nYSBJMgwkSRgGkiQMA0kShoEkiQHCIMmmJBNJ7p3isT9O8lySF/bVPp1kW5KtSU7qq5+f5OEkDyU5\nr6++Osm97bHL5uNFSZJmZpAtgyuAMyYXk6wEfht4tK+2DnhpVb0MeBdweasvAz4KvAY4BdiYZGmb\n7c+Ad1bV8cDxSX5uWZKk/WufYVBVtwI7p3jok8AHJ9XOBq5q890OLE2ynF6YbKmqp6pqF7AFWJtk\nDDiiqu5o818FvHlWr0SSNGuzOmaQ5E3A9qq6b9JDK4Dtffd3tNrk+uN99R1TjJckLaAlM50hyeHA\nR4DTpnp4ivs1RZ191CVJC2jGYQC8FFgF/HN6V8NaCdyd5GR67+xf3Dd2JfBEq3cm1W/Zy/hpjY+P\n75nudDp0Op1px0rSwajb7dLtdmc0z0BXLU2yCvhyVf3aFI99G1hdVTuTnAm8p6remGQNcFlVrWkH\nkO8CVtPbNXUX8Oqq2pXkduB9wJ3A/wQ+XVU3TtOHVy2VBuBVS9VvXq5amuQLwD/RO9PnsSQXTBqy\nZ3dPVd0AfDvJt4A/B97d6juBj9ELgduBi9uBZNqYTcDDwLbpgkCStP/4fQbSAcgtA/Xz+wwkSQMx\nDCRJhoEkyTCQJGEYSJIwDCRJGAaSJAwDSRKGgSQJw0CShGEgScIwkCRhGEiSMAwkSRgGkiRm97WX\nktTnsPb9CQtj+fJjePLJRxZseQcLv9xGOgAt9JfbLNyyestzPTAzfrmNJGkghoEkad9hkGRTkokk\n9/bVPpHkgSRbk3wpya/0PXZRkm3t8dP76muTPJjk4SQf6quvSnJbkoeSXJ3E4xiStMAG2TK4Ajhj\nUm0L8MqqOgnYBlwEkOQVwFuBE4F1wGfTcwjwmfY8rwTOTfLy9lyXAJdW1QnALuDCub0kSdJM7TMM\nqupWYOek2leq6rl29zZgZZs+C9hcVc9U1SP0guLkdttWVY9W1dPAZuDsNs+pwJfa9JXA78z+5UiS\nZmM+jhm8A7ihTa8Atvc99nirTa7vAFYkORLY2RcsO4AXzUNPkqQZmNP++SQfAZ6uqqt3l6YYVkwd\nOtXGT55nr+eMjY+P75nudDp0Op0Bu5Wkg0O326Xb7c5onoE+Z5DkGODLVfWqvtr5wH8GTq2qn7ba\nBqCq6pJ2/0ZgI70V/nhVrZ08Lsl3geVV9VySNcDGqlo3TR9+zkAagJ8zUL/5/JzBz7yDT7IW+K/A\nWbuDoLkeWJ/k0CQvAY4D7gDuBI5LckySQ4H1wHVtnpuBc9r0+X11SdIC2eeWQZIvAB3gSGCC3jv9\nDwOHAt9vw26rqne38RfROyPoaeADVbWl1dcCn6IXQJuq6uOt/hJ6B5SXAfcAb2sHmafqxS0DaQBu\nGajfIFsGXo5COgAZBurn5SgkSQMxDCRJhoEkyTCQJGEYSJIwDCRJGAaSJAwDSRKGgSQJw0CShGEg\nScIwkCRhGEiSMAwkSRgGkiQMA0kShoEkCcNAkoRhIEligDBIsinJRJJ7+2rLkmxJ8lCSm5Is7Xvs\n00m2Jdma5KS++vlJHm7znNdXX53k3vbYZfP54iRJgxlky+AK4IxJtQ3AV6rqBOBm4CKAJOuAl1bV\ny4B3AZe3+jLgo8BrgFOAjX0B8mfAO6vqeOD4JJOXJUnaz/YZBlV1K7BzUvls4Mo2fWW7v7t+VZvv\ndmBpkuX0wmRLVT1VVbuALcDaJGPAEVV1R5v/KuDNc3g9kqRZmO0xg6OqagKgqp4Ejmr1FcD2vnE7\nWm1y/fG++o4pxkuSFtCSeX6+THG/pqizj/q0xsfH90x3Oh06nc6MGpSkA12326Xb7c5onlTtdd3b\nG5QcA3y5ql7V7j8AdKpqou3quaWqTkxyeZv+mzbuQeB1wOvb+D9o9cuBW4Cv7p631dcDr6uqP5ym\njxqkX+lgl+x+H7YgS1vAZfWW53pgZpJQVVO9+d5j0N1E4WffxV8PvL1Nvx24rq9+Xlv4GmBX2510\nE3BakqXtYPJpwE1tF9MPk5yc3m/veX3PJUlaIPvcTZTkC0AHODLJY8BG4OPANUneATwGnANQVTck\nOTPJt4AfAxe0+s4kHwPuovcW4uJ2IBng3cBfA78I3FBVN87fy5MkDWKg3USjwt1E0mDcTaR+87mb\nSJJ0ADMMJEmGgSTJMJAkYRhIkjAMJEkYBpIkDANJEoaBJAnDQJKEYSBJwjCQJGEYSJIwDCRJGAaS\nJAwDSRKGgSQJw0CShGEgSWKOYZDkj5J8I8m9ST6f5NAkq5LcluShJFcnWdLGHppkc5JtSb6W5Oi+\n57mo1R9IcvpcX5QkaWZmHQZJXgS8D1hdVa8ClgDnApcAl1bVCcAu4MI2y4XAD6rqZcBlwCfa87wC\neCtwIrAO+Gx63+YtSVogc91N9Dzgl9q7/8OBJ4DXA19qj18JvLlNn93uA1wLnNqmzwI2V9UzVfUI\nsA04eY59SZJmYNZhUFVPAJcCjwGPA08BdwO7quq5NmwHsKJNrwC2t3mfBZ5K8sL+evN43zySpAWw\nZLYzJnkBvXf7x9ALgmvo7eaZrHbPMs1j09WnND4+vme60+nQ6XQG6leSDhbdbpdutzujeVI17Xp3\n7zMmbwHOqKrfb/d/D/h3wFuAsap6LskaYGNVrUtyY5u+PcnzgO9U1VFJNgBVVZe059kzbopl1mz7\nlQ4mvcNuC/W3spDL6i3P9cDMJKGq9nosdi7HDB4D1iT5xXbA9w3AN4FbgHPamPOB69r09e0+7fGb\n++rr29lGLwGOA+6YQ1+SpBma9ZYBQJKNwHrgaeAe4J3ASmAzsKzV3lZVTyc5DPgc8BvA94H17YAx\nSS6id7bR08AHqmrLNMtzy0AagFsG6jfIlsGcwmChGQbSYAwD9dvfu4kkSQcIw0CSZBhIkgwDSRKG\ngSQJw0CSxBwuRyFpcGNjq5iYeHTYbUjT8nMG0gJY2PP+YWHP/fdzBqPOzxlIkgZiGEiSDANJkmEg\nScIwkCRhGEiSMAwkSRgGkiQMA0kShoEkCcNAksQcwyDJ0iTXJHkgyTeTnJJkWZItSR5KclOSpX3j\nP51kW5KtSU7qq5+f5OE2z3lz6UmSNHNz3TL4FHBDVZ0I/DrwILAB+EpVnQDcDFwEkGQd8NKqehnw\nLuDyVl8GfBR4DXAKsLE/QCRJ+9+swyDJEcBvVdUVAFX1TFU9BZwNXNmGXdnu035e1cbeDixNshw4\nA9hSVU9V1S5gC7B2tn1JkmZuLlsGxwLfS3JFkruT/EWS5wPLq2oCoKqeBI5q41cA2/vm39Fqk+uP\nt5okaYHM5cttlgCrgfdU1V1JPklvF9F0FxqffC3t3RdBn+oa29NerHx8fHzPdKfTodPpDN6xJB0E\nut0u3W53RvPM+stt2i6er1XVse3+b9ILg5cCnaqaSDIG3FJVJya5vE3/TRv/IPA64PVt/B+0+s+M\nm7RMv9xGi5JfbjO/y3M9MDP79ctt2q6g7UmOb6U3AN8Ergfe3mpvB65r09cD57XG1gC72nPcBJzW\nzkxaBpzWapKkBTLX70B+P/D5JL8A/AtwAfA84ItJ3gE8BpwDUFU3JDkzybeAH7exVNXOJB8D7qL3\n9uLidiBZkrRA/A5kaQG4m2h+l+d6YGb8DmRJ0kAMA0mSYSBJMgwkSRgGkiQMA0kShoEkCcNAkoRh\nIEnCMJAkYRhIkjAMJEkYBpIkDANJEoaBJAnDQJKEYSBJwjCQJGEYSJKYhzBIckiSu5Nc3+6vSnJb\nkoeSXJ1kSasfmmRzkm1Jvpbk6L7nuKjVH0hy+lx7kiTNzHxsGXwAuL/v/iXApVV1ArALuLDVLwR+\nUFUvAy4DPgGQ5BXAW4ETgXXAZ9P79nBJ0gKZUxgkWQmcCfxlX/lU4Ett+krgzW367HYf4No2DuAs\nYHNVPVNVjwDbgJPn0pckaWbmumXwSeCDQAEkORLYWVXPtcd3ACva9ApgO0BVPQs8leSF/fXm8b55\nJEkLYMlsZ0zyRmCiqrYm6ewut1u/6ntsstpLfUrj4+N7pjudDp1OZ7qhknRQ6na7dLvdGc2TqmnX\nu3ufMfkT4G3AM8DhwBHA3wOnA2NV9VySNcDGqlqX5MY2fXuS5wHfqaqjkmwAqqouac+7Z9wUy6zZ\n9isNU+8w2EL+7i7k8hb+tbkemJkkVNVej8XOejdRVX24qo6uqmOB9cDNVfU24BbgnDbsfOC6Nn19\nu097/Oa++vp2ttFLgOOAO2bblyRp5ma9m2gvNgCbk3wMuAfY1OqbgM8l2QZ8n16AUFX3J/kivTOS\nngbe7dt/SVpYs95NNAzuJtJi5W6i+V2e64GZ2a+7iSRJBw7DQJJkGEiSDANJEvvnbCJp5I2NrWJi\n4tFhtyGNDM8m0kHpwD67Z6GX59lEo86ziSRJAzEMJEmGgSTJMJAkYRhIkjAMJEkYBpIkDANJEoaB\nJAnDQJKEYSBJwjCQJDGHMEiyMsnNSe5Pcl+S97f6siRbkjyU5KYkS/vm+XSSbUm2Jjmpr35+kofb\nPOfN7SVJOrAdRpIFu42NrRr2C14Qs75qaZIxYKyqtib5ZeDrwNnABcD3q+oTST4ELKuqDUnWAe+t\nqjcmOQX4VFWtSbIMuAtYTe/yh18HVlfVU1Ms06uWal541dLFuqzhLG+xr3f261VLq+rJqtrapn8E\nPACspBcIV7ZhV7b7tJ9XtfG3A0uTLAfOALZU1VNVtQvYAqydbV+SpJmbl2MGSVYBJwG3AcuragJ6\ngQEc1YatALb3zbaj1SbXH281SdICmXMYtF1E1wIfaFsI021PTd5E2b2tN9Wmy+LeJpOkRWZOX3uZ\nZAm9IPhcVV3XyhNJllfVRDuu8P9afQfw4r7ZVwJPtHpnUv2W6ZY5Pj6+Z7rT6dDpdKYbKkkHpW63\nS7fbndE8c/rayyRXAd+rqv/SV7sE+EFVXZJkA/CCdgD5TOA97QDyGuCyKQ4gH9KmX92OH0xengeQ\nNS88gLxYlzWc5S329c4gB5DncjbRa4H/DdxH73+mgA8DdwBfpLcV8Bhwzu4Ve5LP0Ds4/GPggqq6\nu9XfDnykPcd/q6qrplmmYaB5YRgs1mUNZ3mLfb2zX8NgGAwDzRfDYLEuazjLW+zrnf16aqkk6cBh\nGEiSDANJkmEgScIwkCRhGEiSMAwkSRgGkiQMA0kSc7xQnTRfxsZWMTHx6LDbkA5aXo5CI8HLQyzm\n5R3Ir623vMW+3vFyFJKkgRgGkiTDQJJkGEiSMAwkSRgGkiQMA0kShoEkiREKgyRrkzyY5OEkHxp2\nP5J0MBmJMEhyCPAZ4AzglcC5SV4+3K5mr9vtDruFfRqkx7GxVSRZkNteOp2vl7yfdYfdwIC6w25g\nQN1hNzCQxfC3PqiRCAPgZGBbVT1aVU8Dm4Gzh9zTrC2GX5BBeuxdK6gW6DZtpzN7YUPTHXYDA+oO\nu4EBdYfdwEAWw9/6oEYlDFYA2/vu72g1SRqyw6bdor344ovnfSt5bGzVUF7lqITBVPsJRvrKUF/9\n6lcX9BckCb/6qy+et+capEdJAD9l+i3ajXt5bHa3YV29dySuWppkDTBeVWvb/Q1AVdUlk8YNv1lJ\nWoT2ddXSUQmD5wEPAW8AvgPcAZxbVQ8MtTFJOkiMxJfbVNWzSd4LbKG362qTQSBJC2cktgwkScM1\nKgeQB5LkLUm+keTZJKuH3c9ki+GDc0k2JZlIcu+we9mbJCuT3Jzk/iT3JXn/sHuaSpLDktye5J7W\n58Zh9zSdJIckuTvJ9cPuZTpJHknyz+3f845h9zOdJEuTXJPkgSTfTHLKsHuaLMnx7d/x7vbzqb39\nHS2qLYMkJwDPAX8O/HFV3T3klvZI74NzD9M77vEEcCewvqoeHGpjkyT5TeBHwFVV9aph9zOdJGPA\nWFVtTfLLwNeBs0ft3xMgyfOr6ift2Nf/Ad5fVSO3IkvyR8CrgV+pqrOG3c9UkvwL8Oqq2jnsXvYm\nyV8DX62qK5IsAZ5fVT8cclvTauunHcApVbV9qjGLasugqh6qqm1MfSrqsC2KD85V1a3ASP+hAVTV\nk1W1tU3/CHiAEf3sSVX9pE0eRu843Mi9w0qyEjgT+Mth97IPYcTXS0mOAH6rqq4AqKpnRjkImt8G\n/u90QQAj/o++yPjBuf0kySrgJOD24XYytbb75R7gSeAfq+rOYfc0hU8CH2QEg2qSAm5KcmeS3x92\nM9M4FvhekivaLpi/SHL4sJvah98Frt7bgJELgyT/mOTevtt97eebht3bPiy6D84tBm0X0bXAB9oW\nwsipqueq6jeAlcApSV4x7J76JXkjMNG2tMJoblnv9u+r6t/S24p5T9utOWqWAKuB/1FVq4GfABuG\n29L0kvwCcBZwzd7GjcSppf2q6rRh9zBLO4Cj++6vpHfsQLPU9sVeC3yuqq4bdj/7UlU/TNIF1gL3\nD7mdfq8FzkpyJnA4cESSq6rqvCH39XOq6sn287tJ/o7e7tdbh9vVz9kBbK+qu9r9a4GRPGGkWQd8\nvaq+u7dBI7dlMAOj9u7mTuC4JMckORRYD4zqWRuj/u5wt78C7q+qTw27kekk+VdJlrbpw+ntmx2p\ng9xV9eGqOrqqjqX3e3nzKAZBkue3LUGS/BJwOvCN4Xb186pqAtie5PhWegOjFf6Tncs+dhHBIguD\nJG9Osh1YA/xDkv817J52q6pngd0fnPsmsHkUPziX5AvAPwHHJ3ksyQXD7mkqSV4L/Cfg1L7T49YO\nu68p/GvgliRb6R3TuKmqbhhyT4vVcuDWdvzlNuDLVbVlyD1N5/3A59v/+68DfzLkfqbU9wblb/c5\ndjGdWipJ2j8W1ZaBJGn/MAwkSYaBJMkwkCRhGEiSMAwkSRgGkiQMA0kS8P8BORngAd+wpWcAAAAA\nSUVORK5CYII=\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x12d6a4da0>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.figure()\n",
    "plt.hist(Y_pred)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "from sklearn.decomposition import TruncatedSVD"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(42035, 42982)"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "X_train.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "_svd = TruncatedSVD(n_components=1000)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "_X_train = _svd.fit_transform(X_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['dz4_svd_from_tfidf.pck']"
      ]
     },
     "execution_count": 30,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "joblib.dump(_svd, 'dz4_svd_from_tfidf.pck')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "_svd = joblib.load('dz4_svd_from_tfidf.pck')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(42035, 1000)"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "_X_train.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "             precision    recall  f1-score   support\n",
      "\n",
      "          1       0.41      0.43      0.42      3095\n",
      "          2       0.23      0.25      0.24      2804\n",
      "          3       0.26      0.28      0.27      3948\n",
      "          4       0.30      0.45      0.36      6352\n",
      "          5       0.86      0.74      0.79     25836\n",
      "\n",
      "avg / total       0.64      0.59      0.61     42035\n",
      "\n",
      "1.258831925776139\n",
      "0.6217913643392411\n"
     ]
    }
   ],
   "source": [
    "clf = LogisticRegression(C=10, class_weight={1:5, 2:7, 3:6, 4:5, 5:0.5})\n",
    "clf.fit(_X_train, Y_train)\n",
    "Y_pred = clf.predict(_svd.transform(X_test))\n",
    "print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAYgAAAEACAYAAACpoOGTAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAExVJREFUeJzt3XusXWd55/HvL3hoSgMmkxl8WjvgmTQEqCq50FymVOpp\nKcRJNXVbTdrQSklgGKUlXNSRKhJmhB0xmg5/0AkRAlowrcMAJg1DkwwpcamxKqrmQomJK+di1Obi\nBB/oENMJM6oS8swf+3W6ObznfnLWPuT7kba89rPetfezX/vs315ree2TqkKSpNlOGroBSdJkMiAk\nSV0GhCSpy4CQJHUZEJKkLgNCktS1YEAk2ZJkf5LDSQ4leWur70xyNMmX22372DZXJTmS5J4krxur\nb09yb5L7k7xjrL41yW1J7kvyySQbVvuFSpKWJgtdB5FkCpiqqoNJTgH+GtgB/Brwf6rq92aNfznw\nCeBsYAvweeBMIMD9wGuAR4E7gYur6t4knwJuqKo/TvJB4GBV/f4qvk5J0hItuAdRVceq6mBbfhy4\nB9jcVqezyQ5gb1U9WVUPAEeAc9rtSFU9WFVPAHvbWICfAz7dlvcAv7y8lyNJWi1LOgeRZCuwDbi9\nla5IcjDJR5JsbLXNwMNjmz3SarPrR4HNSU4DHquqp8bqP7KUviRJq2/RAdEOL90AvL3tSXwAOKOq\ntgHHgPeeGNrZvBaoz17n939I0sAWdTK4nTS+AfhYVd0IUFXfGBvyYeDmtnwUOH1s3RZG5xwCvHh2\nvar+PskLk5zU9iJOjO/1YXBI0jJUVe9D+rwWuwfxUeBwVb3vRKGdvD7hV4C/acs3ARcneW6SfwX8\nKHAHo5PSP5rkJUmeC1wM3Ni22Q9c1JYvHat/j6qa+NvOnTsH7+H7oUf7tM9Jv62XPpdrwT2IJK8G\nfgM4lOQuRod/3gn8epJtwFPAA8Dl7Q38cJLrgcPAE8Cba9Thd5K8BdjHKJh2V9W97WmuBPYmeTdw\nF7B72a9IkrQqFgyIqvpL4DmdVZ+bZ5vfBX63U/8ccFan/nfAuQv1IklaO15J/QyYnp4euoUFrYce\nwT5Xm32urvXS53IteKHcJElS66lfSZoESahn8CS1JOlZxoCQJHUZEJKkLgNCktRlQEiSugwISVKX\nASFJ6jIgJEldBoQkqcuAkCR1GRCSpC4DQpLUZUBIkroMCElSlwEhSeoyICRJXQaEJKnLgJAkdRkQ\nkqQuA0KS1LVh6AYk6fvV1NRWZmYeHLqNZUtVDd3DoiWp9dSvpGe3JMAkvGeFqspSt/IQkySpy4CQ\nJHUZEJKkLgNCktRlQEiSugwISVKXASFJ6jIgJEldBoQkqcuAkCR1GRCSpC4DQpLUtWBAJNmSZH+S\nw0kOJXlbq5+aZF+S+5LcmmTj2DbXJjmS5GCSbWP1S5Pc37a5ZKz+yiR3t3XXrPaLlCQt3WL2IJ4E\n/mNVvQL4N8AVSV4GXAl8vqrOAvYDVwEkuQA4o6rOBC4HPtTqpwLvAs4GzgV2joXKB4E3VdVLgZcm\nOX+1XqAkaXkWDIiqOlZVB9vy48A9wBZgB7CnDdvT7tP+vK6Nvx3YmGQTcD6wr6q+VVXHgX3A9iRT\nwPOr6o62/XXAL63Gi5MkLd+SzkEk2QpsA24DNlXVDIxCBHhRG7YZeHhss6OtNrv+yFj9aGe8JGlA\ni/6NcklOAW4A3l5VjyeZ67dgzP6lFCd+Y0bvl1XMV+/atWvX08vT09NMT0/P3bQkPSsdaLeVWVRA\nJNnAKBw+VlU3tvJMkk1VNdMOE3291Y8Cp49tvgV4tNWnZ9W/MM/4rvGAkCT1TPPdb7dXL+tRFnuI\n6aPA4ap631jtJuCytnwZcONY/RKAJOcBx9uhqFuB1ybZ2E5Yvxa4tR2e+ock52T0+/kuGXssSdJA\nFvyd1EleDfwFcIjRoZ8C3gncAVzP6NP/Q8BF7eQzSd4PbAe+Dbyhqr7c6pcB/6k9xn+pquta/VXA\nHwEnA7dU1dvn6MXfSS1p3Vjvv5N6wYCYJAaEpPVkvQeEV1JLkroMCElSlwEhSeoyICRJXQaEJKnL\ngJAkdRkQkqQuA0KS1GVASJK6DAhJUpcBIUnqMiAkSV0GhCSpy4CQJHUZEJKkLgNCktRlQEiSugwI\nSVKXASFJ6jIgJEldBoQkqcuAkCR1GRCSpC4DQpLUZUBIkroMCElSlwEhSeoyICRJXQaEJKnLgJAk\ndRkQkqQuA0KS1GVASJK6DAhJUpcBIUnqWjAgkuxOMpPk7rHaziRHk3y53baPrbsqyZEk9yR53Vh9\ne5J7k9yf5B1j9a1JbktyX5JPJtmwmi9QkrQ8i9mD+EPg/E7996rqle32OYAkLwd+FXg5cAHwgYyc\nBLy/Pc6PAa9P8rL2OO8B3ltVZwHHgX+/olckSVoVCwZEVX0ReKyzKp3aDmBvVT1ZVQ8AR4Bz2u1I\nVT1YVU8Ae9tYgJ8DPt2W9wC/vKRXIEl6RqzkHMQVSQ4m+UiSja22GXh4bMwjrTa7fhTYnOQ04LGq\nemqs/iMr6EmStEqWGxAfAM6oqm3AMeC9rd7bq6gF6rPX1TJ7kiStomWdEK6qb4zd/TBwc1s+Cpw+\ntm4L8CijEHjx7HpV/X2SFyY5qe1FnBg/p127dj29PD09zfT09HJegiR9HzvQbiuTqoU/sCfZCtxc\nVT/e7k9V1bG2/NvA2VX160leAXwcOJfRYaU/A85ktKdyH/Aa4GvAHcDFVXVvkk8B/7OqPpXkg8BX\nqupDc/RRi+lXkiZBEibjoEioqt6RnHktuAeR5BPANHBakoeAncDPJtkGPAU8AFwOUFWHk1wPHAae\nAN7c3tG/k+QtwD5GYbG7qu5tT3ElsDfJu4G7gN1LfRGSpNW3qD2ISeEehKT1ZL3vQXgltSSpy4CQ\nJHUZEJKkLgNCktRlQEiSugwISVKXASFJ6jIgJEldBoQkqcuAkCR1GRCSpC4DQpLUZUBIkroMCElS\nlwEhSeoyICRJXQaEJKnLgJAkdRkQkqQuA0KS1GVASJK6DAhJUpcBIUnqMiAkSV0GhCSpy4CQJHUZ\nEJKkLgNCktRlQEiSugwISVKXASFJ6jIgJEldBoQkqcuAkCR1GRCSpC4DQpLUtWBAJNmdZCbJ3WO1\nU5PsS3JfkluTbBxbd22SI0kOJtk2Vr80yf1tm0vG6q9Mcndbd81qvjhJ0vItZg/iD4HzZ9WuBD5f\nVWcB+4GrAJJcAJxRVWcClwMfavVTgXcBZwPnAjvHQuWDwJuq6qXAS5PMfi5J0gAWDIiq+iLw2Kzy\nDmBPW97T7p+oX9e2ux3YmGQTo4DZV1XfqqrjwD5ge5Ip4PlVdUfb/jrgl1bweiRJq2S55yBeVFUz\nAFV1DHhRq28GHh4bd7TVZtcfGasf7YyXJA1stU9Sp3O/OnUWqEuSBrZhmdvNJNlUVTPtMNHXW/0o\ncPrYuC3Ao60+Pav+hXnGz2nXrl1PL09PTzM9PT3nWEl6djrQbiuTqoU/sCfZCtxcVT/e7r8H+GZV\nvSfJlcALq+rKJBcCV1TVLyQ5D7imqs5rJ6m/BLyS0V7Ll4BXVdXxJLcDbwXuBD4LXFtVn5ujj1pM\nv5I0CZITB1GGFqqqd8RmXgvuQST5BKNP/6cleQjYCfw34I+TvBF4CLgIoKpuSXJhkq8C3wbe0OqP\nJXk3o2Ao4Op2shrgzcAfAScDt8wVDpKktbWoPYhJ4R6EpPVkve9BeCW1JKnLgJC0qqamtpJk8NvU\n1Nahp2Ld8xCTpFU1YYdVhu1gsubCQ0ySpNVhQEiSugwISVKXASFJ6jIgJEldBoQkqcuAkCR1GRCS\npC4DQpLUZUBIkroMCElSlwEhSeoyICRJXQaEJKnLgJAkdRkQkqQuA0KS1GVASJK6DAhJUpcBIUnq\nMiAkSV0GhCSpy4CQJHUZEJKkLgNCktRlQEiSugwISVKXASFJ6jIgJEldBoQkqcuAkCR1GRCSpC4D\nQpLUtaKASPJAkq8kuSvJHa12apJ9Se5LcmuSjWPjr01yJMnBJNvG6pcmub9tc8lKepIkrY6V7kE8\nBUxX1U9U1TmtdiXw+ao6C9gPXAWQ5ALgjKo6E7gc+FCrnwq8CzgbOBfYOR4qkqRhrDQg0nmMHcCe\ntryn3T9Rvw6gqm4HNibZBJwP7Kuqb1XVcWAfsH2FfUmSVmilAVHArUnuTPKmVttUVTMAVXUMeFGr\nbwYeHtv2aKvNrj/SapKkAW1Y4fY/VVXHkvxLYF+S+xiFRk8696tTZ57HYNeuXU8vT09PMz09vZR+\nJelZ4EC7rcyKAqLtIVBV30jyJ8A5wEySTVU1k2QK+HobfhQ4fWzzLcCjrT49q/6FuZ5zPCAkST3T\nfPfb6tXLepRlH2JK8rwkp7TlHwJeBxwCbgIua8MuA25syzcBl7Tx5wHH26GoW4HXJtnYTli/ttUk\nSQNayR7EJuAzSao9zseral+SLwHXJ3kj8BBwEUBV3ZLkwiRfBb4NvKHVH0vybuBLjA4tXd1OVkuS\nBpSqOQ/3T5wktZ76lZ6NkhOnF4cWhn6/mLC56J3vnZdXUkuSugwISVKXASGtgqmprSQZ/DY1tXXo\nqdD3Ec9BSKtgwo41D9uBc/FPHUzWXHgOQpK0OgwISVKXASFJ6jIgJEldBoQkqcuAkCR1rfTrvtfc\nySc/f9Dn/83ffCvXXPNfB+1BktbCuguIf/zHRwd89ps4dOjTAz6/JK2ddRcQMOQexA8O+NzfbWpq\nKzMzDw7aw6ZNL+HYsQcG7UHSM2cdBoSAFg7DXqE5M7PkCzMlrSOepJYkdRkQkqQuA0KS1GVASJK6\nDAhJUpcBIUnqMiAkSV0GhCSpy4CQJHUZEJKkLgNCktRlQEiSugwISVKXASFJ6jIgJEldBoQkqcuA\nkCR1GRCSpC4DQpLUZUBIkroMCElS18QERJLtSe5Ncn+SdwzdjyQ9201EQCQ5CXg/cD7wY8Drk7xs\n2K6W78CBA0O3sAgHhm5gUdbHXK4f62c+DwzdwKKsn/lcnokICOAc4EhVPVhVTwB7gR0D97Rs6+Mf\nzYGhG1iU9TGX68f6mc8DQzewKOtnPpdnUgJiM/Dw2P2jrSZJGsiGoRto0qlVb+ALXvBvn+FW5vbk\nk1/j5JPPGOz5JWktpar7Pry2TSTnAbuqanu7fyVQVfWeWeOGb1aS1qGq6n0Qn9ekBMRzgPuA1wBf\nA+4AXl9V9wzamCQ9i03EIaaq+k6StwD7GJ0X2W04SNKwJmIPQpI0eSblfzE9LcnuJDNJ7p5nzLVJ\njiQ5mGTbWvY31sO8fSb5mSTHk3y53f7zAD1uSbI/yeEkh5K8bY5xg87nYvqckPn8gSS3J7mr9bmz\nM+a5Sfa2+fyrJC+e0D4vTfL1sfl841r32fo4qT3/TZ11g8/lWC/z9Tkpc/lAkq+0v/c75hiztJ/1\nqpqoG/DTwDbg7jnWXwB8ti2fC9w2oX3+DHDTwHM5BWxry6cwOs/zskmbz0X2Ofh8tj6e1/58DnAb\ncM6s9b8FfKAt/xqwd0L7vBS4dgLm87eB/9H7u52UuVxEn5Myl38LnDrP+iX/rE/cHkRVfRF4bJ4h\nO4Dr2tjbgY1JNq1Fb+MW0Sf0//vumqmqY1V1sC0/DtzD915fMvh8LrJPGHg+Aarq/7bFH2B0Dm/2\nMdodwJ62fAOj/3ix5hbRJww8n0m2ABcCH5ljyETM5SL6hAn4t8moh/ne05f8sz5xAbEIsy+qe4TJ\nvajuvLa799kkrxiykSRbGe3x3D5r1UTN5zx9wgTMZzvUcBdwDPizqrpz1pCn57OqvgMcT/LP17jN\nxfQJ8CvtUMP17U1wrf134HeY45onJmQuWbhPGH4uYdTfrUnuTPIfOuuX/LO+HgNi0RfVDeyvgZdU\n1U8w+p6pPxmqkSSnMPoE9vb2Cf27Vnc2GWQ+F+hzIuazqp5qPWwBzu0E1ez5DAPM5yL6vAnYWlXb\ngD/nnz6pr4kkvwDMtD3H0P93OPhcLrLPQedyzE9V1U8y2tu5IslPz1q/5J/19RgQR4HTx+5vAR4d\nqJc5VdXjJ3bzq+pPgX820CfJDYzedD9WVTd2hkzEfC7U56TM51g//8DoC4O2z1r1MG0+2/U9L6iq\nhQ5FPmPm6rOqHqvR954BfBh41Rq39mrgF5P8LfBJ4GeTXDdrzCTM5YJ9TsBcnujjWPvzG8BnGH3H\n3bgl/6xPakDMldQwSutL4OkrsI9X1cxaNTbLnH2OH9tLcg6j/1L8zbVqbMxHgcNV9b451k/KfM7b\n5yTMZ5J/kWRjW/5B4OeBe2cNu5nRSUuAi4D9a9fhyGL6TDI1dncHcHjtOoSqemdVvbiq/jVwMbC/\nqi6ZNWzwuVxMn0PPZevheW0PnCQ/BLwO+JtZw5b8sz4RF8qNS/IJYBo4LclDwE7guYy+euMPquqW\nJBcm+SrwbeANk9gn8O+S/BbwBPD/GP0vjLXu8dXAbwCH2vHoAt4JvIQJms/F9MkEzCfww8CejL6e\n/iTgU23+rgburKr/BewGPpbkCPC/Gb2pTGKfb0vyi4zm85vAZQP0+T0mcC67JnAuNwGfyejriDYA\nH6+qfUkuZwU/614oJ0nqmtRDTJKkgRkQkqQuA0KS1GVASJK6DAhJUpcBIUnqMiAkSV0GhCSp6/8D\nqPzq+fcfIdoAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x1270c84a8>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.figure()\n",
    "plt.hist(Y_pred, bins=10)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "# gbm = GradientBoostingClassifier(n_estimators=2000, verbose=1, max_depth=3)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "# gbm.fit(_X_train, Y_train)\n",
    "# Y_pred = gbm.predict(_svd.transform(X_test))\n",
    "# print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "# print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "# print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))\n",
    "#       Iter       Train Loss   Remaining Time \n",
    "#          1       56720.3761         1056.85m\n",
    "#          2       54584.3602         1106.08m\n",
    "#          3       52874.2714         1067.89m\n",
    "#          4       51467.3362         1047.62m\n",
    "#          5       50336.6298         1047.09m\n",
    "#          6       49390.3237         1043.97m\n",
    "#          7       48612.7895         1029.42m\n",
    "#          8       47945.5695         1026.63m\n",
    "#          9       47383.4799         1025.32m\n",
    "#         10       46903.1964         1021.57m\n",
    "#         20       44273.3612          998.93m\n",
    "#         30       42902.0852          994.71m\n",
    "#         40       41851.0012          999.66m\n",
    "#         50       40948.9096          995.78m\n",
    "#         60       40142.7163          982.79m\n",
    "#         70       39415.5187          969.27m\n",
    "#         80       38779.8176          958.52m\n",
    "#         90       38188.4321          949.68m\n",
    "#        100       37626.5185          942.33m\n",
    "#        200       33352.5830          894.28m\n",
    "#        300       30230.8527          843.53m\n",
    "#        400       27707.4198          793.79m\n",
    "#        500       25542.5203          739.97m\n",
    "#        600       23672.9611          690.00m\n",
    "#        700       22042.7765          638.71m\n",
    "#        800       20556.7498          591.10m\n",
    "#        900       19229.0867          543.93m\n",
    "#       1000       18016.4749          493.40m\n",
    "#       2000        9957.4413            0.00s\n",
    "#              precision    recall  f1-score   support\n",
    "\n",
    "#           1       0.51      0.35      0.42      3091\n",
    "#           2       0.37      0.17      0.23      2778\n",
    "#           3       0.37      0.18      0.25      3979\n",
    "#           4       0.40      0.22      0.28      6296\n",
    "#           5       0.74      0.95      0.83     25891\n",
    "\n",
    "# avg / total       0.61      0.67      0.62     42035\n",
    "\n",
    "# 1.3681455929582491\n",
    "# 0.5841322707267753"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "# nb = MultinomialNB(alpha=0.01)\n",
    "# nb.fit(X_train, Y_train)\n",
    "# Y_pred = nb.predict(X_test)\n",
    "# print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "# print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "# print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "# mlp = MLPRegressor(hidden_layer_sizes=(32,32), activation='relu',verbose=1, max_iter=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "_X_train = _svd.transform(X_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true,
    "scrolled": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Iteration 1, loss = 5.16968583\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/sklearn/neural_network/multilayer_perceptron.py:563: ConvergenceWarning: Stochastic Optimizer: Maximum iterations reached and the optimization hasn't converged yet.\n",
      "  % (), ConvergenceWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Iteration 2, loss = 1.01195835\n",
      "1.3854281936610988\n",
      "0.9365592427274287\n",
      "Iteration 3, loss = 0.55738227\n",
      "1.0195153138206858\n",
      "0.7824037345525283\n",
      "Iteration 4, loss = 0.45461400\n",
      "0.9255916501511343\n",
      "0.736893821055338\n",
      "Iteration 5, loss = 0.41442571\n",
      "0.8895291163348097\n",
      "0.709438863301685\n",
      "Iteration 6, loss = 0.39194917\n",
      "0.8716686722173482\n",
      "0.6978772836740328\n",
      "Iteration 7, loss = 0.37651516\n",
      "0.8590747538665443\n",
      "0.680057452056573\n",
      "Iteration 8, loss = 0.36419153\n",
      "0.8454402782373104\n",
      "0.6743210387646618\n",
      "Iteration 9, loss = 0.35257234\n",
      "0.8340622692259746\n",
      "0.6597586870116939\n",
      "Iteration 10, loss = 0.34245471\n",
      "0.824357611322866\n",
      "0.6479767130455139\n",
      "Iteration 11, loss = 0.33360575\n",
      "0.8182967333543797\n",
      "0.6382846653370222\n",
      "Iteration 12, loss = 0.32597580\n",
      "0.8154934519881588\n",
      "0.6292631507556835\n",
      "Iteration 13, loss = 0.31997233\n",
      "0.8173309882371571\n",
      "0.6226899022798268\n",
      "Iteration 14, loss = 0.31510908\n",
      "Iteration 15, loss = 0.31108772\n",
      "Iteration 16, loss = 0.30726512\n",
      "0.8173349842058895\n",
      "0.6191140470320442\n",
      "Iteration 17, loss = 0.30404449\n",
      "Iteration 18, loss = 0.30114525\n",
      "Iteration 19, loss = 0.29843709\n",
      "Iteration 20, loss = 0.29569731\n",
      "Iteration 21, loss = 0.29327174\n",
      "0.8280880048341038\n",
      "0.6161887080846273\n",
      "Iteration 22, loss = 0.29145749\n",
      "Iteration 23, loss = 0.28919219\n",
      "Iteration 24, loss = 0.28710937\n",
      "Iteration 25, loss = 0.28511727\n",
      "0.8401946251975618\n",
      "0.6146624033106325\n",
      "Iteration 26, loss = 0.28337784\n",
      "Iteration 27, loss = 0.28166583\n",
      "Iteration 28, loss = 0.27956435\n",
      "Iteration 29, loss = 0.27796806\n",
      "Iteration 30, loss = 0.27631942\n",
      "Iteration 31, loss = 0.27516433\n",
      "Iteration 32, loss = 0.27335843\n",
      "Iteration 33, loss = 0.27188746\n",
      "Iteration 34, loss = 0.27069256\n",
      "Iteration 35, loss = 0.26952587\n",
      "Iteration 36, loss = 0.26774208\n",
      "Iteration 37, loss = 0.26673630\n",
      "Iteration 38, loss = 0.26519646\n",
      "Iteration 39, loss = 0.26389772\n",
      "Iteration 40, loss = 0.26293800\n",
      "Iteration 41, loss = 0.26173463\n",
      "Iteration 42, loss = 0.26059840\n",
      "Iteration 43, loss = 0.25957350\n",
      "Iteration 44, loss = 0.25832772\n",
      "Iteration 45, loss = 0.25740408\n",
      "Iteration 46, loss = 0.25657400\n",
      "Iteration 47, loss = 0.25532992\n",
      "Iteration 48, loss = 0.25443850\n",
      "Iteration 49, loss = 0.25375524\n",
      "Iteration 50, loss = 0.25228544\n",
      "Iteration 51, loss = 0.25164993\n"
     ]
    }
   ],
   "source": [
    "mlp = MLPRegressor(hidden_layer_sizes=(8, 8), activation='relu',verbose=1, max_iter=1)\n",
    "mlp.fit(X_train[:,nonzero_index], Y_train)\n",
    "min_mae = 2\n",
    "fold = 0\n",
    "mlp_type = 'reg' #'clf'\n",
    "for i in range(50):\n",
    "    mlp.partial_fit(X_train[:,nonzero_index], Y_train)\n",
    "    Y_pred = mlp.predict(X_test[:,nonzero_index])\n",
    "    mae = mean_absolute_error(y_true=Y_test, y_pred=Y_pred)\n",
    "    if mae < min_mae:\n",
    "        print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "        print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))\n",
    "        joblib.dump(mlp,'dz4_tfidf_mlp_%s_%s.pck' % (mlp_type, fold))\n",
    "        min_mae = mae\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true,
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1.4292851195432377\n",
      "0.6434162007850601\n"
     ]
    }
   ],
   "source": [
    "# Y_pred = mlp.predict(X_test)\n",
    "# print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_squared_error(y_true=Y_test, y_pred=Y_pred))\n",
    "print(mean_absolute_error(y_true=Y_test, y_pred=Y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true,
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Iteration 1, loss = 3.99723267\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/sklearn/neural_network/multilayer_perceptron.py:563: ConvergenceWarning: Stochastic Optimizer: Maximum iterations reached and the optimization hasn't converged yet.\n",
      "  % (), ConvergenceWarning)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Iteration 2, loss = 1.00894712\n",
      "1.581227697375591\n",
      "1.0269210919834955\n",
      "Iteration 3, loss = 0.66619805\n",
      "1.1629730666404783\n",
      "0.8562923000312906\n",
      "Iteration 4, loss = 0.53750037\n",
      "1.024944363474297\n",
      "0.7971128335067582\n",
      "Iteration 5, loss = 0.48720319\n",
      "0.9576446251960714\n",
      "0.7624383316395853\n",
      "Iteration 6, loss = 0.45831805\n",
      "0.9160520754034752\n",
      "0.739794463077757\n",
      "Iteration 7, loss = 0.43968495\n",
      "0.88997538716518\n",
      "0.7300043948860755\n",
      "Iteration 8, loss = 0.42752984\n",
      "0.8711257913225114\n",
      "0.7143885956408148\n",
      "Iteration 9, loss = 0.41588724\n",
      "0.8517041020951098\n",
      "0.6975427333968469\n",
      "Iteration 10, loss = 0.40273191\n",
      "0.8333950105080223\n",
      "0.6870802577200168\n",
      "Iteration 11, loss = 0.39116060\n",
      "0.8231785495714125\n",
      "0.6706264771174246\n",
      "Iteration 12, loss = 0.38196111\n",
      "0.8135504665551964\n",
      "0.6655633993358454\n",
      "Iteration 13, loss = 0.37387390\n",
      "Iteration 14, loss = 0.36647468\n",
      "0.8010900639013889\n",
      "0.6545466029309588\n",
      "Iteration 15, loss = 0.35719210\n",
      "0.7947360421481583\n",
      "0.6325530748782128\n",
      "Iteration 16, loss = 0.34890394\n",
      "0.7886913204148985\n",
      "0.6292985350169431\n",
      "Iteration 17, loss = 0.34199170\n",
      "Iteration 18, loss = 0.33564457\n",
      "0.789458233693499\n",
      "0.6231355073739298\n",
      "Iteration 19, loss = 0.33041546\n",
      "0.7916691971027628\n",
      "0.6214289497071098\n",
      "Iteration 20, loss = 0.32629181\n",
      "Iteration 21, loss = 0.32192996\n",
      "Iteration 22, loss = 0.31826199\n",
      "Iteration 23, loss = 0.31492195\n",
      "0.8037486800089065\n",
      "0.6155782950195104\n",
      "Iteration 24, loss = 0.31199344\n",
      "Iteration 25, loss = 0.30940409\n",
      "Iteration 26, loss = 0.30656452\n",
      "Iteration 27, loss = 0.30405457\n",
      "Iteration 28, loss = 0.30163033\n",
      "Iteration 29, loss = 0.29922845\n",
      "Iteration 30, loss = 0.29709101\n",
      "Iteration 31, loss = 0.29501141\n",
      "Iteration 32, loss = 0.29274264\n",
      "Iteration 33, loss = 0.29117081\n",
      "Iteration 34, loss = 0.28897829\n",
      "Iteration 35, loss = 0.28713291\n",
      "Iteration 36, loss = 0.28505907\n",
      "Iteration 37, loss = 0.28357117\n",
      "Iteration 38, loss = 0.28141031\n",
      "Iteration 39, loss = 0.27929446\n",
      "Iteration 40, loss = 0.27738949\n",
      "Iteration 41, loss = 0.27560645\n",
      "Iteration 42, loss = 0.27391559\n",
      "Iteration 43, loss = 0.27178554\n",
      "Iteration 44, loss = 0.26957996\n",
      "Iteration 45, loss = 0.26793879\n",
      "Iteration 46, loss = 0.26565118\n",
      "Iteration 47, loss = 0.26336724\n",
      "Iteration 48, loss = 0.26083684\n",
      "Iteration 49, loss = 0.25905475\n",
      "Iteration 50, loss = 0.25696238\n",
      "Iteration 51, loss = 0.25430898\n"
     ]
    }
   ],
   "source": [
    "mlp = MLPRegressor(hidden_layer_sizes=(8,8), activation='relu',verbose=1, max_iter=1)\n",
    "mlp.fit(X_test[:,nonzero_index], Y_test)\n",
    "min_mae = 2\n",
    "fold = 1\n",
    "mlp_type = 'reg'\n",
    "for i in range(50):\n",
    "    mlp.partial_fit(X_test[:,nonzero_index], Y_test)\n",
    "    Y_pred = mlp.predict(X_train[:,nonzero_index])\n",
    "#     print(classification_report(y_true=Y_test, y_pred=Y_pred))\n",
    "    mae = mean_absolute_error(y_true=Y_train, y_pred=Y_pred)\n",
    "    if mae < min_mae:\n",
    "        print(mean_squared_error(y_true=Y_train, y_pred=Y_pred))\n",
    "        print(mean_absolute_error(y_true=Y_train, y_pred=Y_pred))\n",
    "        joblib.dump(mlp,'dz4_tfidf_mlp_%s_%s.pck' % (mlp_type, fold))\n",
    "        min_mae = mae"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "target_id_list, target_context_list, target_text = zip(*(i.split(',') for i in X_target))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "_X_target = [preprocessing(text) for text in X_target]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/sklearn/feature_extraction/text.py:1059: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.\n",
      "  if hasattr(X, 'dtype') and np.issubdtype(X.dtype, np.float):\n"
     ]
    }
   ],
   "source": [
    "_X_target_arr = vec.transform(_X_target)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['dz4_X_test.pck']"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "joblib.dump(_X_target_arr, 'dz4_X_test.pck')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "__X_target_arr = _svd.transform(_X_target_arr)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "mlp1 = joblib.load('dz4_tfidf_mlp_reg_0.pck')\n",
    "mlp2 = joblib.load('dz4_tfidf_mlp_reg_1.pck')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "_Y_target_1 = mlp1.predict(_X_target_arr[:,nonzero_index])\n",
    "_Y_target_2 = mlp2.predict(_X_target_arr[:,nonzero_index])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "with open('mlp_tfidf_reg_1_feature_sel.csv', 'w') as f:\n",
    "    f.write('_id,rating\\n')\n",
    "    for _idx,(_id,v) in enumerate(zip(target_id_list,_Y_target_1)):\n",
    "        f.write('%s,%s\\n' % (_id, v))\n",
    "        \n",
    "with open('mlp_tfidf_reg_2_feature_sel.csv', 'w') as f:\n",
    "    f.write('_id,rating\\n')\n",
    "    for _idx,(_id,v) in enumerate(zip(target_id_list,_Y_target_2)):\n",
    "        f.write('%s,%s\\n' % (_id, v))\n",
    "\n",
    "_Y_target_ = (_Y_target_2+_Y_target_1)/2\n",
    "with open('mlp_tfidf_reg_mean_feature_sel.csv', 'w') as f:\n",
    "    f.write('_id,rating\\n')\n",
    "    for _idx,(_id,v) in enumerate(zip(target_id_list,_Y_target_)):\n",
    "        f.write('%s,%s\\n' % (_id, v))\n",
    "                \n",
    "# for line, Y in zip(f2, _X_target):\n",
    "#     _id = line.strip().split(',')[0]\n",
    "#     f.write('%s,%s\\n' % (_id, Y))\n",
    "#     pass"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "!open ."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "from sklearn.cross_validation import KFold"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 88,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "!mkdir dz4_40_fold_clf_model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 91,
   "metadata": {
    "collapsed": true,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "import warnings\n",
    "warnings.filterwarnings(\"ignore\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 92,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true,
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1.478116079923882\n",
      "0.6046622264509991\n",
      "1.2925784966698382\n",
      "0.5599429115128449\n",
      "1.2055185537583255\n",
      "0.5413891531874405\n",
      "1.137488106565176\n",
      "0.5237868696479543\n",
      "1.0975261655566126\n",
      "0.5228353948620361\n",
      "1.0846812559467174\n",
      "0.5176022835394862\n",
      "1.0694576593720266\n",
      "0.5128449096098954\n",
      "1.0794481446241675\n",
      "0.5123691722169362\n",
      "1.0699333967649858\n",
      "0.5114176974310181\n"
     ]
    },
    {
     "ename": "KeyboardInterrupt",
     "evalue": "",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "\u001b[0;32m<ipython-input-92-21f051c7134b>\u001b[0m in \u001b[0;36m<module>\u001b[0;34m()\u001b[0m\n\u001b[1;32m      7\u001b[0m     \u001b[0mmlp_type\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;34m'clf'\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m      8\u001b[0m     \u001b[0;32mfor\u001b[0m \u001b[0mi\u001b[0m \u001b[0;32min\u001b[0m \u001b[0mrange\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;36m50\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m----> 9\u001b[0;31m         \u001b[0mmlp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mpartial_fit\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mX_test\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0mnonzero_index\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mY_test\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     10\u001b[0m         \u001b[0mY_pred\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mmlp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mpredict\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mX_train\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0mnonzero_index\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     11\u001b[0m         \u001b[0mmae\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mmean_absolute_error\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0my_true\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mY_train\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0my_pred\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0mY_pred\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/scipy/sparse/csr.py\u001b[0m in \u001b[0;36m__getitem__\u001b[0;34m(self, key)\u001b[0m\n\u001b[1;32m    309\u001b[0m                 \u001b[0;32mif\u001b[0m \u001b[0mrow\u001b[0m \u001b[0;34m!=\u001b[0m \u001b[0mslice\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;32mNone\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    310\u001b[0m                     \u001b[0msliced\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0msliced\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0mrow\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 311\u001b[0;31m                 \u001b[0;32mreturn\u001b[0m \u001b[0msliced\u001b[0m \u001b[0;34m*\u001b[0m \u001b[0mP\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    312\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    313\u001b[0m         \u001b[0;32melif\u001b[0m \u001b[0missequence\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mrow\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/scipy/sparse/base.py\u001b[0m in \u001b[0;36m__mul__\u001b[0;34m(self, other)\u001b[0m\n\u001b[1;32m    438\u001b[0m             \u001b[0;32mif\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mshape\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m1\u001b[0m\u001b[0;34m]\u001b[0m \u001b[0;34m!=\u001b[0m \u001b[0mother\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mshape\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0;36m0\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    439\u001b[0m                 \u001b[0;32mraise\u001b[0m \u001b[0mValueError\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m'dimension mismatch'\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 440\u001b[0;31m             \u001b[0;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_mul_sparse_matrix\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mother\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    441\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    442\u001b[0m         \u001b[0;31m# If it's a list or whatever, treat it like a matrix\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;32m/Users/talipov/MyProjects/projectX/acosta_env/lib/python3.6/site-packages/scipy/sparse/compressed.py\u001b[0m in \u001b[0;36m_mul_sparse_matrix\u001b[0;34m(self, other)\u001b[0m\n\u001b[1;32m    510\u001b[0m            \u001b[0mnp\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0masarray\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mother\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mindices\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mdtype\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0midx_dtype\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    511\u001b[0m            \u001b[0mother\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mdata\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 512\u001b[0;31m            indptr, indices, data)\n\u001b[0m\u001b[1;32m    513\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    514\u001b[0m         \u001b[0;32mreturn\u001b[0m \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m__class__\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mdata\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0mindices\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0mindptr\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0mshape\u001b[0m\u001b[0;34m=\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mM\u001b[0m\u001b[0;34m,\u001b[0m\u001b[0mN\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m: "
     ]
    }
   ],
   "source": [
    "_R = np.array(R)\n",
    "for fold, (val_id_list, train_id_list) in enumerate(KFold(_X2.shape[0], n_folds=40, shuffle=True)):\n",
    "    X_train, X_test, Y_train, Y_test = _X2[train_id_list], _X2[val_id_list], _R[train_id_list], _R[val_id_list]\n",
    "    mlp = MLPClassifier(hidden_layer_sizes=(16), activation='relu', max_iter=1)\n",
    "    mlp.fit(X_test[:,nonzero_index], Y_test)\n",
    "    min_mae = 2\n",
    "    mlp_type = 'clf'\n",
    "    for i in range(50):\n",
    "        mlp.partial_fit(X_test[:,nonzero_index], Y_test)\n",
    "        Y_pred = mlp.predict(X_train[:,nonzero_index])\n",
    "        mae = mean_absolute_error(y_true=Y_train, y_pred=Y_pred)\n",
    "        if mae < min_mae:\n",
    "            print(mean_squared_error(y_true=Y_train, y_pred=Y_pred))\n",
    "            print(mean_absolute_error(y_true=Y_train, y_pred=Y_pred))\n",
    "            joblib.dump(mlp,'dz4_40_fold_clf_model/dz4_tfidf_mlp_%s_%s.pck' % (mlp_type, fold))\n",
    "            min_mae = mae"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 75,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "import os"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 93,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "_Y_pred = []\n",
    "for (_id, model_file) in enumerate(os.listdir('dz4_40_fold_clf_model/')):\n",
    "    model = joblib.load(os.path.join('dz4_40_fold_clf_model',model_file))\n",
    "    Y_pred = model.predict(_X_target_arr[:,nonzero_index])\n",
    "    _Y_pred.append(Y_pred)\n",
    "    with open('dz4_40_fold_clf_model/mlp_tfidf_reg_%s_feature_sel.csv' % _id, 'w') as f:\n",
    "        \n",
    "        f.write('_id,rating\\n')\n",
    "        for _idx,(_id,v) in enumerate(zip(target_id_list,Y_pred)):\n",
    "            f.write('%s,%s\\n' % (_id, v))\n",
    "            \n",
    "_Y_pred = np.array(_Y_pred)\n",
    "Y_pred = _Y_pred .mean(axis=0)\n",
    "with open('dz4_40_fold_clf_model/mlp_tfidf_reg_mean_feature_sel.csv', 'w') as f:\n",
    "    f.write('_id,rating\\n')\n",
    "    for _idx,(_id,v) in enumerate(zip(target_id_list,Y_pred)):\n",
    "        f.write('%s,%s\\n' % (_id, v))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 83,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [],
   "source": [
    "_Y_pred =[]\n",
    "for i in [0, 1, 2, 5, 8, 9, 10, 11, 12, 14, 15, 17, 18, 19]:\n",
    "    model_file = 'dz4_tfidf_mlp_reg_%s.pck' % i\n",
    "    model = joblib.load(os.path.join('dz4_n_fold_model',model_file))\n",
    "    Y_pred = model.predict(_X_target_arr[:,nonzero_index])\n",
    "    _Y_pred.append(Y_pred)\n",
    "    \n",
    "#     with open('dz4_n_fold_model/mlp_tfidf_reg_%s_feature_sel.csv' % _id, 'w') as f:\n",
    "#         f.write('_id,rating\\n')\n",
    "#         for _idx,(_id,v) in enumerate(zip(target_id_list,Y_pred)):\n",
    "#             f.write('%s,%s\\n' % (_id, v))\n",
    "            \n",
    "_Y_pred = np.array(_Y_pred)\n",
    "Y_pred = _Y_pred .mean(axis=0)\n",
    "with open('dz4_n_fold_model/mlp_tfidf_reg_mean_feature_sel_.csv', 'w') as f:\n",
    "    f.write('_id,rating\\n')\n",
    "    for _idx,(_id,v) in enumerate(zip(target_id_list,Y_pred)):\n",
    "        f.write('%s,%s\\n' % (_id, v))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 129,
   "metadata": {
    "collapsed": false,
    "deletable": true,
    "editable": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "  156654 8438021 111621556 ./dz4/norm_big_test_agg.csv\r\n"
     ]
    }
   ],
   "source": [
    "!wc ./dz4/norm_big_test_agg.csv"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 124,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "  154372 8563001 113016781 ./dz4/norm_big_train_agg.csv\r\n"
     ]
    }
   ],
   "source": [
    "!wc ./dz4/norm_big_train_agg.csv"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.0b3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}