Classes/7/Files.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Работа с файлами\n",
    "\n",
    "До сих пор все объекты, которые мы создавали, хранились в оперативной памяти компьютера и удалялись из нее при закрытии программы. Чтобы результаты вычислений / обработки текста / чего угодно соранились, нужно записать их в файл. Питон позволяет это сделать, равно как и прочитать и загрузить в память информацию из файла.\n",
    "\n",
    "### Чтение файлов\n",
    "Отрыть файл можно с помощью функции `open()`, аргументами которой будут путь к файлу, режим доступа к файлу и кодировка. **Кодировки** -- это достаточно важная и полезная тема, [вот здесь](https://ancatmara.gitbooks.io/digital-literacy/content/seminar-2.html) можно познакомиться с ними поподробнее (кодировки начинаются примерно в середине конспекта, но для расширения кругозора можно прочитать всё :)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "f = open('poem.txt', 'r', encoding='utf-8')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Но просто открыть файл мало: чтобы загрузить данные из него в память, нужно его прочитать с помощью `read()`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "***\n",
      "\n",
      "Открыв наук зеленый том\n",
      "я долго плакал, а потом\n",
      "его закрыл и бросил в реку.\n",
      "Науки вредны человеку.\n",
      "науки втянут нас в беду\n",
      "возьмемтесь лучше за еду.\n",
      "\n",
      "<1933>\n",
      "\n",
      "Даниил Хармс\n"
     ]
    }
   ],
   "source": [
    "poem = f.read()\n",
    "print(poem)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "После этого файл нужно обязательно закрыть!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "f.close()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Но есть и другой способ -- использовать конструктор `with ... as`, и тогда закрывать файл вручную будет не нужно."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "with open('poem.txt', 'r', encoding='utf-8') as f:\n",
    "    poem = f.read()\n",
    "    \n",
    "f.closed # проверяем, закрыт ли файл"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Когда мы доходим до строчки кода вне конструктора (без отступа), файл закрывается сам, и с ним больше нельзя работать. Однако мы записали его содержимое в переменную `poem`, которая теперь хранится в оперативной памяти, поэтому с ней работать можем. Например, распечатаем первые 30 символов нашего стихотворения. **NB!** Все содержимое текстового файла -- это, по сути, одна большая строка."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "***\n",
      "\n",
      "Открыв наук зеленый том\n",
      "я\n"
     ]
    }
   ],
   "source": [
    "print(poem[:30])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Однако если в файле есть переносы строк, то можно прочитать его _построчно_. В этом нам поможет цикл `for` (вспоминаем предыдущий семинар!) Перенос строки обозначается символом **\\n**, а в текстовых файлах, созданных под Windows -- **\\r\\n**."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "🐱 ***\n",
      "🐱 \n",
      "🐱 Открыв наук зеленый том\n",
      "🐱 я долго плакал, а потом\n",
      "🐱 его закрыл и бросил в реку.\n",
      "🐱 Науки вредны человеку.\n",
      "🐱 науки втянут нас в беду\n",
      "🐱 возьмемтесь лучше за еду.\n",
      "🐱 \n",
      "🐱 <1933>\n",
      "🐱 \n",
      "🐱 Даниил Хармс"
     ]
    }
   ],
   "source": [
    "# сколько строк в файле?\n",
    "\n",
    "with open('poem.txt', 'r', encoding='utf-8') as f:\n",
    "    for line in f:\n",
    "        print(\"🐱\", line, sep=' ', end='')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Кроме того, существует функция `readlines()`, которая позволяет прочитать файл построчно и записать строки в список."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['***\\n', '\\n', 'Открыв наук зеленый том\\n', 'я долго плакал, а потом\\n', 'его закрыл и бросил в реку.\\n', 'Науки вредны человеку.\\n', 'науки втянут нас в беду\\n', 'возьмемтесь лучше за еду.\\n', '\\n', '<1933>\\n', '\\n', 'Даниил Хармс']\n"
     ]
    }
   ],
   "source": [
    "with open('poem.txt', 'r', encoding='utf-8') as f:\n",
    "    lines = f.readlines()\n",
    "    \n",
    "print(lines)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Режимы доступа к файлу\n",
    "\n",
    "Ниже приведен полный список режимов доступа к файлу, но нам, скорее всего, понадобятся только режим чтения ('r'), режим записи ('w') и, возможно, режим добавления ('a').\n",
    "\n",
    "**NB!** Информация в файле может быть представлена в виде текста, а может быть в виде байтов, т.е. в двоичном формате (такие файлы ещё называют бинарными). Во обозначениях режимов работы с бинарными файлами есть буква \"b\". Мы же пока что будем работать только с текстовыми файлами, а дополнительную информацию можно почитать, например, [вот здесь](http://pythonicway.com/python-fileio). \n",
    "\n",
    "Режим | Описание\n",
    "------|---------\n",
    "**r** |\tОткрывает файл только для чтения. Указатель стоит в начале файла.\n",
    "r+ |\tОткрывает файл для чтения и записи. Указатель стоит в начале файла.\n",
    "**w** |\tОткрывает файл только для записи. Указатель стоит в начале файла. Создает файл с именем имя-файла, если такового не существует.\n",
    "w+ |\tОткрывает файл для чтения и записи. Указатель стоит в начале файла. Создает файл с именем filename, если такового не существует.\n",
    "**a** |\tОткрывает файл для добавления информации в файл. Указатель стоит в конце файла. Создает файл с именем filename, если такового не существует.\n",
    "a+ |\tОткрывает файл для добавления и чтения. Указатель стоит в конце файла. Создает файл с именем filename, если такового не существует."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Запись в файл\n",
    "\n",
    "Для записи данных в файл нужно открыть его в соответствующем режиме доступа, а затем использовать функцию `write()`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "text = \"варкалось хливкие шорьки пырялись по наве и хрюкотали зелюки как мюмзики в мове о бойся бармаглота сын он так свирлеп и дик а в глyще рымит исполин злопастный брандашмыг\\n\"\n",
    "\n",
    "with open('jabberwocky.txt', 'w', encoding='utf-8') as f:\n",
    "    f.write(text)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Файл будет выглядеть так:\n",
    "    \n",
    "![](1.png)\n",
    "\n",
    "Записывать что-то в файл на каждой итерации цикла тоже можно: разобъем наш текст на слова и запишем каждое из них на новой строке, а заодно и посмотрим режим доступа 'a', который позволяет дописывать новые данные в уже существующий файл."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "words = text.split()\n",
    "\n",
    "with open('jabberwocky.txt', 'a', encoding='utf-8') as f:\n",
    "    for word in words:\n",
    "        f.write(word + '\\n') # не забываем про перенос строки, иначе все слова склеятся!"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Получится вот так (в файле включено отображение скрытых значков, чтобы увидеть переносы строки; CR = \\r, LF = \\n).\n",
    "\n",
    "![](2.png)\n",
    "\n",
    "**NB!** Если открыть уже существующий файл в режиме 'w' и что-то туда записать, то все старое содержимое удалится! Поэтому и нужен специальный режим 'a'.\n",
    "\n",
    "## Модуль os\n",
    "\n",
    "Модуль os в Python предназначен для взаимодействия программы с операционной системой, в частности для управления файлами.\n",
    "\n",
    "### Работа с файлами "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# сначала нужно обязательно импортировать модуль!\n",
    "import os\n",
    "\n",
    "# переименовываем файл\n",
    "os.rename('jabberwocky.txt', 'Jabberwocky.txt')\n",
    "\n",
    "# удаляем файл\n",
    "os.remove('Jabberwocky.txt')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Работа с папками"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "C:\\Users\\ancatmara\\Desktop\\Projects\\python-for-dh\\Classes\\7\n",
      ".ipynb_checkpoints\n",
      "1.png\n",
      "2.png\n",
      "Files.ipynb\n",
      "poem.txt\n",
      "poems\n"
     ]
    }
   ],
   "source": [
    "# посмотрим, в какой папке мы находимся\n",
    "print(os.getcwd())\n",
    "\n",
    "# а теперь посмотрим список файлов и папок внутри нее\n",
    "\n",
    "for file in os.listdir('.'): # точка = текущая папка\n",
    "    print(file)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'C:\\\\Users\\\\ancatmara\\\\Desktop\\\\Projects\\\\python-for-dh\\\\Classes'"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# а теперь поменяем рабочую директорию\n",
    "\n",
    "os.chdir('..') # две точки = на уровень выше\n",
    "os.getcwd()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Кроме того, можно создавать и удалять папки."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "False"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# создаем папку (если она уже есть, программа выдаст ошибку)\n",
    "os.mkdir('./new')\n",
    "\n",
    "# создаем несколько вложенных папок\n",
    "os.makedirs('./new/texts/poems')\n",
    "\n",
    "# удаляем все пустые папки (начиная с самой внутренней)\n",
    "os.removedirs('./new/texts/poems')\n",
    "\n",
    "# проверяем (подробнее об этом ниже)\n",
    "os.path.exists('./new')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Проверка наличия и типа объекта"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "False\n",
      "True\n",
      "True\n"
     ]
    }
   ],
   "source": [
    "os.chdir('./7')\n",
    "\n",
    "# существует ли путь?\n",
    "print(os.path.exists('Jabberwocky.txt'))\n",
    "\n",
    "# Является ли объект пути обычным файлом? (существующим)\n",
    "print(os.path.isfile('2.png'))\n",
    "\n",
    "# Является ли объект пути обычной папкой? (существующей)\n",
    "print(os.path.isdir('../4'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### os.walk() и os.path.join()\n",
    "\n",
    "Иногда нужно сделать что-нибудь со всеми файлами в текущей папке и вложенных в нее папках. Это можно сделать в цикле, используя функцию `os.walk()`. Вместе с ней будет часто требоваться функция `os.path.join()`, которая собирает полный путь к файлу из кусочков.\n",
    "\n",
    "Напечатаем список всех файлов содержащихся внутри папок по заданному пути (учитывая вложенные подпапки).\n",
    "\n",
    "**NB!** В любой операционной системе -- Windows, Linux, MacOS -- можно задать путь, разделяя папки с помощью слеша \"\\\": `C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes`. В Windows по умолчанию используется обратный слеш, поэтому разделять папки можно с помощью двух обратных слешей (один -- разделитель, другой -- экранирующий его символ). Вот так: `C:\\\\Users\\\\ancatmara\\\\Desktop\\\\Projects\\\\python-for-dh\\\\Classes`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\1\\cmd cheatsheet.md\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\1\\DS_Store-gitignore.md\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\1\\git_install_and_setup.md\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\1\\NewYear_fairytale_or_memorizing_six_git_commands.md\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\1\\theory (git + markdown).md\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\3\\HW0.ipynb\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\3\\Intro.ipynb\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\3\\О_дз.md\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\4\\Expressions & Conditionals.ipynb\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\5\\Dictionaries & Functions.ipynb\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\5\\.ipynb_checkpoints\\Dictionaries & Functions-checkpoint.ipynb\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\6\\Loops & Iteration.ipynb\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\6\\.ipynb_checkpoints\\Loops & Iteration-checkpoint.ipynb\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\1.png\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\2.png\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\Files.ipynb\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poem.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\.ipynb_checkpoints\\Files-checkpoint.ipynb\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\боль.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\ворон.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\деды.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\кладь.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\ночь.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\шредингер.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\котики\\кот.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\котики\\лео.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\котики\\пушок.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\сказки\\гримм.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\сказки\\королевич.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\сказки\\король.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\сказки\\крестная.txt\n",
      "C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes\\7\\poems\\сказки\\яга.txt\n"
     ]
    }
   ],
   "source": [
    "# указываем путь к какой-либо папке на вашем компьютере\n",
    "for root, dirs, files in os.walk('C:/Users/ancatmara/Desktop/Projects/python-for-dh/Classes'):\n",
    "#     print(root)\n",
    "#     print(dirs)\n",
    "    for name in files:\n",
    "        fullname = os.path.join(root, name)\n",
    "        print(fullname)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Задание\n",
    "\n",
    "1. Если вы не делали git pull или git clone: cкачать архив с текстовыми файлами [отсюда](https://www.dropbox.com/s/uvf5kuet958p0xt/poems.rar?dl=0) и распаковать его. Если делали, то все нужные файлы уже есть в папке poems.\n",
    "2. Распечатать текущую директорию и список всех файлов и папок в ней. Посчитать и распечатать количество файлов.\n",
    "3. Проверить, является ли файлом \"гримм.txt\"\n",
    "4. Распечатать содержимое файла \"кот.txt\" целиком, а также список строк из файла \"боль.txt\"\n",
    "5. Переименовать файл \"кладь.txt\"\n",
    "6. Удалить файл \"пушок.txt\"\n",
    "7. Пройтись циклом по рабочей директории, читая содержимое каждого файла и записывая его в новый файл poems.txt По завершении цикла должен получиться файл со всеми стихотворениями!\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}