TP0: Docker + Comunicaciones + Concurrencia

En el presente repositorio se provee un esqueleto básico de cliente/servidor, en donde todas las dependencias del mismo se encuentran encapsuladas en containers. Los alumnos deberán resolver una guía de ejercicios incrementales, teniendo en cuenta las condiciones de entrega descritas al final de este enunciado.

El cliente (Golang) y el servidor (Python) fueron desarrollados en diferentes lenguajes simplemente para mostrar cómo dos lenguajes de programación pueden convivir en el mismo proyecto con la ayuda de containers, en este caso utilizando Docker Compose.

Instrucciones de uso

El repositorio cuenta con un Makefile que incluye distintos comandos en forma de targets. Los targets se ejecutan mediante la invocación de: make <target>. Los target imprescindibles para iniciar y detener el sistema son docker-compose-up y docker-compose-down, siendo los restantes targets de utilidad para el proceso de depuración.

Los targets disponibles son:

target	accion
docker-compose-up	Inicializa el ambiente de desarrollo. Construye las imágenes del cliente y el servidor, inicializa los recursos a utilizar (volúmenes, redes, etc) e inicia los propios containers.
docker-compose-down	Ejecuta docker-compose stop para detener los containers asociados al compose y luego docker-compose down para destruir todos los recursos asociados al proyecto que fueron inicializados. Se recomienda ejecutar este comando al finalizar cada ejecución para evitar que el disco de la máquina host se llene de versiones de desarrollo y recursos sin liberar.
docker-compose-logs	Permite ver los logs actuales del proyecto. Acompañar con grep para lograr ver mensajes de una aplicación específica dentro del compose.
docker-image	Construye las imágenes a ser utilizadas tanto en el servidor como en el cliente. Este target es utilizado por docker-compose-up, por lo cual se lo puede utilizar para probar nuevos cambios en las imágenes antes de arrancar el proyecto.
build	Compila la aplicación cliente para ejecución en el host en lugar de en Docker. De este modo la compilación es mucho más veloz, pero requiere contar con todo el entorno de Golang y Python instalados en la máquina host.

Servidor

Se trata de un "echo server", en donde los mensajes recibidos por el cliente se responden inmediatamente y sin alterar.

Se ejecutan en bucle las siguientes etapas:

1. Servidor acepta una nueva conexión.
2. Servidor recibe mensaje del cliente y procede a responder el mismo.
3. Servidor desconecta al cliente.
4. Servidor retorna al paso 1.

Cliente

se conecta reiteradas veces al servidor y envía mensajes de la siguiente forma:

1. Cliente se conecta al servidor.
2. Cliente genera mensaje incremental.
3. Cliente envía mensaje al servidor y espera mensaje de respuesta.
4. Servidor responde al mensaje.
5. Servidor desconecta al cliente.
6. Cliente verifica si aún debe enviar un mensaje y si es así, vuelve al paso 2.

Ejemplo

Al ejecutar el comando make docker-compose-up y luego make docker-compose-logs, se observan los siguientes logs:

client1  | 2024-08-21 22:11:15 INFO     action: config | result: success | client_id: 1 | server_address: server:12345 | loop_amount: 5 | loop_period: 5s | log_level: DEBUG
client1  | 2024-08-21 22:11:15 INFO     action: receive_message | result: success | client_id: 1 | msg: [CLIENT 1] Message N°1
server   | 2024-08-21 22:11:14 DEBUG    action: config | result: success | port: 12345 | listen_backlog: 5 | logging_level: DEBUG
server   | 2024-08-21 22:11:14 INFO     action: accept_connections | result: in_progress
server   | 2024-08-21 22:11:15 INFO     action: accept_connections | result: success | ip: 172.25.125.3
server   | 2024-08-21 22:11:15 INFO     action: receive_message | result: success | ip: 172.25.125.3 | msg: [CLIENT 1] Message N°1
server   | 2024-08-21 22:11:15 INFO     action: accept_connections | result: in_progress
server   | 2024-08-21 22:11:20 INFO     action: accept_connections | result: success | ip: 172.25.125.3
server   | 2024-08-21 22:11:20 INFO     action: receive_message | result: success | ip: 172.25.125.3 | msg: [CLIENT 1] Message N°2
server   | 2024-08-21 22:11:20 INFO     action: accept_connections | result: in_progress
client1  | 2024-08-21 22:11:20 INFO     action: receive_message | result: success | client_id: 1 | msg: [CLIENT 1] Message N°2
server   | 2024-08-21 22:11:25 INFO     action: accept_connections | result: success | ip: 172.25.125.3
server   | 2024-08-21 22:11:25 INFO     action: receive_message | result: success | ip: 172.25.125.3 | msg: [CLIENT 1] Message N°3
client1  | 2024-08-21 22:11:25 INFO     action: receive_message | result: success | client_id: 1 | msg: [CLIENT 1] Message N°3
server   | 2024-08-21 22:11:25 INFO     action: accept_connections | result: in_progress
server   | 2024-08-21 22:11:30 INFO     action: accept_connections | result: success | ip: 172.25.125.3
server   | 2024-08-21 22:11:30 INFO     action: receive_message | result: success | ip: 172.25.125.3 | msg: [CLIENT 1] Message N°4
server   | 2024-08-21 22:11:30 INFO     action: accept_connections | result: in_progress
client1  | 2024-08-21 22:11:30 INFO     action: receive_message | result: success | client_id: 1 | msg: [CLIENT 1] Message N°4
server   | 2024-08-21 22:11:35 INFO     action: accept_connections | result: success | ip: 172.25.125.3
server   | 2024-08-21 22:11:35 INFO     action: receive_message | result: success | ip: 172.25.125.3 | msg: [CLIENT 1] Message N°5
client1  | 2024-08-21 22:11:35 INFO     action: receive_message | result: success | client_id: 1 | msg: [CLIENT 1] Message N°5
server   | 2024-08-21 22:11:35 INFO     action: accept_connections | result: in_progress
client1  | 2024-08-21 22:11:40 INFO     action: loop_finished | result: success | client_id: 1
client1 exited with code 0

Parte 1: Introducción a Docker

En esta primera parte del trabajo práctico se plantean una serie de ejercicios que sirven para introducir las herramientas básicas de Docker que se utilizarán a lo largo de la materia. El entendimiento de las mismas será crucial para el desarrollo de los próximos TPs.

Ejercicio N°1:

Definir un script de bash generar-compose.sh que permita crear una definición de Docker Compose con una cantidad configurable de clientes. El nombre de los containers deberá seguir el formato propuesto: client1, client2, client3, etc.

El script deberá ubicarse en la raíz del proyecto y recibirá por parámetro el nombre del archivo de salida y la cantidad de clientes esperados:

./generar-compose.sh docker-compose-dev.yaml 5

Considerar que en el contenido del script pueden invocar un subscript de Go o Python:

#!/bin/bash
echo "Nombre del archivo de salida: $1"
echo "Cantidad de clientes: $2"
python3 mi-generador.py $1 $2

En el archivo de Docker Compose de salida se pueden definir volúmenes, variables de entorno y redes con libertad, pero recordar actualizar este script cuando se modifiquen tales definiciones en los sucesivos ejercicios.

Ejercicio N°2:

Modificar el cliente y el servidor para lograr que realizar cambios en el archivo de configuración no requiera reconstruír las imágenes de Docker para que los mismos sean efectivos. La configuración a través del archivo correspondiente (config.ini y config.yaml, dependiendo de la aplicación) debe ser inyectada en el container y persistida por fuera de la imagen (hint: docker volumes).

Ejercicio N°3:

Crear un script de bash validar-echo-server.sh que permita verificar el correcto funcionamiento del servidor utilizando el comando netcat para interactuar con el mismo. Dado que el servidor es un echo server, se debe enviar un mensaje al servidor y esperar recibir el mismo mensaje enviado.

En caso de que la validación sea exitosa imprimir: action: test_echo_server | result: success, de lo contrario imprimir:action: test_echo_server | result: fail.

El script deberá ubicarse en la raíz del proyecto. Netcat no debe ser instalado en la máquina host y no se pueden exponer puertos del servidor para realizar la comunicación (hint: docker network). `

Ejercicio N°4:

Modificar servidor y cliente para que ambos sistemas terminen de forma graceful al recibir la signal SIGTERM. Terminar la aplicación de forma graceful implica que todos los file descriptors (entre los que se encuentran archivos, sockets, threads y procesos) deben cerrarse correctamente antes que el thread de la aplicación principal muera. Loguear mensajes en el cierre de cada recurso (hint: Verificar que hace el flag -t utilizado en el comando docker compose down).

Parte 2: Repaso de Comunicaciones

Las secciones de repaso del trabajo práctico plantean un caso de uso denominado Lotería Nacional. Para la resolución de las mismas deberá utilizarse como base el código fuente provisto en la primera parte, con las modificaciones agregadas en el ejercicio 4.

Ejercicio N°5:

Modificar la lógica de negocio tanto de los clientes como del servidor para nuestro nuevo caso de uso.

Cliente

Emulará a una agencia de quiniela que participa del proyecto. Existen 5 agencias. Deberán recibir como variables de entorno los campos que representan la apuesta de una persona: nombre, apellido, DNI, nacimiento, numero apostado (en adelante 'número'). Ej.: NOMBRE=Santiago Lionel, APELLIDO=Lorca, DOCUMENTO=30904465, NACIMIENTO=1999-03-17 y NUMERO=7574 respectivamente.

Los campos deben enviarse al servidor para dejar registro de la apuesta. Al recibir la confirmación del servidor se debe imprimir por log: action: apuesta_enviada | result: success | dni: ${DNI} | numero: ${NUMERO}.

Servidor

Emulará a la central de Lotería Nacional. Deberá recibir los campos de la cada apuesta desde los clientes y almacenar la información mediante la función store_bet(...) para control futuro de ganadores. La función store_bet(...) es provista por la cátedra y no podrá ser modificada por el alumno. Al persistir se debe imprimir por log: action: apuesta_almacenada | result: success | dni: ${DNI} | numero: ${NUMERO}.

Comunicación:

Se deberá implementar un módulo de comunicación entre el cliente y el servidor donde se maneje el envío y la recepción de los paquetes, el cual se espera que contemple:

• Definición de un protocolo para el envío de los mensajes.
• Serialización de los datos.
• Correcta separación de responsabilidades entre modelo de dominio y capa de comunicación.
• Correcto empleo de sockets, incluyendo manejo de errores y evitando los fenómenos conocidos como short read y short write.

Ejercicio N°6:

Modificar los clientes para que envíen varias apuestas a la vez (modalidad conocida como procesamiento por chunks o batchs). Los batchs permiten que el cliente registre varias apuestas en una misma consulta, acortando tiempos de transmisión y procesamiento.

La información de cada agencia será simulada por la ingesta de su archivo numerado correspondiente, provisto por la cátedra dentro de .data/datasets.zip. Los archivos deberán ser inyectados en los containers correspondientes y persistido por fuera de la imagen (hint: docker volumes), manteniendo la convencion de que el cliente N utilizara el archivo de apuestas .data/agency-{N}.csv .

En el servidor, si todas las apuestas del batch fueron procesadas correctamente, imprimir por log: action: apuesta_recibida | result: success | cantidad: ${CANTIDAD_DE_APUESTAS}. En caso de detectar un error con alguna de las apuestas, debe responder con un código de error a elección e imprimir: action: apuesta_recibida | result: fail | cantidad: ${CANTIDAD_DE_APUESTAS}.

La cantidad máxima de apuestas dentro de cada batch debe ser configurable desde config.yaml. Respetar la clave batch: maxAmount, pero modificar el valor por defecto de modo tal que los paquetes no excedan los 8kB.

Por su parte, el servidor deberá responder con éxito solamente si todas las apuestas del batch fueron procesadas correctamente.

Ejercicio N°7:

Modificar los clientes para que notifiquen al servidor al finalizar con el envío de todas las apuestas y así proceder con el sorteo. Inmediatamente después de la notificacion, los clientes consultarán la lista de ganadores del sorteo correspondientes a su agencia. Una vez el cliente obtenga los resultados, deberá imprimir por log: action: consulta_ganadores | result: success | cant_ganadores: ${CANT}.

El servidor deberá esperar la notificación de las 5 agencias para considerar que se realizó el sorteo e imprimir por log: action: sorteo | result: success. Luego de este evento, podrá verificar cada apuesta con las funciones load_bets(...) y has_won(...) y retornar los DNI de los ganadores de la agencia en cuestión. Antes del sorteo no se podrán responder consultas por la lista de ganadores con información parcial.

Las funciones load_bets(...) y has_won(...) son provistas por la cátedra y no podrán ser modificadas por el alumno.

No es correcto realizar un broadcast de todos los ganadores hacia todas las agencias, se espera que se informen los DNIs ganadores que correspondan a cada una de ellas.

Parte 3: Repaso de Concurrencia

En este ejercicio es importante considerar los mecanismos de sincronización a utilizar para el correcto funcionamiento de la persistencia.

Ejercicio N°8:

Modificar el servidor para que permita aceptar conexiones y procesar mensajes en paralelo. En caso de que el alumno implemente el servidor en Python utilizando multithreading, deberán tenerse en cuenta las limitaciones propias del lenguaje.

Condiciones de Entrega

Se espera que los alumnos realicen un fork del presente repositorio para el desarrollo de los ejercicios y que aprovechen el esqueleto provisto tanto (o tan poco) como consideren necesario.

Cada ejercicio deberá resolverse en una rama independiente con nombres siguiendo el formato ej${Nro de ejercicio}. Se permite agregar commits en cualquier órden, así como crear una rama a partir de otra, pero al momento de la entrega deberán existir 8 ramas llamadas: ej1, ej2, ..., ej7, ej8. (hint: verificar listado de ramas y últimos commits con git ls-remote)

Se espera que se redacte una sección del README en donde se indique cómo ejecutar cada ejercicio y se detallen los aspectos más importantes de la solución provista, como ser el protocolo de comunicación implementado (Parte 2) y los mecanismos de sincronización utilizados (Parte 3).

Se proveen pruebas automáticas de caja negra. Se exige que la resolución de los ejercicios pase tales pruebas, o en su defecto que las discrepancias sean justificadas y discutidas con los docentes antes del día de la entrega. El incumplimiento de las pruebas es condición de desaprobación, pero su cumplimiento no es suficiente para la aprobación. Respetar las entradas de log planteadas en los ejercicios, pues son las que se chequean en cada uno de los tests.

La corrección personal tendrá en cuenta la calidad del código entregado y casos de error posibles, se manifiesten o no durante la ejecución del trabajo práctico. Se pide a los alumnos leer atentamente y tener en cuenta los criterios de corrección informados en el campus.

Solución

A continuación se indican los comandos para ejecutar cada uno de los ejercicios. Ciertos ejercicios requieren tener descomprimido el dataset de apuestas. El mismo se puede descomprimir con

cd .data && unzip dataset.zip

Ejercicio 1

El Docker compose se puede generar con

./generar-compose.sh docker-compose-dev.yaml 5

y se puede corroborar que se ha generado correctamente con

cat docker-compose-dev.yaml

Ejercicio 2

Para testear este ejercicio se agregó un nuevo target docker-compose-up-without-build para levantar los servicios sin buildear las imágenes. Para probarlo, generar un Docker compose con

./generar-compose.sh docker-compose-dev.yaml 1

Luego modificar algun valor de la config comop por ejemplo el log level tanto en el cliente como en el server y levantar los servicios con

make docker-compose-up-without-build

una vez levantados los servicios, revisar que el log level en los logs es correcto con

make docker-compose-logs

Ejercicio 3

Para este ejercicio, se puede levantar el server sin clientes, generando el Docker compose con el siguiente comando

./generar-compose.sh docker-compose-dev.yaml 0

luego, levantar el server con

make docker-compose-up

y a continuación correr el script

./validar-echo-server.sh

Ejercicio 4

Para este probar el graceful shutdown de los servicios, se puede levantar el server junto a un cliente, generando el Docker compose con:

./generar-compose.sh docker-compose-dev.yaml 1

Luego, se levantan los servicios con

make docker-compose-up

Con ambos servicios corriendo, se puede apagar el server con

docker stop server -t 5

Y revisar los logs del server con

make docker-compose-logs | grep server

Para corroborar que se haya cerrado sin errores.

Luego, se pueden reiniciar ambos servicios con

make docker-compose-down && make docker-compose-up

Y ahora apagar el cliente con

docker stop client1 -t 5

Y esta vez revisar los logs del cliente con

make docker-compose-logs | grep client1

Ejercicio 5, 6, 7 y 8

Los ejercicios del 5 al 8 se pueden ejecutar todos de la misma forma.

Primero, generar un Docker compose con 5 clientes

./generar-compose.sh docker-compose-dev.yaml 5

Luego, levantar los servicios y revisar los logs con

make docker-compose-down && make docker-compose-up && make docker-compose-logs

Protocolo de comunicación

A continuación se detalla el protocolo de comunicación implementado para resolver la parte 2 del trabajo práctico.

Mensajes

En general, todos los mensajes del protocolo tienen un orden definido para los distintos campos. Se utiliza un primer byte para determinar el tipo de mensaje, seguido de los campos del mensaje (cada campo viene precedido por 4 bytes que determinan su longitud).

Envío de batch

El mensaje de envío de batch del cliente esta formado por los siguientes campos

1. Tipo: 1 byte (0)
2. Tamaño del batch: 4 bytes
3. Un listado de apuestas (la cantidad esta definida por el campo 2)

Cada apuesta se serializa encadenando los distintos campos, cada uno precedido por su longitud. El valor de las longitudes es 1 byte.

1. Longitud del ID de agencia: 1 byte
2. ID de agencia
3. Longitud del nombre: 1 byte
4. Nombre
5. Longitud del apellido: 1 byte
6. Apellido
7. Longitud del documento: 1 byte
8. Documento
9. Longitud del nacimiento: 1 byte
10. Fecha de nacimiento
11. Longitud del número: 1 byte
12. Número

Confirmación de batch

Cuando el servidor recibe un batch, le responde con este mensaje. Está formado por los siguientes campos

1. Tipo: 1 byte (1)
2. Estado del batch: 1 byte (0 = error, 1 = éxito)

Finalización de envío de apuestas

El cliente envía este mensaje para informarle el servidor que ha terminado de enviarle las apuestas. Tiene los siguientes campos

1. Tipo: 1 byte (2)
2. Longitud del ID de agencia: 1 byte
3. ID de la agencia

Consulta de ganadores

El cliente envía este mensaje al servidor para consultarle los ganadores de su agencia. Tiene los siguientes campos

1. Tipo: 1 byte (3)
2. Longitud del ID de agencia: 1 byte
3. ID de la agencia

Sorteo no realizado (no winners yet)

El servidor envía este mensaje al cliente para informarle que el sorteo aún no se ha realizado. Tiene los siguientes campos

1. Tipo: 1 byte (4)

Listado de ganadores

El servidor envía este mensaje al cliente para informarle los ganadores de su agencia. Tiene los siguientes campos

1. Tipo: 1 byte (5)
2. Cantidad de ganadores: 1 byte
3. Listado de ganadores

Los ganadores se serializan de la siguiente forma

1. Longitud del documento: 1 byte
2. Documento

Mecanismos de sincronización

Como parte de la solución del ejercicio 8, el servidor levanta un proceso (del módulo multiprocessing) por cada cliente para procesar sus mensajes. A continuación se detallan los distintos mecanismos utilizados para sincronizar dichos procesos paralelos.

Sincronización de escritura de apuestas

Los distintos procesos procesan mensajes en paralelo, modificando un archivo compartido en el cual van escribiendo las apuestas de los clientes. Para evitar race conditions sobre este archivo, se utiliza un lock (multiprocessing.Lock) compartido entre los procesos, el cual se toma antes de escribir en el archivo.

Dado que la lectura del archivo solo ocurre una vez que todos los procesos escribieron todas sus apuestas (es decir, en ningún momento se intercalan lecturas y escrituras del archivo), no hace falta tomar el lock en este caso.

Sincronización del sorteo

Por el enunciado, el sorteo de los ganadores debe realizarse una vez que se hayan recibido las apuestas de todos los clientes.

Esto requiere cierta sincronización de parte de los procesos del server, para que envíen los ganadores al mismo tiempo.

Para solucionarlo, se utilizó una barrera (multiprocessing.Barrier) compartida entre los procesos del server.

Si un proceso está esperando en la barrera, esto representa que dicho proceso está "listo para hacer el sorteo". Cuando todos los procesos están esperando en la barrera, se dispara el sorteo.

Si un cliente le solicita los ganadores al proceso al cual está conectado, esto quiere decir que ese cliente ha enviado todas sus apuestas, por lo tanto, ese proceso del server se pone a esperar en la barrera (está listo para el sorteo). La barrera se libera cuando todos los procesos están esperando.

Al liberarse la barrera, los procesos le envían los ganadores a sus respectivos clientes.