-
Notifications
You must be signed in to change notification settings - Fork 3
Messages
Les différents composants d'Onitu (drivers, referee…) doivent communiquer entre eux via des envois de messages , qui passent par ZeroMQ.
Ces messages sont très importants, car ils peuvent contenir de grosses quantités de données, notamment une partie d'un fichier.
Afin d'optimiser la réactivité et l'empreinte mémoire d'Onitu, ces messages doivent être choisi avec précaution. Étant donné que changer de protocole nécessite très peu de changement dans le code, des benchmarks devraient être réalisables simplement.
Pour le Proof of Concept, les messages seront envoyé en JSON, via les methodes send_json et recv_json de PyZMQ.
Il existe de nombreuses manières de sérialiser un message. Il nous faut donc les identifier afin de choisir la plus pratique.
- À l'arrache -> Créer un protocole très bête. Demande un peu de travail, n'est pas forcément optimum. Des gens plus intelligents ont déjà fait des protocoles mieux.
- JSON -> Très facile, et flexible, supportée nativement par PyZMQ, mail les messages ne sont pas du tout optimum, ni les temps de sérialisation/dé-sérialisation.
- pickle -> Natif python, peut entraîner de grosses failles de sécurité. À éviter.
- Protobuf -> Messages optimisés, temps très bons, mais besoin de définir un protocole manuellement et de générer du code boilerplate. Pas de support de Python 3 pour le moment.
- Thift -> Même chose que Protobuf, mais par Facebook, supporté par Apache.
- MessagePack -> Semble très intéressant. Du JSON, mais avec des messages beaucoup plus optimisés.
- Blosc -> Un système ultra-rapide, sensé être plus rapide qu'un memcpy. Très intéressant, à regarder.
- JSON + compression -> Peut-être la meilleure solution, il faudrait faire des benchs.
Beaucoup de gens ont comparé différentes méthodes.