Mojette Erasure Code for Distributed Storage

Code à Effacement Mojette pour le Stockage Distribué

Dimitri Pertin (1, 2)

1 IRCCyN - Institut de Recherche en Communications et en Cybernétique de Nantes
2 Rozo Systems

Erasure codes can generate data redundancy in distributed storage systems. This redundancy can be used to recover missing data in case of a failure. Codes have the benefit of reducing the generated amount of redundancy drastically,compared to plain data replication. However, this reduction is combined with a significant computational complexity, which penalizes encoding and decoding performances, and limits the use of coding to cold data. In this thesis, we focus on the use of the Mojette transform as an effective erasure code, adapted to hot data. The resulting code requires more redundancy than classical codes though. The first contribution of this research work deals with the design of a systematic version of the Mojette erasure code. This version provides better performances while reducing the required amount of redundancy. The second contribution covers the integration of this solution in the distributed file system RozoFS. This integration enables the system to provide a continuous service despite failures, while being able to manage hot data with half the volume of data compared to replication-based systems. A third research focus addresses the design of a distributed method to compute extra Mojette codeword symbols. This method contributes to restore a redundancy threshold in the storage system.

Les codes à effacement permettent de générer de la redondance de données numériques dans un système de stockage distribué. Cette redondance permet de restaurer une partie manquante des données en cas de panne. L’avantage des codes est de réduire considérablement la quantité de redondance générée par rapport aux techniques classiques de réplication. Toutefois, cette réduction s’accompagne d’une complexité calculatoire significative, pénalisant les performances d’encodage et de décodage, ce qui limite leur utilisation aux données froides. Dans cette thèse, nous nous intéressons à l’utilisation de la transformation Mojette afin de fournir un code à effacement performant, adapté aux données chaudes. Le code qui en résulte nécessite cependant plus de redondance par rapport aux codes classiques. La première contribution de ces travaux de thèse traite de la conception d’une version systématique du code à effacement Mojette. Cette version a l’avantage d’augmenter significativement les performances du code, tout en réduisant la quantité de redondance nécessaire. La seconde contribution s’intéresse à l’intégration de cette solution au sein du système de fichiers distribué RozoFS. Cette contribution permet au système d’assurer un service continu en cas de panne, tout en étant capable de gérer les données chaudes avec deux fois moins de données par rapport aux systèmes basés sur la réplication. Un troisième axe de recherche se focalise sur la conception d’une méthode distribuée pour générer de nouveaux symboles de mots de code Mojette. Cette technique participe à la restauration d’un seuil de redondance du système de stockage.

Mots clés: fault tolerance; distributed storage; Mojette transform; Erasure code

Mots clés: tolérance aux pannes; stockage distribué; transformée Mojette; Code à effacement

Domaines: Réseaux et télécommunications [cs.NI]; Mathématique discrète [cs.DM]; Géométrie algorithmique [cs.CG]; Théorie de l'information [cs.IT]; Calcul parallèle, distribué et partagé [cs.DC]; Système multi-agents [cs.MA]

Dimitri Pertin. Code à Effacement Mojette pour le Stockage Distribué. Réseaux et télécommunications [cs.NI]. Université de Nantes, 2016. Français. ⟨NNT : ⟩. ⟨tel-01720038⟩