Introduction

Comment relever le défi du traitement et de l’analyse efficaces de grandes quantités de données ? Cette question préoccupe de nombreuses entreprises et organisations alors qu’elles affrontent les complexités du Big Data. De l’analyse des journaux à la modélisation financière, le besoin de solutions évolutives et flexibles n’a jamais été aussi grand. Entrez AWS EMR ou Amazon Elastic MapReduce.

Dans cet article, nous examinerons les fonctionnalités et les avantages de

Pour définir notre premier cluster EMR, nous suivrons ces étapes :

Création d’un système de fichiers dans S3

Pour initier la mise en place du système de fichiers EMR, notre première étape implique la création d’un bucket S3. Par la suite, au sein de ce bucket, nous générerons un dossier désigné et mettrons en œuvre le chiffrement côté serveur. Une organisation plus poussée au sein de ce dossier comprendra la génération de trois sous-dossiers : un dossier d’entrée pour recevoir les données d’entrée, un dossier de sortie pour stocker les sorties du processus EMR et un dossier de journaux pour conserver les journaux pertinents.

Il est impératif de noter que, lors de la création de chacun de ces dossiers, le chiffrement côté serveur sera activé pour renforcer les mesures de sécurité. La structure de dossiers résultante ressemblera à ce qui suit :

└── emr-bucket123/

    └── monthly-bill/

        └── 2024-02/

            ├── Input

            ├── Output

            └── Logs

Créer un VPC

La prochaine étape à notre ordre du jour est la création d’un cloud privé virtuel (VPC). Dans cette configuration, nous allons configurer deux sous-réseaux publics avec accès à Internet, garantissant une connectivité transparente. Cependant, il n’y aura aucun sous-réseau privé dans cette configuration particulière.

Pour une compréhension complète et des conseils étape par étape sur la création de ce VPC, n’hésitez pas à explorer la présentation et les instructions fournies ci-dessous :

Configurer le cluster EMR

Après la configuration, nous passerons à la création d’un cluster EMR. Une fois que vous avez cliqué sur l’option « Créer un cluster », les paramètres par défaut seront disponibles :

Ensuite nous passerons à la Configuration du Cluster mais pour cet article, nous ne changerons rien nous garderons la configuration par défaut mais vous pouvez Supprimer le nœud Tâche en sélectionnant le supprimer un groupe d’instances option pour ce cas d’utilisation car vous n’en aurez pas beaucoup besoin pour cela.

Maintenant dans Réseau, vous devez choisir le VPC que nous avons créé précédemment :

Nous allons maintenant conserver les éléments par défaut, passer aux journaux de cluster et accéder au S3 que nous avons créé précédemment pour les journaux.

Après avoir configuré les journaux, vous devez maintenant définir la configuration de sécurité et la paire de clés EC2 pour votre DME, vous pouvez utiliser les clés existantes ou créer une nouvelle paire de clés.

Maintenant, dans le profil d’instance EC2 pour EMR, sélectionnez le Créer un profil d’instance option et donner l’accès au bucket pour tous les S3.

Maintenant que vous avez terminé toutes les étapes de configuration de votre premier cluster EMR, vous lancez votre cluster en cliquant sur l’option Créer un cluster.

Traitement des données dans un cluster EMR

Pour traiter efficacement les données au sein d’un cluster EMR, nous avons besoin d’un script Spark conçu pour récupérer et manipuler un ensemble de données spécifique. Pour cet article, nous utiliserons

Pour exécuter le cluster EMR, vous devez créer des étapes. Accédez à votre cluster EMR, passez à l’option « Étape », puis cliquez sur « Ajouter une étape ».

Ensuite, fournissez le chemin d’accès à votre script Python (accessible via l’option COPY S3 URI) une fois que vous ouvrez le compartiment dans votre navigateur Web. Cliquez simplement dessus, puis collez le chemin dans le chemin de l’application et répétez le même processus pour l’ensemble de données d’entrée en entrant l’adresse URI du compartiment où se trouve l’ensemble de données (c’est-à-dire, le dossier d’entrée dans ce cas), et définissez la source de sortie. à l’URI du compartiment de sortie.

Arguments

Nous pouvons maintenant voir que l’étape est terminée ou non.

Le traitement des données dans EMR est maintenant terminé et le résultat résultant peut être observé dans le dossier de sortie désigné dans le compartiment S3.

Maximiser la rentabilité et les performances avec Amazon EMR

• Tirer parti des instances ponctuelles : Amazon EMR offre la possibilité d’utiliser des instances Spot, qui sont des ressources EC2 inutilisées disponibles à un coût réduit. En intégrant stratégiquement les instances Spot dans les clusters, les organisations peuvent réaliser des économies substantielles sans sacrifier les performances.
• Présentation des flottes d’instances : Amazon EMR introduit la notion de flottes d’instances, permettant aux utilisateurs d’attribuer une combinaison d’instances à la demande et ponctuelles au sein d’un cluster unifié. Cette adaptabilité permet aux organisations de trouver l’équilibre optimal entre rentabilité et disponibilité.

Surveillance du cluster DME

La surveillance d’un cluster Amazon EMR (Elastic MapReduce) est essentielle pour garantir son état de santé, ses performances et son utilisation efficace des ressources. EMR fournit plusieurs outils et mécanismes pour surveiller les clusters. Voici quelques aspects clés que vous pouvez considérer :

• Métriques Amazon CloudWatch
• Console AWS EMR
• Enregistrement
• Interface utilisateur Web Ganglia et Spark
• Utilisation des ressources

N’oubliez pas d’adapter votre stratégie de surveillance en fonction des exigences et des caractéristiques spécifiques de votre charge de travail et de votre cas d’utilisation. Examinez et mettez régulièrement à jour votre configuration de surveillance pour répondre aux besoins changeants et optimiser les performances du cluster.

Lisez aussi : AWS vs Azure : la confrontation ultime avec le cloud

Conclusion

Amazon EMR offre une solution puissante pour le traitement du Big Data, avec une plateforme flexible et efficace pour gérer de vastes ensembles de données. Son architecture basée sur des clusters, ainsi que ses composants multicouches, garantissent polyvalence et optimisation pour divers besoins d’applications. La mise en place d’un cluster EMR implique des étapes simples et son intégration avec des frameworks open source populaires renforce son attrait.

La démonstration du traitement des données au sein d’un cluster EMR à l’aide d’un script Spark illustre les capacités de la plateforme. Des stratégies telles que l’exploitation des instances Spot et des flottes d’instances maximisent la rentabilité, soulignant l’engagement d’EMR à fournir des solutions rentables.

Une surveillance efficace des clusters EMR est essentielle pour maintenir les performances et l’utilisation des ressources. Des outils tels qu’Amazon CloudWatch et des fonctionnalités de journalisation facilitent ce processus de surveillance. Amazon EMR est un outil essentiel et convivial, offrant un accès transparent au traitement avancé des données.

Questions fréquemment posées