QCM : Big Data

1

Question à choix multiples

Sélectionnez les propositions correctes. Vous devez ingérer un flux massif et varié (pics de vélocité imprévisibles), des données douteuses et des sous-ensembles à forte valeur métier — quelles décisions techniques prioriser pour la couche d'ingestion et stockage ?

Utiliser un stockage objet append‑only scalable (par ex. S3) avec partitionnement temporel et layout optimisé pour scans séquentiels Bonne réponse
Imposer un schéma strict en écriture pour toutes les sources afin de garantir la véracité au point d'ingestion
Ajouter de la télémétrie et des échantillonnages pour détecter/chanterner les données à haute valeur vers des chemins de traitement rapide Bonne réponse
Accepter le schéma variable en écriture (schema‑on‑read), stocker les métadonnées/provenance et différer validations coûteuses au plan de calcul Bonne réponse

Explication

Scalabilité + routage + provenance priorisés ; schéma strict bloque la vélocité et variété.

2

Question à choix multiples

Sélectionnez les propositions correctes. Pour une base clé‑valeur distribuée sur plusieurs régions où la disponibilité pendant partitions est critique mais certaines opérations financières exigent cohérence — quelles décisions architecturales adopter ?

Choisir une politique eventual‑consistency globale pour maximiser disponibilité
Opter pour réplication synchrone cross‑region pour toutes les données afin d'obtenir forte cohérence
Implémenter écriture/lecture par quorum et mécanismes tunables de lecture après écriture pour opérations critiques Bonne réponse
Partitionner les données par client/région pour minimiser les opérations cross‑partition et limiter l'impact des partitions réseau Bonne réponse

Explication

Quorum + partitionnement régional permettent compromis pragmatique entre disponibilité et cohérence.

3

Question à choix multiples

Sélectionnez les propositions correctes. Votre cluster HDFS a un NameNode unique et vous craignez les interruptions ; quelles mesures techniques réduisent le risque d'indisponibilité du namespace ?

Augmenter uniquement le facteur de réplication des blocks HDFS
Activer HDFS High‑Availability avec un standby NameNode et basculement automatique Bonne réponse
Réduire la taille des blocks pour limiter la perte en cas d'échec de block
Activer l'Erasure Coding pour données froides afin de réduire l'empreinte sans dépendre du NameNode Bonne réponse

Explication

HA et fédération/erasure coding aident la résilience ; le facteur de réplication protège blocks mais pas le NameNode.

4

Question à choix multiples

Sélectionnez les propositions correctes. Vous optimisez des jobs MapReduce confrontés à de nombreux petits fichiers, joins volumineux et algorithmes itératifs ; quelles optimisations MapReduce ont le plus d'impact ?

Utiliser des combiners et écrire un partitioner personnalisé pour équilibrer la distribution de clés Bonne réponse
Augmenter et contrôler le nombre de reducers et implémenter une partition custom pour éviter skew Bonne réponse
Migrer immédiatement tous les traitements itératifs vers MapReduce pour bénéficier de maturité de l'écosystème
Compacter les petits fichiers (bulk‑ingest), et utiliser des formats séquentiels optimisés pour les mappers Bonne réponse

Explication

Combiners, partitioners et compaction réduisent overhead ; l'itératif est mal adapté à MapReduce.

5

Question à choix multiples

Sélectionnez les propositions correctes. Pour un pipeline ETL Spark avec UDFs lourds et besoin d'optimisation, quelles pratiques minimisent le coût et conservent les optimisations de Catalyst ?

Préférer les DataFrame/Dataset pour tirer parti de Catalyst et de la pushdown des filtres Bonne réponse
Éviter les UDF Python non vectorisés et privilégier les fonctions natives SQL/Scala Bonne réponse
Utiliser les UDFs vectorisés (pandas UDFs) lorsque le code Python est nécessaire pour réduire les crossing costs Bonne réponse
Préférer systématiquement les RDD mapPartitions pour garder un contrôle fin et meilleures performances d'optimisation

Explication

DataFrame + éviter UDF Python non‑vectorisés; pandas UDFs utiles ; RDDs cassent l'optimizer.

6

Question à choix multiples

Sélectionnez les propositions correctes. L'application doit produire des rapports journaliers tout en fournissant des mises à jour incrémentales en quasi‑temps réel — quelle architecture répond le mieux ?

S'appuyer uniquement sur batch quotidien (micro‑batch planifié) et ignorer la latence incrémentale
Construire une architecture Lambda séparant pipeline batch et speed pour complexité maximale
Utiliser un moteur unifié de traitement d'événements (streaming stateful, e.g. Structured Streaming/Flink) et maintenir un event store immuable Bonne réponse
Conserver un event store immuable et générer les vues dérivées (batch ou streaming) depuis les mêmes événements Bonne réponse

Explication

Approche unifiée + event store immuable simplifie cohérence et re‑calcul ; Lambda augmente la dette opérationnelle.

7

Question à choix multiples

Sélectionnez les propositions correctes. Vous devez garantir livraison 'exactly‑once' vers une base cible depuis Kafka ; quelles stratégies combinées assurent la robustesse la plus élevée ?

Activer l'idempotence du producteur Kafka et utiliser les transactions Kafka pour grouper écriture de messages + commit d'offsets Bonne réponse
Accepter at‑least‑once côté Kafka et rendre le sink idempotent au niveau applicatif pour neutraliser doublons Bonne réponse
Commencer par consommer et commiter l'offset seulement après écriture du sink, sans transactions
Utiliser topics compactés et clés stables pour permettre déduplication côté consommateur/sink Bonne réponse

Explication

Transactions Kafka + idempotence offrent exactly‑once ; sink idempotence et topics compactés sont alternatives utiles.

8

Question à choix multiples

Sélectionnez les propositions correctes. Pour métriques en temps réel sur event‑time avec retards et événements hors d'ordre, quelles configurations de fenêtres et triggers sont appropriées ?

Utiliser des tumbling windows basées sur processing‑time et jeter les événements tardifs
Utiliser des fenêtres basées sur event‑time avec watermarking et une tolérance d'allowed lateness Bonne réponse
Préférer des session windows (gap‑based) pour regrouper activités utilisateur de durée variable Bonne réponse
S'appuyer uniquement sur processing‑time windows pour simplifier la logique et réduire l'état

Explication

Event‑time + watermark/allowed lateness gèrent l'asynchronisme ; sessions utiles pour activités utilisateur.

9

Question à choix multiples

Sélectionnez les propositions correctes. Vous concevez un stockage analytique pour BI et requêtes ad‑hoc : quelles décisions favorisent scans efficaces, évolution de schéma et pruning de partitions ?

Conserver les données brutes en JSON et faire tout le parsing en lecture (schema‑on‑read) pour flexibilité maximale
Utiliser des formats colonnes optimisés (Parquet) pour les workloads OLAP, partitionner par date/region pour pruning Bonne réponse
Créer de très petites partitions horaires par fichier pour la granularité maximale
Maintenir une metastore (Hive/Glue) avec partitions Hive‑style et statistiques pour permettre le partition pruning par le moteur de requête Bonne réponse

Explication

Parquet + partitioning + metastore/statistiques activent pruning ; trop petites partitions nuisent aux performances.

10

Question à choix multiples

Sélectionnez les propositions correctes. Sur un JOIN distribué provoquant skew et contraintes de traçabilité et sécurité, quelles mesures techniques et gouvernance implémenter ?

Détecter le skew et appliquer salting/skew‑aware partitioner ou basculer en broadcast join lorsque le côté est petit Bonne réponse
Instrumenter et propager IDs job/dataset/colonnes, enregistrer lineage colonne‑à‑colonne dans le catalogue pour audits et reproducibility Bonne réponse
Imposer masquage des colonnes sensibles, RBAC et règles qualité dès l'ingestion, avec logging des violations Bonne réponse
Ignorer les problèmes en amont et laisser les équipes consommateurs corriger les anomalies dans leurs notebooks

Explication

Skew mitigation + lineage + sécurité/qualité en amont sont requis ; déléguer aux consommateurs est mauvais.

QCM

QCM de « Big Data »

Sélectionnez les propositions correctes. Vous devez ingérer un flux massif et varié (pics de vélocité imprévisibles), des données douteuses et des sous-ensembles à forte valeur métier — quelles décisions techniques prioriser pour la couche d'ingestion et stockage ?

Sélectionnez les propositions correctes. Pour une base clé‑valeur distribuée sur plusieurs régions où la disponibilité pendant partitions est critique mais certaines opérations financières exigent cohérence — quelles décisions architecturales adopter ?

Sélectionnez les propositions correctes. Votre cluster HDFS a un NameNode unique et vous craignez les interruptions ; quelles mesures techniques réduisent le risque d'indisponibilité du namespace ?

Sélectionnez les propositions correctes. Vous optimisez des jobs MapReduce confrontés à de nombreux petits fichiers, joins volumineux et algorithmes itératifs ; quelles optimisations MapReduce ont le plus d'impact ?

Sélectionnez les propositions correctes. Pour un pipeline ETL Spark avec UDFs lourds et besoin d'optimisation, quelles pratiques minimisent le coût et conservent les optimisations de Catalyst ?

Sélectionnez les propositions correctes. L'application doit produire des rapports journaliers tout en fournissant des mises à jour incrémentales en quasi‑temps réel — quelle architecture répond le mieux ?

Sélectionnez les propositions correctes. Vous devez garantir livraison 'exactly‑once' vers une base cible depuis Kafka ; quelles stratégies combinées assurent la robustesse la plus élevée ?

Sélectionnez les propositions correctes. Pour métriques en temps réel sur event‑time avec retards et événements hors d'ordre, quelles configurations de fenêtres et triggers sont appropriées ?

Sélectionnez les propositions correctes. Vous concevez un stockage analytique pour BI et requêtes ad‑hoc : quelles décisions favorisent scans efficaces, évolution de schéma et pruning de partitions ?

Sélectionnez les propositions correctes. Sur un JOIN distribué provoquant skew et contraintes de traçabilité et sécurité, quelles mesures techniques et gouvernance implémenter ?

Passez de la consultation à l’entraînement

Paramètres

Schéma de couleurs

Style de barre de navigation verticale