Ce billet aborde Apache Metron, et y présente quelques concepts-clés.
Présentation d’Apache Metron
Apache Metron est un projet open source dédié à l'analyse avancée de la cyber-sécurité d'un écosystème informatique. Basé à l'origine sur Cisco OpenSOC, et sorti en avril 2016, il s'agit d'une plateforme de sécurité qui a pour but de permettre à toute organisation de détecter des anomalies de sécurité et d'y faire face en conséquence.
En effet, cette technologie offre la possibilité de capturer, indexer, agréger, enrichir et analyser un certain volume d'événements télémétriques en temps-réel, de façon à pouvoir renforcer les capacités de détection et d'action face aux cyberattaques, grâce notamment à ses capacités d'extension vers d'autres technologies de pointe (Spark, Flink,…).
Plus d'informations ici : https://metron.apache.org.
Architecture et fonctionnalités-clés d’Apache Metron
Apache Metron intègre une variété de technologies open source afin d'offrir un outil centralisé pour le suivi et l'analyse de la sécurité. Apache Metron fournit des capacités d'agrégation de logs, d'indexation, de stockage, d'analyse comportementale avancées et d'enrichissement des données. L'architecture ci-dessous est tirée du site officiel d'Apache Metron :
<p »>Comme on peut le noter ci-dessus, Apache Metron agit comme un pipeline de traitement de flux de sécurité en temps-réel destiné à :
-
Capturer les événements télémétriques générés par les diverses classes de sources de données ingérées. Durant cette phase Metron utilise son propre composant d’ingestion ou des outils comme Apache NiFi pour traiter les flux de données à travers leurs propres topics Kafka. Metron peut également traiter de gros volumes d’événements comme PCAP, NetFlow,… à partir d’un TAP réseau.
-
Traiter les flux routés par Kafka au sein d’une topologie Storm sur lequel s’appuie Metron Streaming pour ses traitements. Durant cette phase, les données sont analysées, normalisées, validées, puis étiquetées.
-
Enrichir les événements préalablement traités, à travers diverses opérations comme l’enrichissement des informations de connexion utilisées par lesdits événements (IP, hostname, GPS,…) pour une meilleure identification.
-
Etiqueter les événements traités et enrichis, qui consiste à vérifier leurs informations afin de valider leur degré de dangerosité, puis de les étiqueter en fonction des résultats du processus de vérification. De cette façon, en cas de faille de sécurité suite à l’ingestion d’un événement, le système sera en mesure d’éviter que des événements similaires se reproduisent à l’avenir.
-
Stocker les événements télémétriques préalablement capturés, traités, enrichis et étiquetés au sein d’un « coffre » appelé Security Data Vault (HDFS, etc…) ou d’un magasin PCAP dans le cas de gros paquets réseaux. Les événements ayant levé des alertes sont indexés dans un magasin d’alertes.
Ces 5 phases-clés permettent à Apache Metron de non seulement améliorer le suivi des événements au fil du temps, mais également des analyses avancées telles que l'apprentissage automatisé utilisé pour créer des modèles de détection d'anomalies, la recherche indexée en temps-réel, le reporting interactif (via Apache Zeppelin, par exemple), etc…
Pour aller plus loin…
Vous pouvez jeter un coup d’œil ici pour d’autres articles autour des Big Data.
Mohamed A. Cherif - DBMS, BI, Big Data... 