Livres en anglais

Pour l'analyse de grands jeux de données, ceux qui ne tiennent pas sur une seule machine, on trouve souvent des livres sur les techniques de programmation des grappes de calcul (que ce soit avec des techniques de superordinateurs comme MPI ou les plus récentes comme MapReduce ou Hadoop) ou sur les algorithmes utiles (sans réfléchir à leur implémentation à grande échelle). Cet ouvrage se situe à l'intersection des deux domaines, en présentant des méthodologies pour extraire de l'information de ces données tout en répartissant les calculs sur plusieurs machines. Il part de prérequis modestes en bases de données (pas forcément distribuées), algorithmes (sans qu'il s'agisse d'analyse de données) ou programmation.

Les auteurs commencent par présenter un environnement de programmation distribué, MapReduce. Certes, ce n'est pas le plus récent, mais il reste très utilisé en pratique et force à réfléchir à la distribution des calculs et des données sur plusieurs machines. Par la suite, les auteurs utilisent ce paradigme pour expliciter la manière d'implémenter les algorithmes qu'ils présentent (sans toutefois proposer d'exemple de code), afin de comprendre en profondeur ces techniques.

L'essentiel de l'ouvrage porte sur les algorithmes utiles pour l'analyse de données, y compris l'apprentissage automatique. En sus, deux applications très pratiques sont décortiquées : la recommandation et la publicité en ligne. Les sujets traités commencent avec les bases (comme l'évaluation de statistiques de manière efficace), mais montent rapidement en puissance (par exemple, le calcul en ligne de couplages ou le locality-sensitive hashing), en partant d'un contexte d'application.

La majorité des chapitres comporte une section sur la distribution des calculs sur une grappe en indiquant les principes à appliquer pour réaliser cette distribution de manière efficace. Les auteurs présentent aussi des approximations dans certains cas pour obtenir de meilleurs temps de calcul (au détriment de la qualité des réponses obtenues). Leur objectif est toujours de mettre en avant les principes appliqués, de telle sorte qu'on puisse les réutiliser dans d'autres contextes.

Chaque chapitre contient une série d'exercices (sans solution, mais certains ont des corrections automatiques en ligne), des notes bibliographiques, mais aussi un résumé des idées principales. L'un des plus gros regrets sur ce livre est que seuls les principes de l'apprentissage profond soient présentés, sans indiquer comment répartir les calculs.

À noter que les auteurs mettent la version PDF du livre à disposition sur le site du cours à Stanford dont l'ouvrage est issu.

Spark n'est pas l'outil informatique le plus facile à maîtriser, mais son utilisation est presque incontournable pour du traitement de données distribué. Autant son utilisation basique est accessible au plus grand nombre, autant l'amélioration de la performance de ses tâches de calcul est ardue. Pour faciliter cette opération, cet ouvrage propose de concevoir ses applications Spark à l'aide de motifs de conception, tout comme n'importe quelle brique logicielle, mais des motifs algorithmiques adaptés au calcul distribué (exemplifiés dans la partie 2, puis formalisés dans la partie ).

Ce livre, très orienté pratique, part de zéro, c'est-à-dire aucune connaissance de Spark. Il balaie tout le parcours des données, de l'ingestion (ETL) à l'extraction de variables ou au classement. Chaque algorithme est explicitement implémenté, le code étant disponible en ligne, régulièrement de plusieurs manières pour en améliorer la performance ou la mise à l'échelle (en présentant souvent des fonctionnalités plus avancées de Spark pour y arriver). Les motifs décrits servent à penser ses algorithmes comme Spark le requiert pour atteindre la meilleure performance possible.

Les API RDD et DataFrame de Spark sont présentées, la majorité des exemples étant rédigée des deux manières. Parmi les applications, la bio-informatique se taille une place de choix. Le code est régulièrement détaillé ligne par ligne. PageRank est aussi l'objet de plusieurs sections, tout d'abord à travers GraphFrames, puis en l'implémentant complètement par-dessus les API de bas niveau de Spark. Au fil des chapitres, l'auteur récapitule une série de fonctions sous la forme de tableaux. Certains chapitres supplémentaires sont disponibles en ligne.

On peut toutefois regretter que la profondeur des explications soit souvent limitée, que ce soit au niveau de l'exécution du code par Spark pour bien comprendre les compromis à effectuer pour améliorer la performance ou du fonctionnement d'algorithmes plus avancés comme PageRank.

Il y a deux manières d'utiliser Spark avec R : soit avec l'API sparkR du projet Apache Spark, soit avec le package R sparklyr de l'équipe RStudio. Ce livre utilise sparklyr qui, selon moi, est la meilleure option. sparklyr masque toute la complexité de Spark pour les utilisateurs de R. Et même si vous n'êtes pas familier avec Spark ou R, cet ouvrage peut vous aider à passer du niveau débutant à celui d'intermédiaire. Il cible un large public, des débutants aux utilisateurs avancés qui cherchent à comprendre pourquoi et comment utiliser Spark depuis R.

Les deux premiers chapitres donnent une introduction rapide aux outils dont vous avez besoin pour faire de la data science à grande échelle avec Spark et R. Dans les trois chapitres suivants, vous apprendrez comment préparer, analyser et modéliser des données, mais aussi comment automatiser l'ensemble du processus pour le déploiement en production.

Jusque-là, tous les calculs se font en mode local sur votre machine ou dans votre navigateur Web si vous préférez utiliser l'édition communautaire de Databricks par exemple. Mais le cluster computing est également traité. Dans les chapitres suivants, les auteurs montrent des techniques pour exécuter Spark sur plusieurs noeuds pour l'analyse et la modélisation des données à grande échelle. Des sujets avancés tels que l'analyse de graphes, de flux de données, l'analyse géospatiale et l'apprentissage profond sont également abordés. À la fin du bouquin, vous aurez appris un large éventail d'outils et concepts du monde du big data.

Au moment de faire cette critique, c'est LE livre pour maîtriser le Big Data avec Spark et R, les ressources sur le sujet étant tellement rares.

Avec la mode du big data, quelques mots clés reviennent régulièrement, à l'instar de Spark. Ceux qui les profèrent ne savent pas toujours ce qui se cache derrière : peu importe le niveau de technicité de ces trublions, ce livre leur donnera les bases de Spark. C'est là l'un de ses atouts : l'ouvrage est d'abord écrit pour ceux qui veulent vraiment se mettre à utiliser Spark (déployer une grappe de serveurs, écrire une application), mais s'adresse également à ceux qui devront superviser des projets Spark « sans mettre les mains au clavier ». De fait, les prérequis sont assez légers : un peu de programmation (pas forcément orientée objet), des notions de Java (puisque Spark est implémenté sur la plateforme Java), un peu de SQL (langage par excellence pour le traitement de données). On pourrait regretter le caractère concis de certains passages, qui pourraient abaisser le niveau des prérequis.

L'auteur ne cherche pas à décrire de manière exhaustive les possibilités offertes par le système, mais plutôt à inculquer une méthodologie pour faciliter la mise en œuvre d'un projet Spark. Par exemple, l'introduction à l'apprentissage automatique ne parle pas du tout des algorithmes disponibles : bon nombre d'ouvrages les expliquent déjà en long et en large. Par contre, très peu parlent de la manière d'introduire de l'apprentissage dans la pratique industrielle : par exemple, comment présenter les résultats d'une manière intelligible pour un public de décideurs qui n'a presque aucune connaissance en statistiques ? Il n'empêche que certains paramètres sont plus détaillés, car ils présentent un intérêt non négligeable pour améliorer la performance d'une application, par exemple.

Spark est expliqué comme une évolution logique des plateformes de traitement des mégadonnées : l'outil n'est pas apparu par magie au milieu du désert, mais dans un contexte très spécifique avec une série d'acteurs qui cherchent à effectuer des traitements similaires à très grande échelle. Ce n'est pas pour ça que les fonctionnalités de Spark sont présentées de manière chronologique : l'auteur préfère d'abord parler des tables de données (DataFrame), bien avant des RDD. De fait, avec Spark 2, ils sont devenus un sujet plutôt avancé. Néanmoins, on peut regretter que Spark 3 ne soit abordé que dans la conclusion et la quatrième de couverture.

L'un des points importants de ce livre est toutefois la présence de deux études de cas, l'une orientée Spark Core, l'autre Spark ML. Cette dernière correspond au chapitre 9, c'est-à-dire à presque un tiers du volume de l'ouvrage ! Elles partent de données brutes sur une entreprise de location de vélos et ne s'arrêtent qu'avec des résultats propres à présenter à des décideurs : ces études de cas sont réalistes, bien que simplifiées.

La mise en page est claire, notamment avec les objectifs de chaque chapitre explicités au début de chacun d'eux. Chaque section est richement illustrée, avec des figures claires, ce qui aide à la compréhension.

Cet ouvrage est destiné à un public déjà familier avec la programmation. Des compétences en Python sont indispensables, car tout est illustré autour de PySpark. Des notions en Scala peuvent servir également, mais ne sont pas indispensables.
Un fil conducteur autour d’un suivi de trajets de cyclistes est proposé. Il a le mérite d'être clair, mais je n'ai pas trouvé qu'il approfondissait suffisamment. Mieux vaut créer son propre problème à compléter au fil des chapitres.

La partie dédiée à Spark Streaming est vraiment celle qui m'a le plus apporté. On comprend vraiment mieux comment paralléliser, via les DAG (graphes dirigés acycliques).
Seul bémol sur cette partie distribuée, tout est présenté autour d'une installation manuelle et minimaliste, alors que l'on retrouvera essentiellement des distributions clé en main. Cet aspect est toutefois évoqué dans le chapitre de conclusion.

Enfin, un dernier aspect abordé dans ce livre est l'apprentissage automatique. Ce n'est pas le point principal et il faudra avoir déjà de bonnes connaissances pour l'aborder. L'intérêt serait surtout de connecter tout cela via Spark.

On peut scinder le livre en deux parties. Dans la première, l’auteur vous conduit de bout en bout dans la mise en place d’une infrastructure big data de base composée de HDFS, Spark et Python avec Jupyter Notebook comme interface de programmation. Le lecteur est guidé dans l’installation, la configuration, le démarrage et la découverte des interfaces web de suivi et gestion des clusters HDFS et Spark, ce qui lui permet, s’il a déjà des connaissances théoriques sur ces technologies, de mieux comprendre leur fonctionnement.

La deuxième partie est très opérationnelle avec deux études de cas. Une première axée sur Spark SQL et la préparation des données et une autre à la fin de l’ouvrage qui va jusqu’à la modélisation (machine learning) et l’intégration de Spark ML et Spark Streaming pour faire des prédictions en temps réel.

Notons qu’il est nécessaire d’être doté d’une capacité à diagnostiquer les problèmes et les corriger lors de l’installation et la configuration de Spark et HDFS pour que tout se passe correctement comme décrit dans le livre. Il en est de même lors de l’utilisation de certains bouts de code : de petites modifications ou corrections sont parfois nécessaires pour obtenir les résultats attendus. Ça reste toutefois un très bon ouvrage qui peut permettre aux débutants en big data avec des notions de programmation de se lancer rapidement dans l’analyse, la modélisation de données et la prédiction en temps réel avec Spark et Python.

Nous vivons dans un monde de plus en plus connecté. Pour tout spécialiste des données qui souhaite donc se préparer pour saisir les opportunités dans le domaine de l'internet des objets (IoT), ce livre est un bon point de départ.

Développer dans un seul ouvrage tous les outils et technologies qui interviennent dans la mise en œuvre d'un projet IoT de bout en bout est quelque chose d'impossible. Il en faudrait au moins un pour traiter chaque aspect : types de dispositifs IoT et capteurs, protocoles de communication réseau, mise en place d'un environnement cloud pour l'IoT, big data, data science pour l'IoT, analyse de données géospatiales, etc.

Tout cela est présenté dans ce seul livre, même si de manière introductive. Autrement dit, il ne permet pas vraiment à un débutant ou un professionnel n'ayant pas d'expertise dans plusieurs de ces domaines d'être directement opérationnels dans l'IoT Analytics. Ce bouquin a toutefois un grand mérite, celui de permettre au lecteur d'avoir une idée claire des compétences et technologies qui rentrent en compte dans la mise en œuvre d'un projet IoT.

Tout au long de l'ouvrage, les différents challenges dans l'implémentation de projets IoT sont présentés. Et pour chaque défi, l'auteur montre quelles sont les technologies à utiliser et comment cela pourrait se faire. Les aspects administratifs liés aux données IoT sont également abordés : stratégies de protection et rétention des données. Il en est de même pour l'aspect économique : quelle est la valeur ajoutée de l'IoT pour l'entreprise ? Et si un projet IoT a la bénédiction des actionnaires, est-il plus économique de l'implémenter on-premise ou dans le cloud ? C'est une bonne introduction à l'analyse des données pour l'internet des objets.

La nouvelle frontière de l'exploitation de gros jeux de données est le flux, quand de grandes quantités de données arrivent en temps réel et doivent être traitées à la même vitesse. Apache Flink est un outil moderne pour traiter ces problématiques et ce livre, écrit par deux développeurs majeurs du projet, se focalise sur la meilleure manière de développer de telles applications. Il est d'ailleurs très complet et part vraiment des bases (plus théoriques) du traitement de données en flux — certains regretteront que le code fasse son apparition aux alentours de la page 80.

Le contenu se structure de façon très progressive : les auteurs parlent d'abord des principes généraux, puis développent petit à petit et finissent dans des détails sur le fonctionnement interne de Flink (en veillant toutefois à ce que le contenu reste utile pour plusieurs versions). Ainsi, quand l'explication d'un système particulier requiert des détails d'autres sous-systèmes (comme le mécanisme de sauvegarde), ceux-ci sont d'abord esquissés, puis détaillés dans une section ou un chapitre futur : on ne se sent pas dépassé par le contenu, grâce à cette approche progressive.

À ce sujet, le livre couvre Flink 1.7, la version 1.8 étant sortie le même mois que le livre — les nouveautés de Flink 1.8 ne sont pas abordées, ni même citées, comme les évolutions du schéma d'état ou le traitement de données par lots. Chaque système est illustré par l'un ou l'autre exemple, très courts au début du livre, puis bien plus longs ; pour bien en profiter, des connaissances basiques en Scala seront nécessaires (le langage n'est pas du tout présenté). On pourra cependant regretter l'absence d'exemples complets, qui combinent toute une série de fonctionnalités, comme un cas d'utilisation.

Globalement, cet ouvrage pourra viser tant un public de débutants (rien n'est omis dans les bases) que de développeurs plus chevronnés dans le traitement de données en flux (les systèmes et choix de conception de Flink sont abordés en profondeur). Il ne se limite pas aux fonctionnalités et opérateurs de base, mais présente bien toutes les possibilités que l'on a d'adapter le fonctionnement de Flink à ses besoins.