L’objectif de ce Livre Blanc est de donner un aperçu des enjeux liés au Big Data et en particulier grâce à quelques usages appliqués en Finance et Assurance.
"Nous avons longtemps été limités par notre capacité de stockage des données ainsi que par notre puissance de calcul. Lorsque les Banques et Compagnies d’Assurance étaient confrontées à une augmentation du volume des données, elles devaient les compresser, les supprimer ou acheter un serveur beaucoup plus puissant. La quantité de données qu’elles allaient être amenées à gérer n’étant pas scalable, il était difficile d’anticiper leurs coûts de traitement dans le temps. Cette limite était avant tout technique mais elle constituait également un obstacle à l’imagination en matière de traitement et d’utilisation des données.
Aujourd’hui, la quantité d’informations à gérer n’est plus un problème. Grâce à la mise à disposition de nouvelles méthodes de stockage, comme les algorithmes distribués proposés par exemple par Google, mais aussi grâce à de nouvelles méthodes de calcul, nous pouvons considérer avoir levé la plupart des obstacles techniques.
Concernant la méthode de calcul, la philosophie du calcul distribué a émergé : les calculs complexes sont décomposés en calculs simples et le travail est divisé sur différentes machines de faible puissance. Des algorithmes permettent de diviser la tâche puis de rassembler les résultats : les temps de calcul sont optimisés et mettent fin à l’utilisation de serveurs imposants, désormais remplacés par des milliers de processeurs qui travaillent en parallèle."
