Accueil
 > Rapports de TEC > Blogue de TEC > Rôle de Google Analytics en mémoire dans Big Data Analysi...

Rôle de Google Analytics en mémoire dans Big Data Analysis

Écrit par : Jorge Garcia
Date de publication : juillet 18 2013

Dans un précédent article, j'ai discuté de gros volumes de données et la nécessité d'une big data solution pour traiter, gérer et tirer des informations précieuses à partir de gros volumes de données dans différents formats et provenant de sources disparates. Ici je discute le rôle que les technologies en mémoire joue dans l'analyse des données et le grand potentiel de cette technologie pour modifier l'intelligence d'affaires (BI) paysage et l'espace de la technologie de l'industrie. Mais nous devons d'abord comprendre les bases.

un cadre de base Quelle heure que cela signifie d'avoir une technologie in-memory en place? Cela signifie que toutes les données dans un ordinateur sont stockées dans mémoire vive d'un ordinateur (RAM), plutôt que sur les disques durs (physique). Le stockage des données en mémoire améliore sa gestion par les moyens suivants:

  • En utilisant un support de stockage à semi-conducteurs, par opposition à l'utilisation de disque physique stockage, les données sont lues et traitées beaucoup plus rapidement.
  • En réduisant ou en évitant de lecture mécanique et écrit, le temps de latence pour l'exécution de diverses opérations est réduit.
  • En utilisant des schémas différents et innovants pour stocker les données (par exemple, colonnes, indexées, etc), le traitement de gros volumes de données est améliorée.

Un certain nombre d'avancées dans la technologie du matériel ont contribué à soutenir le développement et l'utilisation des technologies en mémoire. Par exemple, l'utilisation des processeurs 64 bits permet aux serveurs de traiter de grandes quantités de mémoire et permet architectures de serveurs actuelles à travailler avec de grandes quantités d'espace sur la RAM. Et l'évolutivité et la parallélisation des processeurs permettent technologies en mémoire pour profiter de l'amélioration des performances des plus grands ensembles de RAM disponible. Pour une analyse détaillée de certains des principes et concepts importants technologies en mémoire, je vous invite à lire un article intitulé In-Memory Analytics:. Une étude multi-dimensionnelle écrit par mon collègue Anna Mallikarjunan

Produits

avec des capacités en mémoire ne sont pas quelque chose de nouveau à l'industrie du logiciel. Par exemple, le vendeur QlikTech a commencé à travailler avec leurs produits à base de mémoire dans les années 90, et d'autres fournisseurs d'applications de BI tels que IBM Cognos ont les utilise depuis plus d'une décennie. De nombreux fournisseurs de logiciels offrent des capacités en mémoire sous une forme ou une autre, en particulier ceux de l'analyse-par exemple, les fournisseurs de logiciels de BI données avec les applications pour traitement analytique en ligne (OLAP). Avec les données stockées dans la RAM, les applications OLAP peuvent accélérer le processus de requête et d'analyse des données ainsi que la modélisation de données facilité par l'application de méthodes novatrices pour organiser et stocker des données. Le tableau ci-dessous dresse la liste des produits logiciels qui utilisent des technologies en mémoire pour les services OLAP.

Tableau Software
Produit Vendeur
PowerPivot Microsoft
Cognos TM1 IBM
Jedox OLAP Accelerator (GPU) Jedox

WebFOCUS visuel Discovery

Information Builders
BIRT Data Objects et BIRT Data Analyzer Actionner
Tableau

Nombreux produits intègrent déjà en mémoire technologies pour fournir une analyse et de découverte de données rapide. Certains fournisseurs offrent même la mise en œuvre d'un moteur de base de données en mémoire en même temps que la mise en œuvre de leurs produits (par exemple, QlikView, PowerPivot, Kognitio, Spotfire et Tableau avec son nouveau moteur en mémoire). Un tel moteur permet aux données d'être allouées en mémoire, par exemple, à l'aide d'un schéma de stockage en forme de colonne, pour améliorer les performances des fins BI-ce de traitement de données.

Alors que l'analytique et BI faire bon usage de en mémoire des systèmes de base de données (IMDSs), IMDSs n'ont pas été développés à cet effet. systèmes de base de données tels que les anciens treme DB, VoltDB, solidDB par IBM, TimesTen par Oracle, et SAP HANA en sont polyvalents bases de données en mémoire créées spécifiquement pour permettre les applications en cours d'exécution pour obtenir des temps de réponse rapides. En tant que tel, ces systèmes ont le potentiel de changer le processus de organisations de chemin et faire la distinction entre les données transactionnelles (opérationnel) et non transactionnel (analytique).

Du point de vue de la conception, IMDSs présentent des caractéristiques clés qui assurent la performance la plus élevée possible dans des environnements critiques:

  • Réduire la surcharge de transfert de données. Alors que les systèmes traditionnels de gestion de base de données (SGBD) besoin de lire les données à partir de fichiers de stockage sur disque, IMDSs besoin de transfert de données peu ou pas, car elles pointent directement vers les données réelles.
  • Réduire et / ou éliminer la mise en cache. Bases de données en mémoire supprimer une grande partie de la mise en cache en assurant presque ou toutes les données résident au sein de la mémoire RAM.
  • Utilisation de la mémoire Optimiser (compression). Cette fonction permet IMDSs pour optimiser le stockage des données RAM et de traitement.

Ainsi, bases de données en mémoire ont déjà montré des avantages dans l'amélioration des performances de traitement des données. Maintenant, nous allons regarder comment ils peuvent contribuer à relever les défis associés à de grandes données.

En mémoire Meets Big Data

L'utilisation des technologies en mémoire facilite également l'exécution ad hoc et l'analyse des données informelles, ce qui peut conduire à la découverte des données et l'amélioration des processus. Par conséquent, les bases de données extrêmement rapides et / ou bases de données en mémoire semblent être le compagnon logique lors du déploiement d'une stratégie Big Data. Comme les grandes solutions de données, bases de données en mémoire peuvent fournir les éléments suivants:

  • Stockage. En étant capable de traiter de grandes quantités de données en mémoire.
  • Simplicité. En manipulant potentiellement données structurées et non structurées d'une manière simple.
  • Vitesse
  • de procédure. En fournissant des capacités de traitement à grande vitesse.

D'un point de vue technique, les organisations doivent tenir compte des caractéristiques essentielles de et répondre aux questions cruciales liées à la technologie de base de données en mémoire pour profiter des avantages:

  1. Mise en cache et de la mémoire permutation . Comment les données de la poignée d'application des ensembles plus larges que l'espace disponible sur le disque?
  2. Compression . Quel est le taux de compression disponibles, et comment l'accord d'application avec le traitement des données dans un format compressé?
  3. Charges (initiale et incrémental). Comment fonctionne l'accord d'application de la charge initiale des données et / ou le chargement incrémentiel des données?
  4. Intégration . Comment bien la base de données en mémoire intégrer à vos systèmes tiers, à la fois opérationnel et non opérationnel.
One Technology, plusieurs fournisseurs Les vendeurs
offrent actuellement des bases de données en mémoire sous la forme d'appareils et / ou des applications basées sur le cloud. Appareils ont l'avantage de conditionner la combinaison de logiciel-dire, l'application en mémoire et de base de données dans le matériel-dire, le serveur tout en nuage basée en mémoire solutions sont associées à un faible coût total de possession (TCO) et les exigences techniques faibles pour les utilisateurs.

Le tableau ci-dessous énumère quelques-uns des fournisseurs engagés avec les bases de données en mémoire offrant de grandes capacités d'analyse de données.

produit

vendeur

Description

HANA

SAP

HANA (Performance Analytics Platform High) est la base de la technologie
en mémoire développé par SAP. Il est distribué sous forme d'appliance
utilisant du matériel certifié par SAP. Il a rang et les magasins de données
de colonne avec une compression élevée et des fonctions de partition.

Exalytics In-mémoire machine

Oracle

appareil en mémoire développé par Oracle. Il combine un ensemble de technologies
tels que BI fondation d'Oracle et Oracle TimesTen
base de données en mémoire pour fournir en mémoire de grandes capacités d'analyse des données.

VoltDB

VoltDB

VoltDB est un système de base de données relationnelle rapide à base de mémoire à. Il est
spécifiquement conçu pour fonctionner sur les serveurs connectés via des réseaux de
données à haute vitesse. Même s'il n'est pas prévu spécifiquement pour les grandes analyses de données, ses
caractéristiques de haute performance rendent approprié pour effectuer ces tâches.

Le Kognito analytique Platform-WX 2

Kognito

La plate-forme analytique WX 2 est l'offre en mémoire de Kognitio pour ma grand-analyse de données en mémoire. Il vient à la fois comme une prémisse sur
appareil analytique et comme une offre de cloud computing. Son évolutivité et des performances élevées font de cet appareil
un concurrent dans l'espace d'analyse en mémoire.

QlikView QlikTech

QlikView est une plate-forme alimentée par en mémoire associative technologie de recherche
(colonne de base) et une série d'interfaces de programmation d'application (API) à l'interface de pair avec l'API des fournisseurs de données Hadoop basés. Il est également possible d'utiliser QlikView
sur les environnements distribués et cluster

Final Thoughts

 
comments powered by Disqus


©2014 Technology Evaluation Centers Inc. All rights reserved.