{"id":1172,"date":"2022-12-21T15:34:03","date_gmt":"2022-12-21T14:34:03","guid":{"rendered":"http:\/\/baptiste-meynier.com\/?p=1172"},"modified":"2023-02-18T18:08:41","modified_gmt":"2023-02-18T17:08:41","slug":"apache-cassandra-draft","status":"publish","type":"post","link":"https:\/\/baptiste-meynier.com\/index.php\/2022\/12\/21\/apache-cassandra-draft\/","title":{"rendered":"Apache Cassandra"},"content":{"rendered":"\n

Introduction<\/h2>\n\n\n\n

J’ai d\u00e9velopp\u00e9 une application me permettant d’historiser les poissons que j’\u00e9l\u00e8ve dans mes aquariums et ceux de mon association. Il s’agit d’une application Java disposant d’une base de donn\u00e9es MySql dont voici le mod\u00e8le de donn\u00e9es.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Une soci\u00e9t\u00e9 m’a contact\u00e9 et souhaite cr\u00e9er une application mobile permettant aux professionnels de stocker leurs inventaires de poissons. Une \u00e9tude a \u00e9t\u00e9 faite et le grand nombre de donn\u00e9es implique l’utilisation d’une base de donn\u00e9es que je ne connais pas, Apache Cassandra<\/strong>.<\/p>\n\n\n\n

Qu’elles sont les particularit\u00e9s de cette base ?<\/h3>\n\n\n\n

Th\u00e9or\u00e8me de CAP<\/h4>\n\n\n\n

Monsieur Eric Brewer<\/a> a cr\u00e9\u00e9 ce th\u00e9or\u00e8me permettant de r\u00e9partir les bases de donn\u00e9es selon leurs caract\u00e9ristiques.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Coh\u00e9rence (<\/strong>Consistency<\/em> en anglais) : <\/strong>Tous les n\u0153uds du syst\u00e8me voient exactement les m\u00eames donn\u00e9es au m\u00eame moment .<\/p>\n\n\n\n

Disponibilit\u00e9<\/strong> (Availability<\/em> en anglais) : garantie que toutes les requ\u00eates re\u00e7oivent une r\u00e9ponse ; <\/p>\n\n\n\n

Tol\u00e9rance au partitionnement<\/strong> (Partition Tolerance<\/em> en anglais) : aucune panne moins importante qu’une coupure totale du r\u00e9seau ne doit emp\u00eacher le syst\u00e8me de r\u00e9pondre correctement (ou encore : en cas de morcellement en sous-r\u00e9seaux, chacun doit pouvoir fonctionner de mani\u00e8re autonome).<\/p>\n\n\n\n

Nous savons maintenant que Cassandra<\/strong> est tol\u00e9rant \u00e0 la panne et garanti une r\u00e9ponse. Si tout cela est possible, c’est grace \u00e0 son architecture distribu\u00e9e<\/strong>.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Base de donn\u00e9es NoSql<\/h3>\n\n\n\n

Contrairement aux base de donn\u00e9es traditionnelles, Cassandra ne dispose pas de syst\u00e8me de jointure<\/strong>. Elles sont couteuses en ressources et ne permettent pas d’acc\u00e9der \u00e0 la donn\u00e9e de mani\u00e8re optimale. L’id\u00e9e est de cr\u00e9er un mod\u00e8le de donn\u00e9es en une seule table. <\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Ici j’ai regroup\u00e9 l’ensemble de mes tables en une seule. C’est ce que l’on appelle la d\u00e9normalisation<\/strong>.<\/p>\n\n\n\n

\"\"<\/td>A noter que le syst\u00e8me de jointure ne pose pas de probl\u00e8me aux architectures non distribu\u00e9s. En revanche elle impliquerait un nombre important de verrous sur un syst\u00e8me distribu\u00e9. <\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
\"\"<\/td>Il est \u00e9vident que tu sais que NoSql signifie “Not Only Sql” et non “Pas SQL” !<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Le mod\u00e8le de donn\u00e9es sur Cassandra<\/strong> doit \u00eatre pens\u00e9 autrement. L’id\u00e9e est qu’il soit le plus proche possible du besoin client<\/strong>. Dans notre cas il m’est demand\u00e9 de pouvoir consulter les familles de poisson en fonction des magasins.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

C’est ce que l’on appelle le Query First design<\/strong>.<\/p>\n\n\n\n

Orient\u00e9 colonne<\/h2>\n\n\n\n

Voici de fa\u00e7on sch\u00e9matique de comment sont stock\u00e9es les donn\u00e9es dans une base “classique”.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Cassandra<\/strong> est capable de r\u00e9cup\u00e8rer les donn\u00e9es par colonne!<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n
\"\"<\/td>Dans Cassandra il est possible de ne pas avoir de valeur pour une colonne. Il ne s’agit pas de valeur null mais bien d’une absence totale de donn\u00e9e<\/strong>. Imaginez le gain de stockage !<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Les clefs dans Cassandra:<\/h2>\n\n\n\n
\"\"<\/td>Dr\u00f4le de nom que le Keyspace<\/strong>\u2026 Si je traduis lit\u00e9ralement il s’agit d’un endroit ou il y a des clefs.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Commen\u00e7ons par cr\u00e9er un Keyspace.<\/p>\n\n\n\n

[baptiste@fedora bin]$ .\/cqlsh\nConnected to Test Cluster at 127.0.0.1:9042\n[cqlsh 6.0.0 | Cassandra 4.0.5 | CQL spec 3.4.5 | Native protocol v5]\nUse HELP for help.\ncqlsh> CREATE KEYSPACE fish_shop WITH replication ={'class':'NetworkTopologyStrategy', 'replication_factor': '3'};\ncqlsh> use fish_shop;<\/code><\/pre>\n\n\n\n
cqlsh:fish_shop> CREATE TABLE fish_by_shop_and_family \n(shop VARCHAR, family VARCHAR, diet VARCHAR, temperature SMALLINT, fish VARCHAR, price FLOAT, \nPRIMARY KEY ((shop,family),diet, temperature, fish)) \nWITH CLUSTERING ORDER BY (diet ASC, temperature DESC);<\/code><\/pre>\n\n\n\n
Quelques exemples d’insertions de lignes en base:<\/p>\n\n\n\n
INSERT INTO fish_by_shop_and_family (shop, family, diet, temperature, fish, price)  VALUES ('aquareden','cichlidae','omnivore',27,'oscar',20.6);\nINSERT INTO fish_by_shop_and_family (shop, family, diet, temperature, fish, price)  VALUES ('aquareden','cichlidae','omnivore',28,'discus',30);\nINSERT INTO fish_by_shop_and_family (shop, family, diet, temperature, fish, price)  VALUES ('aquareden','cyprinidae','omnivore',27,'barbus clown',4.6);\nINSERT INTO fish_by_shop_and_family (shop, family, diet, temperature, fish, price)  VALUES ('laguna','characidae','insectivore',25,'neon rose',1.9);<\/code><\/pre>\n\n\n\n
La partition Key<\/h3>\n\n\n\n
J’ai choisi le couple Shop \/ Family.<\/p>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
Maintenant que mon Keyspace ma table et mes donn\u00e9es sont ins\u00e9r\u00e9es. Je n’ai qu’une envie, c’est de tester et v\u00e9rifier que \u00e7a fonctionne en faisant une requ\u00eate CQL.<\/p>\n\n\n\n
cqlsh:fish_shop> SELECT * FROM fish_by_shop_and_family WHERE price=30;<\/code><\/pre>\n\n\n\n
InvalidRequest: Error from server: code=2200 [Invalid query] message=\"Cannot execute this query as it might involve data filtering and thus may have unpredictable performance. If you want to execute this query despite the performance unpredictability, use ALLOW FILTERING<\/code><\/pre>\n\n\n\n
<\/p>\n\n\n\n
\n
MAIS QU’EST CE QUE C’EST QUE CETTE BASE DE DONNEES OU JE NE PEUX PAS REQUETER MES DONNEES !!!<\/p>\n<\/blockquote>\n\n\n\n
<\/p>\n\n\n\n
\"\"<\/td>Bien que cela vous soulagera un temps, jeter son clavier par la fen\u00eatre ne r\u00e9soudra pas vos probl\u00e8mes avec Cassandra<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Il y a forc\u00e9ment une raison pour laquelle cette requ\u00eate ne fonctionne pas, essayons de voir ensemble pourquoi. Revenons sur cette histoire de Keyspace<\/strong>. Je trouve dans la documentation du CQL la fonction Token<\/strong>, que je d\u00e9cide d’appliquer \u00e0 ma clef.<\/p>\n\n\n\n
cqlsh:fish_shop> SELECT token(shop,family),shop,family FROM fish_by_shop_and_family;\n\n system.token(shop, family) | shop       | family\n----------------------------+------------+---------------\n       -8244308070285158063 |    aquartz |     cichlidae\n       -7298066757405096652 |     laguna |    cyprinidae\n       -7298066757405096652 |     laguna |    cyprinidae\n       -7192375663116393974 | fishotopia |    characidae \n       -5867784217603879931 |  aquareden | pomacentridae\n       -5867784217603879931 |  aquareden | pomacentridae<\/code><\/pre>\n\n\n\n
Nous avons vu que Cassandra \u00e9tait une base de donn\u00e9es distribu\u00e9e.<\/p>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
Dans Cassandra la donn\u00e9e est r\u00e9partie \u00e0 travers le cluster, chaque noeud se voit affecter une plage de tokens<\/strong>.<\/p>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
\"\"<\/td>Cassandra dispose de plusieurs strategies de hashage pour calculer le token. Ce qu’il faut retenir c’est que ces strategies sont idempotantes et que le range de token va de -2^63 \u00e0 2^63-1.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
\"\"<\/td>Les  virtual nodes sont des abstractions qui permettent de faire varier le nombre de tokens par node. <\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Le nombre de virtual node s’adapte en fonction de la taille du disque dur associ\u00e9 au noeud. <\/p>\n\n\n\n
Ici un exemple de comment sont r\u00e9parties les donn\u00e9es \u00e0 travers le cluster:<\/p>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
cqlsh:fish_shop> SELECT * FROM fish_by_shop_and_family WHERE shop='aquartz' AND family='characidae';<\/code><\/pre>\n\n\n\n
 shop    | family     | diet        | temp | fish         | price\n---------+------------+-------------+------+--------------+-------\n aquartz | characidae | insectivore |   25 |    neon rose |   4.1\n aquartz | characidae | insectivore |   25 |  tetra royal |   3.6\n aquartz | characidae | insectivore |   24 |    nez rouge |   2.3\n aquartz | characidae |    omnivore |   25 | tetra citron |   3.4\n aquartz | characidae |    omnivore |   24 |    neon bleu |   2.1<\/code><\/pre>\n\n\n\n
\"\"<\/td>Il faut faire attention au probl\u00e8me de wide row<\/strong>. Ce probl\u00e8me arrive lorsqu’une clef de partition contient trop de lignes associ\u00e9s (se m\u00e9fier des partitions key compos\u00e9s d’une seule colonne)<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
\n
\n
\"\"<\/td>La partition key peut etre compos\u00e9e de plusieurs colonnes. Dans ce cas elle s’appelle  Composite Partition Key<\/strong><\/td><\/tr><\/tbody><\/table><\/figure>\n<\/div><\/div>\n<\/div><\/div>\n\n\n\n
\"\"<\/td>Une petite commande pour trouver ou se situe la donn\u00e9e:
.\/nodetool getendpoints fish_shop fish_by_shop_and_family “aquartz:characidae”<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
L’algoritme permettant de r\u00e9partir la donn\u00e9e \u00e0 travers le cluster s’appelle un Partitioner<\/strong>. Il s’agit tout simplement d’une fonction qui transforme une Partition Key en Hash. L’algoritme par d\u00e9faut s’appelle le Murmur3Partitioner<\/strong>.<\/p>\n\n\n\n
\"\"<\/td>Cassandra est un programme OpenSource \u00e9crit en Java. N’h\u00e9sitez pas \u00e0 cloner<\/a> la version que vous utilisez. Vous y trouverez les diff\u00e9rentes impl\u00e9mentations des fonctionnalit\u00e9s mise \u00e0 disposition.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Clustered key<\/h3>\n\n\n\n
cqlsh:fish_shop> SELECT * FROM fish_by_shop_and_family;<\/code><\/pre>\n\n\n\n
Les donn\u00e9es semblent \u00e9trangement bien ordonn\u00e9es. Vous remarquerez que les lignes sont automatiquements class\u00e9es. Je n’ai pourtant rien demand\u00e9 en SQL standard j’aurai utilis\u00e9 avec l’instruction ORDER BY dans ma requ\u00eate. Ici les donn\u00e9es sont class\u00e9es, clusteres\u00e9es<\/strong> d\u00e8s leurs insertions gr\u00e2ce au clustered key!<\/p>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
Reprenons une partie  de la commande de cr\u00e9ation de la table:<\/p>\n\n\n\n
PRIMARY KEY ((shop,family),diet, temperature, fish))<\/code><\/pre>\n\n\n\n
Il s’agit des colonnes qui se situent \u00e0 droite de la Partition key. Ce sont elles qui d\u00e9finissent l’ordre dans lesquels les donn\u00e9es sont restitu\u00e9es. D’ou l’importance de bien r\u00e9fl\u00e9chir \u00e0 sont mod\u00e8le de donn\u00e9es!<\/p>\n\n\n\n
\"\"<\/td>Par  d\u00e9faut si rien n’est pr\u00e9cis\u00e9 la clustered key va classer de mani\u00e8re ASC. Il est possible de demander un classement DESC. 
Exemple: WITH CLUSTERING ORDER BY (diet ASC, temperature DESC);<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
\"\"<\/td>Les clustered keys sont facultatives, dans ce cas il s’agit d’une clef primaire simple<\/strong>. Dans le cas contraire la clef primaire est dite compos\u00e9e<\/strong>.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Cette fois si je souhaite connaitre les poissons dont la temp\u00e9rature d’eau moyenne est 25 degr\u00e9s.<\/p>\n\n\n\n
cqlsh:fish_shop> SELECT * FROM fish_by_shop_and_family WHERE shop='aquartz' AND family='characidae' AND temperature=25;<\/code><\/pre>\n\n\n\n
InvalidRequest: Error from server: code=2200 [Invalid query] message=\"PRIMARY KEY column \"temperature\" cannot be restricted as preceding column \"diet\" is not restricted\"<\/code><\/pre>\n\n\n\n
\"\"<\/td>Et oui, l’ordre de d\u00e9claration des Clustered Colonnes est important lors de la cr\u00e9ation de votre table! Impossible d’appliquer un pr\u00e9dicat sur une clustered colonne situ\u00e9 \u00e0 droite sans avoir mensionn\u00e9 les colonnes situ\u00e9es avant.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Les Ranges Queries<\/h4>\n\n\n\n
On peut penser que toutes ces contraintes rendent Cassandra difficilement utilisable. En r\u00e9alit\u00e9 c’est tout l’inverse, la Clustered Key est une fonctionnalit\u00e9 tr\u00e8s interessante qui facilite le rapatriement de donn\u00e9es par paquet. <\/p>\n\n\n\n
cqlsh:fish_shop> SELECT * FROM fish_by_shop_and_family WHERE shop='aquartz' AND family='characidae' AND diet='omnivore' AND 24 < temperature;<\/code><\/pre>\n\n\n\n
\"\"<\/td>Il est possible de d\u00e9finir une Partition Key compos\u00e9e d’une seule colonne avec une valeur unique pour chaque ligne, cependant cet usage rend les Clustered inutiles…<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
La Primary Key<\/h3>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
\"\"<\/td>La clef primaire est unique! Une m\u00eame combinaison de tous ces champs \u00e9craserait les autres champs. A titre d’exemple, le nom du poisson est discriminant et permet de m’assurer de pouvoir ins\u00e9rer n’importe quelle donn\u00e9e.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Les clauses Where ne sont applicables que sur les colonnes d\u00e9clar\u00e9es comme clef primaire.<\/p>\n\n\n\n
Revenons sur l’erreur CQL lorsque l’on interroge un champ n’appartenant pas \u00e0 la clef primaire:<\/p>\n\n\n\n
InvalidRequest: Error from server: code=2200 [Invalid query] message=\"Cannot execute this query as it might involve data filtering and thus may have unpredictable performance. If you want to execute this query despite the performance unpredictability, use ALLOW FILTERING\"<\/code><\/pre>\n\n\n\n
A mon sens toute l’architecture de Cassandra est expliqu\u00e9e en un seul message d’erreur! <\/p>\n\n\n\n
\"\"<\/td>L’instruction ALLOW FILTERING ne doit servir qu’en mode d\u00e9bug !<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Les indexes invers\u00e9s<\/h4>\n\n\n\n
Revenons \u00e0 cette requ\u00e8te qui nous a tant frustr\u00e9 un peu plus haut.<\/p>\n\n\n\n
cqlsh:fish_shop> SELECT * FROM fish_by_shop_and_family WHERE price=30;<\/code><\/pre>\n\n\n\n
Il existe une technique pour pouvoir interroger ces donn\u00e9es. L’id\u00e9e est de cr\u00e9er une autre table qui stocke pour certaines valeurs de champ la localisation de la donn\u00e9e dans la table principale.<\/p>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
C’est ce que l’on appelle le predicate push down<\/strong>.<\/p>\n\n\n\n
<\/p>\n\n\n\n
Ecriture de donn\u00e9es<\/h2>\n\n\n\n
La r\u00e9plication des donn\u00e9es<\/h3>\n\n\n\n
La strat\u00e9gie de r\u00e9plication des donn\u00e9es est configur\u00e9e par Keyspace lors de sa cr\u00e9ation.<\/p>\n\n\n\n
Simple Strategy<\/h4>\n\n\n\n
Il s’agit de la strategie de r\u00e9plication entre guillemet d\u00e9mo. Elle n’est utile que pour les architectures sur un Datacenter et un Rack (jamais). Elle \u00e0 le m\u00e9rite tout de m\u00eame d’expliquer certains m\u00e9canismes de base. Ici nous demandons une r\u00e9plication des donn\u00e9es du Keyspace de trois.<\/p>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
Une fois le token calcul\u00e9, la r\u00e9plication suit tout simplement le sens des aiguilles d’une montre.<\/p>\n\n\n\n
Ce qu’il faut utiliser en Prod, la Network Topology Strategy<\/h4>\n\n\n\n
Cette strategie utilise \u00e9galement le sens des aiguilles d’une montre mais tient en plus compte de la topologie Rack\/Datacenter. <\/p>\n\n\n
\n
\"\"<\/figure>\n<\/div>\n\n\n
Les donn\u00e9es sont r\u00e9parties sur les diff\u00e9rents Racks (groupement physique) au cas ou il y aurait des probl\u00e8mes d’alimentations \u00e9l\u00e9ctrique, mat\u00e9riels ou de r\u00e9seaux.<\/p>\n\n\n\n
Cette strategie implique de renseigner pour chacun des noeuds le couple Datacenter\/Rack dans le fichier cassandra-rackdc.properties<\/code> situ\u00e9 dans le r\u00e9pertoire de conf.<\/p>\n\n\n\n
\"\"<\/td>Cassandra se base sur une architecture Peer to Peer<\/strong>. C’est \u00e0 dire que chacun des noeuds poss\u00e8de les m\u00eames fonctionnalit\u00e9s.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
\"\"<\/td>Il est possible d’avoir une strategie de r\u00e9plication des donn\u00e9es diff\u00e9rente en fonction selon le Datacenter<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
Gossip Protocol<\/h3>\n\n\n\n
Cassandra est une entit\u00e9 compos\u00e9e de nombreux individus. La base de donn\u00e9es \u00e0 besoin de maintenir un niveau d’information commun et distribu\u00e9. Le protocol de dialogue et de transfert des m\u00e9tadonn\u00e9es s’appelle le Gossip Protocol<\/strong>. Il s’agit d’un protocol assynchrone.<\/p>\n\n\n
\n    
\n        
\n