{"id":287,"date":"2021-09-02T09:52:38","date_gmt":"2021-09-02T07:52:38","guid":{"rendered":"http:\/\/baptiste-meynier.com\/?p=287"},"modified":"2023-02-18T19:09:31","modified_gmt":"2023-02-18T18:09:31","slug":"spark","status":"publish","type":"post","link":"https:\/\/baptiste-meynier.com\/index.php\/2021\/09\/02\/spark\/","title":{"rendered":"Apache Spark"},"content":{"rendered":"\n

Un peu d’histoire<\/h2>\n\n\n\n
\"\"<\/figure>\n\n\n\n

Infrastructure<\/h2>\n\n\n\n

Big data = gros disque ?<\/h3>\n\n\n\n

HDD<\/strong> : est un bo\u00eetier contenant une s\u00e9rie de plateaux recouverts d’un rev\u00eatement ferromagn\u00e9tique. La direction de l’aimantation repr\u00e9sente les \u00e9l\u00e9ments binaires individuels. Les donn\u00e9es sont lues et \u00e9crites par une t\u00eate (similaire \u00e0 ce que peu faire une platine vinyle avec un disque) qui se d\u00e9place extr\u00eamement rapidement d’une zone du disque \u00e0 l’autre. \u00c9tant donn\u00e9 que toutes ces pi\u00e8ces sont \u00ab m\u00e9caniques \u00bb, le disque dur est le composant le plus lent de tout ordinateur et le plus fragile.<\/p>\n\n\n\n

SSD<\/strong> : ces types de disques stockent des informations sur une m\u00e9moire flash compos\u00e9e de cellules de m\u00e9moire individuelles stockant des \u00e9l\u00e9ments binaires qui sont instantan\u00e9ment accessibles par le contr\u00f4leur.<\/p>\n\n\n\n

C’est quoi un controleur disque?<\/h3>\n\n\n\n

Il s’agit d’un ensemble \u00e9lectronique qui contr\u00f4le la m\u00e9canique d\u2019un disque dur. Son r\u00f4le est de piloter les moteurs de rotation, de positionner les t\u00eates de lecture\/enregistrement, et d\u2019interpr\u00e9ter les signaux \u00e9lectriques re\u00e7us de ces t\u00eates pour les convertir en donn\u00e9es exploitables ou d\u2019enregistrer des donn\u00e9es \u00e0 un emplacement particulier de la surface des disques composant le disque dur.<\/p>\n\n\n\n

Evolution du stockage \u00e0 travers le temps:<\/h4>\n\n\n\n
\n
\n
<\/th><\/th><\/th><\/th>HDD<\/th><\/th><\/th><\/th>SSD<\/th><\/th><\/tr><\/thead>
Ann\u00e9es<\/strong><\/td>1956<\/strong><\/td>1970<\/strong><\/td>1980<\/strong><\/td>1990<\/strong><\/td>2000<\/strong><\/td>2010<\/strong><\/td>2020<\/strong><\/td><\/td><\/td><\/tr>
Format<\/strong><\/td>50 plateaux de 24″<\/td><\/td>5,25”<\/td>3,5″<\/td>3,5″<\/td>2,5″<\/td>2,5″<\/td>2,5″<\/td><\/td><\/tr>
Volume Max<\/strong><\/td>5 MB<\/td>60 MB<\/td>446 MB<\/td>1000 MB<\/td>18 000 MB<\/td>4 000 000 MB<\/td>20 000 000 MB<\/td>4 000 000 MB<\/td><\/td><\/tr>
D\u00e9bit th\u00e9orique<\/strong><\/td>8 800 caract\u00e8res\/s<\/td><\/td>625 Ko\/s<\/td>0.7 Mb\/s<\/td>9.5 Mb\/s<\/td>110 Mb\/s<\/td>200Mb\/s<\/td>500 Mb\/s<\/td><\/td><\/tr>
Prix pour 1 Mo<\/strong><\/td>1mo 10 000 $<\/td><\/td>1mo 193 $<\/td>1 mo 9 $<\/td>1 Go 2 \u20ac<\/td>1 Go 0.10\u20ac <\/td>1Go 0.02\u20ac<\/td>1Go
0.15\u20ac<\/td>		<\/td><\/tr>
Rapport Volume Max\/D\u00e9bit<\/strong><\/td><\/td><\/td>713.6<\/td>1428<\/td>1894<\/td>36363<\/td>100000<\/td>8000<\/td><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Dans le cas de stockage sur fichier il vaut mieux privil\u00e9gier les petits disques durs plus pr\u00e9cis\u00e9ment ceux ayant le meilleur ratio volume\/d\u00e9bit.<\/p>\n\n\n\n

Note: il est possible de connaitre le type de disque dur de votre machine via la commande “lsblk -d -o name,rota” (HDD rota=1, SSD rota=0)<\/em><\/p>\n<\/div>\n<\/div>\n\n\n\n

Quelques exemples de Stockages:<\/h3>\n\n\n\n
\"\"<\/figure>
\n

permet de stocker des fichiers bruts ou structur\u00e9s via le format Parquet.<\/p>\n<\/div><\/div>\n\n\n\n

\"\"<\/figure>
\n

est un site d’h\u00e9bergement de fichiers. Son API est acc\u00e9ssible via REST \/ SOAP ou encore BitTorent.<\/p>\n<\/div><\/div>\n\n\n\n

\"\"<\/figure>
\n

est la Rolls Royces des syst\u00e9mes de gestion de base de donn\u00e9es(NoSQL). Elle est con\u00e7u pour g\u00e9rer des quantit\u00e9s massives de donn\u00e9es sur un grand nombre de serveurs, assurant une haute disponibilit\u00e9 en \u00e9liminant les points de d\u00e9faillance. Il permet de r\u00e9partir les donn\u00e9es sur plusieurs centres, avec une r\u00e9plication asynchrone sans n\u0153ud ma\u00eetre et une faible latence pour les op\u00e9rations de tous les clients.<\/p>\n<\/div><\/div>\n\n\n\n

Ce qu’il faut retenir de la partie Stockage:<\/h3>\n\n\n\n
\n

Int\u00e9ressez-vous au controleur de votre disque et rien ne sert de prendre des disques de trop grand volume le plus important reste le ratio volume\/d\u00e9bit.<\/p>\n<\/blockquote>\n\n\n\n

Et le R\u00e9seaux dans tout \u00e7a ?<\/h3>\n\n\n\n

La carte r\u00e9seau assure l’interface entre l’\u00e9quipement et les machines connect\u00e9es sur le m\u00eame r\u00e9seau. Les d\u00e9bits s’expriment g\u00e9n\u00e9ralement en Mbit\/s (m\u00e9gabites par seconde : millions de bits par seconde).<\/p>\n\n\n\n

Les d\u00e9bits actuels du standard Ethernet sont :<\/p>\n\n\n\n