Bonjour a tous.

Je souhaiterai mettre en place un cluster Linux pour faire du calcul de structure.

J'ai plusieurs questions qui se posent sans trouver de reponse precise:

Pour la partie simple:
1- Quelle est la complexite de mise en oeuvre
2- Quel soft choisir

Pour la partie complexe:

3- j'ai un gros soucis de taille de probleme
Un OS 32 bit ne peut adresser que 4Go de RAM (c'est la raison principale de ma question)
Si je met un systeme 64bits en tete et que les machines du cluster sont en 32 bit, est-ce que je serai capable d'adresser plus que 4go ?

Si quelqu'un a un debut de reponse, il sera le bienvenu !!

Merci et Bon WE.

Seb.

Oulà, faire du grid computing, c'est un sujet intéressant, mais faut d'abord bien se renseigner. Ca reste en effet avant tout un sujet de recherche plus qu'une application finale. Maintenant, il existe des solutions.

Pour ton calcul de structure, entend-tu une mémoire partagée entre tous les noeuds ? Si oui, as-tu un réseau dimensionné pour, surtout en termes de latence ? TCP/IP est en effet très mal adapté pour ça.
Si tu veux simplement avoir un master qui découpe des tâches de calcul et les envoie à des slaves pour calcul, alors c'est bcp bcp plus simple. Il existe des distribs Linux (me souviens plus du nom désolé) qui permettent de gérer cela.

Reste après les bonnes vieilles méthodes à coup de partage NFS si les données sont pas critiques

Parallel Knoppix, de mémoire, était taillé pour le cluster.
Après, je ne sais pas si ça peut convenir.

Bonsoir

Pour compléter la suggession de f2plus
http://ftp.traduc.org/doc-vf/gazette-linux/html/2005/110/lg110-C.html

Sous ubuntu il ya un méta packetage red-hat cluster suite mais la doc d'ubuntu n'en parle pas http://doc.ubuntu-fr.org/cluster En tout cas il faut maitriser l'affaire ...

Salut a tous,

et merci pour vos reponses. Je vais essayer les pistes de Fe2+ et Alain.

Gege, mon probleme est principalement un probleme de Memoire (RAM) et de la limite a 4Go imposee par un OS 32 bits.

Ca va peut etre ramer avec reseau TCP/IP a 100Mbps mais est-ce que ca peut me permettre de depasser cette limite de 4Go ?

Merci,

Seb.

Arf, ca va pas être simple si tu veux aggréger les ressources.
Le plus simple est, si tu es le développeur du logiciel, de prévoir des batches de calcul facilement exportables que tu envoies vers tes machines cibles.

Sinon, si tu veux avoir une vision unifiée, soit tu investis dans un vrai cluster avec des bus système et réseau qui vont bien, soit tu prends un gros serveur 64b avec 8Go ou 16Go de RAM.

Perso, je vote pour la 2eme soluce, facilement adressable en entreprise.

Bon, je pense que je vais me pencher sur l'option 2 : Une grosse babasse.

merci a tous pour vos reponses.

A+

Seb.

+1, avec les quadcores, il est maintenant assez aisé et aps trop trop cher d'avoir une grosse bécanne avec 8 voir 16 coeurs et bcp de ram

attentions à bien utiliser tous les cannaux mémoire pour maximiser la bande passantes car dans certains cas elle limite la puissance de la bete ( tous les coeurs se la partage )

apres, si ton appli est vraiment massivement parallèle, CUDA, le logiciel de NVIDIA qui permet d'utiliser sa CG comme co processeur peut etre une bonne alternative

peu cher et si l'application est adaptée à ça, les perfs défoncent n'importe quel serveur que tu pourrais te monter.

pour ça il faut avoir bcp bcp de threads à gerer, une 8800GTX, c'est jusqu'à 25 000 threads en vol. Si t'as de quoi exploiter ça, tu devrais te renseigner sur le bignou ( ne serais ce que pour voir si ton logiciel est compatible avec le systeme )

edit: un article interessant:
http://www.hardware.fr/articles/678-1/nvidia-cuda-plus-pratique.html

Salut Dark oopa,

C'est interessant, mais d'apres ce que j'ai compris, il faut egalement que le programme soit compiler pour supporter le CUDA.
Correct ?

Mais mon probleme est surtout sur la taille de mon modele qui semble necessite plus de 4Go de RAM.

Autre question (s'il y a tjr du monde qui suit ce topic), je sais que ca ne marchais pas pour XP, mais est-il possible d'installer un vista 64 sur une architecture 32 bis ?

Seb.

Hum, une 8800 GTX dans un serveur ? Oo
Y a que moi que ça choque ou bien ... ?
Sinon on a acheté un serveur HP Proliant DL 360 G5, bi Xéon quad core et 10Go de ram, 2 Disques SCSI Ultra 320 de 146Go, pas trop cher, on en a eu pour moins de 3000€ HT il me semble !
Et windows 2003 serveur 64 bits supporte plus de 4Go de ram.

je ne sais pas si je vais avoir le feu vert pour 3000€ ...

C'est juste pour te donner une idée.

je me doute. merci en tout cas !!

Le 28 mai 2008 - 11 h 08, Woofy a écrit : C'est juste pour te donner une idée.

AHMA, proposer un HP DL360 G5 pour ses besoins est tout aussi futile que proposer une 8800GT

Par exemple, un Dell PE1435 propose jusqu'à 32Go de RAM et bi-quadcore pour un prix sous les moins de 1000€ HT...

Heu j'monte à presque 1500€ HT pour une conf a peu prêt similaire à ce que je disais. Certe moins cher mais plus cher que ce que tu disais !

Quel est son besoin ? D'après ce que j'en ai compris, le bottleneck est la RAM. A t'il des besoins de computation forts ? Non. A t'il des I/Os élevés sur le disque ? Non.

Concrètement, l'avantage d'un 1435, c'est qu'il est facilement extensible et ne fait que 1U. Il peut donc budgeter dans un premier temps 8GB de RAM avec 1CPU, un disque SATA de 80Go, etc. et si problème, prendre des upgrades.

Partir tout de suite sur un monstre, c'est faire exploser le budget et surtout la place disponible. Certes, il n'a pas 10000 servers à administrer, mais c'est tout autant important.

sinon, dans le cadre de minatec, HP met a disposition un supercalculateur ... Ca peut etre une solution.

Faut juste entrer ds le truc ...

Bon, je remet les choses au clair:

Ma limitation c'est les 32 bits de Windows qui ne permettent d'adresser que 4Go

j'ai une machine (pas une workstation) qui a deja 4Go, mais 32bit.
J'ai une autre machine (laptop) AMD 64bit avec 1Go de RAM, mais pas beaucoup de place pour swapper sur le disque.

Mon idee etait de mettre un OS 64 bit sur le laptop et pouvoir utiliser les 4Gb de l'autre machine (qui a en plus de l'espace disque pour swapper si besoin) via la grappe.

Ca peut se faire ca ?

Seb.