Principalement suite aux problèmes hardware rencontrés pour l'instant
Problèmes rencontrés / impacts
- micro-coupures électriques : serveurs ne redémarrant pas
- carte scsi défaillante sur akela : perte de main sur le serveur (tout reste en mémoire, plus d'io sur disque)
- obligation de se déplacer sur place pour rebooter un serveur, pas d'intervention 24/24 7/7 :-(
A faire (non planifié)
administration
- prise en main à distance (même serveur éteint)
- possibilité de redémarrer un serveur à distance
- déport des logs syslogd pour voir ce qui s'est passé sur un serveur (même si perte du disque ou arrêt impromptu)
- prévoir (doc + implémentation) bascules automatiques des services sur d'autres serveurs (plus facile quand il y aura des load-balancers)
- gestion de la montée en charge (filer, web)
- identifier les SPOF (Single Point of Failure) : en gros, le plantage d'un élément faisant perdre un ensemble de service sans possibilité de récupération quasi-immédiat
stats
- statistiques à générer par site directement dans des logs séparés plutôt que dans un seul log (plus long à traiter)
- Il manquerait des stats globales pour avoir le suivi des sites les plus consommateurs, mais bon parser deux fois les logs c'est reloud...
- il y a déjà des stats mensuelles (archivées par mois ce serait pas mal aussi => évolution ultérieure)
- il y a des stats instantanées par munin (c'est bien, manquerait que les alertes avec du vert si tout va bien, orange si écart, rouge si planté,
service par service mais bon là je rêve comme d'hab' => évolution futuristique)
- stats globales :
- peut-être avoir un récapitulatif des sites avec le plus de hits/visites, le plus de téléchargements (genre les 10 premiers) ? ça permet d'avoir une image de l'activité sur la plateforme (au global), je ne sais pas si awstats pourrait le faire au passage ? Bon je ne parle pas d'avoir des stats sur les mailings-list....
- permettra d'identifier les sites qui ont un peu d'activité et les mettre en valeur sur http://faq.tuxfamily.org/wakka.php?wiki=ProjetsDeTuxfamily (ce n'est pas le seul critère loin de là mais ça permet d'éviter déjà ceux qui ont un htdocs vide)
esthétique / ergonomie
- sur chaque page de résultat de recherche ajouter lien vers la zone publique https://panel.tuxfamily.org/public/index.pl
- de la forme Tuxfamily.org > Public > User (ou Groupe ou Site)
- sur chaque page user / group / website, après une recherche
- une fois loggué dans panel (en haut du menu si possible), ça permet de faire des recherches lors de la modération quand la description n'est pas complète
- en profiter pour uniformiser l'affichage entre le panel et la zone publique (ajouter les descriptions au panel et supprimer les \\)
- créer une ML publique pour les commits cvs et svn; inscrire par défaut les membres du groupe
- mailing-list : ajouter la gestion des archives web (en cachant tout ce qui ressemble à une adresse mail, même dans le corps du mail)
- ça existe déjà en fait mais c'est buggué ;-) voir http://listengine.tuxfamily.org/archives.pl?list=vhffs-dev@vhffs.org
- le changement de thème ou de langue ne fonctionne pas => unknown id (de mémoire)
- l'affichage des messages ne fait pas apparaître de "thread suivant" / "message suivant par date" / tous les fils du thread / autres mois ...
fonctionnalités
- bittorrent pour les isos (après modération ?)
Fait
- sauvegardes du filer par rsync (vérifier que les dumps de base de données sont faits juste avant)
- statistiques d'utilisation des serveurs par munin
- proposition de logo pour les downtime
Services actuels au 18/05/2005
- Primary Name Server (ns1)
- Secondary Name Server (ns2)
- Secondary Mail Exchanger (mx2)
- IRC
- Mailing listes admin
- Primary Mail Exchanger (mx1)
- Mail (pop3, pop3s, imap, imaps, webmail, mailing listes)
- Web (http, php, mysql, psql)
- Site web de TuxFamily?
- CVS
- Panel
- FTP
http://naquadah.org/~jd/tuxfamily/tuxfamily.png
sherkan à libérer
akela avec problème scsi (1U)
kinoton filer
kaneda (web ?)
kaa ?
tequila martini : web
vodka : que munin
la vraie archi en place
un point de vue utilisateur (les couleurs pastel sont pas trop mal choisies, les bonshommes sont moches, ce n'est pas entièrement faux quoi
http://www.csoft.net/docs/cadm/index.html.en documentation de virtual hosting avec csoft (in English in ze text)
http://antesis.oyez.info/mirrors/libre-radio/N17_Divergence-Numerique_24_02_2005.ogg [fr] (72,6 Mo !) réécouter soda vers la 25ème minute
- plateforme de blog (xml / java / intégré Gnome), de jeux
- thèmes fantaisie et conventionnels
- CVS et SVN
- libre au sens large : cyberlug, artistique, photos (cc), ...
guide d'installation de certificat auto-signé (et avec autorité de certification)
http://www.dr15.cnrs.fr/Delegation/STI/Certifs/CA-DR15/guide/
http://httpd.apache.org/docs-2.0/ssl/ssl_faq.html#vhosts2 [en] pourquoi le vhost ne marche pas avec https (à vérifier)
bilan fonctionnement
développement
- documentation disponible
- validation nécessaire pour compléter la documentation (précisions)
- packaging prévu (en partie développé)
- découpage selon fonctionnalités et permettant installation sur plusieurs serveurs (ou sur un seul)
- valider avec installation sur un serveur + procédure d'installation rapide en préproduction + procédure d'installation en production sur tf.o (avec scripts de sauvegarde préalable des fichiers de configuration / données)
- packaging patchs de sécurité (à prévoir)
- environnement de préproduction non systématique pour répétition de la mise en production
admin
modération
évolution largefiles
soda juste qu'albert a dévoilé notre projet ultra confidentiel qui était déposé dans mon coffre fort
soda c'est juste que là, le temps manque pour devel ça
soda gradator: le truc des fichiers, bittorent, toussa
gradator bah pour bitto faut juste un serv http
soda gradator: bah plus ou moins
soda gradator: le mieux est de faire un nouveau service dans vhffs
soda un generateur de tracker ?
Albert ben les guys deposes leurs fichiers
Albert et automatiquement à une une fixe
Albert le systeme genere le .torrent pour le telechargement ;-)
soda oui
Albert c'est une ligne de code ;-)
soda mais qui te dit que le mec va pas uploader dernierfilm.avi ?
soda et qu'on le fout sur bittorent ?
soda tu vois le probleme ?
gradator ah bah ca
Albert ben non
soda y'a aucune modération là dedans ...
gradator ya le meme probleme sur le web
Albert tu demande aux gars d'envoyés leurs machin sur un rep d'upload
soda Albert: et qui vérifie les fichiers ?
Albert et apres un admin les dispachent la ou il faut ;-)
soda mais bien sur ...
Albert soda, service restreint ;-)
soda Albert: oui, et si on a 100 demandes de fichiers dans la journée ?
soda on a le temps de TOUT vérifier ?
soda la réponse est : non
soda faut un truc viable dans le temps et stable
Albert nan tu comprends pas ;-)
soda mais si, je comprends
soda en gros, les mecs ont /upload
Albert nan nan
Albert yes
soda ils foutent leurs fichiers dedans, on vérifie et on fout un .torrent
soda non, ça, j'ai compris
soda mais ce que tu comprends pas c'est qu'il faut qu'on vérifie ce qu'on héberge
soda j'ai pas envie de me retrouver avec un proces au cul parce que jean kevin a foutu le dernier divx sur tf
Albert clair
Albert d'ou l'idée de service restreint
soda et tu le créé comment ton service restreint ?
Albert acces modéré
soda et comment les gens le demandent ?
soda (attention, réponse : par le panel)
Albert :-)
soda donc, qui dit panel dit devel de vhffs
soda tu vois, voici comment je vois les choses
Albert c'est pas ca l'idée ;-)
soda mais c'est quoi alors ?
soda donne moi le scnéario, comment le mec arrive à uploader son fichier
Albert - projet enregistré sur tf
Albert - demande (par le panel de pouvoir envoyé un fichier)
Albert - demande limitée aux gros fichiers ( entre 100M et 4,4 Go par exemple ;-)
Albert (en un seul fichier)
* soda suit jusque là
Albert - autorisation (ou non) faisant suite à la demande argumentée ;-)
gradator donc un fichier = un objet vhffs :)
Albert - génération d'un mot de passe pour acces à répertoire d'upload (par ticket par exemple, un mot de passe pour un envoi)
Albert gradator, meme pas
Albert - envois du fichier sur /upload
Albert verification du fichier eventuelle par sa signature hexa (si si c'est possible)
Albert automatique ca ce fait ;-)
soda bon, ok, continue :)
soda en gros - vérification du fichier, puis déplacement sur un ftp public, génération du .torrent et mise en dispo sur bittorent ? non ?
Albert - un truc a souligné à l'uploader avant la manip
Albert - reference juridique sur la propriété intellectuelle et dechargement envers l'uploader de tous problemes juridiques
soda bon, pour le moment, a part les problemes juridiques, tout est dans la rfc sur les largefiles
soda
http://svn.naquadah.org/filedetails.php?repname=vhffs&path=%2Ftrunk%2Fvhffs-rfc%2Flargefile&rev=0&sc=0
Albert ouai mais tu devrais y mettre une partie juridique
Albert meme pour les largefiles
soda oui, ok, je le ferais :)
Albert (conseil)
soda mais en gros, faut devel des trucs, tu es d'accord ?
Albert pas grand chose ;-)
soda bon, bah checkoute le svn de vhffs, envoie moi un patch
soda et on met ça en ligne ce soir :-)
soda bon, voici mon scnéario
soda - le mec a un projet
Albert faudrait deja que je me paluche le code de vhffs 4
soda - il fait une demande de fichiers
soda - accepté
Albert -envois
soda - dans la demande, il a renseigné : le type, la licence, la taille
Albert yes
soda - le robot modifie alors les quota des groupes, etc ...
soda - le mec upload dans SONGROUPE/upload
soda - le robot passe toutes les N minutes, attends que le fichier atteint TAILLE -/+ 15%
Albert 1 fois par jour ca suffit hien
Albert du moment que c'est parti, c'est parti ;-)
soda si au bout de 10 heurs, le fichie existe pas, le service est supprimé
soda (ou que le fichier correspond pas à ce qui est mis)
soda ensuite
Albert a ouai cool ;-)
soda vérification du type du fichier
soda - Déplacement du fichier dans un disque qui ne sert qu'au ftp
soda - Création des .torrent
soda - Toutes les heures, rsync entre les différents serveurs
gradator le /upload doit etre un ln sur le disque ftp ;)
gradator jte raconte pas sinon quand tu vas copier ton fichier de 5 GB :)))
gradator "le web est lent, c'est normal !?!??!" :)))
soda gradator: oui, mais non , car en gros, tu auras une machine réservée à ça, et ce serait bien que cette machine n'ai ni accès au /data de tf ni à la db
gradator c'est bien ce que je dis :)
soda sinon, y'a une autre solution
soda quand le mec demande son fichier, ça crée un login/pass temporaire sur un serveur ftp différent de celui ftp.tuxfamily.org
soda ça, c'est aussi possible
soda avec un couple login/pass qui expire 3 jours après
soda ah oui, autre chose
soda il faut que le mec indique le temps qu'il veut conserver le fichier
gradator chaud ca
soda non, non, le mec l'indique sur le panel
soda et il peut le modifier
soda et le fichier est un objet, comme ça, système d'acl pour gérer le richier
gradator si il sais pas le temps entre chaque release ? :D
soda gradator: il indique unlimited et il dira de le détruire apres
soda Albert: mais tu vois, y'a du devel et pas qu'un peu ...