Suis un gros boulet!
Par Twister le jeudi, septembre 27 2007, 10:12 - My Life - Lien permanent
Remise dans le contexte :
Je suis dans une période de gros développements sur mon projet qui nécessite une migration des données existantes. Cette migration permettra de mettre en production 15 jours de développements...
10h30
Je reviens des WC et vais pour tester mon dernier script de migration de base de données de la mort qui tue. Mon invite habituelle m'attends :
SQL>
Je dis allez... GO... @migrate.sql...
10 secondes plus tard je me dis, c'est bizarre, ca réagis lentement. Je regarde le PC d'un collègue où est ma base Oracle de développement en me disant qu'il doit être en train de faire quelquechose qui bouffe pas mal de ressources. Nada, même pas un manga à l'écran... De plus en plus troublé je regarde le titre de ma fenêtre de commande DOS : C:\windows\system32\cmd.exe - connectprod... Nooooooon ! Je suis connecté à la prod, c'est pour ca que ca rame (le serveur de prod étant dans le WAN de l'entreprise...). Vite! CTRL-C... Trop tard. Mon script a droppé toutes les tables dont le nom va de A a E... Bah ouais, il était censé copier les données dans des tables temporaires pour recréer ensuite des tables avec les données migrées. Seulement voilà, la base de production nécessitait un premier passage de migration pour que le script passe bien... Là le script n'a pas réussi à copier les tables, il a juste tout effacé!
10h32
Catastrophé j'appele mon chef qui est en Chine pour la semaine. Il m'apprend qu'il a passé la journée avec des chinois à bosser sur un projet et qu'ils ont donc saisi des données toute la journée. Eeeet merde... Il faut savoir que notre stratégie officielle de backup c'est un backup tous les dimanches. J'avais donc perdu 2 jours pleins de boulot en Europe et la journée de mon chef et de l'équipe chinoise... oups :(...
10h45
On essaie d'appeler les DBA pour réstaurer un backup... Le premier est en réunion jusque 11H30, le second en formation toute la semaine, le troisième (allemeand) ne connait même pas mon projet et ne sais pas où sont les bases ni les backups, selon les dires d'un gars du service info... merdeuh! Le chef me pousse parcequ'il doit passer la nuit a refaire le boulot de la journée pour le lendemain.
12h
On a enfin un DBA qui peut lancer la restauration... On apprend qu'on a un backup de la nuit d'avant à 3h du mat... On a donc juste perdu le travail des chinois, c'est déjà ça...
13h30
Les phases préparatoires sont finies... Je n'ai pas réussi à savoir en quoi elles consistaient mais bon. Toujours est-il que ca a pris 1h30...
14h
Backup restauré. Le DBA a monopolisé 3 autres mecs pour réstaurer le backup, je ne savais pas que c'était si compliqué de faire un import Oracle sur un serveur AIX... Quand j'importe les backups sur le serveur de dev pour être iso-prod ca me prends 1 minute en gros... :-p
14h30
Le projet est à nouveau en ligne, un collègue se met à ressaisir les données perdues que le chef a réussi à imprimer avant que le programme ne plante complètement... Ca représente à peu près 10% du travail perdu :(...
Ce matin 8h30
Je suis recherché en Chine, les chinois veulent ma peau... Non, sérieusement ils l'ont bien pris, selon mon chef... Le travail de réflexion ayant été fait la veille ils n'ont pas dû mettre tant que ca de temps pour tout refaire.
Dans tout ça ce qui me gonfle le plus c'est que normalement je ne laisse JAMAIS de console de production ouverte. Dès que j'ai fini ce que j'avais à y faire je la ferme pour éviter ce genre de choses... Et cette fois non... balot...
Commentaires
...on le dira jamais assez... L'INFORMATIQUE C'EST DANGEREUX!!! XD
Tu t'en sort bien tu sais?!... Tu aurais pû finir tes jours dans une prison chinoise à manger du pain rassis et à boire de l'eau croupi (ou peut-être même fusillé pour l'exemple...)
En tout cas celle là tu pourra la raconter à tes petits enfants, tu ferra forte impression... on dirait presque un épisode de "24" là, non? XD
Allez, remets-t-en Jack... ça arrive même aux meilleurs
Bon bon ... j'ai bien étudié cette histoire et n'ayant jamais été dans une situation pareille, je m'interroge :
- un gros dev de 15 jours ... c'est quoi ces cycles de développement de 15 jours ? :-s
- c'est quoi ce developpeur qui a accès à la production ?
- c'est quoi ce développeur tout court
- c'est quoi ces chinois qui sont pas à la hauteur, ils zigouillent même pas les coupables avant de les punir ... vivement un déploiement en birmanie ....
Sinon moi a mon époque où toutes ces pratiques n'avaient pas lieu c'est-à-dire avant le départ des meilleurs éléments, il y avait un backup à chaud tous les jours et un backup à froid le dimanche.
A au fait très bien ce wanted, on peut avoir la même avec un NOT WANTED ?
Sinon putain ... qu'est-ce que ca me manque ... c'est de la jalousie pure ....
Comment ca on avait des backups à chaud ? Tu as vu la vierge ?
Si si .. ça avait été acté avec un certain Matthieu R. qui préfère rester anonyme, surtout depuis qu'il a purgé sa peine et qu'il doit s'être réinserré dans la société civile.
Mais tout est confus dans ma tête comme après une bonne cuite ... :/ :
Bah justement, on avait pas le moindre backup de la base au début, et après ca n'a jamais été plus que tous les WE :p
mouarf...en tous cas ce jour là t'étais moins flambeur que d'habitude
LOL 
Heureus ement que tu travailles dans une société à la pointe de la technologie qui a tout mis en oeuvre pour t'aider à restaurer tes données
PS: Sont con ces nawach, ils ont pas mis le montant de la prime si on te livre.
Je suis tout a fait d'accord pour la société à la pointe de la techno...enfin des technos.
*warn* Une boite bien *warn* , pas le genre de boite où on se moquerait d'une pareille mesaventure ... Dans d'autres boite on t'aurais traité de rigolo, tout le monde se serait moqué en t'appelant au tel ... progressivement du aurait été montré du doigt... et là juste une petite baisse de salaire de 15%, je trouve ca vraiment vraiment cool.
Comment dire... Trou du cul ... ca te va ?
C'sst vrai qu'à la bonne époque, celle où les meilleurs éléments étaient encore en place comme le rappelle très justement Imprimantator, tout cela ne serait jamais arrivé grâce à nos conseils avisés LOL.
Cependant je remarque 2 choses :
- On ne sait pas si à 10h30 tu es parti faire pipi ou caca lorsque tu est parti aux WC ! On sait jamais l'effet papillon, ça aurait pu tout changer à cette triste journée...
- Même après avoir plombé une base de production à laquelle tu ne devrais pas avoir accès (quid de l'exploitation ?), tu trouves le moyen de faire le kéké en
remettant en cause les compétences d'un DBA (cf. §14h) qui rappelons-le lui n'a pas pété la base de prod
Bon sinon comme dans toutes les belles histoires tout est bien qui finit bien, c'est bien ça pe principal
!
Les chinois ils en veulent combien du Perriot ? Je suis prêt à collaborer avec l'ennemi oriental
Bah je sais pas combien ... faudrait pas qu'on en ait plus rien qu'en frais de port ...
Au pire, y doit bien exister un traffic d'organes ... bon les poumons c'est mort ... reste quoi de bon dans le cochon ?
(enfin c'est une expression .. moi après ... )
J'ai jamais remis en cause les compétences du DBA, j'ai juste dis que je ne comprenais pas ce qui avait pris 1h30... le repas peut être ?
Bah il est toujours là lui ? C'est qui Twister ?
Enfin y a que ceux qui essayent qui se trompent ...
Tiens en parlant de ça j'ai rencontré la responsable achats sur les sièges de la laguna, semblerait qu'elle aille de temps en temps à ****** et que les sièges de la laguna soient fait mmm dans la boite que tu ne nommes pas là-bas ...
Ah en fait jb, penses à fermer ta console avant le we ... on sait jamais le lundi matin ...
Fais le malin didom, fais le malin, tu vas te prendre une raclée au kart la prochaine fois... Ce ne sera pas juste une côte de fêlée
Comment ça on m'a pas inviter au kart
?
Bah si tu es le bien venu
C'est mardi, pas celui qui vient, celui d'après. A Wissous, bd Arago...