Site web down ?

[dachary]

Salut,

En effet, leger problème de renouvellement de certificats. Je corrige cela de suite en suivant la procédure.

A++

[dachary]

• renouvellement de certificat pour le site web
• renouvellement de certificat pour le forum (qui se fait d'habitude automatiquement, c'est bizarre), en faisant simplement docker restart app
• le wiki a rebooté il y a qq minutes (probablement qqn en train de traiter le problème), j'ai docker start mysql parsoid mediawiki et c'est revenu

Tout bon normalement, merci @Quitterie d'avoir signalé le soucis!

[Quitterie]

Merci beaucoup !

Quitterie de Villepin
06 84 03 24 89

[Quitterie]

Merci c’est revenu !!!!!

Quitterie de Villepin
06 84 03 24 89

[Quitterie]

Bonjour !
On signale ce soir que le site #Mavoix.info est en rade.
« Error establishing a database connection»

[ColinMaudry]

@Team_GEEK @Quitterie Je ne sais pas si c'était la même anomalie ou une nouvelle, mais le site était inaccessible avec ce même message :

Error establishing a database connection.

J'ai suivi la procédure pour le renouvellement des certificats, et je pense que le reboot a réglé le problème d'accès à la base de données.

[dachary]

Bonjour,

L'espace disque sur la machine se faisant rare (<500M), j'ai fait du ménage en supprimant les packages kernel obsoletes qui se sont accumulés suites aux updates automatiques. Cela a libéré ~3G.

A++

[dachary]

[344515.413652] Out of memory: Kill process 26820 (mysqld) score 234 or sacrifice child
[344515.414976] Killed process 26820 (mysqld) total-vm:1325988kB, anon-rss:467320kB, file-rss:0kB

je reboot. C'est ennuyeux parce que ça a reboot il y a qq jours...

[dachary]

Ce coup ci c'est wiki.mavoix.info qui est down, parce que pas assez de RAM. La machine tournait depuis deux mois, c'est pas honteux. Je reboot.

[7135015.075632] Out of memory: Kill process 1741 (mysqld) score 510 or sacrifice child
[7135015.080364] Killed process 1741 (mysqld) total-vm:1827504kB, anon-rss:1017364kB, file-rss:0kB

Le monitoring fait bien son travail

[dachary]

Hop, http://wiki.mavoix.info est de retour.

[dachary]

[Sun Dec  8 00:08:23 2019] Out of memory: Kill process 12423 (mysqld) score 237 or sacrifice child
[Sun Dec  8 00:08:23 2019] Killed process 12423 (mysqld) total-vm:1310376kB, anon-rss:474460kB, file-rss:0kB

Après un reboot le site web revient. C'est ennuyeux que la fréquence de ces problèmes augmente. Si ça devient une fois par semaine régulièrement, il faudra agir.

[dachary]

[Mon Dec  9 18:08:33 2019] Out of memory: Kill process 27526 (mysqld) score 238 or sacrifice child
[Mon Dec  9 18:08:33 2019] Killed process 27526 (mysqld) total-vm:1324168kB, anon-rss:474724kB, file-rss:0kB

Reboot encore.

[dachary]

[Wed Dec 11 12:18:34 2019] Out of memory: Kill process 30985 (mysqld) score 238 or sacrifice child
[Wed Dec 11 12:18:34 2019] Killed process 30985 (mysqld) total-vm:1324688kB, anon-rss:475304kB, file-rss:0kB

Ca commence a devenir lourd C'est rebooté et c'est revenu.

[dachary]

L'espace disque se faisait rare (500MB libre) sur www.mavoix.info: j'ai fait un apt-get autoremove --purge (3.5GB libre) et modifié /etc/apt/apt.conf.d/50unattended-upgrades pour qu'il se fasse automatiquement.

// Do automatic removal of new unused dependencies after the upgrade
// (equivalent to apt-get autoremove)
Unattended-Upgrade::Remove-Unused-Dependencies "true";

[dachary]

Depuis une semaine il faut reboot www.mavoix.info tout les jours en raison d'un problème de mémoire (OOM killer). Je ne comprends pas la raison de ce changement, vu que la machine ne fait rien de plus qu'il y a deux mois. @ColinMaudry est-ce que tu as une idée ?

[dachary]

J'ai ajouté de la mémoire à la VM (4GB au lieu de 2GB): ça coutera 3 euros de plus par mois mais à défaut d'une analyse plus fine ça permet d'assurer la stabilité du site web sans avoir à rebooter tout les jours.

[dachary]

Plus de trois mois sans que le site web tombe par terre: il semble être bien content des 4GB qu'on lui a offert pour noël

[ColinMaudry]

Le site était de nouveau offline ce matin, cette fois c'est apache est tombé pour cause de manque de mémoire.

[4897233.393570] Out of memory: Kill process 13853 (apache2) score 13 or sacrifice child
[4897233.397098] Killed process 13853 (apache2) total-vm:291964kB, anon-rss:53172kB, file-rss:0kB
[4897263.747911] docker-gen invoked oom-killer: gfp_mask=0x24201ca, order=0, oom_score_adj=0
[4897263.747915] docker-gen cpuset=bab14b697e05eb6af43892c53feffa016e7e37ce78ca5c4659ba2e60629b896e mems_allowed=0

J'ai tenté :

sudo docker-compose stop
sudo docker-compose start

Mais :

ubuntu@website:~/Website$ sudo docker-compose start
Starting db-storage ... done
Starting db ... error
Starting phpmyadmin ... error
Starting nginx-proxy ... done
Starting nginx-proxy-companion ... done
Starting html-storage ... done
Starting php-apache ... error

ERROR: for db  Cannot start service db: mkdir /var/run/docker/libcontainerd/containerd/0a09b5d389f8b412b888fb3b6689745df7ab837321afde2bb402029c6602892b: file exists

Donc j'ai décidé pour repartir d'une base fraîche de

sudo reboot

Et là ça remarche

[dachary]

[296979.435449] Out of memory: Kill process 8406 (apache2) score 12 or sacrifice child
[296979.438924] Killed process 8406 (apache2) total-vm:269024kB, anon-rss:50340kB, file-rss:68kB

Et encore maintenant. C'est curieux que ça se produise maintenant après tant de mois au calme. J'ai reboot pareil et hop c'est reviendu. Mais la couleur du logo de la page de garde n'est plus la ?

[dachary]

Même problème ce soir. Il y a un clair problème de mémoire qui est apparu ces derniers jours. Une idée de ce qui peut le causer ? La machine a 4GB de mémoire, pour servir un seul site web, ça devrait être plus que large.

 1770 999       20   0 1324180 493372  12780 S  0.0 12.5   0:02.17 mysqld                                                     
 2241 www-data  20   0  307508 141240   9116 S  0.0  3.6   0:06.07 apache2                                                    
 2239 www-data  20   0  375996 137948  12808 S  0.0  3.5   0:04.85 apache2                                                    
 2242 www-data  20   0  340368 102840  13320 S  0.0  2.6   0:06.12 apache2                                                    
 3318 www-data  20   0  340620 102576  12816 S  0.0  2.6   0:04.72 apache2                                                    
 3323 www-data  20   0  339612 101560  12820 S  0.0  2.6   0:04.48 apache2                                                    
 2240 www-data  20   0  333564  96036  13324 S  0.0  2.4   0:06.77 apache2                                                    
 2244 www-data  20   0  322144  84616  13320 S  0.0  2.1   0:05.85 apache2

Il semble que les process apache sont trop nombreux et trop gros. Il faudrait a minima en limiter le nombre pour éviter cette situation. Voir ce fil de discussion pour la suite de la résolution.