Site web down ?

[dachary]

Le site web est repartit (bravo a ceux/celles qui ont fait l'install !). Reste a comprendre pourquoi ça s'est de nouveau produit malgré l'augmentation de mémoire. Comme dirait mon gamin: "seems fishy to me"

[dachary]

Nouvel incident maintenant, même cause exactement (OOMkiller sur la console), je reboot hard. Ca sent le robot crawler qui passe a une semaine d'intervalle ou l'operation de maintenance programmée qui consomme trop de ressources.

[dachary]

Le site web est revenu.

[dachary]

OOM killer de nouveau, je reboot et ça revient

P.S. Ca s'est produit aussi il y a un mois. On connait la cause du problème et c'est bénin. Tant que ça dépasse pas un reboot par semaine ça ne vaut pas vraiment le coup de corriger, AMHA.

$ openstack console log show website
...
Ubuntu 16.04.3 LTS website ttyS0

website login: [   14.370801] cloud-init[2347]: Cloud-init v. 0.7.9 running 'modules:final' at Sat, 03 Feb 2018 06:34:41 +0000. Up 14.11 seconds.
[   14.371977] cloud-init[2347]: Cloud-init v. 0.7.9 finished at Sat, 03 Feb 2018 06:34:41 +0000. Datasource DataSourceOpenStack [net,ver=2].  Up 14.34 seconds
[51368.620373] Out of memory: Kill process 1944 (mysqld) score 249 or sacrifice child
[51368.627825] Killed process 1944 (mysqld) total-vm:1333968kB, anon-rss:496824kB, file-rss:0kB
[51377.053906] Out of memory: Kill process 9159 (mysqld) score 179 or sacrifice child
[51377.054756] Killed process 9159 (mysqld) total-vm:419664kB, anon-rss:358480kB, file-rss:8kB
[51379.956450] Out of memory: Kill process 9317 (mysqld) score 215 or sacrifice child
[51379.957431] Killed process 9317 (mysqld) total-vm:524760kB, anon-rss:429276kB, file-rss:4kB
[1302720.484588] Out of memory: Kill process 9640 (mysqld) score 247 or sacrifice child
[1302720.487742] Killed process 9640 (mysqld) total-vm:1332776kB, anon-rss:493236kB, file-rss:0kB
[1302728.576915] Out of memory: Kill process 19530 (mysqld) score 158 or sacrifice child
[1302728.578024] Killed process 19530 (mysqld) total-vm:401932kB, anon-rss:316572kB, file-rss:36kB
[1302731.002678] Out of memory: Kill process 19702 (mysqld) score 189 or sacrifice child
[1302731.003486] Killed process 19702 (mysqld) total-vm:475516kB, anon-rss:378496kB, file-rss:8kB
[1302734.913792] Out of memory: Kill process 19863 (mysqld) score 188 or sacrifice child
[1302734.914699] Killed process 19863 (mysqld) total-vm:475516kB, anon-rss:376320kB, file-rss:8kB
[1302737.165114] Out of memory: Kill process 20023 (mysqld) score 189 or sacrifice child
[1302737.165894] Killed process 20023 (mysqld) total-vm:475516kB, anon-rss:377700kB, file-rss:0kB
[1672966.728176] Out of memory: Kill process 20197 (mysqld) score 248 or sacrifice child
[1672966.734616] Killed process 20197 (mysqld) total-vm:1331044kB, anon-rss:496372kB, file-rss:0kB
[1970811.857878] Out of memory: Kill process 7445 (mysqld) score 247 or sacrifice child
[1970811.862449] Killed process 7445 (mysqld) total-vm:1333336kB, anon-rss:492668kB, file-rss:0kB
[1970819.513670] Out of memory: Kill process 23637 (mysqld) score 165 or sacrifice child
[1970819.514669] Killed process 23637 (mysqld) total-vm:401932kB, anon-rss:330300kB, file-rss:28kB
[1973002.870792] Out of memory: Kill process 11897 (apache2) score 46 or sacrifice child
[1973002.871897] Killed process 11897 (apache2) total-vm:343384kB, anon-rss:92228kB, file-rss:0kB
[1977362.746069] Out of memory: Kill process 10405 (apache2) score 41 or sacrifice child
[1977362.747727] Killed process 10405 (apache2) total-vm:333380kB, anon-rss:82204kB, file-rss:0kB
[1978867.548947] Out of memory: Kill process 6647 (apache2) score 41 or sacrifice child
[1978867.550036] Killed process 6647 (apache2) total-vm:333164kB, anon-rss:82176kB, file-rss:0kB
$ openstack server reboot --hard website

[dachary]

Même problème à l'instant, je relance la machine.

[dachary]

C'est revenu à la vie, magie du reboot

[dachary]

OOM killer de nouveau, je reboot et ça revient. J'ai aussi fait un peu de place en enlevant les volumes utilisées par rien:

root@website:~# docker volume prune
WARNING! This will remove all volumes not used by at least one container.
Are you sure you want to continue? [y/N] y
Deleted Volumes:
59db7b4d2e42bc6d8e14ce236c85b725a676b039ae634e68727ecf888ddbf21c
b3bfeff7e1e8300310bc9956c74b3d6d3d85e394cc29cd0ad6ae6b8c00f13e5c
c2fb5ed7e9f37c3b50c7015b64e46347cf80459417bd996019ecce0fadfcbc47
21887a9055b28446a287abfd01713749e7bca96fd067bb675b40c54f2c405708
3ee5df61a8fea442a82e8cdc58e7db5248ec22ba5a22c1793c8654d8a2459a6c
a3baedf48a5c9d20a655bc02a0746d3e0e94d846e2ae9b5136019cae2d9e8813
f1cea7fcac10e9485bc0d158781d5151e5823a95d958e37b94d0a3fcf895561d
52beeda2710f1e2621177f8b6aeb415fea00e31ff4d0967f7ef525cda9fee335
5991ddb78ed35f588ea16bdeeebf0f7c1b2b753d0ca60d3f9d4556aa1e94184c
71ed9dbe5fee303f7591f0d302a854da878cccd198442d0f2bb4c6aab4e977c2
7eb8c9320846706e83a1c57793c4302ed564827559ec687a3e0d74f336b33943
0673db6c97423d2deb8a052eda8bfb378d1f24cc966893369bc17e7cb5e83d27
177b0b42d5c90032756334b4952039223a3ae2a73967ed1c7e458e1b4d32894d
3eddbfcf25085112f20633d7545d8c15f62448677698f92ea6c02e932dff2fa9
510f1828ccc26f55b37430b5acdeb61b650150eb1947ba0555511f14028ab402
aaf6557971a4e76b030668e0d0465146f188d7c9868b8076224d816083dab44c

Total reclaimed space: 776.1MB

[dachary]

On dirait bien que OOM killer a encore frappé: c'est la pleine lune?

[dachary]

Je confirme, OOM killer. Machine reboot, on est tranquille pour 4 semaines.

[dachary]

OOM killer a encore frappé, mais à une semaine de distance cette fois ci. Je reboot.

$ openstack console log show website
...
Ubuntu 16.04.3 LTS website ttyS0

website login: [   13.687184] cloud-init[2334]: Cloud-init v. 0.7.9 running 'modules:final' at Fri, 15 Jun 2018 19:35:55 +0000. Up 13.45 seconds.
[   13.731858] cloud-init[2334]: Cloud-init v. 0.7.9 finished at Fri, 15 Jun 2018 19:35:55 +0000. Datasource DataSourceOpenStack [net,ver=2].  Up 13.67 seconds
[374069.646092] Out of memory: Kill process 1953 (mysqld) score 247 or sacrifice child
[374069.653997] Killed process 1953 (mysqld) total-vm:1331448kB, anon-rss:492684kB, file-rss:0kB
[374111.152103] Out of memory: Kill process 24340 (mysqld) score 216 or sacrifice child
[374111.153040] Killed process 24340 (mysqld) total-vm:469228kB, anon-rss:430944kB, file-rss:0kB
[815455.348581] Out of memory: Kill process 24669 (mysqld) score 246 or sacrifice child
[815455.353672] Killed process 24669 (mysqld) total-vm:1326668kB, anon-rss:491284kB, file-rss:0kB

• openstack server reboot --hard website

[dachary]

Je constate ce jour la même erreur et je reboot la machine. Et le site est revenu

[Quitterie]

@ColinMaudry, @dachary : on a un problème sur le site, je cherchais à partager une info sur le financement à des listes participatives sur notre méthodo, mais quand j'essaie d'accedéer au site il y a ce message :
"La connexion n’est pas sécurisée

Les propriétaires de www.mavoix.info ont mal configuré leur site web. Pour éviter que vos données ne soient dérobées, Firefox ne s’est pas connecté à ce site web.

Ce site a recours à HTTP Strict Transport Security (HSTS) pour indiquer à Firefox de n’établir qu’une connexion sécurisée. Ainsi il n’est pas possible d’ajouter d’exception pour ce certificat.

En savoir plus…

Signaler les erreurs similaires pour aider Mozilla à identifier et bloquer les sites malveillants"

Qu'en pensez-vous ? Est-ce réparable ?
merci <3

[dachary]

Salut,

En effet, leger problème de renouvellement de certificats. Je corrige cela de suite en suivant la procédure.

A++

[dachary]

• renouvellement de certificat pour le site web
• renouvellement de certificat pour le forum (qui se fait d'habitude automatiquement, c'est bizarre), en faisant simplement docker restart app
• le wiki a rebooté il y a qq minutes (probablement qqn en train de traiter le problème), j'ai docker start mysql parsoid mediawiki et c'est revenu

Tout bon normalement, merci @Quitterie d'avoir signalé le soucis!

[Quitterie]

Merci beaucoup !

Quitterie de Villepin
06 84 03 24 89

[Quitterie]

Merci c’est revenu !!!!!

Quitterie de Villepin
06 84 03 24 89

[Quitterie]

Bonjour !
On signale ce soir que le site #Mavoix.info est en rade.
« Error establishing a database connection»

[ColinMaudry]

@Team_GEEK @Quitterie Je ne sais pas si c'était la même anomalie ou une nouvelle, mais le site était inaccessible avec ce même message :

Error establishing a database connection.

J'ai suivi la procédure pour le renouvellement des certificats, et je pense que le reboot a réglé le problème d'accès à la base de données.

[dachary]

Bonjour,

L'espace disque sur la machine se faisant rare (<500M), j'ai fait du ménage en supprimant les packages kernel obsoletes qui se sont accumulés suites aux updates automatiques. Cela a libéré ~3G.

A++

[dachary]

[344515.413652] Out of memory: Kill process 26820 (mysqld) score 234 or sacrifice child
[344515.414976] Killed process 26820 (mysqld) total-vm:1325988kB, anon-rss:467320kB, file-rss:0kB

je reboot. C'est ennuyeux parce que ça a reboot il y a qq jours...