Det senaste forumavbrottet!

av **Parvlon** » 2013-01-14 1:14:23

Jag var inne vid åttatiden nånting.

av **arbogaerik** » 2013-01-14 1:17:47

IGEN!

Kom ej in på forumet mellan ca 13 - 23.50 (13/1-13)
3: gången nu på kort tid med långa avbrott.

Kul om nån adm/mod hade kommentar?

av **AS messenger** » 2013-01-14 1:25:29

arbogaerik skrev:Kom ej in på forumet mellan ca 13 - 23.50 (13/1-13)
3: gången nu på kort tid med långa avbrott.

Det var också strax efter 23.50 (kanske 23.55) jag kom in här.
Vad möttes du av för upplysning mellan 13 och 23.50?
Var det som jag skrev i mitt förra inlägg, av någon "403-mening" etc.?

av **weasley** » 2013-01-14 2:22:14

Tekniker:

Ja, jag ser att det har tillkommit flera sidor sedan forumets nertid idag. Jag hoppas jag ska kunna förklara på ett hyfsat nöjsamt sätt vad som har hänt.

Under flera dagar har forumister märkt av en märklig tendens att forumet avstannar i ungefär ca 2h mellan ungefär ca 00-02. Detta har berott på att flera olika saker har skett på forumet samtidigt.

Webhotellet tar snapshots av servrarna någonstans 23-03. Detta tar kraft från servern. Samtidigt är det ganska många inloggade på forumet då, vilket ger upphov till flera SQL-krockar (varje sidförfrågan är en SQL-fråga också) när snapshoten jobbar samtidigt. SQL-krockar loggas i sin tur i en särskild loggfil innan de sedan exekveras. Loggfilen å sin sida är på nästan 2 miljoner rader/50MB i skrivande stund (ja, detta ska fixas) så det tar en stund att först skriva ner den sk "slow_query" som detta kallas på SQL-språk och sedan genomföra kommandot.

I och med loggfilens storlek har problemet blivit större och större. Minnet har fyllts upp och CPUn gick i taket idag runt ett. Eftersom jag precis då var i färd med att slå mej ner i bilen för en lång dags färd mot Lärdomsstaden fick Liebert i uppdrag att slänga ihop en temporär förstasida med ursäkt för avbrottet. Förstasidan var dock lätt att kringgå så forumet har svajat hela dagen: loggskrivandet kom ikapp, det frigjordes lite CPU, någon skrev ett inlägg, inläggskön växte, minnet tog slut, CPUn gick i taket osv osv i en ond cirkel. Allt medan jag satt i bilen.

Har försökt fixa det här nu sedan jag kom tillbaka till Uppsala runt halv tio. Det stora felet är pga databasen och en enorm tabell som är den som ger upphov till de förut nämnda väntetiderna. Jag vet inte hur man ska kunna fixa det eftersom den tabellen växer för varje inlägg. Vi har redan max RAM som en 32-bits plattform klarar att läsa: 4GB. Plats på hårddisken finns det också. Eventuellt skulle man kanske tweaka CPUn någon MHz uppåt. Men det är egentligen inget större fel på vår hårdvara.

Att inte någon moderator har skrivit i tråden är för att jag verkligen inte tänkte på att höra av mej till någon mod som kunde skriva att jag skulle ta tag i det sfsm. Jag är hemskt ledsen för det, men min enda futtiga ursäkt är att jag hade en hel del annat att fundera över. Ni vet, när man varit och socialiserat med övriga medlemmar ur genbanken så kan man ibland undra varför man blivit som man blivit. Existensiella frågor parat med bilkörning alltså.

Jag ber återigen om ursäkt att det tagit tid för mej att laga forumet tillfälligt iaf. Det trista är att tills jag hittat en lösning på hur jag ska göra med monstertabellen så KAN det vara så att forumet fortsätter svaja runt tolvslaget, plus/minus någon timme.

av **arbogaerik** » 2013-01-14 2:30:42

AS messenger skrev:
arbogaerik skrev:Kom ej in på forumet mellan ca 13 - 23.50 (13/1-13)
3: gången nu på kort tid med långa avbrott.
Det var också strax efter 23.50 (kanske 23.55) jag kom in här.
Vad möttes du av för upplysning mellan 13 och 23.50?
Var det som jag skrev i mitt förra inlägg, av någon "403-mening" etc.?

Kommer inte ihåg exakt, men meddelande på svenska om att nån på nåt sätt håller på att avverka problemet, en helt vit sida

av **plåtmonster** » 2013-01-14 2:56:22

Låter som man bör se över hur SQL förfrågninarna är utformade. Eller så stannar man forumet när SQL snabshoten pågår.

av **weasley** » 2013-01-14 3:06:21

plåtmonster skrev:Låter som man bör se över hur SQL förfrågninarna är utformade. Eller så stannar man forumet när SQL snabshoten pågår.

1) Dessa förfrågningar tillhör forummotorn. För att ändra dem måste man med stor sannolikhet ändra hela forummotorn. Om du pröjsar kan jag dock tänka mej att undersöka saken och återkomma... ;-D

2) Det är inga SQL-snapshot utan mer en bild av hur servern ser ut vid en viss tidpunkt. Och eftersom de inte är schemalagda på vanligt vis utan utförs någonstans mellan klockan X och Y så är det orimligt att ha forumet nerstängt under hela den tiden. Jag tror inte någon forumist skulle bli glad över det.

av **arbogaerik** » 2013-01-14 3:12:45

Går det inte begränsa loggfilens storlek, 2 milj rader, hur långt i tiden är det?
(Om jag nu förstod det rätt, att det är det som gör det trögt)

av **plåtmonster** » 2013-01-14 3:22:36

Ett litet skript som flyttar sådant som är äldre än XX dagar till en arkiv databas?

Eller ännu fräckare, låt tabellnamnet som skall användas vara beroende på vilket år-månad det är så slipper man ens flytta på datat.

(på usenet slapp man dessa problem eftersom servern kunde sprida ut belastningen utan att det påverkade så mycket då klienterna själva hanterade det mesta)

av **weasley** » 2013-01-14 3:23:55

arbogaerik skrev:Går det inte begränsa loggfilens storlek, 2 milj rader, hur långt i tiden är det?
(Om jag nu förstod det rätt, att det är det som gör det trögt)

Det är en av flera bidragande anledningar till att det går trögt.

Och jo, storleken går att begränsa men det måste man fippla lite för att göra, den brukar annars nollas när SQL startas om.

av **Lilla Gumman** » 2013-01-14 10:45:40

Skönt att höra att forumet inte är hackat iaf, och att forumtekniker/moderatorer är medvetna om det nu.

För övrigt, runt midnatt borde man sova :roll:

fast många är ju nattugglor här. Bara det funkar under dagen och kvällen får vi väl vara glada.

Lilla Gumman

av **Titti** » 2013-01-14 12:24:49

Bättre hade varit om man tagit snapshots mellan 03 och 07 istället, det är som minst trafik då. Ingen permanent lösning men det skulle kanske ge en tillfällig lättnad om det går att göra?

av **HGJ** » 2013-01-14 13:03:08

AS messenger skrev:
Meppe skrev:Forumet var nere sedan 13:06 den här gången.
Hej. Bara så att jag förstår detta rätt: gick det inte att komma in här alls här på Aspergerforum från kl. 13.06 tidigare i dag tills alldeles nyss?

Nej, det måste ha varit igår det började. Idag har klockan ännu inte hunnit bli 13:06.

Jag kom in på forumet genom att gå direkt till respektive avdelning (http://www.aspergerforum.se/spraket-f25.html, http://www.aspergerforum.se/ovriga-aspergerfragor-f24.html etc.). Däremot funkade inte indexsidan (http://www.aspergerforum.se).

av **Savanten Svante** » 2013-01-14 17:04:26

Är det bara jag, eller det här börjat relativt nyligen?

av **sugrövmanövern** » 2013-01-14 17:14:43

Relativt nyligen, ja. Har ju varit lugna puckar hockeyklubba väldigt länge, men nu är General Error tillbaka.

av **Miche** » 2013-01-14 17:18:58

General Error har jag inte sett på länge, bara meddelanden om att sajten inte kan hittas, dvs oftast helt nere när det varit stopp.

av **Meppe** » 2013-01-14 17:20:34

Miche skrev:General Error har jag inte sett på länge, bara meddelanden om att sajten inte kan hittas, dvs oftast helt nere när det varit stopp.

Såg general error någon gång under slutet på förra veckan.

av **weasley** » 2013-01-14 18:54:03

Titti skrev:Bättre hade varit om man tagit snapshots mellan 03 och 07 istället, det är som minst trafik då. Ingen permanent lösning men det skulle kanske ge en tillfällig lättnad om det går att göra?

Dessa snapshots tas från webhotellets sida och är inget jag kan påverka tyvärr.

av **Kimmelie** » 2013-01-14 19:56:39

weasley skrev:Tekniker:
I och med loggfilens storlek har problemet blivit större och större. Minnet har fyllts upp och CPUn gick i taket idag runt ett. Eftersom jag precis då var i färd med att slå mej ner i bilen för en lång dags färd mot Lärdomsstaden fick Liebert i uppdrag att slänga ihop en temporär förstasida med ursäkt för avbrottet. Förstasidan var dock lätt att kringgå så forumet har svajat hela dagen: loggskrivandet kom ikapp, det frigjordes lite CPU, någon skrev ett inlägg, inläggskön växte, minnet tog slut, CPUn gick i taket osv osv i en ond cirkel. Allt medan jag satt i bilen.

Har försökt fixa det här nu sedan jag kom tillbaka till Uppsala runt halv tio. Det stora felet är pga databasen och en enorm tabell som är den som ger upphov till de förut nämnda väntetiderna. Jag vet inte hur man ska kunna fixa det eftersom den tabellen växer för varje inlägg. Vi har redan max RAM som en 32-bits plattform klarar att läsa: 4GB. Plats på hårddisken finns det också. Eventuellt skulle man kanske tweaka CPUn någon MHz uppåt. Men det är egentligen inget större fel på vår hårdvara.

Vilket operativsystem gäller det? Är det Linux så kan en 'PAE kernel' klara 16 GB RAM för 32-bit. Logrotate brukar användas för att rotera loggarna.

av **treeman** » 2013-01-14 20:06:40

Det verkar vara en del jobb att vara tekniker för forumet. Bra jobbat!

av **Dagobert** » 2013-01-14 20:13:47

Miche skrev:bara meddelanden om att sajten inte kan hittas

Och "Website found. Waiting for reply..." i statusfältet, om det har nån betydelse.

av **nallen** » 2013-01-14 22:42:39

killall -HUP mysqld eller nåt liknande i crontab kl 2.42 varje natt?

av **JOR** » 2013-01-14 23:24:46

Det var ungefär min tanke också.

Men varför inte bara flusha loggen istället?

av **nallen** » 2013-01-14 23:45:50

http://ronaldbradford.com/blog/the-correct-approach-to-rolling-mysql-logs-2010-02-22/