Servercrash med nertid 8/5 strax efter 19:00

[elf98]

Under kvällen har det varit stora strul med temperatur.nus server.

Vid 18:20 fick jag mail om att det var extremt hög last på servern. Sidan rullade som vanligt och det var normalt många besökare inne.
När jag försöker logga in på servern via ssh fungerar det inte. Jag har även tillgång till att remote logga in via en seriell anslutning. Inte heller det fungerade. Då sidan rullade som vanligt och inget verkade direkt trasigt ville jag inte strömcykla servern.
Mellan 18:30 och 19:00 försökte jag febrilit starta om servern på ett bra sätt (Det gick att skicka kommandon via ssh, men 90% av allt jag gjorde resluterade i att prompten hängde sig.). Det gick helt enkelt inte att starta om servern eller stänga ner mysql. Raidkortet har batteribackup, så risken för korrupt filsystem vid en ful omstart är inte jättestor.

När jag inte längre kunde skicka några kommandon via ssh tog jag beslutet att strömcykla servern, detta trots att sidan fortfarande rullade på som vanligt.

Servern startade upp som vanligt, men som förväntat var mysql-databaserna som hör till temperatur.nu kraftigt korrupta. Återställning av databaserna tog 13 minuter och sidan var uppe igen runt 19:40.

Något som är skoj är att ingen eller mycket lite data har tappats i denna crash. Data fortsatte att loggas under hela crashen och återställningen av mysql-databasen. Temperaturdata loggas via rrdtool direkt till disk.

[daromer]

Olyckligt värre men lite intressant fenomen.

Kör du Innodb eller Myisam?

Just Mysql har jag aldrig lyckats krasha när det gäller mysisam. Men Innodb har en ful tendens till att hänga sig.

Såg du något i loggar om vad som kan ha orsakat det?

[elf98]

Databaserna använder lagringsmotorn MyISAM.

Problemet tror jag egentligen inte är huvudatabasen till temperatur.nu, den skrivs nog endast någon gång per sekund. Varje API-förfrågan genererar dock en del mysql-trafik och 2 skrivningar. APIet har runt 1M träffar per dag. Jag har loggat alla frågor mot apiet i mysql vilket har blivit ganska mycket data.

Totalt har mysql-databasen knappt 150 frågor per sekund. Borde optimera...

[jed]

150 frågor/sek är ändå inte jättemycket...

Fast jag håller inte alls med om att myisam är bättre än innodb, särskilt inte i senare versioner av 5.5-trädet. Dom har jobbat enormt mycket med innodb och i princip lagt ner myisam sen oracle köpte sun.
Det är en enorm prestandavinst att gå från myisam till innodb, och jag har aldrig varit med om att mysql har krashat. Däremot har replikeringen dött pga felaktiga frågor som berott på trasig kod.

[elf98]

Mysql var inte orsaken till crashen, en "hung" sshd-process är första felet i loggarna.

Databaserna mådde inte bra av att servern strömcyklades utan att mysql hade stängts ner.

[sege]

Väldigt sällan en myisamchk eller en enkel mysqlcheck inte löser problemet med MyISAM. Annars skulle jag, tvärtemot ovan, föreslå InnoDB istället som väldigt sällan går sönder på grund av 'hård och elak' omboot och om den gör det självläker den oftast snyggt och fint.

[daromer]

Har Innodb blivit snababre än Myisam? Sist jag testade. dvs 5.1 tror jag så var myisam dubbelt så snabb på alla frågor...

Jag har tabeller med upp mot 100 miljoner rader i och de få gånger man måste loopa igenom större antalet rader så vinner myisam alltid.

Intressant om innodb också blivit stabilare. Jag har alldid fått checka mina INnodb vid varenda krash medans myisam har jag nog bara checkat 1 gång under hela min livstid med mysql.

[jed]

Hehe, jag har rakt motsatta erfarenheter av myisam-innodb. Myisam har jag checkat fler gånger än jag kan minnas, men jag har aldrig checkat innodb...

Satte upp en stor blogserver förut, den dog direkt när vi körde mysql 5.0.41a och myisam, uppgraderade till mysql 5.5.? och innodb och efter det så flöt den hur fint som helst. Både installationerna var optimerade för prestanda.
Med dog menar jag att den åt upp all 8Gb minne, all swap och sen nitade maskinen.

[daromer]

Hehe. Jag kan tänka mig det. Men sedan prestanda. Om någon känner så testa gärna. Gör en fulltable scan på 10 miljoner rader i inno vs myisam.

Jag ska migrera över min ena senare idag och testa igen. Har ju lagt in 5.5 nu men är tveksam till att innodb är snabbare än myisam. Det vore otroligt om man lyckats snabba upp det så mycke Men vore häftigt isåfall. För då kommer jag gå över. Mitt kräver snabba frågor då det är så mycke data samt att en del tyvär är full table scan. (strängar)

[sege]

Eftersom MyISAM saknar en massa funktioner som finns i InnoDB såsom transaktionshantering, radlåsning istället för tabellåsning och dylikt är det betydligt snabbare.

Varit med om att InnoDB gått sönder en gång och då var det trasigt filsystem i botten som var problemet. Sen är det väl lite skillnad beroende på om man pillat på en massa parametrar såsom innodb_flush_log_at_trx_commit och dylikt om det går knas eller inte kanske men loggarna ska hantera det.

MyISAM _kommer_ gå trasigt, oavsett bra/dålig nedstängning med tiden, det är nästan by design. InnoDB gör det inte och är betydligt stabilare. Vet inte vad du råkat ut för daromer som tycker tvärtom.

[elf98]

Så ni säger att jag borde köra innoDB för stabilitet på temperatur.nu!

[daromer]

Kollat med kompissar och Innodb verkar ha blivit bättre.

Även prestanda men har inte hittat konkreta bevis på att innodb faktiskt är snabbare.

Tabellåsning o.s.v i all ära är jättebra då man behöver transaktionssäkerhet. men det brukar ta på prestandan.

Läser in en tabell till innodb just nu.. så får vi snart se.

edit: Läste lite nu. Och skillnaden är framförallt när man har 4++ cores och kör mycke saker samtidigt. Så för mig med 2 kärnor och för det mesta singel användande kommer inte märka lika mycke men vi får se.

[jed]

Daromer: har du kollat på en nosqldatabas? Tex mongodb
Beroende på vad du har för data och hur du använder det kan den vara SJUKT mycket snabbare än en relationsdatabas.

Om du har index på dina tabeller (vilket du bör ha om du har 100 miljoner poster) så tar det väldigt lång tid att lägga till poster i mysql men det går toksnabbt i mongodb.

Elf98: ja, du bör titta på innodb

[sege]

Blir NoSQL bra i sammanhanget bygga grafer t.ex. från temperatur-data? Jag har, precis som daromer, en mängd miljoner radfer i MySQL som gör att jag måste köra mitt HA-system hemma på mer järn än önskvärt.

Idag lagras allt i en tabell som ser ut som följer typ:
datetime, datetime
sensorname, varchar(30)
data, varchar(45)

Och plocka ut statistik från året med lite if/cast/min-max för att pivota datat upp i brygga gör mig ledsen.

[daromer]

Jag har fulla index. Så länge man kör korta enstaka uttag med index är det alltid snabbt. Problemet är när man börjar bearbeta data. Eller när man kör ev full table scans som blir när man söker på textsträngar ibland.

Snabb test på fulltable scan med like så snittar det på myisam på runt 30 sekunder på en större fråga och runt 1min 8sekunder på innodb. Så i det fallet är innodb för slö.

Jag har även tittat på att köra med både innodb samt memory för saker som jag vill ha ut datan snabt på. Ovan var en ren like fråga på runt 20 miljoner rader och på en sträng.

I övriga frågor så verkar faktiskt innodb skärpt till sig! Ska göra fler tester senare.

Totalt sett har jag ett antal 100 miljoner poster totalt