Automatisk detektering av "solspikar"

[elf98]

"Solspikar", dvs fenomenet att en sensor under en kortarer tid visar felaktiga värden då sensorn sitter dåligt skyddad för solljus, är ett ganska stort problem på temperatur.nu.

I nuläget finns det inte någon automatik för att detektera detta. Syftet med den nya funktionen är att meddela stationsägaren och/eller inaktivera mätpunkten på temperatur.nu.

Funktionen skulle kunna vara uppbyggd så här (minnesanteckningar så jag inte glömmer hur jag resonerar):
*Strax efter midnatt görs en analys av de 3-5 senaste dygnen enligt följande princip:
-Först skapas temperaturderivatan i steg om 4-8 mintuer för perioden klockan 5-20 för ett dygn. Denna data bör relativt enkelt gå att stega igenom för att hitta misstänkt konstiga fenomen: ex visar en solspik på morgonen/förmiddagen sig som en plötsligt hastigt ökad temperaturderivata som efter en stund sjunker.
-För att inte tillfälliga temperaturfenomen skall trigga funktionen körs denna analys mot 3-5 dygn på en gång. Om det vid ungefär samma tidpunkt på nästan alla dygnen har hittats misstänkta fenomen bör det rimligtvis vara något som inte stämmer.
-Det bör inte vara jättesvårt att parametersätta funktionen för att kunna justera den. Parametrar som bör beaktas är: hur många dygn skall analyseras, i hur stora steg skall temperaturderivatan beräknas, hur stora positiva respektiva negativa derivator skall ligga till grund för ett "larm".

Vad tror ni?

[jed]

Jag är en av dom skyldiga, min sensor satt bra i vintras, men uselt nu (har en stor kulle precis bakom huset). Ska se om jag hinner flytta den idag, beror på när svärfar kommer och hjälper mig köra iväg tunga saker till tippen...

Iden tycker jag är toppen, 5 dygn är lagom långt bak att gå igenom.
Temperaturen stiger ganska brant när solen ligger på (oavsett om du har en Stevensonskärm eller inte), men exakt vilken derivata du ska ha har jag ingen aning om, får nog justera parametrarna lite där.

[PerM]

Ambitiöst, men är det verkligen rätt väg att gå?

Jag tycker det är bättre att varje stationsägare blir skyldig att uppvisa hur temperaturen mäts. På så sätt kan man som 'användare' själv bedöma värdet av temperaturinformationen. t.nu får då också ett sätt att kunna neka/kräva förbättring av mätpositioner. I längden tror jag detta är en bättre lösning eftersom man då kan lita på rapporterade temperaturer/själv dra slutsatser om hur pass giltiga dessa är. Vill man rapportera temperaturer till t.nu så får man helt enkelt göra det på ett rätt sätt.

[elf98]

Självklart har du en poäng, men det är inte lätt som amatör att göra rätt.
Vi "kräver" skuggtemperatur dygnet runt för att få delta, men de som rapporterar tullar ibland på det. Det är mycket tidsödande att manuellt gå igenom 400 stationer och maila de som ser suspekta ut.

Själv har jag två sensorer i olika väderstreck. När en föll bort för några veckor sedan fick även jag solspikar som det dröjde en vecka innan jag observerade. Om inte ens jag kan göra rätt och behöver en påminnelse tror jag att funktionen kan göra stor nytta.

[PerM]

Nej, det är inte lätt men jag är tämligen säker på att de som rapporterar *vill* göra rätt så långt det går.

Vänd på din problemställning - istället för att manuellt gå igenom stationerna, så låt den som rapporterar själv ta initiativet för att få sin station 'godkänd' genom att tillhanda hålla 'bevis' för att mätningen sker på ett rätt sätt, t.ex. bilder på var sensorerna sitter samt hur data eventuellt förbehandlas, t.ex. som både du och jag gör - lägsta temperaturen av två mätpunkter. På stationsidan kan en ikon sedan indikera godkänd/icke godkänd.

Ovanstående löser så klart inte tekniska problem som i ditt fall, men det skulle i längden öka kvaliteten på temperaturinformationen överlag.

Jag motsätter mig på inget sätt den föreslagna funktionen som sådan, bara vilket som för användare/besökare av t.nu ger bäst upplevelse - en mängd stationer som har 'varnats' men fortfarande levererar tvivelaktigt data eller en möjlighet att se hur temperaturen mäts och om det är ett 'godkänt' sätt det görs på.

[elf98]

Numera efterfrågar vi information om hur mätningarna sker, bara för att allt ser ok ut vid införandet behöver det inte betyda att mätningarna blir ok året runt. Många som rapporterar tror att de gör rätt när stationen läggs till under årets mer solfattiga månader. När det sedan blir vår/sommar visar sig problem som ur en amatörs synvinkel inte varit helt lätta att förutse.

Målet är självklart att inte lägga till mätpunkter med uppenbara fel, och jag hoppas att så inte sker. Syftet med den nya funktionen är helt enkelt att fånga upp mätpunkter som slunkit igenom de manuella kontrollerna. Vi inaktiverar mätpunkter kontinuerligt när vi får rapporter om tokiga mätningar, med en automatisk kontroll kommer det att gå fortare att sålla bort felakigheterna.

Information om detekterade solspikar kan mycket väl läggas in i stationsloggen, eller indikeras med en varningssymbol i anslutning till grafer. Om solspikar har detekterats kan mätpunktens temperaturer exkluderas från min/max etc etc.

Så kort:
Inga felaktiga mätpunkter ska läggas till, men det är svårt att säga hur en mätpunkt beteer sig över året. Med ett automatiskt system kan problem hittas tidigare för att höjja kvaliteten.

[jed]

Jag tycker som sagt att det är ett mycket bra förslag och att du ska införa det.
Dessutom har jag (äntligen) fått tummen ur och flyttat sensorn till andra sidan garaget, där den faktiskt ska sitta

[elf98]

Färdig!

Nu har de första mailen skickats ut.

Så här ser mailen ut:

Hej,

Vi på temperatur.nu jobbar kontinuerligt med att kvalitetssäkra informationen för att så få felaktigheter som möjligt skall loggas.

En automatisk kontroll har visat att din mätpunkt, http://www.temperatur.nu/tallkrogen.html, under flera av de 6 senaste dygnen vid ca 09:16 utsätts för solinstrålning som påverkar sensorn på ett sätt som sänker kvaliteten.

Du bör snarast möjligt åtgärda sensorns placering!

Får du detta mail trots att det inte finns någon solspik behöver vi veta det för att kunna trimma in scripten som gör denna analys.

Frågor gällande detta mail besvaras i första han i forumet: http://www.temperatur.nu/forum/solspikar-t2433.html

mvh
Teamet på tempreatur.nu

minut:556 Datum: 2012-05-03 09:16 - 2012-05-03 12:04 Flanker: 8,3 Matchat mot:3 st tillfällen
minut:556 Datum: 2012-05-04 09:16 - 2012-05-04 13:16 Flanker: 6,2 Matchat mot:3 st tillfällen

Scriptet har rätt hög sensitet och lyckas fång solspikar på någon enstaka grad!

Det gick i väg ca 30 mail...