Improved testing,

Changed documentation

src/main/resources/no/bioforsk/vips/model/applescabmodel/texts.properties

@@ -16,5 +16,5 @@
 #    along with VIPS/AppleScabModel.  If not, see <http://www.gnu.org/licenses/>.
 
 name=Apple Scab Model
-usage=Description of required input parameters:\nstartDateAscosporeMaturity - The date for when to start calculation of ascospore maturity. It normally coincides with the date for "Green tip" (See description of model)\ntimeZone - What timezone the calculation is for. Necessary to calculate daily values from the provided hourly values. See this list of time zones: http://en.wikipedia.org/wiki/List_of_tz_database_time_zones (Column "TZ")\nobservations - list of weather data. The following parameters are required:\n* TM - Average temperature (Degrees Celcius)\n* BT - Leaf wetness (Minutes/hour)\n* RR - Precipitation (Millimeters)\nThese should all be complete timeseries of hourly data from the same time period.\nstartDateAscosporeMaturity must be within the timeseries of weather data.
+usage=Description of required input parameters:\nstartDateAscosporeMaturity - The date for when to start calculation of ascospore maturity. It normally coincides with the date for "Green tip" (See description of model)\ntimeZone - What timezone the calculation is for. Necessary to calculate daily values from the provided hourly values. See this list of time zones: http://en.wikipedia.org/wiki/List_of_tz_database_time_zones (Column "TZ")\nobservations - list of weather data. The following parameters are required:\n* TM - Average temperature (Degrees Celcius)\n* BT - Leaf wetness (Minutes/hour) (IF you don't have leaf wetness, you must provide UM (relative humidity). Then we will calculate the leaf wetness.\n* RR - Precipitation (Millimeters)\nThese should all be complete timeseries of hourly data from the same time period.\nstartDateAscosporeMaturity must be within the timeseries of weather data.
 description=TODO: Add description

src/main/resources/no/bioforsk/vips/model/applescabmodel/texts_nb.properties

@@ -17,5 +17,5 @@
 
 
 name=Epleskurvmodell
-usage=F\u00f8lgende inputdata kreves:\nstartDateAscosporeMaturity - Datoen for n\u00e5r man skal starte beregningen av askosporemodning. Sammenfaller normalt med dato for "Gr\u00f8nn spiss" (se beskrivelse)\ntimeZone - Hvilken tidssone man befinner seg i. Viktig for \u00e5 beregne d\u00f8gnverdier (midnatt-til-midnatt). I Norge bruker man prim\u00e6rt "Europe/Oslo". For liste over tidssoner, se her: http://en.wikipedia.org/wiki/List_of_tz_database_time_zones \nobservations - Liste med m\u00e5ledata. F\u00f8lgende parametre kreves:\n* TM - Gjennomsnittstemperatur (Grader Celcius)\n* BT - bladfukt (Minutter pr. time)\n* RR - nedb\u00f8r (mm)\nDette m\u00e5 alle v\u00e6re timedata, og det m\u00e5 v\u00e6re komplette timeserier i samme tidsperiode.\nstartDateAscosporeMaturity m\u00e5 naturligvis falle innenfor perioden hvor man har m\u00e5ledata.
+usage=F\u00f8lgende inputdata kreves:\nstartDateAscosporeMaturity - Datoen for n\u00e5r man skal starte beregningen av askosporemodning. Sammenfaller normalt med dato for "Gr\u00f8nn spiss" (se beskrivelse)\ntimeZone - Hvilken tidssone man befinner seg i. Viktig for \u00e5 beregne d\u00f8gnverdier (midnatt-til-midnatt). I Norge bruker man prim\u00e6rt "Europe/Oslo". For liste over tidssoner, se her: http://en.wikipedia.org/wiki/List_of_tz_database_time_zones \nobservations - Liste med m\u00e5ledata. F\u00f8lgende parametre kreves:\n* TM - Gjennomsnittstemperatur (Grader Celcius)\n* BT - bladfukt (Minutter pr. time) HVIS du ikke har bladfukt, m\u00e5 du levere UM (relativ luftfuktighet). Da vil vi beregne bladfukt.\n* RR - nedb\u00f8r (mm)\nDette m\u00e5 alle v\u00e6re timedata, og det m\u00e5 v\u00e6re komplette timeserier i samme tidsperiode.\nstartDateAscosporeMaturity m\u00e5 naturligvis falle innenfor perioden hvor man har m\u00e5ledata.
 description=<H2><A name=epleskurv>Epleskurv </A></H2>\n\n<H4>\n<table cellspacing="4" cellpadding="0">\n<tr>\n\t<td width="110">Kontaktpersoner:</td>\n\t<td><i> H\u00e5vard Eikemo <A HREF="mailto:haavard.eikemo@bioforsk.no">haavard.eikemo@bioforsk.no</A></i></td>\n</tr>\n<tr>\n\t<td width="110"></td>\n\t<td><i>Arne Stensvand <A HREF="mailto:arne.stensvand">arne.stensvand@bioforsk.no</A></i></td>\n</tr>\n</table>\n</H4>\n\n<H3><A name=millstabell>Infeksjon (Mills' tabell) </A></h3>\n\n\n<P class=Normal>Det m\u00e5 v\u00e6re fuktighet p\u00e5 blad, skudd eller frukter i et visst\ntemperaturavhenging tidsrom for at sporene til skurvsoppen skal kunne infisere.\nInfeksjonstabellen, ofte kalt Mills' tabell, sier hvor lang fuktighetsperioden\nm\u00e5 v\u00e6re ved ulike temperaturer for at infeksjon skal kunne skje. Ved optimal\ntemperatur, rundt 20 \u00b0C, er denne perioden p\u00e5 6 timer for askosporer.\n<br><br>\nInfeksjonsfaren blir uttrykt ved hjelp av en akkumulert verdi - i form av et tall st\u00f8rre enn null. Tallet \u00f8ker for hver time med bladfukt. N\u00e5r tallet for infeksjonsfare passerer 90, presenteres varselindikatoren som en gul firkant (mulig fare). N\u00e5r tallet passerer 100, presenteres en r\u00f8d firkant - som symbol for infeksjonsfare.\n<br><br>\n7 timer sammenhengende med bladfukt mindre enn 20 min/time vil nullstille tallet for infeksjonsfare fra og med 8.time. \n<br><br>\nSkurvvarslene er et viktig hjelpemiddel for dyrkerne til \u00e5 optimalisere\nspr\u00f8ytetidspunktene. Spr\u00f8yting etter skurvvarsel forutsetter at en har tilgang\ntil effektive kurative soppmidler. </P>\n\n<H3><A name=millssesongoppstart>Sesongoppstart </A></H3>\n\n<P class=Normal>Dato for sesongoppstart vil som regel samsvare med tidspunktet for n\u00e5r 50 % av blomsterknoppene hos tidligblomstrende eplesorter som Gravenstein og Summerred er p\u00e5 stadiet "gr\u00f8nn spiss". P\u00e5 dette tidspunktet vil vanligvis ogs\u00e5 de f\u00f8rste askosporene til skurvsoppen v\u00e6re modne og klare til kasting. Datoen vil normalt variere litt fra distrikt til distrikt. </P>\n\n<H3><A name=millsvarseltolking>Tolking av varsel </A></H3>\n\n<P class=Normal>Varslene beregnes med grunnlag i m\u00e5linger av bladfuktighet og temperatur p\u00e5 en rekke automatiske klimastasjoner. Varslene blir oppdatert hver time p\u00e5 dagtid i vekstsesongen. Gr\u00f8nn farge betyr at det ikke har v\u00e6rt forhold for epleskurvinfeksjon gjeldende dag. Gul  farge indikerer at det kan forventes et skurvvarsel i l\u00f8pet av de n\u00e6rmeste timene dersom klimastasjonen fortsetter \u00e5 registrere bladfuktighet. Varselsymbol med r\u00f8d farge viser at det har v\u00e6rt forhold for skurvinfeksjon gjeldende dag. Klokkeslettet angir n\u00e5r de\nf\u00f8rste sporene antas \u00e5 ha infisert. Ved kontinuerlig r\u00f8dt varsel over flere dager, vil det ikke bli satt inn noe nytt klokkeslett de p\u00e5f\u00f8lgende\ndagene.</p><BR>\n<IMG  src="http://www.vips-landbruk.no/redaksjonelt/informasjon/bilder/varseldetaljer600.jpg" alt="Tolking av varsel om fare for epleskurv" border="0">\n<i>Presentasjon varsel om epleskurv i VIPS </i> <br>\n\n<P class=Normal>\nNedenfor f\u00f8lger kolonneoverskrifter og forklaring til presentasjon av epleskurvvarsler:</p>\n\n<table class ="RuteTabell1" >\n<caption align="top">Tabell 1. Forklaring til presentasjon av epleskurvvarsler.<br></caption >\n    \n    <tr bgcolor="#cbd0d3">\n      <th class="kursiv">Kolonneoverskrift</th>\n      <th class="kursiv">Forklaring</th>\n    </tr>\n    <tr>\n      <td class="normal">TM:</td>\n      <td class="normal">Middeltemperatur for foreg\u00e5ende time</td>\n    </tr>\n    <tr>\n      <td class="normal">BF:</td>\n      <td class="normal">Bladfuktighet, minutter i l\u00f8pet av foreg\u00e5ende time</td>\n    </tr>\n    <tr>\n      <td class="normal" >RR:</td>\n      <td class="normal" >Nedb\u00f8r, i mm for foreg\u00e5ende time</td>\n    </tr>\n    <tr>\n      <td class="normal" >%Sp.mod:</td>\n      <td class="normal" >% Sporemodning etter Gadoury &amp; MacHardy's modell (se eget avsnitt)</td>\n    </tr>\n    <tr>\n      <td class="normal" >Stadium:</td>\n      <td class="normal" >Skurvsoppens utviklingsstadium(askosporer eller konidier)</td>\n    </tr>\n    <tr>\n      <td class="normal" >Verdi</td>\n      <td class="normal" >Tilvekst av infeksjonsfare for foreg\u00e5ende time</td>\n    </tr>\n    <tr>\n      <td class="normal" >Inf.fare:</td>\n      <td class="normal" >Akkumulert infeksjonsfare</td>\n    </tr>    \n      <tr>\n      <td class="normal" >Status:</td>\n      <td class="normal" >Varsel om infeksjonsfare(gr\u00f8nt, gult eller r\u00f8dt rektangel)</td>\n    </tr>    \n\n</table>\n\n<H3><A name=gadoury>Sporemodning (Gadoury &amp; MacHardy) </A></H3>\n\n<P class=Normal>I USA er det utarbeidet en modell for askosporemodning som er\ntilpasset norske forhold. Modningen er en funksjon av akkumulert varmesum (sum\ngraddager [d\u00f8gngrader]) fra en bestemt startdato (= n\u00e5r de f\u00f8rste sporene er modne) og\nberegner lengden av tidsrommet for n\u00e5r det fare for prim\u00e6rinfeksjoner. Ved lange perioder uten nedb\u00f8r eller langvarig nattedogg (mer enn 7 dager) vil akkumuleringen av d\u00f8gngrader bli stanset. D\u00f8gngradeakkumuleringen vil starte igjen s\u00e5 snart det kommer nedb\u00f8r. Mange eller lange perioder uten nedb\u00f8r vil f\u00f8re til en forlenging av prim\u00e6rsesongen (infeksjon av askosporer). </P>\n\n<img src="http://www.vips-landbruk.no/redaksjonelt/informasjon/bilder/sporemodning.jpg" alt="Sporemodning for epleskurv">\n<p>Graf som viser sporemodning.</p>\n\n<H3><A name=gadourysesongoppstart>Sesongoppstart </A></H3>\n\n<P class=Normal>Dato for sesongoppstart vil som regel samsvare med tidspunktet\nfor n\u00e5r 50 % av blomsterknoppene hos tidligblomstrende eplesorter som\nGravenstein og Summerred er p\u00e5 stadiet "gr\u00f8nn spiss". P\u00e5 dette tidspunktet vil\nvanligvis de f\u00f8rste sporene til skurvsoppen v\u00e6re modne og klare til kasting.\nSporemodningen blir ogs\u00e5 fulgt ved hjelp av mikroskopiske unders\u00f8kelser ved\nBioforsk Plantehelse p\u00e5 \u00c5s. Startdatoen vil normalt v\u00e6re forskjellig fra\ndistrikt til distrikt. </P>\n\n<H3><A name=gadouryvarseltolking>Tolking av varsel </A></H3>\n\n<P class=Normal>Beregningene skjer p\u00e5 grunnlag av temperatur og bladfuktighet m\u00e5lt p\u00e5 automatiske klimastasjoner. Varslene blir normalt oppdatert hver time mellom kl 0700 og 2300. Tallene i kolonnen <i>%Sp.mod</i> i tabellen viser prosent akkumulert sporemodning. Akkumulering av verdien for sporemodning stanses i t\u00f8rre perioder, dvs perioder p\u00e5 mer enn 4 dager uten nedb\u00f8r eller langvarig nattedogg. N\u00e5r verdien n\u00e6rmer seg 100 % vil det v\u00e6re minimalt med askosporer igjen i gammelt bladverk p\u00e5 bakken, og faren for nye prim\u00e6rinfeksjoner vil da v\u00e6re liten. </P>\n\n<IMG src="http://www.vips-landbruk.no/redaksjonelt/informasjon/bilder/Epleskurv1.jpg" width="400" height="300" alt="Skurv p\u00e5 undersiden av et epleblad"/>\n<p>Skurv p\u00e5 undersiden av et epleblad. <i>Foto: Dag R\u00f8en</i></p>\n<p> </p>\n\n<IMG src="http://www.vips-landbruk.no/redaksjonelt/informasjon/bilder/Epleskurv2.jpg" width="400" height="300" alt="Skurv p\u00e5 frukt">\n<p>Skurv p\u00e5 frukt. <i>Foto: Dag R\u00f8en</i></p>

src/test/java/no/bioforsk/vips/model/applescabmodel/AppleScabModelTest.java

@@ -78,7 +78,7 @@ public class AppleScabModelTest extends TestCase {
         {
             Date start = new Date();
             AppleScabModel instance = new AppleScabModel();
-            instance.setConfiguration(this.getConfiguration());
+            instance.setConfiguration(this.getConfiguration("/weatherData.json"));
             List<Result> results = null;
             try {
                 results = instance.getResult();
@@ -101,7 +101,7 @@ public class AppleScabModelTest extends TestCase {
                             );
                 for(Result result:results)
                 {
-                    if(!result.getValue(instance.getModelId().toString(), AppleScabCalculations.ACCUMULATED_TEMPERATURE).equals(""))
+                    if(result.getValue(instance.getModelId().toString(), AppleScabCalculations.ACCUMULATED_TEMPERATURE) != null)
                     {
                         System.out.println(
                                 format.format(result.getResultValidTime()) + 
@@ -126,11 +126,84 @@ public class AppleScabModelTest extends TestCase {
                 {
                     System.out.println(
                             format.format(result.getResultValidTime()) + 
-                            "\t" + result.getValue(instance.getModelId().toString(), "AccumulatedMills") + 
-                            "\t" + result.getValue(instance.getModelId().toString(), "AscosporeMaturity") +
+                            "\t" + result.getValue(instance.getModelId().toString(), AppleScabCalculations.ACCUMULATED_MILLS) + 
+                            "\t" + result.getValue(instance.getModelId().toString(), AppleScabCalculations.ASCOSPORE_MATURITY) +
                             "\t" + result.getValue(CommonNamespaces.NS_WEATHER, "TM") +
                             "\t" + result.getValue(CommonNamespaces.NS_WEATHER, "BT") +
                             "\t" + result.getValue(CommonNamespaces.NS_WEATHER, "RR") 
+                            //+ result.getAllValues().toString()
+                            );
+                }
+
+            }
+        }
+        catch(ConfigValidationException   ex)
+        {
+            fail("Exception: " + ex.getMessage());
+        }
+    }
+    
+    public void testAcceptanceWithLeafWetnessFallback()
+    {
+        System.out.println("testAcceptanceWithLeafWetnessFallback");
+        try
+        {
+            Date start = new Date();
+            AppleScabModel instance = new AppleScabModel();
+            instance.setConfiguration(this.getConfiguration("/weatherDataWithoutBT.json"));
+            List<Result> results = null;
+            try {
+                results = instance.getResult();
+            } catch (ModelExcecutionException ex) {
+                Logger.getLogger(AppleScabModelTest.class.getName()).log(Level.SEVERE, null, ex);
+            }
+            System.out.println("Model execution took " + (new Date().getTime() - start.getTime()) + " milliseconds");
+            // Toggle this to print results when testing
+            //if(results != null)
+            if(false)
+            {
+                SimpleDateFormat format = new SimpleDateFormat("dd.MM.yyyy HH:mm");
+                Collections.sort(results);
+                System.out.println(
+                            "Timestamp" + 
+                            "\tAccumulatedTemperature" +
+                            "\tAggregatedLeafWetness" +
+                            "\tAggregatedTemperature" +
+                            "\tAggregatedPrecipitation"
+                            );
+                for(Result result:results)
+                {
+                    if(result.getValue(instance.getModelId().toString(), AppleScabCalculations.ACCUMULATED_TEMPERATURE)!= null)
+                    {
+                        System.out.println(
+                                format.format(result.getResultValidTime()) + 
+                                "\t" + result.getValue(CommonNamespaces.NS_WEATHER, AppleScabCalculations.ACCUMULATED_TEMPERATURE) +
+                                "\t" + result.getValue(CommonNamespaces.NS_WEATHER, AppleScabCalculations.AGGREGATED_LEAF_WETNESS) +
+                                "\t" + result.getValue(CommonNamespaces.NS_WEATHER, AppleScabCalculations.AGGREGATED_TEMPERATURE) +
+                                "\t" + result.getValue(CommonNamespaces.NS_WEATHER, AppleScabCalculations.AGGREGATED_PRECIPITATION)
+                                );
+                    }
+                }
+                Collections.reverse(results);
+                
+                System.out.println(
+                            "Timestamp" + 
+                            "\tAccumulatedMills" + 
+                            "\tAscosporeMaturity" +
+                            "\tTM" +
+                            "\tBT" +
+                            "\tRR"
+                            );
+                for(Result result:results)
+                {
+                    System.out.println(
+                            format.format(result.getResultValidTime()) + 
+                            "\t" + result.getValue(instance.getModelId().toString(), AppleScabCalculations.ACCUMULATED_MILLS) + 
+                            "\t" + result.getValue(instance.getModelId().toString(), AppleScabCalculations.ASCOSPORE_MATURITY) +
+                            "\t" + result.getValue(CommonNamespaces.NS_WEATHER, "TM") +
+                            "\t" + result.getValue(CommonNamespaces.NS_WEATHER, "BT") +
+                            "\t" + result.getValue(CommonNamespaces.NS_WEATHER, "RR") 
+                                    //+ result.getAllValues().toString()
                             );
                 }
 
@@ -148,7 +221,7 @@ public class AppleScabModelTest extends TestCase {
         try
         {
             AppleScabModel instance = new AppleScabModel();
-            instance.setConfiguration(this.getConfiguration());
+            instance.setConfiguration(this.getConfiguration("/weatherData.json"));
             Calendar cal = Calendar.getInstance(TimeZone.getTimeZone("Europe/Oslo"));
             cal.set(2012, Calendar.JULY, 1, 0, 0, 0);
             cal.set(Calendar.MILLISECOND,0);
@@ -166,7 +239,7 @@ public class AppleScabModelTest extends TestCase {
         try
         {
             AppleScabModel instance = new AppleScabModel();
-            instance.setConfiguration(this.getConfiguration());
+            instance.setConfiguration(this.getConfiguration("/weatherData.json"));
             Calendar cal = Calendar.getInstance(TimeZone.getTimeZone("Europe/Oslo"));
             cal.set(2012, Calendar.MAY, 1, 0, 0, 0);
             cal.set(Calendar.MILLISECOND,0);
@@ -182,7 +255,7 @@ public class AppleScabModelTest extends TestCase {
         }
     }
     
-    private ModelConfiguration getConfiguration()
+    private ModelConfiguration getConfiguration(String fileName)
     {
         try {
             ModelConfiguration config = new ModelConfiguration();
@@ -193,7 +266,7 @@ public class AppleScabModelTest extends TestCase {
             //config.setConfigParameter("startDateAscosporeMaturity", cal.getTime());
             config.setConfigParameter("startDateAscosporeMaturity", "2012-03-25");
             config.setConfigParameter("timeZone", cal.getTimeZone().getID());
-            BufferedInputStream inputStream = new BufferedInputStream(this.getClass().getResourceAsStream("/weatherData.json"));
+            BufferedInputStream inputStream = new BufferedInputStream(this.getClass().getResourceAsStream(fileName));
             JsonFactory f = new MappingJsonFactory();
             JsonParser jp = f.createJsonParser(inputStream);
             JsonNode all = jp.readValueAsTree();