Importeren van Metingen

Metingen zijn vertalingen van waargenomen grootheden naar relevante eenheden. Het zijn kwantitatieve beschrijvingen van de werkelijkheid om ons heen. Metingen die in en rondom water worden gedaan, kunnen diverse vormen aannemen. Denk hierbij aan chemische metingen, metingen aan vissen, macrofyten, macrofauna, fytoplankton, enzovoort. Deze metingen worden vaak uitgevoerd door middel van bemonstering aan een bepaald meetobject. Zo'n monster, ook wel collectie genoemd, wordt vervolgens geanalyseerd en omgezet in data. Het importeren van metingen is het proces, waarbij meerdere van deze metingen tegelijkertijd worden toegevoegd via een bestand. In AquaDesk onder 'Import' en vervolgens 'Metingen', vind je de importmodule voor het importeren van een metingenbestand. In deze handleiding zullen we uitleggen hoe dit proces verloopt.

Het bestand moet aan bepaalde voorwaarden voldoen en moet een specifiek formaat hebben. Het importeren van metingen kan alleen worden uitgevoerd, als de gebruiker de juiste rechten en rollen zijn toegekend. Om metingen te kunnen wijzigen, toevoegen en verwijderen, moet je de rol van 'import beheerder' hebben. Alle benodigde rollen en rechten om stamgegevens te kunnen muteren, zijn te vinden onder 'Organisatie | Gebruikers'. Personen met de rol van Organisatiebeheerder kunnen deze rechten en rollen toekennen, wijzigen en/of intrekken. De toewijzing van de juiste rollen binnen een organisatie valt volledig onder de verantwoordelijkheid van de organisatie zelf.

Formaat

Het bestand voor het importeren van meetobjecten moet een specifiek formaat hebben om correct geïmporteerd te kunnen worden. Hier leggen we uit hoe dit formaat eruitziet en welk type data in elke kolom van het importbestand wordt verwacht. Het exportformaat voor meetobjecten is identiek aan het importformaat en kan als referentie worden gebruikt. Een voorbeeldbestand is toegevoegd aan het einde van deze handleiding.

Let op: een bestand dat niet aan de vereisten voldoet, kan niet worden geïmporteerd en moet worden aangepast (zie importproces).

Het metingen importformaat, dat AquaDesk hanteert, omvat 29 kolommen. Het is essentieel om te benadrukken, dat het gebruik van niet-beschreven kolommen niet is toegestaan. AquaDesk maakt gebruik van het CSV-formaat (Comma Separated Values), waarbij punt-komma's (;) als scheidingstekens tussen de kolommen worden gebruikt. Zorg ervoor, dat de namen van de velden in de eerste rij van het bestand correct gespecificeerd zijn.

Hoewel Excel-bestanden (.xlsx) ook kunnen worden geïmporteerd, raden we af om met Excel te werken, omdat Excel de neiging heeft om gegevens aan te passen. Bovendien nemen Excel-bestanden meer geheugen in beslag. Daarom is het maximale aantal regels voor Excel-bestanden ingesteld op 125.000 voor de importmodule. Het maximum aantal regels voor .csv-bestanden is ingesteld op 250.000. Als je ervoor kiest om een bestand in Excel-formaat te importeren, zorg er dan voor, dat er geen andere tabbladen aanwezig zijn in het bestand, omdat extra tabbladen problemen kunnen veroorzaken tijdens het importproces.

Een foutief bevonden bestand (zie Valideren) zal echter drie extra kolommen hebben. Die extra kolommen worden automatisch overgeslagen tijdens het valideren.

Andere kolommen dan de hier onder beschreven verplichte kolommen zijn niet toegestaan.

Numeriek formaat

Scheidingstekens tussen de kolommen zijn punt-komma's (;) Getallen in US formaat (1234.456):

Datum formaat

Het (basis) datum formaat is dd-MM-jjjj HH:mm:ss

Verplichten kolommen

Het importbestand moet de volgende kolommen bevatten:

In het geval dat er een kolom ontbreekt of de volgorde van de kolommen niet gehanteerd is, of er een spelfout in de kolomnamen aanwezig is, krijgt het importbestand de status "Fout in bestand". Wanneer de inhoud van de kolommen fouten opleveren, krijgt het bestand de status "Fout". In beiden gevallen krijgt het bestand drie kolommen aan het eind van het bestand met daarin uitleg over de aangetroffen fouten. Deze uitleg wordt per regel aangegeen. Meer informatie over specifieke fouten zijn te vinden in de foutmeldingkolommen sectie van deze handleiding.

Organisatie_Codes

De organisatiecodes geven aan welke organisatie de opdrachtgever is (ORG); deze organisatie is eigenaar van de data. Het geeft ook aan welke organisatie de gegevens aanlevert (SUP). Dit betreft een Type-Code lijst, waarbij de rol van de organisatie wordt gevolgd door de code van de betreffende organisatie. Alleen ORG is verplicht in dit veld; de overige rollen zijn optioneel en dienen te worden ingevuld indien van toepassing. De codes voor de verschillende organisaties zijn te vinden in AquaDesk onder Domein | Organisaties.

Het formaat is: ORG=code_opdrachtgever,SUP=code_leverende_partij. Wanneer alleen ORG is aangegeven, moet de laatste komma worden verwijderd.

Voorbeeld: ORG=WAM,SUP=AQN. In dit voorbeeld is de eigenaar van de gegevens Waterschap Aa en Maas (WAM), de partij die de gegevens levert Aquon (AQN). Een ander voorbeeld is ORG=RWS, waarbij Rijkswaterstaat zowel de eigenaar van de gegevens, als de leverende partij is.

Proces_Instantie_Codes

De proces instantie codes geven aan welke organisatie de betreffende analyse heeft uitgevoerd (ANA), welke partij de gegevens heeft gecontroleerd (CHK), en welke partij de bemonstering heeft uitgevoerd (SMP). Het betreft hier een Type-Code lijst. De opgegeven code voor de organisatie moet geregistreerd staan in AquaDesk of moet aangemaakt zijn onder Organisatie | Relaties bij de organisatie waar de data wordt geïmporteerd.

Het formaat is: ANA=code_analyserende_relatie,CHK=code_validerende_relatie,SMP=code_bemonsterende_relatie

Voorbeeld: ANA=EAS,CHK=AQN,SMP=AQN. In dit voorbeeld is de analyse uitgevoerd door Eurofins Aquasense (EAS), is Aquon (AQN) de controlerende partij en is het monster genomen door Aquon (AQN).

Project_Code

De vulling van deze kolom is optioneel.

In Project code wordt aangegeven voor welk project de meting is uitgevoerd. Dit veld is niet verplicht en kan leeg gelaten worden. Er mag echter slechts één projectcode worden ingevoerd, die moet overeenkomen met een aangemaakt project onder Organisatie | Projecten.

Meetobject_Code

Deze kolom bevat de code van het meetobject waarvoor de meting heeft plaatsgevonden. Deze codes zijn te vinden in AquaDesk onder Organisatie | Meetobjecten. De opgevoerde code van het meetobject moet gelijk zijn aan een van de codes van de meetobjecten onder de organisatie waarvoor de metingen worden geïmporteerd.

Geografie_Datum

De vulling van deze kolom is optioneel, behalve wanneer Geografie_Notatie of Geografie_Vorm zijn ingevuld.

In geografie datum wordt de EPSG-code genoteerd die de geografische datum aangeeft. AquaDesk ondersteunt de volgende waarden in deze kolom:

Code Uitleg
EPSG:4154 ED50/ED77
EPSG:4230 ED50
EPSG:4258 ETRS89
EPSG:4326 WGS84
EPSG:4668 ED79
EPSG:25831 ETRS89 (31N)
EPSG:28992 Amersfoort / RD New

Geografie_Notatie

De vulling van deze kolom is optioneel, behalve wanneer Geografie_Datum of Geografie_Vorm zijn gevuld.

Deze kolom bevat de geografische notatie. Deze kolom kan twee mogelijke waarden bevatten:

Code Uitleg
XY Kolom is in formaat X Y, waarbij X en Y gehele getallen zijn en gescheiden door een spatie
WKT Kolom Geografie_Vorm is in WKT formaat. 5 decimalen zijn bepalend.
Als in dit veld 'XY' is ingevuld kan alleen een enkel punt in de vorm van XY-coördinaten worden aangegeven in de volgende kolom: Geografie_Vorm. Als 'WKT' is ingevuld, kan in Geografie_Vorm een vorm worden aangegeven. Dit kan zowel een enkel punt zijn als een (complex) gebied.

Geografie_Vorm

De vulling van deze kolom is optioneel, behalve wanneer Geografie_Datum en Geografie_Notatie zijn ingevuld.

De combinatie van kolommen Geografie_Datum, Geografie_Notatie, en Geografie_Vorm kan worden gebruikt om een meetlocatie aan te geven die afwijkt van de coördinaten van het opgegeven meetobject.

De invulling van deze kolom is afhankelijk van de waarde, die is ingevoerd bij Geografie_Notatie. Als daar 'XY' is ingevoerd, worden in Geografie_Vorm X- en Y-coördinaten ingevuld, gescheiden door een spatie. Als 'WKT' is ingevoerd in Geografie_Notatie, wordt in Geografie_Vorm ofwel een punt (POINT()) ofwel een gebied ingevoerd. Zie 'WKT' voor de mogelijke invoermogelijkheden.

Ecotoop_Codes

De vulling van deze kolom is optioneel.

In dit veld kunnen ecotoop-codes worden opgegeven. Dit kunnen er meer dan één zijn. Het betreft hier een Type-Code lijst, waarbij de code voor het ecotoopsysteem het type vormt, en de code voor het ecotoop de specifieke code is. Bijvoorbeeld: ZES.1=B2.11,EUNIS=A5.25

Binnen Aquadesk zijn de verschillende ecotoopsystemen en hun ecotopen te vinden onder Domein | Ecotopen. Hier vind je de verschillende ecotoopsystemen en hun codes. Wanneer een ecotoopsysteem wordt geselecteerd, verschijnen de ecotopen die onder dat ecotoopsysteem vallen, met hun bijbehorende codes.

Collectie_DatumTijd

Geeft de datum en tijd weer, waarop de collectie (bemonstering) heeft plaatsgevonden. Het formaat wat hiervoor gebruikt wordt is: dd-MM-jjjj HH:mm

Collectie_Referentie

Een collectie referentie geeft een unieke code in AquaDesk weer voor een collectie (een monster). Deze code noemen we de collectie referentie. Alle meetresultaten van deze collectie moeten dezelfde collectie referentie hebben. Alleen op die manier kan de samenhang tussen verschillende metingen binnen de collectie worden aangegeven.

Een collectie referentie wordt gekoppeld aan een specifieke sleutel:

  • Meetobject_Code
  • Collectie_DatumTijd
  • Bemonsterende organisatie (Organisatie_Codes: SMP=)

Binnen een collectie referentie mogen deze onderdelen niet variëren. Bovendien mag de combinatie van deze onderdelen altijd slechts één enkele collectie referentie opleveren. Dit betekent, dat er maar één collectie (met een unieke collectie referentie) kan voorkomen voor een bemonstering op een locatie (Meetobject_Code) op een specifiek tijdstip (Collectie_DatumTijd) met dezelfde bemonsterende organisatie.

Meetset_Nummer

De vulling van deze kolom is optioneel, invulling in dit veld wordt genegeerd door Aquadesk.

Het meetset_nummer (analysenummer) is het nummer dat hoort bij een bepaalde meetset. Het meetsetnummer wordt automatisch door Aquadesk gegenereerd. Een meetset_nummer wordt gebruikt om metingen aan elkaar te relateren en heeft een eigen sleutel binnen een collectie_referentie. Deze sleutel is uniek voor de volgende onderdelen:

Het meetset_nummer moet hetzelfde zijn voor deze onderdelen binnen een collectie_referentie. Omdat het meetset_nummer gerelateerd is aan het collectie_referentie, geldt de sleutel voor collectie_referentie ook voor het meetset_nummer. Deze sleutel wordt voor het meetset_nummer echter uitgebreid met het meetpakket en de doelstelling van de collectie. Dit betekent, dat voor elke combinatie tussen meetpakket of analysepakket en doelstelling binnen een collectie een uniek meetset_nummer aangemaakt wordt.

Meetpakket_Code

In dit veld wordt de code van het meetpakket of analysepakket, waar de meting onder valt, binnen Aquadesk genoteerd. Dit is afhankelijk van de bijbehorende parameter en/of grootheid, met de daarbij behorende kenmerk, eenheid en taxontype, indien van toepassing. De invulling van meetpakket_code bepaalt de vormgeving van bijvoorbeeld de kolommen:

De codes voor meetpakketten staan in AquaDesk onder Domein | Meetpakketten. De codes voor analysepakketten staan onder Domein | Analysepaketten.

Doelstelling_Code

De doelstelling geeft aan met welk doel de meting is uitgevoerd. Aquadesk biedt twee opties: Kwaliteit of Monitoring. Een kwaliteitsmeting krijgt de code KT en een monitoringsmeting de code MT. De meeste metingen hebben als doelstelling monitoring; dit zijn de reguliere monsters die worden genomen. Metingen die de code KT krijgen, zijn bijvoorbeeld controlemonsters die zijn genomen, zoals interne audits, duplicaatmonsters of monsters voor ringonderzoek.

De code van de doelstellingen staan in AquaDesk onder Domein | Meetdoelen.

Verrichting_Methoden

De invulling van deze kolom is optioneel.

Verrichting_Methoden kunnen gebruikt worden om aan te geven welke methoden of apparaten zijn gebruikt in de meting. Het gaat hier om een Type-Code lijst.

Het type moet overeenkomen met één van de codes, die binnen AquaDesk worden gebruikt voor methode categorieën. De code moet overeenkomen met een van de codes, die onder het opgegeven type vallen. Deze methoden kunnen worden gevonden in AquaDesk onder Organisatie | Methoden. Als er meerdere methoden worden opgegeven, zoals een monstermethode en een analysemethode, dan worden de verschillende type-code paren gescheiden door een komma. Voorbeeld:

MM=MACEV_S020,AM=MACEV_A020

Compartiment_Code

Het compartiment waarin de meting is uitgevoerd. In dit veld dient de code opgegeven te worden die correspondeerd met een geldig compartiment binnen Aquadesk. De codes staan in AquaDesk onder Domein | Compartimenten. Hieronder een voorbeeld voor de code voor het compartiment Bodem / Sediment: BS

Meting_DatumTijd

Geeft de datum en tijd weer, waarop de meting is afgerond. Het formaat wat hiervoor gebruikt wordt is: dd-MM-jjjj HH:mm:ss

Zie datum formaat voor de verdere beschrijving.

Meting_Correlatie

De vulling van deze kolom is optioneel.

Dit is een geheel getal, dat aangeeft welke metingen bij elkaar horen. Hiermee kunnen twee of meer metingen aan elkaar worden gekoppeld door middel van het opgegeven getal in dit veld. Deze waarde wordt niet gecontroleerd tijdens het validatie- of importproces.

Grootheid_Code

Een grootheid is een (natuurkundige) eigenschap, die kwantificeerbaar is, zoals massa of aantal. Een grootheid wordt numeriek uitgedrukt in een eenheid, zoals kilogram of exemplaren.

In dit veld moet een geldige grootheid code opgegeven worden, deze zijn te vinden in Aquadesk onder Domein | Grootheden. Daarnaast moet de opgegeven code onderdeel zijn van het aangegeven meetpakket onder Meetpakket_Code. De meetpakket codes zijn te vinden in Aquadesk onder Domein | Meetpakketten.

Als voorbeeld, de grootheidcode massa is: MASSA en grootheidcode voor aantal is: AANTL

Parameter_Type

Parameter_Type geeft aan onder welke categorie de parameter valt. Het veld is verplicht wanneer Parameter_Specificatie is ingevuld. De combinatie van Parameter_Type en Parameter_Specificatie moet altijd een geldige combinatie vormen binnen Aquadesk.

Het opgegeven meetpakket geeft aan welke code voor het parametertype in dit veld opgevoerd mag worden. Het gaat hier om een combinatielijst en er dient een van de volgende codes te worden opgevoerd:

Code Betekenis
BIOTG Biologische groepen (Domein | Biologische groepen)
CHEMS Chemische stoffen (Domein | Chemische stoffen)
CHEMG Chemische samenstellingen (Domein | Chemische samenstellingen)
FYSIO Fysische objecten (Domein | Fysische objecten)
TAXON* Taxontype (Domein | Taxontypes)
NVT Niet van toepassing
* Het gaat hier niet om de code TAXON, maar om een van de codes onder taxontype die geldig zijn in Aquadesk onder Domein | Taxontypes. De code voor het taxontype moet overeenkomen met de opgevoerde taxa bij Parameter_Kenmerken.

Parameter_Specificatie

Parameter_Specificatie beschrijft de specifieke parameter, waarop de meting betrekking heeft. Dit kan verschillende vormen aannemen, zoals de soortsnaam van een taxa of de naam van een chemische stof. Het is ook mogelijk, dat dit veld leeg gelaten moet worden. De combinatie van Parameter_Type en Parameter_Specificatie moet voldoen aan de geldige specificaties binnen AquaDesk.

Parameter_Kenmerken

De vulling van dit veld is een Type-Code lijst en is optioneel.

Parameter_Kenmerken biedt de mogelijkheid om specifieke kenmerken aan te geven, die zijn waargenomen bij de meting. Voorbeelden hiervan zijn leeftijdsklasse, levensstadium, levensvorm, enzovoort. Het is optioneel om meerdere parameter kenmerken per regel in te voeren, gescheiden door een komma.

Een voorbeeld voor de vulling van dit veld is: LS=LS-LA,GS=GE-M.

In bovengenoemd voorbeeld wordt aangegeven, dat de invoer betrekking heeft op larvale exemplaren en exemplaren van het mannelijke geslacht. Hier wordt gestart met de code voor het kenmerktype, gevolgd door een =-teken, en vervolgens de code voor het specifieke kenmerk. Belangrijk is om geen spaties te plaatsen tussen de verschillende parameter kenmerken. Bij het kenmerktype Hoedanigheid kunnen verschillende kenmerken gecombineerd worden onder één regel, terwijl bij de overige kenmerktypen slechts één kenmerk per regel opgegeven kan worden.

Een voorbeeld van een invoer met verschillende hoedanigheden is: HD=adg,HD=INSU

De beschikbare kenmerken zijn te vinden in AquaDesk onder Domein | Kenmerken. Het type moet overeenkomen met de typecode in AquaDesk en de code moet geldig zijn binnen de kenmerken van de betreffende typecode.

Notitie_Code

De vulling van deze kolom is optioneel.

Dit veld wordt gebruikt om notities toe te voegen aan de meting. Hier wordt de code ingevoerd, die betrekking heeft op de bijbehorende notitie. Deze notities moeten geldig zijn in AquaDesk onder Organisatie | Notities. De notities zijn organisatiespecifiek en de verantwoordelijkheid voor het onderhoud van deze notities ligt bij de desbetreffende organisatie.

Limiet_Symbool

De vulling van deze kolom is optioneel.

In dit veld wordt, in dien van toepassing, een limiet symbool toegevoegd. De volgende symbolen zijn toegestaan in dit veld:

Symbool Betekenis
Exacte waarde
< Waarde kan kleiner zijn dan gemeten waarde
= Waarde is (ongeveer) gelijk aan de gemeten waarde
> Waarde kan groter zijn dan de gemeten waarde

Waarde_Gemeten

Dit veld bevat de gemeten waarde. Indien er bij Classificatie_Code een waarde is ingevuld, moet dit veld een 0 weergeven. Zie Numeriek formaat.

Eenheid_Gemeten

Dit veld bevat de code van de eenheid waarin Waarde_Gemeten is uitgedrukt. De eenheid moet geldig zijn volgens AquaDesk, deze zijn te vinden onder Domein | Eenheden. Ook moet het toegestaan zijn door het onder Meetpakket_Code ingevoerde meetpakket of analysepakket. Deze waarden zijn te vinden in Aquadesk onder Domein | Meetpakketten en Domein | Analysepaketten. Hier vind je de toegestane grootheden voor het betreffende pakket. De toegestane grootheden bepalen welke eenheden er ingevuld kunnen worden.

Waarde_Berekend

Dit veld bevat de berekende waarde. Indien er bij Classificatie_Code een waarde is ingevuld, moet dit veld een 0 weergeven. Zie Numeriek formaat.

Classificatie_Code

De vulling van deze kolom is optioneel.

Een Classificatie_Code kan worden gebruikt bij bepaalde grootheden, die moeilijk in een getal zijn uit te drukken, zoals geur, kleur, meandering en de Braun-Blanquet-schaal.

De ingevulde code moet overeenkomen met één van de codes, die zijn toegestaan onder de opgegeven grootheid in het veld Grootheid_Code. De beschikbare classificatiecodes zijn te vinden in AquaDesk onder Domein | Grootheden, door de betreffende grootheid te selecteren. Indien Classificatie_Code is ingevuld, moeten de velden Waarde_Gemeten én Waarde_Berekend beide de waarde 0 bevatten.

Eenheid_Berekend

Dit veld bevat de code van de eenheid waarin Waarde_Berekend is uitgedrukt. De eenheid moet geldig zijn volgens AquaDesk, deze zijn te vinden onder Domein | Eenheden. Daarnaast moet het gebruik van deze eenheid zijn toegestaan volgens het onder Meetpakket_Code ingevoerde meetpakket of analysepakket. De toegestane eenheden zijn te vinden in AquaDesk onder Domein | Meetpakketten en Domein | Analysepaketten. Hier vind je de toegestane grootheden voor het betreffende pakket. De toegestane grootheden bepalen welke eenheden er ingevuld kunnen worden.

Status_Code

Dit veld geeft de status code weer volgens AquaDesk. Voor het metingen import format geldt dat uitsluitend code 55 (Analyse vrijgegeven) is toegestaan.

Importproces

Het proces zelf bestaat uit twee fasen: valideren en importeren. In beide gevallen is het belangrijk om rekening te houden met de volgende randvoorwaarden:

  1. U kunt alleen meetsets importeren in de eigen organisatie, als u daarvoor voldoende rechten heeft.
  2. De te importeren gegevens dienen te voldoen aan de eisen van een AquaDesk Standaard Metingen CSV-bestand. Deze beschrijving wordt verder uitgebreid toegelicht. Er kan ook altijd via de Viewer een metingenexport worden gemaakt, wanneer specifiek onderzocht moet worden, hoe bepaalde metingen vastgelegd dienen te worden.
  3. Meetobjecten, waarvoor u meetsets/metingen importeert, dienen binnen AquaDesk te bestaan.
  4. Eventuele verwijzingen naar projecten, methoden en organisaties/relaties dienen in AquaDesk te bestaan.
  5. U kunt, voordat u importeert, het bestand valideren (default). Dit is een technische controle op structuur en inhoud. Als er fouten in het bestand staan, worden deze in een foutenrapport gemeld.
  6. Wanneer het bestand valide is bevonden, kunt u het vakje “Importeren na valideren” aanvinken, zodat de meetset ook daadwerkelijk wordt geïmporteerd

Valideren

Altijd wordt eerst het bestand gevalideerd. Daarvoor moet degene, die wil valideren, de rol 'Import validator' of 'Import beheerder' hebben binnen de organisatie.

In deze fase worden alle data in het bestand gevalideerd, dus: zijn geldige grootheden, eenheden, parameters gebruikt? Bestaat de locatie? Pas de eenheid bij de grootheid? etc. In deze fase zitten meer dan 40 afzonderlijke stappen, bedoeld om te voorkomen, dat ongeldige informatie in AquaDesk komt.

AquaDesk kan niet alles controleren. Het kan wél zien of een waarde correct is, maar kan bijvoorbeeld niet zien of een waarde te hoog of te laag is.

Wanneer het bestand niet valide is bevonden, dan geeft AquaDesk dat aan in het rooster op het scherm. Door op de eerste kolom van het gevalideerde item te klikken, worden details getoond en kan het resulterende bestand worden gedownload.

Wanneer het formaat van het bestand onjuist is, zal AquaDesk een regel toevoegen, als eerste in het bestand, met uitleg welke kolommen nog ontbreken.

Importeren

Voor deze tweede fase is de rol 'Import beheerder' benodigd. Deze wordt alleen uitgevoerd, wanneer tijdens het validatieproces het bestand geldig is bevonden én het vinkje 'Importeren na validatie' handmatig is aangezet.

In deze fase worden de metingen in AquaDesk geïntegreerd. Dat betekent, dat nieuwe metingen worden geïmporteerd en bestaande metingen (die zowel in AquaDesk als in het bestand zitten) overschreven.

AquaDesk accepteert uiteraard niet ieder bestand. Het moet het juiste formaat hebben.

Import historie:
  1. In de historie kunt u zien, wanneer welke datasets zijn toegevoegd.
  2. Eerder gevalideerde en mislukte datasets kunnen, indien gewenst, ook weer worden verwijderd. Dit kan door de desbetreffende regel eerst te selecteren en, met de blauwe importknop bovenin, weer te verwijderen.
  3. We adviseren kopieën van de geïmporteerde bestanden te bewaren. In het geval van calamiteiten of het per ongeluk verwijderen van meetsets, kunt u altijd een her-import doen, waarbij de oorspronkelijke data kan worden teruggezet.
  4. In de detailgegevens van de import (klik op de hyperlink van de importnaam) kunt u uw bestand via de grijze knop downloaden en verder analyseren. AquaDesk voert een aantal controles uit op het bestandsformaat. De foutmeldingen staan altijd in de laatste drie kolommen van het gedownloade CSV-bestand. Deze kunt u hier verder analyseren en evalueren.

Probleemoplossing

Excel

Vermijd het gebruik van Excel in combinatie met CSV-bestanden.

Excel heeft de neiging om data in een CSV-bestand te wijzigen, zoals het automatisch plaatsen van decimale en duizendtal scheidingstekens en het verwijderen van voorloopnullen. Het gedrag van Excel varieert ook afhankelijk van taal- en regio-instellingen, evenals de taalversie van Excel zelf. Dit leidt tot veel problemen, die door onze gebruikers worden gemeld. Helaas hebben we geen controle over hoe Excel CSV-bestanden behandelt.

Het interpreteren van data door Excel kan worden gestopt door een tab aan het begin van elk veld in het bestand toe te voegen. Het nadeel hiervan is echter, dat Excel dan niet meer in staat is om berekeningen uit te voeren met deze gegevens.

Er zijn betere alternatieven voor het werken met CSV-bestanden, hoewel deze niet dezelfde intelligentie bevatten als Excel. Informatiehuis Water raadt tegenwoordig CSVPad aan. Niettemin is Visual Studio Code met plugins zoals edit-csv een bruikbaar alternatief in veel gevallen.

Formaatproblemen met de BOM (Byte Order Mask)

Sommige softwarepakketten voegen een zogenaamde BOM (Byte Order Mark) toe. Dit regelt hoe een softwarepakket moet omgaan met speciale tekens. Daardoor kunnen echter juist vreemde problemen ontstaan en kan het CSV-bestand soms worden geweigerd.

Probeer daarom eerst te kijken of de BOM nog aanwezig is en verwijder die. De oplossing is om de BOM te verwijderen in Kladblok. De BOM zijn dan alle tekens vóór de naam van de eerste kolom. Bijvoorbeeld:  Als u het aangepaste bestand vervolgens weer converteert naar een CSV-formaat, dan zou hiermee de foutmelding verholpen moeten zijn.

Hier wordt uitgelegd hoe de BOM verwijderd kan worden met (een recente versie van) kladblok (notepad) van Windows.

Foutmeldingkolommen

De volgende kolommen worden alleen gebruikt door AquaDesk om aan te geven, welke fouten er nog zijn aangetroffen in het te valideren bestand.

Fouten (Organisatiegegevens)

Melding Betekenis
Collectie_DatumTijd (Formaat: dag-maand-jaar uur:minuut. Dag, maand, uur en minuut hebben 2 cijfers. Jaar heeft 4 cijfers. Seconden zijn niet toegestaan in dit veld.) Het opgegeven formaat is onjuist. Zie Datum formaat. Let op de seconden. Die zijn niet toegestaan hier.
Collectie_DatumTijd (Toekomst) De datum/tijd ligt in de toekomst.
Collectie_DatumTijd (Te oud) De datum/tijd valt buiten het bereik van de andere metingen.
Geografie_Datum onbekend. Ondersteund: (lijst met ondersteunde codes) Geografie_Datum wordt niet ondersteund. Zie de lijst hierboven met ondersteunde codes.
Collectie_Referentie (Ontbreekt)
Collectie_Referentie is een verplicht veld.
Collectie_Referentie (Sleutelwaarden wijzigen binnen de referentie) De sleutelwaarden zijn gewijzigd binnen een collectie_referentie.
Geografie_Notatie (Onbekend) Geografie_Notatie is onbekend. Zie de lijst hierboven met ondersteunde codes.
Geografie_Vorm (XY) (Formaat: X, Y met een punt voor decimalen. Rijksdriehoek-coördinaten zijn in meters en moeten binnen het RD gebied liggen). Het opgegeven XY-formaat is onbekend.
Geografie_Vorm (WKT) (Formaat: geldig WKT. Zie WKT Het WKT-formaat is ongeldig. Zie WKT voor informatie over het formaat.
Meetobject_Code (Onbekend) Meetobject is onbekend of niet (langer) geldig.
Meting_Correlatie (Moet leeg zijn of een geheel getal zonder punten of komma's.) Waarde is geen geheel getal.
Meting_DatumTijd (Formaat: dag-maand-jaar uur:minuut:seconde. Dag, maand, uur, minuut en seconde hebben 2 cijfers. Jaar heeft 4 cijfers.) Het opgegeven formaat is onjuist. Zie Datum formaat.
Meting_DatumTijd (Toekomst) De datum/tijd van de meting ligt in de toekomst.
Meting_DatumTijd (Te oud) De datum/tijd valt buiten het bereik van de andere metingen.
Status_Code (Ongeldig voor import) Geen geldige status voor import. Dit moet 55 zijn (Analyse vrijgegeven).
Proces_Instanties_Codes (Onbekend of geen organisatie) De genoemde relaties zijn onbekend voor de organisatie, of zijn niet aangemerkt als een organisatie.
Project_Code (Onbekend) Project is onbekend of niet (langer) geldig.
Supplier/Meetsetnummer met gewijzigde sleutel De sleutel-onderdelen zijn gewijzigd binnen dezelfde meetset/supplier combinatie.
Supplier/Meetsetnummer anders in database De sleutel in het bestand is gewijzigd ten opzichte van meetsets die al in de database staan.

Fouten (Stamgegevens)

Melding Betekenis
Classificatie_Code (Combinatie onbekend) De classificatie_Code past niet bij de grootheid.
Compartiment_Code (Onbekend) Onbekende compartiment.
Eenheid_Berekend (Combinatie ongeldig) Combinatie eenheid en meetpakket zijn niet geldig voor berekende waarden.
Doelstelling_Code (Onbekend) Onbekende doelstelling.
Eenheid_Gemeten (Combinatie ongeldig) Combinatie eenheid en meetpakket zijn niet geldig voor gemeten waarden.
Ecotoop_Codes (Onbekend) Onbekende (combinatie) van type en code.
Ecotoop_Codes (Formaat: Komma gescheiden combinaties van soort ecotoop-systeem en ecotoop-code: <systeem>=<ecotoopcode>) Ongeldig formaat. Zie Type-Code lijst.
Grootheid_Code (Onbekend) Onbekende grootheid.
Grootheid_Code (Niet voor pakket) Grootheid mag niet volgens het meetpakket.
Limiet_Symbool (Ongeldig: kan zijn leeg, <, =, >) Ongeldig limiet symbool.
Meetpakket_Code (Onbekend) Onbekend meetpakket.
Parameter_Kenmerken (Formaat: Komma gescheiden combinaties van kenmerksoort en kenmerk: soort=kenmerk) Het formaat is onjuist.
Parameter_Kenmerken (onbekend) De combinatie van type en code komt niet voor in AquaDesk, of is ongeldig verklaard.
Parameter_Kenmerken (Niet voor pakket) De combinatie van type en code voldoen niet aan het meetpakket.
Parameter_Specificatie (Onbekend) De combinatie van Parameter_Type en Parameter_Specificatie komt niet voor in AquaDesk, of is ongeldig verklaard.
Parameter_Type (Onbekend) Onbekend type (zie boven).
Parameter_Type (Niet voor pakket) Parameter_Type past niet in het meetpakket.
Verrichting_Methoden (Onbekend) Onbekende combinatie
Verrichting_Methoden (Formaat: Komma gescheiden combinaties van methode-categorie en methode: <methodecategorie>=<methode>)) Onjuist formaat.
Waarde_Gemeten (Formaat: een punt geeft decimalen aan. Er mag slechts een enkele punt voorkomen. Decimalen zijn gelimiteerd tot 3.) Ongeldig formaat.
Waarde_Gemeten (Moet 0 zijn bij opgegeven Classificatie_Code) Indien Classificatie_Code is ingevuld, moet de Waarde_Berekend én Waarde_Gemeten dan de waarde 0 bevatten.
Waarde_Berekend (Formaat: een punt geeft decimalen aan. Er mag slechts een enkele punt voorkomen. Decimalen zijn gelimiteerd tot 3.) Ongeldig formaat.
Waarde_Berekend (Moet 0 zijn bij opgegeven Classificatie_Code) Indien Classificatie_Code is ingevuld, moet de Waarde_Berekend én Waarde_Gemeten dan de waarde 0 bevatten.

Fouten (Licensering)

Melding Betekenis
Organisatie_Codes (Organisatie onbekend) Organisatie code is onbekend.
organisatie_Codes (Formaat: Komma gescheiden combinaties van soort organisatie en organisatiecode: soort=organisatiecode. Geldige soorten zijn ORG voor organisatie van de eigenaar en SUP voor de organisatie van de leverancier) Het formaat van het veld is ongeldig.
Organisatie_Codes (Slechts een enkele organisatie per bestand toegestaan) Er staan verschillende ORG= in het bestand. Er mag slechts één organisatie in het bestand voorkomen.

Voorbeeld Bestand

Hieronder is een voorbeeld bestand wat gebruikt kan worden als template (de data in het bestand is volledig fictief).

Metingen import format.