Importeren van Metingen - 2025 Formaat

Metingen zijn vertalingen van waargenomen grootheden naar relevante eenheden. Het zijn kwantitatieve beschrijvingen van de werkelijkheid om ons heen. Metingen die in en rondom water worden gedaan, kunnen diverse vormen aannemen. Denk hierbij aan chemische metingen, metingen aan vissen, macrofyten, macrofauna, fytoplankton, enzovoort. Deze metingen worden vaak uitgevoerd door middel van bemonstering aan een bepaald meetobject. Zo'n monster, ook wel collectie genoemd, wordt vervolgens geanalyseerd en omgezet in data. Het importeren van metingen is het proces, waarbij meerdere van deze metingen tegelijkertijd worden toegevoegd via een bestand. In AquaDesk onder 'Import' en vervolgens 'Metingen', vind je de importmodule voor het importeren van een metingenbestand. In deze handleiding zullen we uitleggen hoe dit proces verloopt.

Het bestand moet aan specifieke voorwaarden voldoen en een bepaald formaat hebben. Het importeren van metingen kan alleen worden uitgevoerd als de gebruiker de juiste rechten en rollen heeft. Om metingen te kunnen wijzigen, toevoegen en verwijderen, moet de gebruiker de rol van 'importbeheerder' hebben. Alle benodigde rollen en rechten om stamgegevens te kunnen muteren, zijn te vinden onder Organisatie | Gebruikers.

Personen met de rol van Organisatiebeheerder kunnen deze rechten en rollen toekennen, wijzigen en/of intrekken. Het toewijzen van de juiste rollen binnen een organisatie is volledig de verantwoordelijkheid van de organisatie zelf. Rechten toekennen aan gebruikers buiten de organisatie gebeurt via machtigingen. Deze machtigingen worden beheerd door de organisatie waarin de gegevens worden geïmporteerd. Dit proces verloopt binnen Aquadesk via Organisatie | Machtigingen.

Formaat

Het bestand voor het importeren van meetobjecten moet een specifiek formaat hebben om correct geïmporteerd te kunnen worden. Hier leggen we uit hoe dit formaat eruitziet en welk type data in elke kolom van het importbestand wordt verwacht. Het exportformaat voor meetobjecten is identiek aan het importformaat en kan als referentie worden gebruikt. Een voorbeeldbestand is toegevoegd aan het einde van deze handleiding.

Let op: een bestand dat niet aan de vereisten voldoet, kan niet worden geïmporteerd en moet worden aangepast (zie importproces).

Het metingen importformaat, dat AquaDesk hanteert, omvat 30 kolommen. Het is essentieel om te benadrukken, dat het gebruik van niet-beschreven kolommen niet is toegestaan. AquaDesk maakt gebruik van het CSV-formaat (Comma Separated Values), waarbij punt-komma's (;) als scheidingstekens tussen de kolommen worden gebruikt. Zorg ervoor, dat de namen van de velden in de eerste rij van het bestand correct gespecificeerd zijn.

Hoewel Excel-bestanden (.xlsx) ook kunnen worden geïmporteerd, raden we af om met Excel te werken, omdat Excel de neiging heeft om gegevens aan te passen. Bovendien nemen Excel-bestanden meer geheugen in beslag. Daarom is het maximale aantal regels voor Excel-bestanden ingesteld op 125.000 voor de importmodule. Het maximum aantal regels voor .csv-bestanden is ingesteld op 250.000. Als je ervoor kiest om een bestand in Excel-formaat te importeren, zorg er dan voor, dat er geen andere tabbladen aanwezig zijn in het bestand, omdat extra tabbladen problemen kunnen veroorzaken tijdens het importproces.

Een foutief bevonden bestand (zie Valideren) zal de status "Fout" of "Fout in bestand" krijgen met daarin de toevoeging van drie extra kolommen. Die extra kolommen worden automatisch overgeslagen tijdens het valideren.

Andere kolommen dan de hier onder beschreven verplichte kolommen zijn niet toegestaan.

Numeriek formaat

Scheidingstekens tussen de kolommen zijn punt-komma's (;) Getallen in US formaat (1234.456):

Datum formaat

Het (basis) datum formaat is dd-MM-jjjj HH:mm:ss

Verplichten kolommen

Het importbestand moet de volgende kolommen bevatten:

In het geval dat er een kolom ontbreekt of de volgorde van de kolommen niet gehanteerd is, of er een spelfout in de kolomnamen aanwezig is, krijgt het importbestand de status "Fout in bestand". Wanneer de inhoud van de kolommen fouten opleveren, krijgt het bestand de status "Fout". In beiden gevallen krijgt het bestand drie kolommen aan het eind van het bestand met daarin uitleg over de aangetroffen fouten. Deze uitleg wordt per regel aangegeven. Meer informatie over specifieke fouten zijn te vinden in de foutmeldingkolommen sectie van deze handleiding.

Organisaties

In deze kolom wordt aangegeven welke organisaties betrokken zijn bij de gegevens en hun rollen daarin. De organisaties worden hier verdeeld in twee categorieën:

Dit betreft een Type-Code lijst, waarbij de rol van de organisatie wordt gevolgd door de code van de betreffende organisatie. Alleen ORG is verplicht in dit veld; de overige rollen zijn optioneel en dienen te worden ingevuld indien van toepassing. De codes voor de verschillende organisaties zijn te vinden in AquaDesk onder Domein | Organisaties.

Het formaat is: ORG=code_opdrachtgever,SUP=code_leverende_partij. Het scheidingsteken tussen de verschillende onderdelen is een komma (",").

Voorbeeld: ORG=WAM,SUP=AQN. In dit voorbeeld is de eigenaar van de gegevens Waterschap Aa en Maas (WAM), de partij die de gegevens levert Aquon (AQN). Een ander voorbeeld is ORG=RWS, waarbij Rijkswaterstaat zowel de eigenaar van de gegevens als de leverende partij is en de partij die de bemonstering heeft uitgevoerd.

Projecten

De vulling van deze kolom is optioneel.

In deze kolom wordt aangegeven voor welk project of projecten de meting is uitgevoerd. Dit veld is niet verplicht en kan leeg gelaten worden. Er kunnen één of meerderen projectcodes worden ingevoerd, de ingevoerde codes moeten overeenkomen met aangemaakte projecten onder Organisatie | Projecten.

MeetObject

Deze kolom bevat de code van het meetobject waarvoor de meting heeft plaatsgevonden. Deze codes zijn te vinden in AquaDesk onder Organisatie | MeetObjecten. De opgevoerde code van het meetobject moet gelijk zijn aan een van de codes van de meetobjecten onder de organisatie waarvoor de metingen worden geïmporteerd.

CollectieDatumTijd

Geeft de datum en tijd weer, waarop de collectie (bemonstering) heeft plaatsgevonden. Het formaat wat hiervoor gebruikt wordt is: dd-MM-jjjj HH:mm

CollectieReferentie

Een collectie referentie geeft een unieke code in AquaDesk weer voor een collectie (een monster). Deze code noemen we de collectie referentie. Alle meetresultaten van deze collectie moeten dezelfde collectie referentie hebben. Alleen op die manier kan de samenhang tussen verschillende metingen binnen de collectie worden aangegeven.

Een collectie referentie wordt gekoppeld aan een specifieke sleutel:

Binnen een collectie referentie mogen deze onderdelen niet variëren. Bovendien mag de combinatie van deze onderdelen altijd slechts één enkele collectie referentie opleveren. Dit betekent, dat er maar één collectie (met een unieke collectie referentie) kan voorkomen voor een bemonstering op een locatie (MeetObject) op een specifiek tijdstip (CollectieDatumTijd) met dezelfde bemonsterende organisatie.

CollectieNotitie

De vulling van deze kolom is optioneel.

Dit veld wordt gebruikt om notities toe te voegen aan de meting. Hier wordt de tekst of code ingevoerd die betrekking heeft op de bijbehorende notitie. Deze notities moeten geldig zijn in AquaDesk onder Organisatie | Notities. De notitietekst die ingevoerd is, mag slechts één keer gebruikt worden binnen de organisatie. De notities zijn organisatiespecifiek en de verantwoordelijkheid voor het onderhoud van deze notities ligt bij de desbetreffende organisatie. De maximale lengte van dit veld bedraagt 450 tekens.

Aquadesk hanteert de volgende regels tijdens het controleren van de waarden onder de kolommen CollectieNotitie, MeetSetNotitie en MetingNotitie;

Instanties

In deze kolom wordt aangegeven welke instanties betrokken zijn bij de gegevens en hun rollen daarin. De instanties worden hier verdeeld in drie categorieën:

In deze kolom wordt aangegeven welke organisatie de betreffende analyse heeft uitgevoerd (ANA), welke partij de gegevens heeft gecontroleerd (CHK), en welke partij de bemonstering heeft uitgevoerd (SMP). Het betreft hier een Type-Code lijst. De opgegeven code voor de organisatie moet geregistreerd staan in AquaDesk of moet aangemaakt zijn onder Organisatie | Relaties bij de organisatie waar de data wordt geïmporteerd.

Het formaat is: ANA=code_analyserende_relatie,CHK=code_validerende_relatie,SMP=code_bemonsterende_relatie

Voorbeeld: ANA=EAS,CHK=AQN,SMP=WBE. In dit voorbeeld is de analyse uitgevoerd door Eurofins Aquasense (EAS), is Aquon (AQN) de controlerende partij en is het monster genomen door Waardenburg Ecology (WBE).

Doelstelling

De doelstelling geeft aan met welk doel de meting is uitgevoerd. Aquadesk biedt twee opties: Kwaliteit of Monitoring. Een kwaliteitsmeting krijgt de code KT en een monitoringsmeting de code MT. De meeste metingen hebben als doelstelling monitoring; dit zijn de reguliere monsters, die genomen worden. Metingen die de code KT krijgen, zijn bijvoorbeeld controlemonsters die genomen zijn, zoals interne audits, duplicaatmonsters of monsters voor ringonderzoek.

De code van de doelstellingen staan in AquaDesk onder Domein | Meetdoelen.

GeografieDatum

De vulling van deze kolom is optioneel, behalve wanneer GeografieVorm is ingevuld.

In geografie datum wordt de EPSG-code genoteerd, die de geografische datum aangeeft. AquaDesk ondersteunt de volgende waarden in deze kolom:

Code Uitleg
EPSG:4154 ED50/ED77
EPSG:4230 ED50
EPSG:4258 ETRS89
EPSG:4326 WGS84
EPSG:4668 ED79
EPSG:25831 ETRS89 (31N)
EPSG:28992 Amersfoort / RD New

GeografieVorm

De vulling van deze kolom is optioneel, behalve wanneer GeografieDatum is ingevuld.

De combinatie van kolommen GeografieDatum, Geografie_Notatie, en GeografieVorm kan worden gebruikt om een meetlocatie aan te geven die afwijkt van de coördinaten van het opgegeven meetobject.

De invulling van deze kolom is afhankelijk van de waarde, die is ingevoerd bij Geografie_Notatie. Als daar 'XY' is ingevoerd, worden in GeografieVorm X- en Y-coördinaten ingevuld, gescheiden door een spatie. Als 'WKT' is ingevoerd in Geografie_Notatie, wordt in GeografieVorm ofwel een punt (POINT()) ofwel een gebied ingevoerd. Zie 'WKT' voor de mogelijke invoermogelijkheden.

Ecotopen

De vulling van deze kolom is optioneel.

In dit veld kunnen ecotoop-codes worden opgegeven. Dit kunnen er meer dan één zijn. Het betreft hier een Type-Code lijst, waarbij de code voor het ecotoopsysteem het type vormt, en de code voor het ecotoop de specifieke code is. Bijvoorbeeld: ZES.1=B2.11,EUNIS=A5.25

Binnen Aquadesk zijn de verschillende ecotoopsystemen en hun ecotopen te vinden onder Domein | Ecotopen. Hier vind je de verschillende ecotoopsystemen en hun codes. Wanneer een ecotoopsysteem wordt geselecteerd, verschijnen de ecotopen die onder dat ecotoopsysteem vallen, met hun bijbehorende codes.

MeetPakket

In dit veld wordt de code van het meetpakket of analysepakket, waar de meting onder valt binnen Aquadesk, genoteerd. Dit is afhankelijk van de bijbehorende parameter en/of grootheid, met de daarbij behorende kenmerk, eenheid en taxontype, indien van toepassing. De invulling van MeetPakket bepaalt de vormgeving van bijvoorbeeld de kolommen:

De codes voor meetpakketten staan in AquaDesk onder Domein | MeetPakketten. De codes voor analysepakketten staan onder Domein | Analysepaketten.

Methoden

De vulling van deze kolom is optioneel.

Verrichting_Methoden kunnen gebruikt worden om aan te geven welke methoden of apparaten zijn gebruikt in de meting. Het gaat hier om een Type-Code lijst.

Het type moet overeenkomen met één van de codes, die binnen AquaDesk worden gebruikt voor methode categorieën. De code moet overeenkomen met een van de codes, die onder het opgegeven type vallen. Deze methoden kunnen worden gevonden in AquaDesk onder Organisatie | Methoden. Als er meerdere methoden worden opgegeven, zoals een monstermethode en een analysemethode, dan worden de verschillende type-code paren gescheiden door een komma. Voorbeeld:

MM=MACEV_S020,AM=MACEV_A020

MeetSetNotitie

De vulling van deze kolom is optioneel.

Dit veld wordt gebruikt om notities toe te voegen aan de meting. Hier wordt de tekst of code ingevoerd, die betrekking heeft op de bijbehorende notitie. Deze notities moeten geldig zijn in AquaDesk onder Organisatie | Notities. De notitietekst die ingevoerd is, mag slechts één keer gebruikt worden binnen de organisatie. De notities zijn organisatiespecifiek en de verantwoordelijkheid voor het onderhoud van deze notities ligt bij de desbetreffende organisatie. De maximale lengte van dit veld bedraagt 450 tekens.

Aquadesk hanteert de volgende regels tijdens het controleren van de waarden onder de kolommen CollectieNotitie, MeetSetNotitie en MetingNotitie;

  • Wanneer Tekst aanwezig, moet de tekst voor 100% overeen komen met een bestaande notitie in Aquadesk onder Organisatie | Notities
  • De bestaande notitie moet voorkomen voor het zelfde niveau, in dit geval Meetset.

Compartiment

Deze kolom geeft het compartiment weer, waarin de meting is uitgevoerd. In dit veld dient de code opgegeven te worden, die correspondeert met een geldig compartiment binnen Aquadesk. De codes staan in AquaDesk onder Domein | Compartimenten. Hieronder een voorbeeld voor de code voor het compartiment Bodem / Sediment:

BS

Grootheid

Een grootheid is een (natuurkundige) eigenschap, die kwantificeerbaar is, zoals massa of aantal. Een grootheid wordt numeriek uitgedrukt in een eenheid, zoals kilogram of exemplaren.

In dit veld moet een geldige grootheid code opgegeven worden, deze zijn te vinden in Aquadesk onder Domein | Grootheden. Daarnaast moet de opgegeven code onderdeel zijn van het aangegeven meetpakket onder MeetPakket. De meetpakket codes zijn te vinden in Aquadesk onder Domein | MeetPakketten.

Als voorbeeld, de grootheidcode massa is: MASSA en grootheidcode voor aantal is: AANTL

ParameterType

ParameterType geeft aan onder welke categorie de parameter valt. Het veld is verplicht wanneer Parameter is ingevuld. De combinatie van ParameterType en Parameter moet altijd een geldige combinatie vormen binnen Aquadesk.

Het opgegeven meetpakket geeft aan welke code voor het parametertype in dit veld opgevoerd mag worden. Het gaat hier om een combinatielijst en er dient een van de volgende codes te worden opgevoerd:

Code Betekenis
BIOTG Biologische groepen (Domein | Biologische groepen)
CHEMS Chemische stoffen (Domein | Chemische stoffen)
CHEMG Chemische samenstellingen (Domein | Chemische samenstellingen)
FYSIO Fysische objecten (Domein | Fysische objecten)
TAXON* Taxontype (Domein | Taxontypes)
NVT Niet van toepassing
* Het gaat hier niet om de code TAXON, maar om een van de codes onder taxontype, die geldig zijn in Aquadesk onder Domein | Taxontypes. De code voor het taxontype moet overeenkomen met de opgevoerde taxa bij ParameterKenmerken.

Parameter

Hier wordt de specifieke parameter beschreven, waarop de meting betrekking heeft. Dit kan verschillende vormen aannemen, zoals de soortsnaam van een taxa of de naam van een chemische stof. Het is ook mogelijk, dat dit veld leeg gelaten moet worden. De combinatie van ParameterType en Parameter moet voldoen aan de geldige specificaties binnen AquaDesk.

ParameterKenmerken

De vulling van dit veld is een Type-Code lijst en is optioneel.

ParameterKenmerken biedt de mogelijkheid om specifieke kenmerken aan te geven, die zijn waargenomen bij de meting. Voorbeelden hiervan zijn leeftijdsklasse, levensstadium, levensvorm, enzovoort. Het is optioneel om meerdere parameterkenmerken per regel in te voeren, gescheiden door een komma.

Een voorbeeld voor de vulling van dit veld is: LS=LS-LA,GS=GE-M.

In bovengenoemd voorbeeld wordt aangegeven, dat de invoer betrekking heeft op larvale exemplaren en exemplaren van het mannelijke geslacht. Hier wordt gestart met de code voor het kenmerktype, gevolgd door een =-teken, en vervolgens de code voor het specifieke kenmerk. Belangrijk is om geen spaties te plaatsen tussen de verschillende parameterkenmerken. Bij het kenmerktype Hoedanigheid kunnen verschillende kenmerken gecombineerd worden onder één regel, terwijl bij de overige kenmerktypen slechts één kenmerk per regel opgegeven kan worden.

Een voorbeeld van een invoer met verschillende hoedanigheden is: HD=adg,HD=INSU

De beschikbare kenmerken zijn te vinden in AquaDesk onder Domein | Kenmerken. Het type moet overeenkomen met de typecode in AquaDesk en de code moet geldig zijn binnen de kenmerken van de betreffende typecode.

WaardeGemeten

Dit veld bevat de gemeten waarde. Indien er bij Classificatie een waarde is ingevuld, moet dit veld een 0 weergeven. Zie Numeriek formaat.

EenheidGemeten

Dit veld bevat de code van de eenheid waarin WaardeGemeten is uitgedrukt. De eenheid moet geldig zijn volgens AquaDesk, deze zijn te vinden onder Domein | Eenheden. Ook moet het toegestaan zijn door het onder MeetPakket ingevoerde meetpakket of analysepakket. Deze waarden zijn te vinden in Aquadesk onder Domein | MeetPakketten en Domein | Analysepaketten. Hier vind je de toegestane grootheden voor het betreffende pakket. De toegestane grootheden bepalen welke eenheden er ingevuld kunnen worden.

LimietSymbool

De vulling van deze kolom is optioneel.

In dit veld wordt, in dien van toepassing, een limiet symbool toegevoegd. De volgende symbolen zijn toegestaan in dit veld:

Symbool Betekenis
Exacte waarde
< Waarde kan kleiner zijn dan gemeten waarde
= Waarde is (ongeveer) gelijk aan de gemeten waarde
> Waarde kan groter zijn dan de gemeten waarde

WaardeBerekend

Dit veld bevat de berekende waarde. Indien er bij Classificatie een waarde is ingevuld, moet dit veld een 0 weergeven. Zie Numeriek formaat.

Classificatie

De vulling van deze kolom is optioneel.

Een Classificatie kan worden gebruikt bij bepaalde grootheden, die moeilijk in een getal zijn uit te drukken, zoals geur, kleur, meandering en de Braun-Blanquet-schaal.

De ingevulde code moet overeenkomen met één van de codes, die zijn toegestaan onder de opgegeven grootheid in het veld Grootheid. De beschikbare classificatiecodes zijn te vinden in AquaDesk onder Domein | Grootheden, door de betreffende grootheid te selecteren. Indien Classificatie is ingevuld, moeten de velden WaardeGemeten én WaardeBerekend beide de waarde 0 bevatten.

EenheidBerekend

Dit veld bevat de code van de eenheid waarin WaardeBerekend is uitgedrukt. De eenheid moet geldig zijn volgens AquaDesk, deze zijn te vinden onder Domein | Eenheden. Daarnaast moet het gebruik van deze eenheid zijn toegestaan volgens het onder MeetPakket ingevoerde meetpakket of analysepakket. De toegestane eenheden zijn te vinden in AquaDesk onder Domein | MeetPakketten en Domein | Analysepaketten. Hier vind je de toegestane grootheden voor het betreffende pakket. De toegestane grootheden bepalen welke eenheden er ingevuld kunnen worden.

MetingKenmerken

De vulling van deze kolom is optioneel.

In de kolom Metingen_Kenmerken kunnen kenmerken met betrekking tot de meting ingevuld worden. Het gaat hier bijvoorbeeld om Waardebepalingsmethoden. Dit betreft een Type-Code lijst, waarbij de code voor het Kenmerktype gevolgd wordt door de code voor het Kenmerk. Een voorbeeld hiervan is het kenmerktype Waardebepalingsmethode met het kenmerk Berekend: WP=BEREKEND. Kenmerktypen en kenmerken zijn te vinden in Aquadesk onder Domein | Kenmerken.

MetingNotitie

De vulling van deze kolom is optioneel.

Dit veld wordt gebruikt om notities toe te voegen aan de meting. Hier wordt de tekst of code ingevoerd, die betrekking heeft op de bijbehorende notitie. Deze notities moeten geldig zijn in AquaDesk onder Organisatie | Notities. De notitietekst die ingevoerd is, mag slechts één keer gebruikt worden binnen de organisatie. De notities zijn organisatiespecifiek en de verantwoordelijkheid voor het onderhoud van deze notities ligt bij de desbetreffende organisatie. De maximale lengte van dit veld bedraagt 450 tekens.

Aquadesk hanteert de volgende regels tijdens het controleren van de waarden onder de kolommen CollectieNotitie, MeetSetNotitie en MetingNotitie;

  • Wanneer Tekst aanwezig, moet de tekst voor 100% overeen komen met een bestaande notitie in Aquadesk onder Organisatie | Notities
  • De bestaande notitie moet voorkomen voor het zelfde niveau, in dit geval Meting

MetingDatumTijd

Geeft de datum en tijd weer, waarop de meting is afgerond. Het formaat wat hiervoor gebruikt wordt is: dd-MM-jjjj HH:mm:ss

Zie datum formaat voor de verdere beschrijving.

Status

Dit veld geeft de status code weer volgens AquaDesk. Voor het metingen import formaat geldt dat uitsluitend code 55 (Analyse vrijgegeven) is toegestaan.

Importproces

Het proces zelf bestaat uit twee fasen: valideren en importeren. In beide gevallen is het belangrijk om rekening te houden met de volgende randvoorwaarden:

  1. U kunt alleen meetsets importeren in de eigen organisatie, als u daarvoor voldoende rechten heeft.
  2. De te importeren gegevens dienen te voldoen aan de eisen van een AquaDesk Standaard Metingen CSV-bestand. Deze beschrijving wordt verder uitgebreid toegelicht. Er kan ook altijd via de Viewer een metingenexport worden gemaakt, wanneer specifiek onderzocht moet worden, hoe bepaalde metingen vastgelegd dienen te worden.
  3. MeetObjecten, waarvoor u meetsets/metingen importeert, dienen binnen AquaDesk te bestaan.
  4. Eventuele verwijzingen naar projecten, methoden en organisaties/relaties dienen in AquaDesk te bestaan.
  5. U kunt, voordat u importeert, het bestand valideren (default). Dit is een technische controle op structuur en inhoud. Als er fouten in het bestand staan, worden deze in een foutenrapport gemeld.
  6. Wanneer het bestand valide is bevonden, kunt u het vakje “Importeren na valideren” aanvinken, zodat de meetset ook daadwerkelijk wordt geïmporteerd

Valideren

Altijd wordt eerst het bestand gevalideerd. Daarvoor moet degene, die wil valideren, de rol 'Import validator' of 'Import beheerder' hebben binnen de organisatie.

In deze fase worden alle data in het bestand gevalideerd, dus: zijn geldige grootheden, eenheden, parameters gebruikt? Bestaat de locatie? Pas de eenheid bij de grootheid? etc. In deze fase zitten meer dan 40 afzonderlijke stappen, bedoeld om te voorkomen, dat ongeldige informatie in AquaDesk komt.

AquaDesk kan niet alles controleren. Het kan wél zien of een waarde correct is, maar kan bijvoorbeeld niet zien of een waarde te hoog of te laag is.

Wanneer het bestand niet valide is bevonden, dan geeft AquaDesk dat aan in het rooster op het scherm. Door op de eerste kolom van het gevalideerde item te klikken, worden details getoond en kan het resulterende bestand worden gedownload.

Wanneer het formaat van het bestand onjuist is, zal AquaDesk een regel toevoegen, als eerste in het bestand, met uitleg welke kolommen nog ontbreken.

Importeren

Voor deze tweede fase is de rol 'Import beheerder' benodigd. Deze wordt alleen uitgevoerd, wanneer tijdens het validatieproces het bestand geldig is bevonden én het vinkje 'Importeren na validatie' handmatig is aangezet.

In deze fase worden de metingen in AquaDesk geïntegreerd. Dat betekent, dat nieuwe metingen worden geïmporteerd en bestaande metingen (die zowel in AquaDesk als in het bestand zitten) overschreven.

AquaDesk accepteert uiteraard niet ieder bestand. Het moet het juiste formaat hebben.

Import historie:
  1. In de historie kunt u zien, wanneer welke datasets zijn toegevoegd.
  2. Eerder gevalideerde en mislukte datasets kunnen, indien gewenst, ook weer worden verwijderd. Dit kan door de desbetreffende regel eerst te selecteren en, met de blauwe importknop bovenin, weer te verwijderen.
  3. We adviseren kopieën van de geïmporteerde bestanden te bewaren. In het geval van calamiteiten of het per ongeluk verwijderen van meetsets, kunt u altijd een her-import doen, waarbij de oorspronkelijke data kan worden teruggezet.
  4. In de detailgegevens van de import (klik op de hyperlink van de importnaam) kunt u uw bestand via de grijze knop downloaden en verder analyseren. AquaDesk voert een aantal controles uit op het bestandsformaat. De foutmeldingen staan altijd in de laatste drie kolommen van het gedownloade CSV-bestand. Deze kunt u hier verder analyseren en evalueren.

Probleemoplossing

Excel

Vermijd het gebruik van Excel in combinatie met CSV-bestanden.

Excel heeft de neiging om data in een CSV-bestand te wijzigen, zoals het automatisch plaatsen van decimale en duizendtal scheidingstekens en het verwijderen van voorloopnullen. Het gedrag van Excel varieert ook afhankelijk van taal- en regio-instellingen, evenals de taalversie van Excel zelf. Dit leidt tot veel problemen, die door onze gebruikers worden gemeld. Helaas hebben we geen controle over hoe Excel CSV-bestanden behandelt.

Het interpreteren van data door Excel kan worden gestopt door een tab aan het begin van elk veld in het bestand toe te voegen. Het nadeel hiervan is echter, dat Excel dan niet meer in staat is om berekeningen uit te voeren met deze gegevens.

Er zijn betere alternatieven voor het werken met CSV-bestanden, hoewel deze niet dezelfde intelligentie bevatten als Excel. Informatiehuis Water raadt tegenwoordig CSVPad aan. Niettemin is Visual Studio Code met plugins zoals edit-csv een bruikbaar alternatief in veel gevallen.

Formaatproblemen met de BOM (Byte Order Mask)

Sommige softwarepakketten voegen een zogenaamde BOM (Byte Order Mark) toe. Dit regelt hoe een softwarepakket moet omgaan met speciale tekens. Daardoor kunnen echter juist vreemde problemen ontstaan en kan het CSV-bestand soms worden geweigerd.

Probeer daarom eerst te kijken of de BOM nog aanwezig is en verwijder die. De oplossing is om de BOM te verwijderen in Kladblok. De BOM zijn dan alle tekens vóór de naam van de eerste kolom. Bijvoorbeeld:  Als u het aangepaste bestand vervolgens weer converteert naar een CSV-formaat, dan zou hiermee de foutmelding verholpen moeten zijn.

Hier wordt uitgelegd hoe de BOM verwijderd kan worden met (een recente versie van) kladblok (notepad) van Windows.

Foutmeldingkolommen

De volgende kolommen worden alleen gebruikt door AquaDesk om aan te geven, welke fouten er nog zijn aangetroffen in het te valideren bestand.

Fouten (Organisatiegegevens)

Melding Betekenis
CollectieDatumTijd (Formaat: dag-maand-jaar uur:minuut. Dag, maand, uur en minuut hebben 2 cijfers. Jaar heeft 4 cijfers. Seconden zijn niet toegestaan in dit veld.) Het opgegeven formaat is onjuist. Zie Datum formaat. Let op de seconden. Die zijn niet toegestaan hier.
CollectieDatumTijd (Toekomst) De datum/tijd ligt in de toekomst.
CollectieDatumTijd (Te oud) De datum/tijd valt buiten het bereik van de andere metingen.
GeografieDatum onbekend. Ondersteund: (lijst met ondersteunde codes) GeografieDatum wordt niet ondersteund. Zie de lijst hierboven met ondersteunde codes.
CollectieReferentie (Ontbreekt)
CollectieReferentie is een verplicht veld.
CollectieReferentie (Sleutelwaarden wijzigen binnen de referentie) De sleutelwaarden zijn gewijzigd binnen een collectiereferentie.
Geografie_Notatie (Onbekend) Geografie_Notatie is onbekend. Zie de lijst hierboven met ondersteunde codes.
GeografieVorm (XY) (Formaat: X, Y met een punt voor decimalen. Rijksdriehoek-coördinaten zijn in meters en moeten binnen het RD gebied liggen). Het opgegeven XY-formaat is onbekend.
GeografieVorm (WKT) (Formaat: geldig WKT. Zie WKT Het WKT-formaat is ongeldig. Zie WKT voor informatie over het formaat.
MeetObject (Onbekend) MeetObject is onbekend of niet (langer) geldig.
Meting_Correlatie (Moet leeg zijn of een geheel getal zonder punten of komma's.) Waarde is geen geheel getal.
MetingDatumTijd (Formaat: dag-maand-jaar uur:minuut:seconde. Dag, maand, uur, minuut en seconde hebben 2 cijfers. Jaar heeft 4 cijfers.) Het opgegeven formaat is onjuist. Zie Datum formaat.
MetingDatumTijd (Toekomst) De datum/tijd van de meting ligt in de toekomst.
MetingDatumTijd (Te oud) De datum/tijd valt buiten het bereik van de andere metingen.
Status (Ongeldig voor import) Geen geldige status voor import. Dit moet 55 zijn (Analyse vrijgegeven).
Instanties (Onbekend of geen organisatie) De genoemde relaties zijn onbekend voor de organisatie, of zijn niet aangemerkt als een organisatie.
Projecten (Onbekend) Project is onbekend of niet (langer) geldig.
Supplier/Meetsetnummer met gewijzigde sleutel De sleutel-onderdelen zijn gewijzigd binnen dezelfde meetset/supplier combinatie.
Supplier/Meetsetnummer anders in database De sleutel in het bestand is gewijzigd ten opzichte van meetsets die al in de database staan.

Fouten (Stamgegevens)

Melding Betekenis
Classificatie (Combinatie onbekend) De classificatie past niet bij de grootheid.
Compartiment (Onbekend) Onbekende compartiment.
EenheidBerekend (Combinatie ongeldig) Combinatie eenheid en meetpakket zijn niet geldig voor berekende waarden.
Doelstelling (Onbekend) Onbekende doelstelling.
EenheidGemeten (Combinatie ongeldig) Combinatie eenheid en meetpakket zijn niet geldig voor gemeten waarden.
Ecotopen (Onbekend) Onbekende (combinatie) van type en code.
Ecotopen (Formaat: Komma gescheiden combinaties van soort ecotoop-systeem en ecotoop-code: <systeem>=<ecotoopcode>) Ongeldig formaat. Zie Type-Code lijst.
Grootheid (Onbekend) Onbekende grootheid.
Grootheid (Niet voor pakket) Grootheid mag niet volgens het meetpakket.
LimietSymbool (Ongeldig: kan zijn leeg, <, =, >) Ongeldig limiet symbool.
MeetPakket (Onbekend) Onbekend meetpakket.
ParameterKenmerken (Formaat: Komma gescheiden combinaties van kenmerksoort en kenmerk: soort=kenmerk) Het formaat is onjuist.
ParameterKenmerken (onbekend) De combinatie van type en code komt niet voor in AquaDesk, of is ongeldig verklaard.
ParameterKenmerken (Niet voor pakket) De combinatie van type en code voldoen niet aan het meetpakket.
Parameter (Onbekend) De combinatie van ParameterType en Parameter komt niet voor in AquaDesk, of is ongeldig verklaard.
ParameterType (Onbekend) Onbekend type (zie boven).
ParameterType (Niet voor pakket) ParameterType past niet in het meetpakket.
Verrichting_Methoden (Onbekend) Onbekende combinatie
Verrichting_Methoden (Formaat: Komma gescheiden combinaties van methode-categorie en methode: <methodecategorie>=<methode>)) Onjuist formaat.
WaardeGemeten (Formaat: een punt geeft decimalen aan. Er mag slechts een enkele punt voorkomen. Decimalen zijn gelimiteerd tot 3.) Ongeldig formaat.
WaardeGemeten (Moet 0 zijn bij opgegeven Classificatie) Indien Classificatie is ingevuld, moet de WaardeBerekend én WaardeGemeten dan de waarde 0 bevatten.
WaardeBerekend (Formaat: een punt geeft decimalen aan. Er mag slechts een enkele punt voorkomen. Decimalen zijn gelimiteerd tot 3.) Ongeldig formaat.
WaardeBerekend (Moet 0 zijn bij opgegeven Classificatie) Indien Classificatie is ingevuld, moet de WaardeBerekend én WaardeGemeten dan de waarde 0 bevatten.

Fouten (Licensering)

Melding Betekenis
Organisaties (Organisatie onbekend) Organisatie code is onbekend.
Organisaties (Formaat: Komma gescheiden combinaties van soort organisatie en organisatiecode: soort=organisatiecode. Geldige soorten zijn ORG voor organisatie van de eigenaar en SUP voor de organisatie van de leverancier) Het formaat van het veld is ongeldig.
Organisaties (Slechts een enkele organisatie per bestand toegestaan) Er staan verschillende ORG= in het bestand. Er mag slechts één organisatie in het bestand voorkomen.

Voorbeeld Bestanden

Hieronder is een excel bestand waarin de aanpassingen aan het formaat uitgelegd zijn.

Metingen import foraat uitleg

Hieronder is een voorbeeld bestand wat gebruikt kan worden als template (de data in het bestand is volledig fictief).

Metingen import formaat