Datalake Asset Management

Alle meetgegevens, normoverschrijdingen en informatie over meetactualiteit vanuit BBMS is beschikbaar ten behoeve van data analyse of dagelijkse updates in applicaties, inclusief historie vanuit het Datalake. Dit geldt ook voor alle configuratiedata over equipments uit SAP. Hieronder vind je alle achtergrond informatie en hoe je toegang kunt krijgen tot deze data.

Wat is het Datalake Assetmanagement?  

Het Datalake is onderdeel van het  Big Data Analysis Platform (BDAP) waarin dagelijks en historisch data verzameld en opgewerkt wordt vanuit verschillende systemen binnen Asset management, zoals BBMS of SAP data.  Met deze data kunnen analyses worden uitgevoerd, bijvoorbeeld over meerdere jaren. Of kan data worden gecombineerd, zoals de normoverschrijdingen uit BBMS of Spoorinspectie en de opvolging daarvan uit SAP RVO data.

Wat is er nu bereikt?   

Er zijn kaders vastgesteld die voor het BDAP gelden voor heel ProRail om de data te kunnen verwerken tot de laag waarin alle data gestandaardiseerd wordt opgeslagen.  Er wordt nu vanuit Logistiek, AM, Finance gewerkt om zoveel mogelijk data te verzamelen in het BDAP.  

Het Asset management Business Intelligence team (AMBI) heeft de afgelopen jaren mee gewerkt aan deze kaders en het ontvangen en opwerken van data vanuit de systemen binnen Asset Management.  

Op dit moment zijn de volgende datasets beschikbaar:  

·     Alle meetgegevens en normoverschrijdingen vanuit BBMS, inclusief historie  

·     Alle Equipments en bijbehorende kenmerken uit SAP, inclusief historie 
 

Deze datasets zijn opgewerkt tot en met de Standardized laag, dat betekent dat je wat kennis en ervaring moet hebben van data analyse en data engineering om er mee te kunnen werken.  

Hoe krijg je toegang tot de data?

De data is beschikbaar via verschillende kanalen:

• API
• SQL
• Power BI
• Excel
• Sandbox omgeving  

De datasets vallen onder Data Governance. Dit houdt in dat wij samen met data-eigenaren en data stewards dagelijks werken aan het waarborgen van de datakwaliteit. Voor het verstrekken van de data zijn afspraken gemaakt met de data-eigenaren. In de meeste gevallen is de data vrij beschikbaar binnen ProRail. Wanneer datasets vertrouwelijke informatie bevatten, is voorafgaande afstemming met de data-eigenaar noodzakelijk.

Hoe kan ik er nu gebruik van maken?  

We hebben een Sharepoint site gerealiseerd, waarop je exact kunt vinden welke datasets beschikbaar zijn en vanaf welke datum de historie is opgebouwd: Datalake Platform - Home. Ook kun je een keuzehulp vinden. Als je de vragen van de keuzehulp volgt, komt er een advies uit, op welke wijze je de data het beste kunt aanvragen, bijvoorbeeld via een Sandbox of SQL viewer.

Wat is het eind doel? 

Het eind doel is dat alle relevante data in het BDAP zal worden opgeslagen en verwerkt tot deze eerste laag, Standardized. Daarnaast zal deze data naar behoefte kunnen worden geaggregeerd en gecombineerd en kun je als eindgebruiker deze informatieproducten opvragen, bijvoorbeeld via PowerBI en zelf analyses en inzichten creëren.  Op dit moment werken we aan het opwerken van de SAP RVO data. Zodra dit ook ter beschikking kan worden gesteld, zullen we dit via deze site communiceren.

Vanaf nu zullen we via de Sharepoint site van het Datalake jullie op de hoogte houden van nieuw beschikbare datasets of andere nieuwe ontwikkelingen.

Waar kan ik mijn vragen stellen?  

Op de sharepoint site vind je alle informatie, hoe je data aan kunt vragen, en de handleidingen hoe je bij de data kunt komen.  

Mocht je vervolgens nog aanvullende vragen hebben, stel ze aan ons team. Mail dan naar: am-datalake-platform@prorail.nl.