Mithilfe von Web-Scraping-Tools und RPA werden Medikamentenpreise von Websites extrahiert. Diese Daten werden mit Informationen aus Open-Data-Quellen zusammengeführt und speisen ein Data Warehouse, das Zeitreihen der Preise und ihrer Entwicklung im Zeitverlauf enthält.
Ziele
- Extraktion der Medikamentenpreise aus unterschiedlichen Quellen
- Aufbau eines Data Warehouse mit Zeitreihen zu Medikamentenpreisen
- Entwicklung eines Tools zur Preisabfrage
Die Preise für Medikamente und medizinisches Material sind im Bereich der Europäischen Union stark reguliert. Die Regierungen der einzelnen Länder oder sogar Regionen legen ihre Preise entsprechend der sozioökonomischen Lage sowie der Einstufung in Generika, Einzelpräparate oder nicht subventionierte Produkte fest. Die von den Ländern veröffentlichten Daten liegen meist in schwer zu verarbeitenden Formaten vor, vorwiegend als PDF.
Was wir tun
Wir erstellen einen leistungsstarken Datensatz, um in späteren Phasen fortgeschrittene Analysen der Daten durchführen zu können. Daher konzentrieren wir uns in dieser ersten Phase auf die Beschaffung und den Aufbau des Datenspeichers, indem wir uns mit von öffentlichen und privaten Stellen veröffentlichten Daten verbinden und dabei teilweise auf RPA-Technologien (Robotic Process Automation) und Web Scraping zurückgreifen, um Informationen aus nahezu jedem Dokument oder jeder Website extrahieren zu können.
Unsere Vorgehensweise
Katalogisierung und Klassifizierung
In der ersten Phase wird das Datenmodell entworfen, das den Katalog der Referenzen, Länder und Klassifizierungen enthält.
Dabei zeigt sich die Bedeutung der verfügbaren Informationen sowie des Datenvolumens, das extrahiert werden kann.
Extraktion
Wir entwerfen und entwickeln die Web Scraper und robotergestützten Prozesse zur Preisextraktion für jede identifizierte Quelle sowie für die Gesundheitsportale der einzelnen Länder.
Wir implementieren ein Data Warehouse und Datenmodell zur Speicherung aller identifizierten Zeitreihen.
Speicherung und Visualisierung
Wir passen die Daten mittels ETL-Prozessen an das Modell an und schließen den Prozess mit der Speicherung im implementierten Datenrepository ab.
Wir entwickeln und implementieren Dashboards, Berichte und KPI-Indikatoren, die den Zugriff auf und die Analyse der Informationen erleichtern.