Patient finder > Criteria > Term toevoegen > Verslagen Plus
Data collector > Vragen > Vraag toevoegen > Term toevoegen > Verslagen Plus
Verslagen Plus is op dit moment een experimentele functionaliteit binnen CTcue. Niet elke gebruiker kan standaard dit type zoekterm toevoegen aan een project. Wil je de functionaliteit graag testen? Vraag of de beheerder van CTcue in jouw ziekenhuis je toegang wil geven tot het gebruik. Dit kan in het administratie paneel onder gebruikers > selecteer gebruiker > permissies > experimentele functionaliteiten > vink “Toegang tot de verslagen plus categorie” aan.
Omdat Verslagen Plus nog een experimentele functionaliteit is, is deze aan veranderingen in gebruik en toepassing onderhevig. Het applicatie development team zal op een later moment, na uitgebreid testen, de functionaliteit verder ontwikkelen en verbeteren. De functionaliteit zal daarna algemeen beschikbaar worden gemaakt in de CTcue applicatie.
Heb jij Verslagen Plus getest? We horen graag over je ervaringen. Deel je feedback en verbeterpunten via support@ctcue.com. Zie je in de app dat de AI algoritmes een fout maken? Gebruik de AI feedback knop in de applicatie.
Inhoud artikel
- Introductie
- Filteropties voor dit type zoekterm
- AI-geassisteerd zoeken aanzetten
- Patiënt lijdt wel of niet aan een conditie
- Ik krijg nergens een zekerheidsscore te zien
- Live verwerking door de AI algoritmes & verwachte wachttijden
Verslagen Plus is een zoekterm categorie die extra mogelijkheden biedt bovenop de standaard Verslagen zoekterm categorie. Je doorzoekt dezelfde medische teksten en verslagen als met de Verslagen categorie.
Met de gewone Verslagen zoektermen kan je zoeken naar teksten waarin een bepaalde medische conditie en de synoniemen daarvoor (concepten) genoemd worden. Bijvoorbeeld diagnoses zoals ‘diabetes’ en symptomen als ‘hoesten’. Maar het kan zijn dat een arts in het verslag “geen sprake van diabetes” heeft geschreven. Hoe filter je deze verslagen eruit, als je alleen patiënten wil vinden die daadwerkelijk diabetes hebben?
Hier kunnen Verslagen Plus zoektermen bij helpen. Tijdens het zoeken in teksten kan je geassisteerd worden door de artificial intelligence (AI) / Natural Language Processing (NLP) algoritmes die ontwikkeld zijn door CTcue. Deze algoritmes kunnen je op dit moment op twee manieren ondersteunen bij het zoeken in de tekst:
- Context interpretatie en zekerheidsscores
De AI algoritmes kunnen medische condities detecteren in tekst en vervolgens de context interpreteren waarin deze condities genoemd zijn. Op basis van de interpretatie bepalen de algoritmes of de patiënt wel of niet lijdt aan deze conditie en berekenen een zekerheidsscore die uitdrukt hoe zeker de AI-algoritmes zijn van de correctheid van hun interpretatie. Met Verslagen Plus kan je filters instellen om bijvoorbeeld alleen patiënten terug te vinden waarvan de CTcue AI algoritmes behoorlijk zeker zijn dat ze aan diabetes lijden. - Paragraaf detectie
Als in verslagen paragraaftitels of tussenkopjes zijn gebruikt, kunnen de AI-algoritmes deze paragrafen detecteren. Door gebruik te maken van de filter ‘Paragraaftitel’ kan je aangeven dat je alleen naar verslagen wil zoeken waarin “diabetes” of een synoniem daarvan in een bepaalde paragraaf genoemd wordt. Soms maakt het namelijk uit in welk deel van een verslag een medische conditie genoemd wordt: als “diabetes” in de voorgeschiedenis of conclusie van een verslag staat, is het waarschijnlijker dat de patiënt diabetes heeft of heeft gehad dan als het onder het kopje ‘familiegeschiedenis’ staat.
Filteropties voor dit type zoekterm
| Veld | Omschrijving |
Voorbeelden |
| Verslagen | ||
| Verslagtype | Het soort verslag waarin je wilt zoeken. |
Meest voorkomende types: Radiologieverslag; OK verslag; Ontslagbrief; Consultverslag; Poliverslag; Pathologieverslag |
| Inhoud | Doorzoek de volledige tekstuele inhoud van verslagen. Maak gebruik van de synonymenlijsten om aan te geven welke medische conditie (diabetes, appendicitis, hoesten, koorts etc.) genoemd moet zijn in de verslagtekst. |
|
| AI-geassisteerd zoeken Let op! Onderstaande filters zijn pas te gebruiken nadat je onder de filter ‘inhoud’ hebt aangegeven op welk medisch concept (diagnose, ziekte, symptoom etc.) je wil zoeken. |
||
| Zekerheid | Geef aan hoe zeker de AI-algoritmes van CTcue moeten zijn dat een patiënt wel of niet aan de medische conditie, gespecificeerd onder ‘inhoud’, lijden. |
Irrelevant, onzeker, relevant |
| Paragraaftitel | Geef aan welke paragraaftitel of tussenkopje in het verslag moet staan en laat CTcue alleen in die paragraaf zoeken naar de medische conditie. Je kan meerdere paragraaftitels toevoegen aan deze filter. |
Historie, conclusie, beleid, familiegeschiedenis, anamnese. |
| Algemeen | ||
| Leeftijd ten tijde van gebeurtenis |
Leeftijd in jaren van de patiënt toen het verslag opgeslagen werd. Berekend op basis van geboortedatum en verslagdatum. |
35 jaar. Alle leeftijden onder 1 jaar worden weergegeven als “0”. |
| Status | Status van het verslag / de verslaginhoud. |
Concept, geaccordeerd, te corrigeren. |
| Specialisme | Specialisme waardoor het verslag geschreven is. |
Urologie, radiologie, heelkunde. |
| Arts | ||
|
Naam zorgverlener |
Naam van zorgverlener die het verslag heeft aangemaakt. |
Pietje Puk, Jannie Janssen, Klaas Vaak. |
| Functie zorgverlener | Rol van de zorgverlener binnen het ziekenhuis. |
Cardioloog, infectioloog, internist. |
| Diversen | ||
| Bijlage ID | Unieke IDs van ondersteunende bijlages bij een verslag, zoals foto’s van een echo-onderzoek. |
BL10029 |
| Datum | ||
| Verslagdatum | Datum waarop het verslag opgeslagen is. |
DD:MM:YYYY hh:mm; 01-01-2023 14:53 |
AI-geassisteerd zoeken aanzetten
Als je een Verslagen Plus zoekterm toevoegt aan je Criteria (Patient Finder) of aan een Vraag (Data Collector), staat het AI-geassisteerd zoeken in eerste instantie niet aan. Als dit niet aan staat, gedraagt een Verslagen Plus zoekterm zich als de standaard Verslagen zoekterm.
Open het filter menu door op de zoekterm te klikken en klik vervolgens op de slider “AI geassisteerd zoeken” om deze aan te zetten. De slider wordt groen.
Als je de filter ‘Inhoud’ toevoegt en instelt om bijvoorbeeld te zoeken op “diabetes” en synoniemen daarvan, wordt het volgende mogelijk:
- In ‘resultaat preview’, ‘patiëntencohorten’, het patiënt validatie scherm, de data validatie tabel en het data validatie scherm wordt de zekerheid (irrelevant, onzeker, relevant) in gekleurde bollen getoond (rood, geel en groen; respectievelijk).
- De filters ‘Zekerheid’ en ‘Paragraaftitel’ kunnen toegevoegd en gebruikt worden.
Wees ervan bewust dat de AI/NLP modellen van CTcue niet perfect zijn en dat wij deze constant verder ontwikkelen. Als je AI-geassisteerd zoeken gebruikt en zelfs gaat filteren a.d.h.v. tekstinterpretatie (op zekerheidsscore of paragraaf), bekijk dan altijd eerst goed hoe de AI-algoritmes presteren, bijvoorbeeld in de resultaat preview:
- Klopt het geselecteerde label (irrelevant, onzeker, relevant)?
- Lijkt de zekerheidsscore ergens op?
- Worden er geen verslagen met bepaalde paragraaftitels gemist?
- Worden sommige medische concepten niet gemarkeerd terwijl dat wel zou moeten?
- Heb je het gevoel dat er genoeg patiënten getoond worden bij de zoekresultaten in het patiëntencohorten menu?
Zie je iets dat niet klopt? Gebruik de AI feedback knop in de app!
Patiënt lijdt wel of niet aan een conditie
Als je AI-geassisteerd zoeken gebruikt, kan je onder de slider ‘Conditie van toepassing op de patiënt’ of ‘Conditie niet van toepassing op de patiënt’ selecteren. De keuze die je hier maakt, heeft gevolgen voor de betekenis en de interpretatie van de labels ‘irrelevant’, ‘onzeker’ en ‘relevant’ en de zekerheidsscores. Dit artikel gaat dieper in op hoe je deze selectie kan gebruiken, eventueel in combinatie met zekerheidsscores.
Ik krijg nergens een zekerheidsscore te zien
In de standaard ‘Verslagen’ termen kreeg je, in eerdere versies van de CTcue applicatie (< versie 4.9), naast gekleurde bolletjes (1-5 groene of rode bolletjes) een percentage te zien als je de slider ‘tekstverwerking’ aan had gezet in het filter ‘Inhoud’. Deze percentages drukken de zekerheidsscore uit.
Deze percentages / zekerheidsscores zijn niet standaard meer zichtbaar in ‘Verslagen Plus’ zoektermen. Je kan ze zichtbaar maken.
- Voeg een filter toe aan je ‘Verslagen Plus’ term met de ‘+ filter toevoegen’ knop
- Selecteer de filter ‘Zekerheid’ uit de lijst
- Je hoeft verder niks aan te passen aan deze filter als dat niet nodig is.
- De zekerheidsscore wordt nu in de applicatie getoond
- Je kan in ‘Patiënten cohorten’ en ‘Data validatie’ menu’s, voor deze Verslagen Plus zoekterm, filteren op zekerheidsscore.
Live verwerking door de AI algoritmes & verwachte wachttijden
Vanaf versie 4.9 van CTcue worden verslagen, gevonden met Verslagen Plus zoektermen, live verwerkt door de CTcue AI algoritmes. Zo zorgen we dat verslagteksten altijd geanalyseerd en geïnterpreteerd worden door de meest recente versie van CTcue’s AI / NLP algoritmes. Zij interpreteren de context waarin een medisch concept genoemd is en berekenen de zekerheidsscores.
Er wordt in 2 stappen bepaald welke verslagen live verwerkt moeten worden:
- Patiënten selectie Verslagen Plus zoekterm: voor welke patiënten moeten verslagen gezocht en verwerkt worden?
- In de Patient Finder bekijkt CTcue de in- en exclusietermen in het ‘Criteria’ menu en selecteert patiënten die daaraan voldoen.
- In de Data Collector worden alleen verslagen gezocht van patiënten die in het ‘Patiënten cohorten’ menu in de tab ‘Geïncludeerd’ staan.
- Selectie van relevante verslagen die verwerkt moeten worden: alleen van patiënten geselecteerd bij stap 1.
CTcue bekijkt wat je hebt ingesteld bij de volgende filters, en selecteert alleen verslagen die aan deze filterinstellingen voldoen: Verslagtype, Inhoud, Leeftijd ten tijde van de gebeurtenis, Status, Specialisme, Naam zorgverlener, Functie zorgverlener, Bijlage ID, Verslagdatum
De verwerking door de AI-algoritmes begint:
- Zodra je de ‘resultaat preview’ voor een Verslagen Plus zoekterm opent.
10 voorbeeldverslagen die voldoen aan de filters in je Verslagen Plus zoekterm worden verwerkt en getoond in de preview. - Als je op de ‘Zoeken’ knop klikt in het ‘Criteria’ menu.
- Als je het data validatie scherm opent door in een rij in de data validatie tabel te klikken, en vervolgens op een ‘Vraag’ klikt waaraan een Verslagen Plus zoekterm is toegevoegd.
- Als je in je Data Collector project data validatie labels aan hebt gezet, vindt de verwerking plaats als de Data Validatie tabel geladen wordt.
- Zodra je in het ‘Export’ menu op de knop “exporteer data verzameling” klikt, en je geen data validatie labels gebruikt.
Het live verwerken van verslagen kost tijd. Dit kan dus wachttijden veroorzaken in de applicatie. Als een van de volgende zaken, of een combinatie ervan, van toepassing is op jouw Verslagen Plus zoekterm, loopt de wachttijd op:
- CTcue en de AI-algoritmes draaien in jouw ziekenhuis op servers met lagere capaciteit.
- Er zijn veel patiënten die voldoen aan jouw ‘Patient Finder’ zoekopdracht (in- en exclusietermen, geschatte potentiële patiënten) of er zijn veel geïncludeerde patiënten in het ‘Patiënten cohorten’ scherm over wie je data verzamelt in de Data Collector.
- Per patiënt zijn veel verslagen geschreven die voldoen aan jouw filterinstellingen in de ‘Verslagen Plus’ zoekterm.
- Je hebt de filter ‘Paragraaftitel’ gebruikt om alleen naar medische concepten in een bepaald stuk van het verslag te zoeken.
Als de live verwerking van een verslag voltooid is, worden de uitkomsten hiervan max. 24 uur opgeslagen op de CTcue servers in het ziekenhuis. Als je de verwerkte verslagen na 24 uur weer wil bekijken in de app, moeten de verslagen opnieuw verwerkt worden door de AI-algoritmes en moet je wachten totdat dit voltooid is.