Cristin-resultat-ID: 1931658
Sist endret: 15. september 2021, 09:43
Resultat
Rapport
2021

Implementation of machine learning in evidence syntheses in the Cluster for Reviews and Health Technology Assessments: Final report 2020-2021

Bidragsytere:
  • Ashley Elizabeth Muller
  • Heather Melanie R Ames
  • Jan Peter William Himmels
  • Patricia Sofia Jacobsen Jardim
  • Hong Lien Nguyen
  • Christopher James Rose
  • mfl.

Utgiver/serie

Utgiver

Folkehelseinstituttet, Område for helsetjenester

Om resultatet

Rapport
Publiseringsår: 2021
Antall sider: 83
ISBN: 978-82-8406-231-0
Open Access

Beskrivelse Beskrivelse

Tittel

Implementation of machine learning in evidence syntheses in the Cluster for Reviews and Health Technology Assessments: Final report 2020-2021

Sammendrag

Key Messages: Machine learning (ML) has the potential to increase the efficiency of evidence syntheses. During 2020- 2021, a team in the division for Health Services at the Norwegian Institute of Public Health, tested and documented pros and cons of using ML in various phases of the conduct of various evidence syntheses, and built employees’ competence in using ML. This report describes the work undertaken by the ML team, project results and lessons learned. The ML team focused attention on ML functions and systems available within EPPI Reviewer: Priority screening, Custom and Pre-built classifiers, RobotReviewer to assess Risk of Bias, Automatic text clustering, and Microsoft Academic Graph (MAG). We implemented ML functions across 19 project teams and trained 23 employees. We found that utilizing ML in our reviews increased speed, with no identified threats to methodological quality. Screening time was reduced by 60-90% in all projects. Automated study categorization – while applicable to a smaller range of projects – reduced manual time in this phase by 60-70%. ML can, and should, change usual project workflows. The review process can become less linear and more cyclical, and several tasks can be conducted in parallel. However, workflow changes are not insignificant for those involved, and future ML work would benefit from a structured approach to both change management and innovation diffusion. The report concludes with lessons learned and experiences gained. They shaped our proposals for future ML strategies, covering capacity-building, innovative activities, evaluation of effect, and workflow optimization.

Tittel

Implementering av maskinlæring i kunnskapsoppsummeringer i klynge for vurdering av tiltak: Sluttrapport 2020-2021

Sammendrag

Hovedbudskap: Maskinlæring kan bidra til betydelig effektivisering av kunnskapsoppsummeringsprosesser. Et lag i Området for helsetjenester ved Folkehelseinstituttet evaluerte og dokumenterte i 2020-2021 fordeler og ulemper ved maskinlæring i flere faser av kunnskapsoppsummeringer, og bygde medarbeidernes kompetanse i å bruke ulike funksjoner. Denne rapporten beskriver lagets arbeid, resultater og erfaringer. Maskinlæringslaget fokuserte på funksjoner som er tilgjengelig i EPPI-Reviewer verktøyet: «priority screening», flere typer classifiers, RobotReviewer for å vurdere risiko av skjevheter, «automatic text clustering», og Microsoft Academic Graph. Vi implementerte funksjonene i 19 prosjekter og opplærte 23 medarbeidere. Et hovedfunn er at maskinlæringsfunksjoner reduserte manuell tidsbruk, uten reduksjon i metodisk kvalitet. Tidsbruk på vurdering av studier gikk ned med 60-90 % i alle prosjekter. Automatisk studiekategorisering reduserte tidsbruk i denne fasen med 60-70 %. Maskinlæring kan og bør endre dagens arbeidsflyt. Kunnskapsoppsummeringsprosessen kan bli mindre lineær og mer syklisk, og flere oppgaver kan gjøres samtidig. Slike endringer kan være vesentlige for alle involverte, og i framtidig maskinlæringsarbeid vil det være nyttig med en strukturert tilnærming til både endringsledelse og innovasjonsspredning. Rapporten avslutter med erfaringer og lærdommer. Disse formet vårt forslag til framtidige strategier relatert til kompetansebygging, innovasjonsaktiviteter, evalueringer og arbeidsflytoptimalisering.

Bidragsytere

Ashley Elizabeth Muller

  • Tilknyttet:
    Forfatter
    ved Avdeling for vurdering av tiltak ved Folkehelseinstituttet

Heather Melanie R Ames

  • Tilknyttet:
    Forfatter
    ved Avdeling for vurdering av tiltak ved Folkehelseinstituttet

Jan Peter William Himmels

  • Tilknyttet:
    Forfatter
    ved Avdeling for vurdering av tiltak ved Folkehelseinstituttet

Patricia Sofia Jacobsen Jardim

  • Tilknyttet:
    Forfatter
    ved Avdeling for vurdering av tiltak ved Folkehelseinstituttet

Hong Lien Nguyen

  • Tilknyttet:
    Forfatter
    ved Avdeling for vurdering av tiltak ved Folkehelseinstituttet
1 - 5 av 7 | Neste | Siste »