DFG Final Report for Automatic Fact Checking for Biomedical Information in Social Media and Scientific Literature (FIBISS), project number 667374

Abstract

Research into methods for the automatic verification of facts, i.e., computational models that can distinguish correct information from misinformation or disinformation, is largely focused on the news domain and on the analysis of posts in social media. Among other things, texts are checked for their truthfulness. This can be done by analyzing linguistic features that suggest an intention to deceive or by comparing them with other sources that make comparable statements in terms of content. Most studies focus on politically relevant areas. The biomedical domain is also an area of particular social relevance. In social media, various actors and medical laypersons share reports on treatment methods, successes and failures, such as the (disproven) method of treating viral infections with deworming agents or disinfectants. There are also reports on (disproven) links between treatments and adverse effects, such as the causation of autism by vaccination. However, the biomedical domain, unlike other areas relevant for automated fact checking, benefits from a large resource of reliable scientific articles. The aim of the FIBISS project was therefore to develop and evaluate methods that can extract biomedical claims in social media and compare them with reliable sources. One challenge here is that social media does not typically use technical language, so different vocabularies have to be combined. The approach in FIBISS was therefore to develop generalizing information extraction methods. In the course of the project, large language models also became prominent as a further methodological approach. The project was therefore adapted to optimize general representations of claims in such a way that they are suitable for comparison using automatic fact-checking procedures. As a result, we contribute text corpora that are used to develop and evaluate automated biomedical fact-checking systems. We propose methods that automatically reformulate claims so that they are suitable to be automatically verified. Furthermore, we present approaches that can automatically assess the credibility of claims, even independently of existing evidence.

Die Erforschung von Methoden zur automatischen Überprüfung von Fakten, also Computermodelle, welche korrekte Information von Fehlinformation oder Desinformation unterscheiden können, fokussiert weitestgehend auf die Nachrichtendomäne sowie auf die Analyse von Beiträgen in sozialen Medien. Hierbei werden unter anderem Texte auf ihren Wahrheitsgehalt geprüft. Dies kann durch die Analyse von linguistischen Merkmalen geschehen, die auf eine Täuschungsabsicht schließen lassen, oder durch einen Abgleich mit anderen Quellen, die inhaltlich vergleichbare Aussagen tätigen. Die meisten Arbeiten legen den Schwerpunkt hierbei auf politisch relevante Bereiche. Ein Gebiet mit besonderer gesellschaftlicher Relevanz ist aber auch die biomedizinische Domäne. In sozialen Medien teilen verschiedene Akteure und medizinische Laien Berichte zu Behandlungmethoden, Erfolgen und Misserfolgen, wie zum Beispiel die (widerlegte) Methode, Virusinfektionen mit Entwurmungsmitteln oder Desinfektionsmitteln zu behandeln. Es finden sich auch Berichte zu (widerlegten) Zusammenhängen zwischen Behandlungen und unerwünschten Wirkungen, wie zum Beispiel die Verursachung von Autismus durch Impfungen. Die biomedizinische Domäne profitiert allerdings, im Gegensatz zu anderen für die automatische Faktenüberprüfung relevanten Bereichen, von einer großen Ressource verlässlicher wissenschaftlicher Artikel. Das Ziel des Projekts FIBISS war es daher, Methoden zu entwickeln und zu evaluieren, welche biomedizinische Behauptungen in sozialen Medien extrahieren können und diese mit verlässlichen Quellen abgleicht. Eine Herausforderung ist hierbei, dass in sozialen Medien typischerweise keine Fachsprache verwendet wird, so dass unterschiedliche Vokabularien miteinander verbunden werden müssen. Der Ansatz in FIBISS war daher, generalisierende Informationsextraktionsmethoden zu entwickeln. Im Verlauf des Projekts haben sich zusätzlich große Sprachmodelle prominent als weiterer methodischer Ansatz platziert. Das Projekt wurde daher im Verlauf dahingehend angepasst, generelle Repräsentationen von Behauptungen so zu optimieren, dass sie für den Vergleich mit Hilfe automatischer Fakten- Überprüfungsverfahren geeignet sind. Im Ergebnis tragen wir Textkorpora bei, die zur Entwicklung und Evaluierung von Systemen zur automatischen biomedizinischen Faktenüberprüfung eingesetzt werden. Wir schlagen Methoden vor, die automatisch Behauptungen so umformulieren, dass sie geeignet sind, automatisch überprüft zu werden. Des Weiteren präsentieren wir Ansätze, die automatisch die Glaubwürdigkeit von Aussagen, auch unabhängig von vorhandener Evidenz, abschätzen können.