Navigating misinformation in voice messages: Identification of user‐centered features for digital interventions

Abstract Misinformation presents a challenge to democracies, particularly in times of crisis. One way in which misinformation is spread is through voice messages sent via messenger groups, which enable members to share information on a larger scale. Gaining user perspectives on digital misinformation interventions as countermeasure after detection is crucial. In this paper, we extract potential features of misinformation in voice messages from literature, implement them within a program that automatically processes voice messages, and evaluate their perceived usefulness and comprehensibility as user‐centered indicators. We propose 35 features extracted from audio files at the character, word, sentence, audio, and creator levels to assist (1) private individuals in conducting credibility assessments, (2) government agencies faced with data overload during crises, and (3) researchers seeking to gather features for automatic detection approaches. We conducted a think‐aloud study with laypersons () to provide initial insight into how individuals autonomously assess the credibility of voice messages, as well as which automatically extracted features they find to be clear and convincing indicators of misinformation. Our study provides qualitative and quantitative insights into valuable indicators, particularly when they relate directly to the content or its creator, and uncovers challenges in user interface design.

错误信息对民主国家构成挑战，尤其是在危机时期。传播错误信息的一种方式是通过信息群组发送语音消息，这些群组使得成员能够在更大的规模上共享信息。获取用户对数字错误信息干预措施的看法，以作为检测后的对策，这是至关重要的。本文中，我们从文献中提取语音消息中错误信息的潜在特征，在自动处理语音消息的程序中实施这些特征，并评估它们作为“以用户为中心的指标”的感知有用性和可理解性。我们从字符、单词、句子、音频和创作者级别的音频文件中提出35个特征，以帮助(1)私人进行可信度评估，(2)帮助危机期间面临数据过载的政府机构，以及(3)帮助研究人员寻找一系列用于自动探测方法的特征。我们与外行人员(N = 20)进行了一项有声思考研究，以初步了解个人如何自主评估语音消息的可信度，以及他们认为哪些自动提取的特征是清晰且令人信服的错误信息指标。我们的研究就有价值的指标提出了定性和定量见解（特别是当这些指标与内容或其创建者直接相关时），并揭示了用户界面设计中的挑战。

La desinformación presenta un desafío para las democracias, particularmente en tiempos de crisis. Una forma de difundir información errónea es a través de mensajes de voz enviados a través de grupos de mensajería, que permiten a los miembros compartir información a mayor escala. Es crucial obtener la perspectiva de los usuarios sobre las intervenciones de desinformación digital como contramedida después de la detección. En este artículo, extraemos características potenciales de desinformación en mensajes de voz de la literatura, las implementamos dentro de un programa que procesa automáticamente mensajes de voz y evaluamos su utilidad percibida y comprensibilidad como indicadores centrados en el usuario. Proponemos 35 características extraídas de archivos de audio a nivel de carácter, palabra, oración, audio y creador para ayudar a (1) individuos privados a realizar evaluaciones de credibilidad, (2) agencias gubernamentales que enfrentan una sobrecarga de datos durante las crisis y (3) investigadores que buscan para recopilar características para enfoques de detección automática. Realizamos un estudio de pensamiento en voz alta con personas no profesionales (N = 20) para proporcionar una visión inicial de cómo las personas evalúan de forma autónoma la credibilidad de los mensajes de voz, así como qué características extraídas automáticamente consideran indicadores claros y convincentes de desinformación. Nuestro estudio proporciona información cualitativa y cuantitativa sobre indicadores valiosos, particularmente cuando se relacionan directamente con el contenido o su creador, y descubre desafíos en el diseño de la interfaz de usuario.