原生孟加拉语抑郁检测数据集与保留情绪的预处理方法发布。
资讯摘要
论文提出 BanglishDepYT,从 YouTube 原生采集孟加拉语抑郁检测数据,含 19.1 万条无标注评论和 1000 条经双语双人标注核验的样本。作者提出 EPH 预处理,保留表情符号、Banglish 词与否定词并归一化情绪拉长拼写;报告称标准清洗使 Banglish 保留率降为零,EPH 下 SVM F1 由 0.7062 升至 0.8570。继续预训练 SahajBERT 的 DAPT 模型平均 F1 达 0.8161,并用 Qwen2.5-7B 辅助伪标注 9.6 万条评论。
要点速读
- 数据集含 191,000 条无标注评论与 1,000 条经双语双人标注核验的样本,代码、模型和数据均公开。
- EPH 预处理保留 Banglish 词与否定词、转换表情符号;作者报告 SVM F1 从 0.7062 提升至 0.8570。
- DAPT-SahajBERT 平均 F1 为 0.8161、MCC 为 0.6272;Qwen2.5-7B 辅助标注 kappa 为 0.611,半监督训练使 AUC 从 0.8499 升至 0.8731。
中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/11/4 08:00:28(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。