回到信息流
研究论文 / THE SIGNAL

BanglaShield:面向孟加拉语多书写形式的安全分类器与基准

BanglaShield: A Script-Robust Safety Classifier and Benchmark for Bangla Native, Romanized, and Code-Mixed Prompts

AI 辅助整理

资讯摘要

论文提出 BanglaShield,用于孟加拉语原生文字、拉丁转写及混合语言提示的分级安全分类。作者整合六个来源的 10,245 条提示,按四级分类并生成三种对齐形式,对六个大模型进行基准测试,发现原生文字不安全提示中 47.0% 被误判为安全,转写后升至 63.4%。作者报告的微调编码器在原生文字上宏 F1 为 87.8,转写为 84.4。

要点速读

  • 数据集含 10,245 条孟加拉语提示,分 Safe、Offensive、Harmful、Severe 四级,并生成三种共享标签的对齐书写形式。
  • 基准测试覆盖六个大模型、36,882 次分类查询和 24,318 条判定回复;原生文字不安全提示 47.0% 被标为安全,转写后为 63.4%,回复级安全准确率下降 10.3 个百分点。
  • 作者报告 BanglaShield 微调编码器原生文字宏 F1 87.8、转写 84.4,比最佳大模型高 42.8–46.1 个百分点,参数量约为 Gemma 4 31B 的 1/130;语料、划分、判定和模型已发布。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/20 21:06:31(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开