回到最新动态
论文更新 / THE SIGNAL

JevLite小模型单次前向实现诈骗电话筛查

Open-Jev Judgments on CallScreenBench: Calibrated One-Pass Scam Screening with a Small Language Model

重要性 4.5 AI 辅助整理

JevLite用4B模型单次前向输出校准诈骗概率,延迟64.5毫秒。

资讯摘要

论文在CallScreenBench上测试JevLite:将Qwen3-4B经LoRA微调,用两个答案标签logits的温度缩放softmax输出P(scam)。在41个留出场景、577次逐轮决策中,三随机种子集成达到AUROC .974、校准误差.052,在预注册.02裕度内不劣于LLM评审MiniMax-M3;合法通话无误报,同一挂断规则下提前1.14轮决策,单张消费级GPU每次决策64.5毫秒。作者称增益来自读出与校准而非准确率,微调ModernBERT编码器并不显著更差,配方经测试集暴露选择,来电者均为合成数据。

要点速读

  1. Qwen3-4B经LoRA微调,对两个答案标签logits做温度缩放softmax得到诈骗概率,单次前向不生成文本。
  2. 41个留出场景577次决策:三种子集成AUROC .974、校准误差.052,合法通话无误报,提前1.14轮决策。
  3. 单张消费级GPU每次决策64.5毫秒,比同骨干改为生成式回答低4.9倍;作者承认配方经测试集暴露选择、来电者均为合成数据。

中文摘要由 AI 根据公开来源生成,可能存在理解偏差;具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/28 08:00:17(北京时间)。 arXiv 日期为本次公告时间,论文初次投稿日期请查看原文版本记录。

阅读 arXiv · cs.CL 原文arxiv.org · 在新窗口打开