新基准显示主流 LLM 攻击进展推理准确率最高仅 44.44%。
资讯摘要
论文提出 SecLog-Bench，针对现有网络安全日志数据集规模有限、多为单源证据、仅有攻击标签而缺少推理过程标注的问题。该基准基于可扩展仿真平台覆盖 29 种攻击场景，融合审计日志、应用日志与网络流量等多源日志，并为每个样本标注推理所需上下文和结构化证据链。作者报告在 8 个主流 LLM 上评测攻击进展推理，最佳模型准确率仅 44.44%、Macro-F1 45.07%，最高 SRF1 为 54.87%。
要点速读
- 仿真平台覆盖 29 种攻击场景，支持重复执行与新增场景，可规模化生成带攻击阶段标签的日志。
- 使用审计日志、应用日志和网络流量等多源日志联合分析攻击。
- 每个样本标注推理所需上下文与结构化逐步证据链；8 个主流 LLM 中最佳准确率 44.44%、Macro-F1 45.07%、最高 SRF1 54.87%，且正确预测也可能伴随错误推理。
中文摘要由 AI 根据公开来源生成，可能存在理解偏差；具体能力、数字、开放时间等信息请以原文为准。
采集于 2026/10/24 08:00:37（北京时间）。 arXiv 日期为本次公告时间，论文初次投稿日期请查看原文版本记录。