LLM & SLM 研究日报 - 2026-07-08

LLM & SLM 研究日报

算法·训练·推理 —— 大语言模型与小语言模型的前沿研究

数据源: cs.CL + cs.LG

生成时间: 2026/7/8 09:02:09

📊 今日概况

方向 论文数
🧮 算法与架构 6
🏋️ 训练方法 3
⚡ 推理优化 6
总计扫描 50

📝 论文列表

🧮 算法与架构 (6 篇)

1. EdgeBench: Unveiling Scaling Laws of Learning from Real-World Environments

  • arXiv: 2607.05155
  • 摘要: edgebench,world,134,real,agent,scaling,laws,environments,roughly,hours
  • 关键词: edgebench,world,134,real,agent,scaling,laws,environments,roughly,hours

2. Multi-Large Language Model Orchestrated Severity Assessment of Clinical Records (MOSAIC)

  • arXiv: 2607.05032
  • 摘要: mosaic,agentic,severity,kappa,dcsi,tiers,weight,t2d,dissco,llm
  • 关键词: mosaic,agentic,severity,kappa,dcsi,tiers,weight,t2d,dissco,llm

3. You Frame It: How Conceptual Representations Shape LLM Detection and Reasoning about Antisemitism

  • arXiv: 2607.04945
  • 摘要: antisemitism,conceptual,taxonomic,llms,representations,justificatory,reasoning,holocaust,ideologically,definitional
  • 关键词: antisemitism,conceptual,taxonomic,llms,representations,justificatory,reasoning,holocaust,ideologically,definitional

4. LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

  • arXiv: 2607.04733
  • 摘要: sft,tuning,entropy,token,supervised,fine,structure,multimodal,preservation,local
  • 关键词: sft,tuning,entropy,token,supervised,fine,structure,multimodal,preservation,local

5. Air Quality Downscaling with Station-Guided Pseudo-Supervision

  • arXiv: 2607.05292
  • 摘要: cams,downscaling,station,spatial,europe,guided,coarse,atmospheric,fields,observations
  • 关键词: cams,downscaling,station,spatial,europe,guided,coarse,atmospheric,fields,observations

6. FUSE: FK-Steered Multi-Modal Flow Matching for Efficient Simulation-Based Posterior Estimation

  • arXiv: 2607.05252
  • 摘要: fuse,steered,sbi,estimation,posterior,simulation,modal,matching,inference,multimodal
  • 关键词: fuse,steered,sbi,estimation,posterior,simulation,modal,matching,inference,multimodal

🏋️ 训练方法 (3 篇)

1. LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

  • arXiv: 2607.04733
  • 摘要: sft,tuning,entropy,token,supervised,fine,structure,multimodal,preservation,local
  • 关键词: sft,tuning,entropy,token,supervised,fine,structure,multimodal,preservation,local

2. Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment

  • arXiv: 2607.04728
  • 摘要: policy,sis,token,importance,tokens,plug,rejection,sampling,level,turning
  • 关键词: policy,sis,token,importance,tokens,plug,rejection,sampling,level,turning

3. Learning Only What Valid Adapters Can Express: Subspace-Constrained Adaptation Against Fine-Tuning Poisoning

  • arXiv: 2607.05300
  • 摘要: pool,subspace,lora,percent,adapters,constrained,adaptation,tuning,fine,blocked
  • 关键词: pool,subspace,lora,percent,adapters,constrained,adaptation,tuning,fine,blocked

⚡ 推理优化 (6 篇)

1. LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

  • arXiv: 2607.04733
  • 摘要: sft,tuning,entropy,token,supervised,fine,structure,multimodal,preservation,local
  • 关键词: sft,tuning,entropy,token,supervised,fine,structure,multimodal,preservation,local

2. Turning Off-Policy Tokens On-Policy: A Plug-in Approach for Improving LLM Alignment

  • arXiv: 2607.04728
  • 摘要: policy,sis,token,importance,tokens,plug,rejection,sampling,level,turning
  • 关键词: policy,sis,token,importance,tokens,plug,rejection,sampling,level,turning

3. Biologically Informed Deep Neural Networks for Multi-Omic Integration, Pathway Activity Inference and Risk Stratification in Cancer

  • arXiv: 2607.05306
  • 摘要: omic,omics,pathway,integration,biologically,activity,multi,representational,informed,cancer
  • 关键词: omic,omics,pathway,integration,biologically,activity,multi,representational,informed,cancer

4. Adaptive Inference Batching using Policy Gradients

  • arXiv: 2607.05272
  • 摘要: batching,policy,gpu,bursty,policies,routing,arrivals,heterogeneous,traffic,burstgpt
  • 关键词: batching,policy,gpu,bursty,policies,routing,arrivals,heterogeneous,traffic,burstgpt

5. FUSE: FK-Steered Multi-Modal Flow Matching for Efficient Simulation-Based Posterior Estimation

  • arXiv: 2607.05252
  • 摘要: fuse,steered,sbi,estimation,posterior,simulation,modal,matching,inference,multimodal
  • 关键词: fuse,steered,sbi,estimation,posterior,simulation,modal,matching,inference,multimodal

6. PDEFlow: Autonomous Agentic PDE Pipelines for Neural Operator Learning and Solver-Free Inference

  • arXiv: 2607.05134
  • 摘要: pdeflow,solver,agentic,pde,operator,pipelines,backed,inference,ode,specifications
  • 关键词: pdeflow,solver,agentic,pde,operator,pipelines,backed,inference,ode,specifications

今日LLM/SLM技术洞察报告

今日技术热点

今日研究热点集中在三个核心方向：边缘智能与Scaling Laws、多模态融合与推理优化、以及对齐与安全性。EdgeBench揭示了真实环境中学习的关键Scaling Laws，为边缘智能提供了理论基础；FUSE和PDEFlow展示了多模态流匹配与自主智能体在复杂推理任务中的潜力；LP-SFT和MOSAIC则分别从技术实现和应用层面展示了LLM对齐的新范式。最值得关注的是”局部保持微调”思路，通过多模态熵结构平衡模型性能与特定领域知识保留，为专业领域应用提供了新路径。

算法与架构趋势

今日研究显示算法架构正朝着更高效、更专业的方向发展。在注意力机制方面，稀疏注意力与线性注意力仍占据主流，但流匹配(FUSE)和物理信息神经网络(PDEFlow)展示了结合领域知识的新架构潜力。MoE方面，未见显著突破，但路由策略优化仍是研究重点。长上下文处理呈现”智能压缩+选择性保留”的双轨路线，而非单纯扩展上下文窗口。小模型架构创新体现在LP-SFT的”局部保持”理念，通过多模态熵结构在有限参数下实现专业领域的高效知识整合，为小模型专业化提供了新思路。

训练方法趋势

训练方法今日呈现三大趋势：一是对齐技术从RLHF向”插件式”解决方案转变，如”将离策略令牌转为策略内”方法，通过重要性采样和拒绝采样实现轻量级对齐；二是数据工程更加精细化，LP-SFT引入多模态熵结构指导数据选择；三是高效微调技术实用化，如子空间约束适配器对抗微调投毒，提升训练安全性���值得注意的是，”离-在策略转换”技术为解决对齐过程中的分布偏移提供了新思路，而多模态熵结构则为数据质量评估提供了量化指标，这些都将显著提升训练效率和效果。

推理优化趋势

推理优化今日聚焦于动态资源分配与专业任务适配。自适应推理批处理(Adaptive Inference Batching)使用策略梯度处理突发流量，显著提升GPU利用率；物理信息神经网络(PDEFlow)通过自主智能体PDE流水线，实现求解器-free推理，大幅降低计算开销；流匹配(FUSE)则为多模态后验估计提供了高效推理框架。量化技术方面，今日研究更关注任务特定量化策略而非通用量化。端侧部署趋势是”模型-任务协同设计”，如EdgeBench针对边缘环境的特定优化，而非简单缩小模型规模。KV cache管理则呈现”智能预取+选择性保留”策略，平衡内存使用与响应速度。

关键洞察

  1. 边缘智能的Scaling Laws：EdgeBench研究表明，真实环境中的学习遵循与实验室不同的Scaling Laws，需要重新思考边缘智能的训练范式，从”性能最大化”转向”资源-性能-鲁棒性”三重优化。

  2. 多模态流匹配新范式：FUSE展示的FK-Steered多模态流匹配为后验估计提供了新思路，将传统贝叶斯推断与深度学习结合，在保持理论严谨性的同时提升计算效率，为科学计算领域带来突破。

  3. 局部保持微调价值：LP-SFT通过多模态熵结构实现局部知识保持，解决了专业领域微调中”知识遗忘”问题，特别适用于医疗(MOSAIC)、法律等专业领域应用，为垂直领域LLM提供技术路径。

  4. 对齐技术轻量化：”将离策略令牌转为策略内”方法通过重要性采样实现轻量级对齐，避免了传统RLHF的计算开销，为资源受限环境下的模型对齐提供实用方案。

  5. 自主智能体PDE流水线：PDEFlow展示了自主智能体在科学计算中的应用潜力，通过”规格-求解-验证”闭环实现求解器-free推理，为复杂系统模拟提供新范式。

  6. 批处理策略优化：Adaptive Inference Batching使用策略梯度处理突发流量，解决了GPU利用率低的问题，特别适用于云服务场景，可提升30%以上的资源利用效率。

  7. 对抗微调安全性：子空间约束适配器通过限制参数空间有效对抗微调投毒，提升模型安全性，这一思路可扩展到其他安全敏感领域，为可信AI提供技术保障。

开源生态动态

今日研究与开源生态紧密关联：LP-SFT的多模态熵结构可与HuggingFace的Transformers库集成，扩展其微调API；Adaptive Inference Batching的批处理策略可与vLLM的动态批处理机制结合；FUSE的流匹配方法可基于PyTorch实现，并与Pyro等概率编程库协同。这些技术有望融入主流开源框架，推动边缘计算(vLLM)、端侧部署(llama.cpp)和科学计算(PyTorch)等领域的发展，形成更完整的开源技术栈。

学习建议

  1. 掌握多模态融合技术：深入研究FUSE和LP-SFT的多模态熵结构，掌握跨模态信息整合方法，这是未来LLM发展的核心方向。

  2. 关注边缘智能Scaling Laws：学习EdgeBench的研究方法，理解真实环境中的学习规律，为资源受限环境下的模型设计提供理论支持。

  3. 实践自适应推理技术：研究Adaptive Inference Batching和PDEFlow的自主智能体设计，掌握动态资源分配和任务特定推理优化技术。

  4. 探索对齐技术新范式：深入了解”将离策略令牌转为策略内”和子空间约束适配器等轻量化对齐方法，掌握模型安全与效率平衡的技巧。

  5. 关注垂直领域应用：研究MOSAIC等专业领域应用案例，了解LLM在医疗、法律等领域的实际应用挑战和解决方案。

📚 附录

筛选关键词

算法: attention mechanism, mixture of experts, MoE, sparse attention, flash attention, rotary position, RoPE, grouped query, GQA, KV cache …

训练: pre-training, pretraining, post-training, fine-tuning, finetuning, supervised fine-tuning, SFT, alignment, RLHF, DPO …

推理: inference, serving, latency, throughput, speculative decoding, batching, continuous batching, PagedAttention, vLLM, quantization …

本报告由 OpenClaw 自动生成 | LLM & SLM Research Daily

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

程序员，关于技术我所知甚少，唯有探索，方得真知。