LMSYS欣喜宣布博士奖学金计划正式启动！该计划专为美国全日制博士生设计，针对那些在开源AI基础设施社区做出重大贡献的学生。获奖者将获得高达50,000美元资助，用于未来两年的学费和相关费用。申请期为2025年11月23日至12月7日，评估标准包括研究与开源贡献的影响力，以及与LMSYS兴趣领域的契合度。获奖名单将于截止后几周公布。感兴趣的博士生可将申请声明和简历发送至fellowship@lmsys.org。该计划由Ying and Lianmin Giving Fund捐赠支持，助力开源AI生态发展。（128字）
我们实现了RL中全FP8采样和训练流程。实验显示，对于MoE模型，使用BF16训练结合FP8 rollout时，模型越大，训练-推理不一致性越严重。相比之下，统一FP8用于训练和rollout，能有效消除量化误差导致的训练-推理不一致，提升RL训练的速度与稳定性。本文详述FP8硬件基础、格式选择、尺度计算及量化策略，支持Qwen3-4B和Qwen3-30B-A3B的miles框架即插即用，由InfiXAI、Ant Group AQ、SGLang RL和Miles团队联合完成。（128字）
推测解码（Speculative Decoding）能显著提升LLM推理速度，但传统方法需额外训练低效的草稿模型。Vertex AI采用EAGLE-3创新方案，仅在目标模型内部层添加轻量级草稿头（仅占2-5%模型大小），简化训练并实现2x-3x解码加速。本文详述从数据清洗、嵌入生成、训练到使用SGLang在Vertex AI大规模部署的完整管道，分享关键挑战与经验教训，包括合成数据管道、离线训练、聊天模板应用、掩码处理及Zero-Overhead Overlap Scheduler优化。基准测试显示，在Llama 4 Scout 17B上，EAGLE-3显著降低TPOT并提升吞吐量。（128字）
SGLang最新功能原生支持NVIDIA Model Optimizer量化！这一集成简化了从全精度模型到高性能量化端点的整个优化与部署流程，无需多步工具切换。通过SGLang中的ModelOpt API，只需三步即可完成量化（支持NVFP4、MXFP4、FP8等）、导出与部署。性能表现突出：在NVIDIA B200上，Model Optimizer与SGLang优化可实现比原生FP8高达2倍的单GPU吞吐量。结合Blackwell架构，从DGX Spark到GB300 NVL72均可显著提升延迟降低与内存节省。提供完整示例代码，助力开发者快速上手。（128字）
本文介绍 Tensor R-Fork（Tensor Remote Fork），一种创新的权重加载方法，利用高效的跨节点设备间互连，从运行中的 SGLang 实例零拷贝加载张量至新实例。该技术带来三大优势：显著加速权重加载（如 Deepseek-R1 从数分钟缩短至秒级）、消除本地磁盘/DRAM 冗余存储（节省约 600GB）、不干扰推理服务。核心设计基于 GPU-Direct RDMA 构建 P2P 权重存储架构，支持 NCCL 和 TransferEngine 两种后端。性能测试显示，在 8 张 NVIDIA H20 GPU 上加载 Deepseek-R1 模型时间大幅缩短，已实现生产就绪。
SGLang 快速集成 NVIDIA 最新发布的 Nemotron 3 Nano 模型，该模型采用混合 Transformer-Mamba 架构与 MoE 设计，总参数 30B、激活参数仅 3.6B，支持 1M 上下文长度。在 NVFP4 精度下，通过 Quantization-Aware Distillation (QAD) 技术保持高准确率，同时在 B200 上实现比 FP8-H100 高 4 倍的吞吐量。模型在编码、科学推理、数学和指令跟随等基准上领先，适用于构建企业级 AI 代理。SGLang 提供即插即用支持，开发者可轻松部署于 RTX Pro 6000、H100 等 GPU。（128 字）
小米MiMo-V2-Flash模型总参数达309B，激活参数仅15B，专为最大化解码效率而设计，核心采用滑动窗口注意力（SWA）和多层MTP机制。该模型针对真实服务负载优化，支持不同硬件上吞吐量与延迟的灵活权衡。结合SGLang的Spec v2运行时，几乎零开销支持多层MTP和高效SWA执行，在H200上实现TPOT与吞吐量的完美平衡。本文详解模型设计、推理高效机制、硬件感知配置、SGLang快速服务支持，并提供基准数据与部署指南。（128字）
Mini-SGLang是SGLang项目的轻量版推理框架，仅用5k行Python代码，即实现了高性能LLM推理，支持Radix Attention、Chunked Prefill、Overlap Scheduling和Tensor Parallelism等先进特性。它兼容OpenAI API，支持Llama-3和Qwen-3模型，适合学习和研究原型开发。基准测试显示，在H200 GPU上，Mini-SGLang的离线吞吐量超越Nano-vLLM，在线服务延迟与SGLang相当。通过Overlap Scheduling有效隐藏CPU开销，利用FlashAttention-3和FlashInfer内核，确保顶尖性能。该框架提供交互Shell模式、NVTX注解和基准工具，便于调试和比较vLLM、TensorRT-LLM等系统。（128字）
我们兴奋地推出 SGLang 中的 Diffusion Large Language Model (dLLM) 框架设计与实现。通过利用现有的 ChunkedPrefill 机制，该系统实现了无缝集成、无需核心架构变更、继承现有推理优化，并提供最大灵活性让用户自定义扩散解码算法。LLaDA 作为首款 dLLM，展现出优异的数据理解能力和更快推理速度，尤其在低延迟小批量场景。面对大规模 dLLM 如 100B LLaDA2.0-flash 的评估与 RL 后训练挑战，现有的推理引擎不足以支撑。我们在 SGLang 中引入 Block Diffusion 支持，利用 Chunked-Prefill 管道，仅微调关键组件，实现高效批处理与流式输出，显著提升吞吐量（如 LLaDA2.0-flash-CAP 达 935 tokens/s）。（128字）
SpecForge团队携手蚂蚁集团、Meituan、Nex-AGI和EigenAI等行业伙伴，推出SpecBundle（Phase 1），这是基于大规模数据集训练的生产级EAGLE3模型检查点集合，旨在提升推测解码的可用性和实际性能，第一阶段聚焦指令微调模型。同时，SpecForge v0.2带来重大系统升级，包括全面重构以提升易用性，并支持多执行后端，进一步增强可扩展性和生产就绪度。该举措解决开源社区中推测解码工具匮乏、高质量草稿模型稀缺以及训练数据规模不足等问题，推动EAGLE3等SOTA方法在本地和企业部署中的广泛应用。（128字）
SGLang 引入 Encoder-Prefill-Decode (EPD) 解耦架构，将视觉语言模型 (VLMs) 中的视觉编码与语言处理分离，实现视觉编码容量的独立水平扩展，提升资源利用率。该方案兼容现有的 Prefill-Decode (PD) 解耦，形成三层架构，支持多种传输后端和视觉嵌入缓存。在图像密集场景下，EPD 显著降低 TTFT（首 Token 时间），负载下比同置部署低 6–8 倍；吞吐量提升约 2 倍。但图像稀疏场景可能引入额外网络延迟。基准测试基于 Qwen3-VL-235B，在 8 张 H20 GPU 上验证其在多图像请求中的优势。（128 字）
受Kimi K2团队启发，SGLang RL团队成功实现INT4 Quantization-Aware Training (QAT)全流程。通过训练阶段的fake quantization和推理阶段的真实W4A16量化，实现了与BF16全精度相当的稳定性和训推一致性。极致INT4压缩让约1TB规模模型单节点H200（141GB）部署，避免跨节点通信瓶颈，大幅提升部署效率。本文详解开源生态下完整pipeline的技术细节，提供高性能低成本的实用参考。项目由SGLang RL、InfiXAI、蚂蚁集团Asystem & AQ Infra、slime和RadixArk团队联合完成，已同步至slime和Miles社区。（128字）
Novita AI针对基于SGLang的GLM4-MoE模型开发了一系列生产验证的高效优化策略，涵盖从内核执行到跨节点数据传输的整个推理管道。通过Shared Experts Fusion和Suffix Decoding等技术，在代理编码工作负载下实现了TTFT降低高达65%、TPOT提升22%的显著性能提升。这些优化已在H200集群的TP8和FP8配置上验证，提供高吞吐量与低延迟的生产蓝图。基准测试显示，在输入长度4096、输出1000的场景下，请求率达14 req/s时效果显著。所有优化已部分上游合并，并开源复现脚本。
Mozilla宣布Firefox 148将新增‘阻塞AI增强’全局开关，一键禁用浏览器内所有生成式AI特性，包括翻译、PDF图像生成等。该功能源于用户反馈，优先隐私保护，已在X平台引发热议，成为反AI强推的标志性举措。预计2月24日正式发布。
在中国，AI技术正迅速渗透教育行业，推动一场前所未有的学习方式变革。智能学习平台和应用程序层出不穷，不仅提升了教学效率，更为个性化教育提供了新的可能性。
在人工智能迅速发展的背景下，数据隐私和道德边界的问题成为了一个迫切的社会议题。如何在技术进步与伦理规范之间取得平衡，成为行业内外关注的焦点。
前OpenAI和Tesla AI负责人Andrej Karpathy推出nanochat仓库，仅需约73美元和3小时，即可在单8xH100节点训练出媲美GPT-2的LLM。全栈工具链从预训练到聊天UI一应俱全，代码简洁高效，获GitHub 41.9k星，X平台热议不断，推动大模型训练门槛大幅降低。
Claude Code用户长期饱受上下文丢失之苦，如今开源插件Claude-Mem横空出世，赋予AI持久记忆能力。GitHub星标飙升至19.5k，token用量降95%，工具调用增20倍。X平台开发者热议不断，本地隐私存储让它迅速成为必备神器。
NVIDIA最新Blackwell B200 AI芯片订单火爆，企业争相抢购导致交付延至2025年。此消息引发市场热议，凸显AI算力需求井喷下的硬件瓶颈，NVIDIA股价短期波动。业内分析称，这反映出AI基础设施建设的紧迫性与全球供应链压力。
Anthropic Claude 3.5 Sonnet在SWE-bench基准测试中得分超90%，刷新纪录，开发者项目分享爆棚，X平台互动达15万。这一‘人类级’编程能力引发热议：AI能否取代程序员？本文深度剖析技术突破与行业影响。（98字）
Google近日推出Gemini 2.0 Flash，轻量级多模态AI模型，以超低延迟和高效性能著称。开发者基准测试互动超10万次，适用于实时交互场景，推动浏览器AI深度集成。该模型标志着AI向更普适、快速方向演进。
AI生成的拜登和特朗普假视频在X平台病毒式传播，FBI发出警告，转发量超百万。事件引发平台审核无力与AI水印法规的激烈争议，互动量逾30万，选举诚信成焦点。
中国AI企业DeepSeek发布V2模型，在多项中文基准测试中超越GPT-4o，总参数仅236B却实现高效推理。该模型开源后迅速走红，X平台用户测试分享互动超15万，引发本土AI崛起与‘弯道超车’热议。
埃隆·马斯克在X平台发帖警告AI发展速度远超安全措施，呼吁暂停巨型AI训练。该帖获数百万浏览，引发激烈辩论。支持者赞同加强监管，反对者质疑其商业动机。话题置于中美AI竞赛背景下，互动量创纪录，凸显AI安全全球关切。
Meta推出Llama 3.2系列1B/3B参数模型，支持边缘设备高效运行，具备强大视觉理解能力。开源社区反响热烈，下载量激增超20万互动。该模型低成本部署潜力巨大，推动手机与物联网AI应用，挑战云端AI垄断格局。
OpenAI近日发布的o1-preview模型在数学和编码基准测试中大幅超越GPT-4o，ARC-AGI得分高达83%，引发热议。其‘思考链’机制标志AI从生成向推理转型，开发者分享复杂问题求解案例，X平台互动超50万，业内讨论AGI路径加速。
xAI正式推出Grok-2图像生成功能，支持Flux.1模型，生成质量直追Midjourney。Elon Musk亲自演示，X平台互动超10万，转发破纪录。其免费开放、无审查特性迅速吸睛，用户创意测试推动AI图像工具竞争加剧。
NVIDIA最新Blackwell B200 AI芯片订单火爆，供不应求导致交付推迟至2025年。企业巨头争相抢购，引发供应链热议，NVIDIA股价短期波动。该事件凸显AI算力需求井喷与硬件瓶颈，影响整个行业生态。（98字）
Anthropic的Claude 3.5 Sonnet在SWE-bench编码基准测试中得分超过90%，刷新纪录，展现出接近人类水平的编程能力。开发者社区项目分享爆棚，话题互动超15万，引发AI程序员角色辩论。本文深度剖析这一技术突破及其影响。（98字）
Google近日推出Gemini 2.0 Flash，轻量级高速版多模态AI模型，支持文本、图像、音频等输入，低延迟特性适用于实时应用。开发者基准测试互动超10万，备受青睐，推动浏览器AI集成浪潮。
