机器人增强套件

在 Cloudflare Workers 上构建持久、长时间运行的工作流，支持自动重试、状态持久化和多步骤编排。适用于创建长时间运行的工作流、实现重试逻辑、构建事件驱动流程等场景。

在 Cloudflare Workers 上构建 Model Context Protocol (MCP) 服务器，这是唯一支持官方远程 MCP 的平台。基于 TypeScript，提供 OAuth、Durable Objects 和 WebSocket 休眠功能。适用于部署远程 MCP 服务器、实现 OAuth（GitHub/Google）、使用双传输（SSE/HTTP）或解决 URL 路径不匹配、McpAgent 导出、OAuth 重定向、CORS 问题。

为大型语言模型提供训练后4位量化，在精度损失最小的情况下实现4倍内存压缩和3-4倍推理加速，支持在消费级GPU上部署70B/405B大模型，并与transformers和PEFT框架集成进行QLoRA微调。

使用 App Router、Server Components/Actions、Cache Components（“use cache”）和异步路由参数构建 Next.js 16 应用。包含 proxy.ts（替代 middleware.ts）和 React 19.2 支持。适用于 Next.js 16 项目开发，或解决异步参数（Promise 类型）、“use cache”指令、并行路由 404（缺少 default.js）或 proxy.ts CORS 问题。

在60多个学术基准（如MMLU、HumanEval、GSM8K、TruthfulQA、HellaSwag）上评估大语言模型。适用于模型质量基准测试、模型比较、学术结果报告或训练进度跟踪。EleutherAI、HuggingFace及主要实验室采用的行业标准，支持HuggingFace、vLLM和API。

在Cloudflare边缘使用R2的S3兼容存储管理对象，适用于文件上传下载、配置CORS、生成预签名URL、多部分上传、管理元数据，以及排查R2_ERROR、CORS故障、预签名URL问题或配额错误。

用于构建基于LLM的应用程序的框架，支持代理、链和RAG，兼容OpenAI、Anthropic、Google等多个提供商，包含500+集成、ReAct代理、工具调用、内存管理和向量存储检索。适用于构建聊天机器人、问答系统、自主代理或RAG应用，适合快速原型设计和生产部署。

NVIDIA的LLM应用运行时安全框架，具备越狱检测、输入输出验证、事实核查、幻觉检测、PII过滤和毒性检测功能。采用Colang 2.0 DSL实现可编程护栏，生产就绪，支持T4 GPU运行。

使用OpenAI的Responses API构建智能代理应用，这是Chat Completions的有状态升级版，能保持多轮推理，提升5%多轮性能并优化40-80%缓存利用率。适用于构建持久推理AI代理、集成MCP服务器、使用内置工具及管理有状态对话。

通过 Pydantic 验证从 LLM 响应中提取结构化数据，自动重试失败提取，安全解析复杂 JSON，并使用 Instructor 流式传输部分结果——这是一个经过实战检验的结构化输出库。

语言无关的文本分词工具，将文本视为原始Unicode处理，支持BPE和Unigram算法。速度快（5万句/秒）、内存占用小（6MB）、词汇表确定性强，被T5、ALBERT、XLNet、mBART等模型采用。无需预分词即可训练原始文本，适用于多语言支持、CJK语言处理或可复现的分词需求。

MLflow 是一个框架无关的机器学习生命周期平台，用于跟踪 ML 实验、管理带版本控制的模型注册表、将模型部署到生产环境，并重现实验。

使用 Zustand 在 React 应用中构建类型安全的全局状态。支持 TypeScript、持久化中间件、开发者工具、切片模式以及 Next.js SSR。适用于设置 React 状态、从 Redux/Context API 迁移、实现 localStorage 持久化，或解决 Next.js 水合错误、TypeScript 类型推断问题及无限渲染循环。

通过 Google Gemini CLI 获取架构设计、调试和安全审计的第二意见。利用 Gemini 的 100 万+上下文窗口进行全面的代码分析，并比较 Flash（快速）、Pro（全面）和 3-Pro-Preview（前沿）模型。

用于LLM对齐的简单偏好优化方法，无需参考模型，比DPO更高效，在AlpacaEval 2.0上性能提升6.4分，适合需要比DPO/PPO更简单快速训练的场景。

约 300 行代码的教育性 GPT 实现，在 OpenWebText 上复现 GPT-2 (124M)。提供简洁、可修改的代码，适合学习 Transformer 架构，由 Andrej Karpathy 开发，是理解 GPT 从零开始的理想工具，支持在莎士比亚数据集（CPU）或 OpenWebText（多 GPU）上训练。

为开源项目创建维护者友好的拉取请求，提供干净的代码提交和专业沟通，避免导致PR被拒的16种常见错误。适用于贡献公共仓库、提交社区项目PR、从贡献者转向维护者工作流，或解决PR被拒、主分支错误、CI检查失败、提交中个人文件等问题。

为实时应用、WebSocket服务器、协调和持久状态构建有状态的持久对象。适用于实现聊天室、多人游戏、速率限制、会话管理、WebSocket休眠，或解决类导出、迁移、WebSocket状态丢失或绑定错误等问题。

基于Ray+vLLM加速的高性能RLHF框架，支持7B-70B+大模型的PPO、GRPO、RLOO、DPO训练，采用分布式架构和GPU资源共享，比DeepSpeedChat快2倍。

专为构建RAG应用的数据框架，支持300多种文档连接器、索引和查询功能，适用于文档问答、聊天机器人、知识检索及RAG管道开发。

通过推测解码、Medusa多头预测和前瞻解码技术加速LLM推理，适用于优化推理速度（1.5-3.6倍加速）、降低实时应用延迟或在有限计算资源下部署模型。涵盖草案模型、树状注意力、雅可比迭代、并行令牌生成及生产部署策略。

为工程团队提供技术领导力指导，涵盖架构决策和技术战略。包含技术债务分析器、团队规模计算器、工程指标框架、技术评估工具和架构决策记录模板。适用于评估技术债务、扩展工程团队、技术选型、架构决策、建立工程指标等场景。

使用 Cloudflare Vectorize V2（2024年9月正式发布）构建语义搜索。涵盖V2重大变更：异步突变、单索引支持500万向量（原20万）、31毫秒延迟（原549毫秒）、returnMetadata枚举类型，以及V1版本将于2024年12月弃用。适用于V1到V2迁移、通过mutationId处理异步突变、插入前创建元数据索引，或解决“returnMetadata必须为'all'”、V2时序问题、元数据索引错误、维度不匹配等故障排查。

在CPU、Apple Silicon及消费级GPU上运行LLM推理，无需NVIDIA硬件。适用于边缘部署、M1/M2/M3 Mac、AMD/Intel GPU或CUDA不可用场景，支持GGUF量化（1.5-8位），相比CPU版PyTorch可减少内存占用并提速4-10倍。

使用RoPE、YaRN、ALiBi和位置插值技术扩展Transformer模型的上下文窗口，适用于处理长文档（32k-128k+词元）、突破预训练模型原始上下文限制或实现高效位置编码。涵盖旋转嵌入、注意力偏置、插值方法和LLM外推策略。

专为生产级AI应用设计的托管向量数据库，支持混合搜索、元数据过滤和命名空间，适用于RAG、推荐系统和语义搜索。

将大语言模型量化为8位或4位，实现50-75%的内存节省且精度损失最小。适用于GPU内存有限、需要部署更大模型或追求更快推理的场景。支持INT8、NF4、FP4格式、QLoRA训练和8位优化器，兼容HuggingFace Transformers。

基于 Vercel AI SDK v5/v6 构建后端 AI 应用，涵盖 v6 beta 功能、v4→v5 迁移、最新模型支持、Workers 启动问题修复及常见错误解决方案。

提供使用 Unsloth 进行快速微调的专家指导，训练速度提升 2-5 倍，内存占用减少 50-80%，支持 LoRA/QLoRA 优化。

Facebook 的高效相似性搜索和稠密向量聚类库，支持数十亿向量、GPU 加速及多种索引类型（Flat、IVF、HNSW），适用于快速 k-NN 搜索、大规模向量检索或纯相似性搜索场景。

在 Next.js 应用中集成 Vercel Blob 对象存储，用于文件上传、图像管理和 CDN 交付资源。支持客户端通过预签名 URL 和多部分传输进行上传，适用于实现文件上传（如图像、PDF、视频）、管理用户生成内容或排查令牌缺失、大小限制错误或客户端上传失败问题。

通过自动日志记录跟踪机器学习实验，实时可视化训练过程，使用扫描优化超参数，并通过W&B协作式MLOps平台管理模型注册表。

RNN+Transformer混合架构，具备O(n)推理复杂度、线性时间、无限上下文且无需KV缓存。训练如GPT（并行），推理如RNN（顺序）。Linux基金会AI项目，已应用于Windows、Office、NeMo生产环境。RWKV-7（2025年3月发布），模型参数最高达140亿。

最简单的分布式训练 API，仅需 4 行代码即可为任何 PyTorch 脚本添加分布式支持。统一支持 DeepSpeed/FSDP/Megatron/DDP，提供自动设备放置、混合精度（FP16/BF16/FP8）、交互式配置和单一启动命令，是 HuggingFace 生态系统的标准工具。

提供使用 Axolotl 微调大语言模型的专家指导，支持 YAML 配置、100+ 模型、LoRA/QLoRA、DPO/KTO/ORPO/GRPO 及多模态功能。

Clerk 认证插件，支持 API 版本 2025-11-10 的重大变更（计费端点、payment_source→payment_method），Next.js v6 异步认证，自定义 OAuth 的 PKCE，以及凭证填充防御。适用于排查“缺少 Clerk 密钥”、JWKS 错误、authorizedParties CSRF、JWT 大小限制（1.2KB）、431 头错误（Vite 开发模式）或使用 424242 OTP 进行测试。

使用OpenAI Agents SDK构建AI应用，支持文本智能体、实时语音智能体、多智能体工作流、Zod模式工具、输入输出防护、结构化输出和流式响应，可部署到Cloudflare Workers、Next.js或React，并支持人机协同模式。

使用Wanda和SparseGPT等剪枝技术，无需重新训练即可压缩模型，实现50%稀疏度且精度损失最小，或在硬件加速器上实现更快推理。涵盖非结构化剪枝、结构化剪枝、N:M稀疏、幅度剪枝和单次剪枝方法。

基于 Git 的 TinaCMS 插件，为博客、文档和营销网站提供可视化编辑和内容管理，适合非技术编辑使用。适用于 Next.js、Vite+React 或 Astro CMS 设置，支持 Cloudflare Workers 自托管，帮助解决 ESbuild 编译错误、模块解析问题或 Docker 绑定问题。

使用 Cloudflare Queues 构建异步消息队列，用于后台处理。适用于处理异步任务、批量处理、实现重试机制、配置死信队列、管理消费者并发，或排查队列超时、批量重试、消息丢失或吞吐量超限等问题。

在Cloudflare Workers上使用MCP服务器构建ChatGPT应用，通过自定义工具和交互式小部件（HTML/JS UI）扩展ChatGPT功能。适用于开发ChatGPT扩展、实现MCP服务器或解决CORS阻止、小部件404、MIME类型错误或ASSETS绑定未定义等问题。

提供使用 TRL 进行 GRPO/RL 微调的专家指导，适用于推理和任务特定模型训练。