应用 · 工程实践

提示工程与应用模式

从 Prompt 到 Agent 的工程落地:提示工程、RAG、Agent 与可观测/评测等工程化实践。

2026-07-03

混合检索:关键词 + 向量双路融合

BM25 关键词检索与向量语义检索各有盲区,用 RRF 融合两路结果是 RAG 生产环境的最佳实践。

2026-07-03

RAG 重排(Rerank)提升召回精度

用 Cross-Encoder 或 Rerank API 对向量检索结果二次精排,解决语义漂移与粗排召回不准的问题。

2026-07-03

流式 UI 实现:让大模型输出"打字机效果"不卡顿

Server-Sent Events、ReadableStream、React 流式渲染——前后端全链路流式 UI 工程实践。

2026-07-03

结构化输出与 schema 校验:从模型到业务的数据流工程

OpenAI Structured Outputs、Pydantic schema 校验、自动重试与降级,打通模型输出到业务数据的完整管道。

2026-07-03

向量数据库选型:Chroma / Milvus / pgvector / Qdrant

从数据规模、部署复杂度、混合检索到多租户支持,帮你在主流向量数据库中选出匹配业务阶段的方案。

2026-07-01

抑制幻觉的工程手段:让模型"说不知道"而非编造

从 RAG 接地、Prompt 约束、输出校验到多模型互验——工程层面降低幻觉率的系统方法。

2026-07-01

让大模型稳定输出 JSON:从提示技巧到强制模式

提示写法、JSON mode、function calling、输出修复五种方法让模型 JSON 输出成功率从 70% 提升到 99%+。

2026-07-01

LLM 应用可观测与日志:把黑盒变成可调试的系统

Trace、Span、Token 计量、LangSmith/Phoenix 接入——LLM 应用全链路可观测体系搭建指南。

2026-07-01

防提示注入:大模型应用的安全边界工程

提示注入攻击的原理与类型、输入过滤、系统提示加固、输出校验,构建多层防御的工程实践。

2026-07-01

Prompt 模板设计:工程化管理提示词的实用方法

从变量占位符、版本管理到多语言切换,系统讲解 prompt 模板的工程化设计与复用模式。

2026-07-01

RAG 切块(Chunking)策略:影响检索质量的核心决策

固定切块、递归切块、语义切块、父子切块四种策略的工程对比,以及 chunk size 调参与重叠窗口设计。

2026-07-01

RAG Embedding 选型指南

从维度、语言支持、延迟到成本,帮你在 OpenAI、BGE、Cohere 等主流 Embedding 模型中做出合理选择。

2026-06-29

ReAct 模式:Agent 推理与行动循环实现

ReAct(Reasoning + Acting)是最主流的 Agent 架构,本文从原理到最小可运行代码,拆解推理-行动-观察循环。

2026-06-29

Agent 工具调用设计:定义、管理与安全边界

工具描述写得好不好直接决定 Agent 的选择准确率。本文讲工具定义规范、工具集管理策略与危险操作防护机制。

2026-06-29

LLM 应用层缓存策略:降成本与提速的系统设计

精确匹配缓存、语义相似缓存、Prompt Caching API——三层缓存组合降低 LLM 调用成本与延迟。

2026-06-29

思维链 CoT 怎么用:让模型推理更准的工程实践

Chain-of-Thought 提示的触发方式、Zero-shot vs Few-shot CoT、成本控制与何时不该用,工程实操指南。

2026-06-29

大模型应用评测 Eval:从人工到自动化的工程路径

LLM 应用 eval 体系搭建:测试集构建、评测指标设计、LLM-as-Judge 与 CI 集成实践。

2026-06-29

LLM 调用失败兜底设计:让应用在模型故障时依然可用

超时重试、模型降级、熔断器、静态兜底——大模型应用多层失败兜底的工程实现与决策矩阵。

2026-06-29

Few-shot 示例怎么给:让大模型秒懂你的意图

few-shot 示例的选择、排序、数量与格式技巧,工程实践角度讲透如何让模型快速对齐输出格式。

2026-06-26

Agent 记忆机制:短期、长期与工作记忆工程实现

Agent 的四种记忆类型及工程实现:滚动窗口控制短期记忆、向量库存储长期记忆、Scratch Pad 管理工作状态。

2026-06-26

多 Agent 协作:任务拆解与编排工程实践

多 Agent 系统的拓扑选型(单链/DAG/Supervisor)、通信协议、状态共享与避坑清单。

2026-06-16

提示工程实用技巧:从 System Prompt 到防注入

System 提示、few-shot、思维链、结构化输出、防提示注入——5 大提示工程技巧清单与工程实践要点。

2026-06-15

AI Agent 开发实战:从 ReAct 到工具调用

ReAct 循环、工具调用、记忆管理、任务规划——Agent 最小实现思路与生产落地注意事项。

2026-06-14

RAG 怎么做:架构与落地

从切块、embedding 到检索、重排、拼上下文、生成,RAG 流程全链路拆解与关键决策对比。

2026-06-13

大模型应用开发模式:从 Prompt 到 Agent

直接调用、提示工程、RAG、Agent 四种模式演进脉络,及工程化落地要点(流式/兜底/缓存/评测)。

常见问题

RAG 怎么做?

RAG 把知识切块做向量化入库,检索与问题相关的片段拼进上下文再让模型作答;关键在切块、embedding 选型与重排。

function calling 怎么用?

在请求里声明可调用的工具及参数 schema,模型返回结构化的调用意图,由你的代码执行并把结果回灌模型继续推理。

怎么让模型稳定输出 JSON?

开启 JSON/结构化输出模式、给出明确 schema 与示例、加校验与失败重试,可显著降低格式错误。

要把 AI 应用工程化落地?

力达云聚合 API 内测开放中:一个 key 调多家模型、按量计费、稳定接入。

申请内测