文本格式知识库
功能说明
文本格式适用于各类文档资料,例如操作手册、管理制度、说明文档、Markdown、PDF 等,支持上传 PDF、TXT、MD、Word 等文本类文件。系统会自动完成文本分段与向量化处理,支持长篇资料检索,智能体可直接调取原文内容,是最常用的知识库类型。
创建流程
创建完 文本格式 的知识库后,进入知识库详情页,添加内容。

支持2种方式:本地文档和自定义。
本地文档方式
是将电脑本地文档导入知识库。
创建步骤如下:
1)上传文件,支持 PDF、TXT、DOCX、MD,最多可上传 300 个文件,每个文件不超过 100MB,PDF 最多 500 页。

2)创建设置:
- 文档解析策略:文档解析策略用于控制上传文档时的内容提取规则,定义系统如何识别文档内各类元素。精准解析模式可提取文档中的图片、表格等内容;也可按需开启扫描件 OCR 识别,同时支持配置内容过滤,剔除页眉、页脚等无效信息。
- 分段策略:分段策略就是把长文档切成一段一段的文本切片,保证每一段内容意思完整,这样智能体检索的时候,更容易找到匹配内容。你可以选择系统自动切分清洗,也可以自己设置分段规则。
- 自动分段与清洗:系统按内置规则自动切分文本,并清理多余空行、无效符号等噪声内容,普通文档直接选用即可。
- 自定义:手动配置分段长度、分隔符与清洗规则,针对业务手册、技术文档等特殊材料精细化调整。

3)分段预览:用于查看文档经过文档解析、分段策略处理后切分出来的文本切片。可以直观校验切片效果,检查是否存在内容截断、语义断裂、乱码、冗余内容等问题。如果分段效果不佳,可返回修改分段策略或文档解析规则,重新处理文档,避免后续智能体检索匹配不准。

4)数据处理:系统按照预设分段规则解析文档,完成文本切片与向量化,处理完毕后文档才存入知识库,可供智能体检索调用。

5)内容预览:用于查看文档经过分段、清洗之后的切片结果。可以直观核对文本拆分效果,检查是否存在内容丢失、分段不合理、乱码等问题,提前发现并优化知识库素材,避免后续智能体检索匹配异常。

自定义方式
内容页面填写,创建步骤如下:
1)文本填写:填写文档内容和文档内容。

2)创建设置:
分段策略就是把长文档切成一段一段的文本切片,保证每一段内容意思完整,这样智能体检索的时候,更容易找到匹配内容。你可以选择系统自动切分清洗,也可以自己设置分段规则。
- 自动分段与清洗:系统按内置规则自动切分文本,并清理多余空行、无效符号等噪声内容,普通文档直接选用即可。
- 自定义:手动配置分段长度、分隔符与清洗规则,针对业务手册、技术文档等特殊材料精细化调整。

3)数据处理:系统按照预设分段规则解析文档,完成文本切片与向量化,处理完毕后文档才存入知识库,可供智能体检索调用。

4)内容预览:用于查看文档经过分段、清洗之后的切片结果。可以直观核对文本拆分效果,检查是否存在内容丢失、分段不合理、乱码等问题,提前发现并优化知识库素材,避免后续智能体检索匹配异常。

