内容加载中
把一篇长文喂给模型或写进向量库之前,通常需要先切成大小合适的小块。这个工具支持按固定字符数、词数、句子、段落和 Markdown 标题五种方式切分,可以设置相邻块的重叠量避免语义被切断,还能把标题带进每一块。结果会给出块数、字符与 token 分布,并导出 JSONL 或 Markdown,方便直接接检索管线。全程本地字符串处理,不上传原文,适合处理内部文档、会议纪要和代码说明。
粘贴长文本
把要切分的文章粘进左侧输入框,或点「载入示例」看带标题的多段落效果。
选切分方式
按内容选字符、词、句、段落或标题模式,设置每块大小与重叠量,重叠过大时会自动钳制。
检查并导出
看每块的字符区间、标题和 token 数,确认边界合理后导出 JSONL、Markdown 或复制全文。
一般取块大小的 10% 到 20%。纯问答类文本可以小一些,跨段落推理或含表格的内容适当加大,代价是总 token 会变多、检索时重复命中也会增加。
段落模式只看空行,标题模式会把行首的 # 当作结构边界,并把最近的标题记到块上。写技术文档、说明书时后者能保留章节语义,检索结果也更容易被人读懂。
在未设置重叠、按字符或句子切分时,各块正文顺序拼接基本等于原文;设置重叠后相邻块会刻意重复一部分,这是预期行为,导出时会保留原文字符区间供核对。