多语言不是"翻译一下"
在多语言场景里,真正出问题的往往不是翻译质量,而是**工程细节**:
分词、编码、时区、数字与日期格式、姓名顺序。这些一旦处理错,轻则排序乱,重则业务数据算错。
五个高频坑
**一、分词与检索**
中文要分词、日文要处理假名与汉字混排、泰文没有词间空格;空格分词的那套直接搬到中文上,
召回会明显变差。做法:按语言选择分词器,**并对每种语言单独测召回**。
**二、Unicode 归一化**
"é" 可能是**单码点**也可能是 "e + 组合音符";不归一化会出现"看着一样但比不出相等"的 bug。
做法:比较与存储前统一 NFC/NFKC;长度统计与截断要按**字形**而不是码点(否则会截断半个字)。
**三、时区**
**四、数字与日期格式**
**五、姓名与地址**
测试怎么做
1. 每个界面至少测**两种文字方向**(从左到右 / 从右到左)与长文本换行;
2. 用"最长语言"测布局(德语/芬兰语常比英文长 30%+);
3. 准备**边界样本**:组合音符、emoji(含肤色修饰)、零宽字符、泰文与阿拉伯文;
4. 对每种语言的**检索召回**单独出一份指标,不要只看英文。