跳到正文
Hacker News· georgemandis·· 2 小时前AI 评分34

Tokenizer Mono:用字体可视化 LLM token 的字体家族

Tokenizer Mono

AI 导读

开发者 georgemandis 发布 Tokenizer Mono,一个基于 IBM Plex 的字体家族,把不同 tokenizer 映射为不同字体样式,打字时即可显示 token 边界,无需实际运行 tokenizer。

来源:Hacker News · george.mand.is