Hacker News· gazpacho·· 2 小时前AI 评分36
Apache Arrow 优化 Parquet Bloom filter:折叠技术让点查更快、文件更小
Faster, smaller Bloom filters in Parquet
AI 导读
Apache Arrow 新增 bloom filter folding 优化,让 Parquet 的 Bloom filter 更小更有效且无需调参。该优化针对 Split Block Bloom Filter 的尺寸选择难题,避免高基数数据导致过滤器饱和、低基数数据过滤器过大的问题。Logfire 表示点查将自动变快、文件自动变小。
来源:Hacker News · pydantic.dev