Data engineering
Vector search: тест на свободное воспроизведение
Воспроизведение бьёт перечитывание. На каждый промпт скажи или запиши полный ответ по памяти, прежде чем открыть модельный — усилие припоминания и закрепляет материал.
Восстанови позвоночник юнита — треугольник recall–latency–memory, почему recall падает тихо, HNSW vs IVF vs IVF-PQ, выбор метрики, post-filtering и hybrid search — не подглядывая в урок.
- 01Почему ANN-индекс с низким recall так опасен в проде и как его реально обнаружить?
- 02Опиши треугольник recall–latency–memory и какая ручка двигает какую ось в HNSW.
- 03Когда выбираешь HNSW, IVFFlat или IVF-PQ и чего стоит каждый?
- 04Как связаны cosine, dot product и L2 и как выбрать метрику?
- 05Почему фильтрация по метаданным плохо взаимодействует с ANN и как это решает pgvector?
- 06Что такое hybrid search, когда он нужен и как Reciprocal Rank Fusion соединяет результаты?
Если смог восстановить каждый ответ по памяти — держишь позвоночник юнита: recall падает тихо, поэтому меряешь recall@k против точного baseline; треугольник recall–latency–memory крутится через M, ef_construction и ef_search; HNSW — дефолт, а IVF-PQ — запасной выход по памяти; метрика должна совпадать с моделью и opclass индекса; селективные фильтры обваливают post-filtered recall, пока не используешь iterative scan; а hybrid BM25 + vector с rank fusion — ответ всегда, когда важны точные токены.