Библиотека чтения
Оцените, помогает ли поиск своему читателю
Оцените поиск о квантовании через небольшую явную задачу чтения: наблюдаемые решения, честные границы ответа, контролируемый проход и зафиксированные потребности.
Назовите решение пользователя
Начните с решения уже, чем «найти полезную информацию в Reddit». В предлагаемом упражнении LocalLLaMA попросите разработчика модели найти историческое обсуждение с условиями измерения памяти при квантовании либо объяснить недостаточность доступного материала. Второй исход важен: честно нерешённый вопрос может быть полезнее уверенного ответа из недостающего контекста. Это предложенная задача оценки, а не доказательство существования нужного обсуждения или того, что нынешний поиск помог реальным пользователям её выполнить.
Определите успех через то, что может поддержать интерфейс. Может ли читатель назвать отправленные условия, изучить текст, отличить свою заметку и решить, уточнять ли поиск или остановиться? Не делайте критерием приёмки полный обзор Reddit или лучший ответ во всём архиве. Сервис — независимый исторический архив с ограниченным получением, необязательными полями и без гарантии полноты. Успешный HTTP-запрос свидетельствует о передаче и получении, а не доказывает решение исследовательского вопроса.
Выберите наблюдаемые свидетельства
Записывайте ход задачи: какие фильтры читатель узнаёт, какое условие меняет, какой текст поддерживает решение и где он сомневается. Отличайте наблюдение за интерфейсом от последующего объяснения. Если заголовок кажется многообещающим, спросите, какой контекст основного текста это подтверждает, а не считайте клик правильным ответом. Записи приходят в архивном порядке _doc, а не по релевантности, дате или оценке. Рассматривайте первую запись как возможность прочитать, а не автоматическую рекомендацию, которую нужно подтвердить.
Используйте показатели, оправданные имеющимися данными. В реальной сессии можно считать шаги, запросы и встретившиеся проблемы, но это предложение не содержит результатов измерений. Утверждения о precision или recall требуют определённого критерия релевантности и подходящего эталонного набора; несколько страниц не устанавливают полноту поиска во всём архиве. Точное число или нижняя граница пагинации тоже не говорят о качестве ответа. Время одного запроса описывает наблюдение, а не гарантию скорости. Сохраняйте эти ограничения рядом с будущими измерениями.
Пройдите небольшую задачу
Начните с предложенного /v1/search?q=quantization&subreddit=LocalLLaMA&limit=3&page=1. Backend приложения добавляет ключ tenant; участник видит вопрос и отправленные условия. Попросите изучить возвращённую ссылку и объяснить, что присутствует, а чего нет. Если вопрос о памяти остаётся, разрешите намеренно добавить одно это слово. Объясните AND внутри поля: проанализированные термины должны совпасть внутри подходящего title или text. Не обещайте точные фразы, исправление опечаток, понимание смысла или полную беседу, которых контракт не предоставляет.
Применяйте контролируемые локальные fixtures для исходов, которые доступный ответ может не охватывать: отсутствующий заголовок, контекст, успешные пустые данные, HTTP-ошибка и неполученный ответ. Помечайте их синтетическими, а реально выполненный проход фиксируйте отдельно от плана. Проверьте, может ли участник восстановить отправленный запрос и выбрать действие. Для продолжения соблюдайте pagination.has_more и предел в 100 страниц: полное последнее окно — не завершённый обзор. Следующие успешные запросы, включая пустые, расходуют по одному кредиту.
Зафиксируйте неудовлетворённые потребности
Формулируйте замечание через конкретное наблюдение и следствие. Например, будущая сессия может показать, что читатель принял нижнюю границу за точное число или не отличил неудачное продолжение от пустого результата. Это примеры замечаний, а не результаты уже проведённого исследования. Отделяйте возможные изменения интерфейса от свидетельств, которые нельзя изготовить. Более ясные подписи помогают с отсутствующей датой, но не восстанавливают недоступный источник и не подтверждают условия недокументированного эксперимента.
Ограничивайте оценку реально участвовавшими людьми, задачами и fixtures. Небольшой проход не создаёт рейтинг проблем сообщества или оценку их распространённости. Записывайте нерешённые потребности вместе с успешными шагами и указывайте, что потребуется проверить позже. Доступность интерфейса и поведение отдельных устройств описывайте только после тестирования. Решение продолжать разработку должно опираться на то, что читатели доказуемо понимают и делают, сохраняя неопределённость об историческом охвате, невидимом материале и выводах, которые поиск установить не может.
