Бібліотека читання
Оцініть, чи допомагає пошук своєму читачеві
Оцініть пошук про квантування через невелику явну задачу читання: спостережувані рішення, чесні межі відповіді, контрольований прохід і записані потреби.
Назвіть рішення користувача
Почніть із рішення вужчого, ніж «знайти корисну інформацію в Reddit». У запропонованій вправі LocalLLaMA попросіть розробника знайти історичне обговорення з умовами вимірювання пам’яті при квантуванні або пояснити, чому наявного матеріалу недостатньо. Другий наслідок важливий: чесно відкрите питання може бути кориснішим за впевнену відповідь із відсутнього контексту. Це запропонована задача оцінювання, а не доказ існування потрібного обговорення чи допомоги реальним користувачам від поточної функції.
Визначте успіх через те, що підтримує інтерфейс. Чи може читач назвати надіслані умови, вивчити текст джерела, відділити власну нотатку й вирішити, уточнювати пошук чи зупинитися? Не робіть повний огляд Reddit або найкращу відповідь у світі критерієм приймання. Сервіс — незалежний історичний архів з обмеженим отриманням, необов’язковими полями й без гарантії повноти. Успішний HTTP-запит засвідчує передачу та отримання, а не доводить розв’язання дослідницького питання.
Виберіть спостережувані свідчення
Фіксуйте перебіг задачі: які фільтри читач розпізнає, яку умову змінює, який текст підтримує рішення та де він вагається. Відділяйте спостереження за інтерфейсом від пояснення, зробленого пізніше. Якщо заголовок видається перспективним, запитайте, який контекст основного тексту це підтверджує, а не рахуйте клік правильною відповіддю. Записи надходять у порядку _doc, не за релевантністю, датою чи оцінкою. Сприймайте перший запис як нагоду прочитати, не автоматичну рекомендацію для підтвердження.
Використовуйте показники, виправдані наявними даними. У справжній сесії можна записувати кроки, запити й труднощі, але ця пропозиція не містить результатів вимірювання. Твердження про precision чи recall потребують визначеного критерію релевантності й належного еталонного набору; кілька сторінок не встановлюють повноти пошуку в архіві. Точне число або нижня межа пагінації також не говорять про якість відповіді. Час одного запиту описує спостереження, а не гарантію швидкості. Тримайте ці межі поряд із майбутніми вимірами.
Пройдіть невелику задачу
Почніть із запропонованого /v1/search?q=quantization&subreddit=LocalLLaMA&limit=3&page=1. Backend застосунку додає ключ tenant; учасник бачить питання й надіслані умови. Попросіть вивчити повернене посилання та пояснити, що є, а чого бракує. Якщо питання пам’яті лишається, дозвольте свідомо додати одне це слово. Поясніть AND усередині поля: проаналізовані терміни мають збігтися всередині відповідного title або text. Не обіцяйте точних фраз, виправлення описок, розуміння змісту чи повної розмови, яких контракт не дає.
Використовуйте контрольовані локальні fixtures для наслідків, яких наявна відповідь може не охопити: відсутніх заголовка чи контексту, успішних порожніх даних, HTTP-помилки й відповіді, що не надійшла. Позначайте їх синтетичними, а реально виконаний прохід фіксуйте окремо від плану. Перевірте, чи учасник відновлює надісланий запит і вибирає наступну дію. Для продовження дотримуйтеся pagination.has_more та межі 100 сторінок; повне останнє вікно — не завершений огляд. Подальші успішні запити, включно з порожніми, витрачають по одному кредиту.
Зафіксуйте незадоволені потреби
Описуйте знахідку через конкретне спостереження та наслідок. Майбутня сесія, наприклад, може показати, що читач сплутав нижню межу з точним числом або не відрізнив невдале продовження від порожнього результату. Це приклади можливих зауважень, а не результати проведеного дослідження. Відділяйте зміни інтерфейсу, які можна зробити, від свідчень, які не можна вигадати. Зрозуміліші підписи допомагають із відсутньою датою, але не відновлюють недоступного джерела чи умов недокументованого експерименту.
Обмежуйте оцінку справжніми учасниками, задачами й fixtures. Невеликий прохід не створює рейтингу проблем спільноти або оцінки поширеності. Записуйте відкриті потреби разом з успішними кроками й зазначайте, які докази потрібні пізніше. Доступність інтерфейсу чи поведінку на окремому пристрої описуйте лише після перевірки. Рішення продовжувати розробку має спиратися на те, що читачі доведено розуміють і роблять, зберігаючи невизначеність щодо історичного охоплення, невидимого матеріалу й висновків поза можливостями пошуку.
