読解ライブラリー
検索機能が読者に役立つかを評価する
量子化検索を小さな明確な読解課題で評価します。観測可能な判断、応答の限界、統制した試行、未解決の必要事項を記録します。
利用者がする判断を定める
「役立つReddit情報を探す」より具体的な判断から始めます。LocalLLaMAの練習なら、量子化に伴うメモリ測定条件を書いた過去の議論を見つけるか、手元の材料では足りない理由を説明してもらいます。後者も重要で、文脈を補って断定するより、未解決と正直に示すほうが有用な場合があります。これは評価課題の提案であり、一致する議論の存在や、現機能で実利用者が達成できたという証拠ではありません。
画面が支援できることを成功基準にします。読者は送信条件を説明できるか、元の本文を確認できるか、自分のメモと区別できるか、絞り直すか終了するかを選べるか、などです。Redditの全調査や世界で最良の回答を基準にしないでください。サービスは取得範囲が限定され、任意項目や不完全さのある独立した歴史アーカイブです。HTTP要求の成功は通信と取得の証拠であり、調査上の問いの解決を証明しません。
観測できる根拠を選ぶ
課題中に起きることを記録します。気付いたフィルター、変えた条件、判断の根拠にした本文、迷った場所などです。画面での観測と、後から推測した説明を分けます。読者がタイトルを有望だと言ったら、クリックを正解として数えず、どの本文の文脈が裏付けるか尋ねます。レコードは関連度、日付、スコアでなく_doc順です。最初の項目は読む機会であり、確認すべき自動推薦とは扱いません。
得られる証拠に合った測定を使います。実際のセッションで手順、要求回数、遭遇した問題は記録できますが、この提案にはベンチマーク値はありません。適合率や再現率を述べるには、関連性判断と適切な正解集合が必要で、数ページだけからアーカイブ全体の再現率は分かりません。正確または下限の総数も回答品質を示しません。一度の要求時間はその観測であって性能保証ではありません。後で得る測定値の横にも、その限界を記します。
小さな課題を順に試す
/v1/search?q=quantization&subreddit=LocalLLaMA&limit=3&page=1を開始案にします。呼び出し側のバックエンドがテナントキーを付け、参加者には問いと送信条件を見せます。返された参照を一つ確認し、何があり何がないか説明してもらいます。まだメモリが問題なら、その語だけを明示的に追加できます。解析語が一つのtitleまたはtext内で一致するフィールド内ANDを説明します。契約にない完全一致フレーズ、誤字補正、意味理解、完全な会話を約束しないでください。
利用可能な応答では確認できない場合に備え、タイトル欠落、文脈不足、空の成功、HTTPエラー、応答未着をローカルなフィクスチャーで試す計画にします。架空と表示し、実際に行った試行をこの計画とは別に記録します。参加者が送信クエリに戻り、次の行動を選べるか確認します。継続ではpagination.has_moreと100ページの上限を守り、満杯の最終ウィンドウを全調査の完了としません。成功する追加要求は空でも各1クレジットです。
満たせなかった必要事項を残す
具体的な観測とその影響を組にして書きます。将来の試行なら、総数の下限を正確な値と誤解した、失敗した継続と空の結果を区別できなかった、などが見つかるかもしれません。これは報告例であり、実施済み調査の結果ではありません。修正できるUIと、作り出せない不足情報を分けます。分かりやすいラベルは日付欠落への対応に役立っても、利用不能な出典の復元や書かれていない実験条件の認定はできません。
評価は実際の参加者、課題、フィクスチャーの範囲に限定します。小さな試行から、コミュニティの問題ランキングや発生頻度を導けません。達成できた操作とともに未解決事項を書き、後の確認に必要な証拠も示します。アクセシビリティや端末固有の挙動は試験してから報告します。開発継続の判断は読者が実証した理解と行動に基づけつつ、過去の収録範囲、未見の材料、サービスが立証できない結論の不確かさを残します。
