Pustaka bacaan
Menilai apakah fitur pencarian membantu pembacanya
Nilai pencarian kuantisasi lewat tugas membaca yang kecil dan jelas: keputusan teramati, batas respons yang jujur, penelusuran terkendali, dan kebutuhan terbuka yang dicatat.
Tentukan keputusan pengguna
Mulailah dengan keputusan yang lebih khusus daripada “menemukan informasi Reddit yang berguna”. Dalam latihan LocalLLaMA yang diusulkan, minta pengembang model mencari diskusi historis yang menyatakan kondisi pengukuran memori kuantisasi, atau menjelaskan mengapa bahan yang ada tidak cukup. Hasil kedua penting: pertanyaan terbuka yang jujur dapat lebih berguna daripada jawaban yakin yang dibangun dari konteks hilang. Ini usulan tugas evaluasi, bukan bukti diskusi cocok tersedia atau bahwa fitur saat ini membantu pengguna nyata menyelesaikannya.
Definisikan keberhasilan berdasarkan hal yang dapat didukung antarmuka. Bisakah pembaca mengenali kondisi terkirim, memeriksa teks sumber, membedakan catatan sendiri dari teks, lalu memilih mempersempit atau berhenti? Jangan jadikan survei Reddit lengkap atau jawaban terbaik sedunia sebagai syarat keberhasilan. Layanan ini arsip historis independen dengan pengambilan terbatas, bidang opsional, dan tanpa jaminan kelengkapan. Permintaan HTTP berhasil membuktikan pengiriman dan pengambilan, bukan terjawabnya pertanyaan penelitian.
Pilih bukti yang bisa diamati
Catat kejadian selama tugas: filter yang dikenali, kondisi yang diubah, teks yang mendukung keputusan, dan saat pembaca ragu. Bedakan pengamatan antarmuka dari penjelasan yang disimpulkan sesudahnya. Bila pembaca menyebut judul menjanjikan, tanyakan konteks isi yang menguatkannya, bukan menghitung klik sebagai jawaban benar. Rekaman datang dalam _doc, bukan urutan relevansi, tanggal, atau skor. Anggap hasil pertama peluang membaca, bukan rekomendasi otomatis untuk disahkan.
Gunakan ukuran yang dapat dibenarkan bukti tersedia. Anda dapat mencatat langkah, permintaan, dan masalah pada sesi nyata, tetapi usulan ini tidak memberikan angka tolok ukur. Klaim precision atau recall membutuhkan penilaian relevansi yang didefinisikan serta himpunan rujukan yang sesuai; beberapa halaman tidak membuktikan recall seluruh arsip. Total persis atau batas bawah paginasi juga tidak mengatakan kualitas jawaban. Waktu satu permintaan menjelaskan satu pengamatan, bukan jaminan performa. Letakkan batasan ini di samping pengukuran yang kelak dikumpulkan.
Jalankan tugas kecil secara bertahap
Mulai dari /v1/search?q=quantization&subreddit=LocalLLaMA&limit=3&page=1. Backend pemanggil menyediakan kunci tenant; peserta melihat pertanyaan dan kondisi terkirim. Minta mereka memeriksa rujukan yang diterima dan menjelaskan apa yang ada atau tidak ada. Jika memori masih menjadi persoalan, biarkan mereka menambahkan satu kata itu secara sengaja. Jelaskan AND dalam bidang: istilah analisis harus cocok di dalam title atau text. Jangan menjanjikan frasa persis, koreksi salah ketik, pemahaman semantik, atau percakapan lengkap yang tidak disediakan kontrak.
Gunakan fixture lokal terkendali untuk menelaah keadaan yang mungkin tidak tercakup respons tersedia: judul hilang, konteks hilang, data kosong berhasil, kesalahan HTTP, dan respons yang tidak pernah datang. Labeli sebagai sintetis dan catat pelaksanaan yang benar-benar dilakukan secara terpisah dari rencana. Periksa apakah peserta bisa kembali ke kueri terkirim dan memilih langkah berikutnya. Untuk kelanjutan, patuhi pagination.has_more dan batas 100 halaman; jendela terakhir yang penuh bukan survei tuntas. Permintaan berhasil tambahan, termasuk kosong, masing-masing memakai satu kredit.
Catat kebutuhan yang belum terpenuhi
Tuliskan temuan dengan pengamatan spesifik dan dampaknya. Misalnya, sesi mendatang mungkin menunjukkan pembaca mengira batas bawah sebagai total persis atau tidak bisa membedakan kelanjutan gagal dari hasil kosong. Ini contoh temuan yang bisa dilaporkan, bukan hasil studi yang telah dijalankan. Pisahkan perubahan antarmuka yang bisa dibuat dari bukti yang tidak bisa Anda ciptakan. Label jelas dapat membantu menghadapi tanggal hilang; tidak dapat mengembalikan sumber tak tersedia atau mengesahkan kondisi eksperimen yang tidak didokumentasikan.
Batasi evaluasi pada peserta, tugas, dan fixture yang benar-benar digunakan. Penelusuran kecil tidak menghasilkan peringkat masalah komunitas atau perkiraan prevalensi. Catat kebutuhan terbuka bersama langkah yang berhasil dan sebutkan bukti yang diperlukan pemeriksaan berikutnya. Perilaku aksesibilitas atau perangkat tertentu hanya boleh dilaporkan setelah diuji. Keputusan melanjutkan pengembangan harus bertumpu pada yang terbukti dipahami dan dilakukan pembaca, sambil mempertahankan ketidakpastian tentang cakupan historis, bahan belum terlihat, dan kesimpulan yang tidak dapat dipastikan layanan pencarian.
