Okuma kitaplığı
Arama özelliğinin okuruna yardım edip etmediğini değerlendirin
Nicemleme aramasını küçük ve açık bir okuma göreviyle değerlendirin: gözlenebilir kararlar, dürüst yanıt sınırları, kontrollü adımlar ve kaydedilmiş karşılanmayan ihtiyaçlar.
Kullanıcının kararını adlandırın
Yararlı Reddit bilgisi bulmaktan daha dar bir kararla başlayın. Önerilen LocalLLaMA alıştırmasında bir model geliştiricisinden, nicemleme bellek ölçümünün koşullarını belirten tarihsel tartışma bulmasını veya mevcut malzemenin neden yetersiz olduğunu açıklamasını isteyin. İkinci sonuç önemlidir: dürüstçe açık kalan soru, eksik bağlamdan üretilmiş emin yanıttan yararlı olabilir. Bu, eşleşen tartışmanın varlığı veya mevcut özelliğin gerçek kullanıcılara yardım ettiği kanıtı değil, önerilen değerlendirme görevidir.
Başarıyı arayüzün destekleyebileceği koşullarla tanımlayın. Okur gönderilen koşulları tanımlayabiliyor, kaynak metni inceleyebiliyor, kendi notunu ayırabiliyor ve daraltmaya ya da durmaya karar verebiliyor mu? Kabul ölçütünü Reddit'in eksiksiz taranması veya genel olarak en iyi yanıt yapmayın. Hizmet, sınırlı veri alımı, isteğe bağlı alanları ve eksiksizlik garantisi olmayan bağımsız tarihsel arşivdir. Başarılı HTTP isteği aktarım ve veri alımı kanıtıdır, araştırma sorusunun yanıtlandığı kanıtı değil.
Gözlenebilir kanıtı seçin
Görev sırasında olanları kaydedin: okurun tanıdığı filtreler, değiştirdiği koşul, kararını destekleyen metin ve tereddüt noktaları. Arayüz gözlemini sonradan çıkarılmış açıklamadan ayırın. Başlık umut verici görünüyorsa tıklamayı doğru yanıt saymak yerine hangi gövde bağlamının bunu doğruladığını sorun. Kayıtlar ilgi, tarih veya puan yerine arşivin _doc sırasıyla gelir. İlk görünen sonucu doğrulanacak otomatik öneri değil, okuma fırsatı kabul edin.
Mevcut kanıtın gerekçelendirebildiği ölçümleri kullanın. Gerçek oturumda adımları, istekleri ve sorunları kaydedebilirsiniz; bu öneri kıyaslama sayıları sunmaz. Precision veya recall iddiası, tanımlı ilgi değerlendirmesi ve uygun referans kümesi gerektirir; birkaç sayfa tüm arşivdeki recall oranını belirlemez. Kesin veya alt sınır toplamı da yanıt kalitesi hakkında bilgi vermez. Tek isteği zamanlamak bir gözlemi anlatır, performans garantisini değil. Gelecekteki ölçümlerin yanında bu sınırları tutun.
Küçük bir görev üzerinden ilerleyin
Önerilen /v1/search?q=quantization&subreddit=LocalLLaMA&limit=3&page=1 isteğiyle başlayın. Arka uç siteye özgü anahtarı sağlar; katılımcı soruyu ve gönderilen koşulları görür. Dönen referansı inceleyip neyin mevcut veya eksik olduğunu açıklamasını isteyin. Bellek sorusu sürüyorsa o tek sözcüğü bilinçli ekleyebilsin. Alan içi AND koşulunu açıklayın: çözümlenmiş terimler aynı eşleşen title veya text alanında bulunmalıdır. Sözleşmenin sağlamadığı tam ifade, yazım düzeltme, anlamsal anlayış veya eksiksiz konuşma vaat etmeyin.
Mevcut yanıtın kapsamayabileceği durumlar için kontrollü yerel test verileri kullanın: eksik başlık, eksik bağlam, başarılı boş veri, HTTP hatası ve hiç gelmeyen yanıt. Bunları sentetik olarak işaretleyin; gerçekten yapılan görev geçişini bu plandan ayrı kaydedin. Katılımcının gönderilen sorguya dönüp sonraki eylemi seçebildiğini kontrol edin. Devam ederken pagination.has_more ve 100 sayfa sınırına uyun; dolu son pencere tamamlanmış tarama değildir. Boş olanlar dâhil sonraki başarılı isteklerin her biri bir kredi kullanır.
Karşılanmayan ihtiyaçları kaydedin
Bulguları belirli gözlem ve sonucuyla yazın. Gelecekteki oturum, okurun alt sınırı kesin sayı sandığını veya başarısız devamı boş sonuçtan ayıramadığını gösterebilir. Bunlar yapılmış araştırmanın sonuçları değil, raporlanabilecek bulgu örnekleridir. Yapabileceğiniz arayüz değişikliklerini üretemeyeceğiniz kanıttan ayırın. Daha açık etiket, eksik tarihi anlatabilir; erişilemeyen kaynağı ya da belgelenmemiş deneyin koşullarını geri getiremez.
Değerlendirmeyi gerçekten kullanılan katılımcılar, görevler ve test verileriyle sınırlayın. Küçük görev geçişi topluluk sorunlarını sıralamaz veya yaygınlık tahmini üretmez. Açık ihtiyaçları başarılı adımların yanında kaydedin ve sonraki kontrolün hangi kanıtı gerektirdiğini belirtin. Erişilebilirlik veya cihaza özgü davranışı ancak sınadıktan sonra raporlayın. Geliştirmeyi sürdürme kararı, okurun gösterilebilir biçimde neyi anlayıp yapabildiğine dayanmalı; tarihsel kapsam, görülmemiş malzeme ve hizmetin belirleyemeyeceği sonuçlar konusundaki belirsizlik korunmalıdır.
