읽기 라이브러리
검색 기능이 독자에게 도움이 되는지 평가하기
작고 명확한 읽기 과제로 양자화 검색을 평가합니다. 관찰 가능한 판단, 정직한 응답 한계, 통제된 진행과 해결되지 않은 필요를 기록합니다.
사용자의 판단을 구체화하세요
“유용한 Reddit 정보 찾기”보다 좁은 판단에서 시작하세요. LocalLLaMA 연습에서는 모델 개발자에게 양자화 메모리 측정 조건을 밝힌 과거 토론을 찾거나, 가진 자료가 왜 부족한지 설명하게 할 수 있습니다. 두 번째 결과도 중요합니다. 없는 맥락으로 만든 확신보다 정직한 미해결 질문이 더 유용할 수 있습니다. 이는 평가 과제 제안이지 일치 토론의 존재나 현 기능을 통해 실제 사용자가 수행했다는 증거가 아닙니다.
화면이 지원할 수 있는 범위에서 성공을 정하세요. 독자가 제출 조건을 파악하고 원문을 읽으며 자신의 메모와 구분하고, 수정하거나 멈추는 판단을 할 수 있나요? Reddit 전체 조사나 전 세계 최고의 답을 합격 기준으로 삼지 마세요. 서비스는 제한된 조회, 선택적 필드, 완전성 보장이 없는 독립적인 과거 아카이브입니다. HTTP 요청 성공은 통신과 조회의 증거이지 독자의 조사 질문에 답했다는 증거가 아닙니다.
관찰할 수 있는 증거를 고르세요
과제 중 인식한 필터, 바꾼 조건, 판단을 뒷받침한 글, 망설인 지점을 기록하세요. 화면에서 관찰한 사실과 나중에 추론한 설명을 분리합니다. 독자가 제목이 유망하다고 하면 클릭을 정답으로 세지 말고 어떤 본문 맥락이 확인해 주는지 물어보세요. 레코드는 _doc 순서이며 관련도, 날짜, 점수순이 아닙니다. 첫 결과는 읽을 기회이지 확인해야 할 자동 추천이 아닙니다.
사용 가능한 증거로 정당화할 수 있는 지표를 사용하세요. 실제 세션의 단계, 요청 수, 문제는 기록할 수 있지만 이 제안에는 벤치마크 수치가 없습니다. 정밀도나 재현율 주장은 정의된 관련성 판단과 적절한 기준 집합이 필요합니다. 몇 페이지로 아카이브 전체의 재현율을 증명하지 못합니다. 정확하거나 하한인 전체 개수도 답의 품질을 말하지 않습니다. 요청 하나의 시간은 그 관찰이지 성능 보장이 아닙니다. 나중에 수집할 수치 옆에도 이런 한계를 적으세요.
작은 과제를 단계별로 진행하세요
제안 요청 /v1/search?q=quantization&subreddit=LocalLLaMA&limit=3&page=1 에서 시작하세요. 호출자 백엔드가 테넌트 키를 제공하고 참가자는 질문과 제출 조건을 봅니다. 반환된 참조를 확인하고 무엇이 있고 없는지 설명하게 하세요. 메모리가 여전히 핵심이면 그 단어만 의도적으로 추가하게 합니다. 분석 단어들이 일치하는 한 title 또는 text 안에 있어야 하는 필드 내 AND를 설명하세요. 계약에 없는 정확한 구문, 오타 교정, 의미 이해, 완전한 대화를 약속하지 마세요.
가용 응답으로 보지 못할 상태는 통제된 로컬 픽스처로 검토하세요. 제목 없음, 맥락 부족, 빈 성공 데이터, HTTP 오류, 응답 미도착 등이 있습니다. 가상이라고 밝히고 실제 수행한 진행은 이 계획과 별도로 기록합니다. 참가자가 제출 쿼리로 돌아가 다음 행동을 고르는지 확인하세요. 계속할 때는 pagination.has_more와 100페이지 제한을 따릅니다. 꽉 찬 마지막 범위는 완성된 조사가 아닙니다. 추가 성공 요청은 빈 결과도 매번 1크레딧입니다.
충족되지 않은 필요를 기록하세요
구체적인 관찰과 그 영향으로 발견 사항을 쓰세요. 이후 세션에서 독자가 전체 수의 하한을 정확한 수로 오해하거나 진행 실패와 빈 결과를 구별하지 못할 수도 있습니다. 이는 기록할 수 있는 사례이지 이미 시행한 연구 결과가 아닙니다. 고칠 수 있는 UI와 만들어 낼 수 없는 증거를 구분하세요. 더 명확한 라벨은 빠진 날짜를 다루는 데 도움을 주지만, 이용 불가한 출처를 복구하거나 기재되지 않은 실험 조건을 인증하지는 못합니다.
실제로 사용한 참가자, 과제, 픽스처 범위에서만 평가하세요. 작은 진행으로 커뮤니티 문제의 순위나 발생률을 산출할 수 없습니다. 성공한 단계와 함께 미해결 필요를 기록하고 후속 확인에 필요한 증거를 밝히세요. 접근성과 기기별 동작은 시험한 뒤에 보고합니다. 개발을 계속할지는 독자가 실제로 이해하고 수행함을 보인 내용에 근거해야 합니다. 과거 수집 범위, 보지 못한 자료, 검색 서비스가 입증하지 못하는 결론의 불확실성은 남겨 두세요.
