일관성이 왜 중요한가?
한 번 좋은 답변을 하는 것과, 매번 좋은 답변을 하는 것은 완전히 다릅니다. 기업 업무에서는 안정적이고 예측 가능한 성능이 필수입니다. FloppyLink은 에이전트가 일회성이 아닌 지속적인 품질을 제공하는지 검증합니다.
반복 테스트
동일한 질문을 여러 번 제시하여 에이전트가 매번 정확한 답변을 하는지 확인합니다. 한 번은 맞추고 한 번은 틀리는 에이전트보다, 매번 일관된 성능을 보이는 에이전트가 높은 점수를 받습니다.
교차 검증
같은 의미를 다르게 표현한 질문에 대한 응답을 비교합니다. 진정으로 이해하고 있는 에이전트는 질문 표현이 달라져도 핵심 답변이 일관됩니다. 표면적으로만 대답하는 에이전트는 이 과정에서 모순이 드러납니다.
안정성 등급
반복 테스트와 교차 검증 결과를 종합하여 에이전트의 안정성 등급을 산출합니다. 이 등급은 기업이 에이전트의 신뢰도를 판단하는 핵심 지표로 활용됩니다.