Audit Jawaban Chat AI sebelum dan Sesudah Diluncurkan

Audit jawaban chat AI membantu tim memahami apakah bantuan sesuai informasi bisnis dan kebutuhan pelanggan. Pemeriksaan dilakukan sebelum peluncuran serta setelah sistem dipakai, karena jenis pertanyaan dan kebijakan dapat berubah. Tujuannya menemukan jawaban yang salah, tidak lengkap, atau terlalu yakin, lalu memperbaiki sumber dan alur yang menyebabkan masalah.

Susun sampel yang mewakili kebutuhan

Pilih pertanyaan umum, variasi bahasa pelanggan, dan kasus yang belum mempunyai jawaban. Masukkan pertanyaan yang membutuhkan admin, informasi yang kedaluwarsa, serta permintaan di luar layanan. Sampel harus mencakup kondisi sulit, bukan hanya contoh yang sudah diketahui menghasilkan jawaban bagus.

Contoh studio pelatihan menguji pertanyaan paket, perubahan jadwal, pembatalan khusus, dan permintaan sertifikasi yang tidak ditawarkan. Jawaban tentang sertifikasi harus sesuai fakta. AI tidak boleh menambahkan layanan baru hanya agar percakapan terdengar membantu.

Gunakan rubrik yang jelas

Nilai akurasi terhadap sumber, kelengkapan, kejelasan, dan keputusan handoff. Tentukan kesalahan yang dianggap kritis, seperti meminta password atau membuat janji pengembalian dana tanpa kewenangan. Reviewer perlu mengetahui bahan rujukan yang menjadi dasar penilaian.

• Apakah jawaban memakai informasi yang berlaku?
• Apakah syarat yang penting dijelaskan?
• Apakah ketidakpastian disampaikan dengan tepat?
• Apakah pilihan admin tersedia ketika diperlukan?
• Apakah data sensitif diminta atau diulang tanpa kebutuhan?

Simpan jawaban dan alasan penilaian pada contoh yang telah dibersihkan dari data pribadi. Perbedaan pendapat reviewer perlu dibahas agar rubrik tidak berubah hanya karena gaya bahasa yang disukai orang tertentu.

Perbaiki penyebab lalu ulangi pemeriksaan

Jawaban keliru dapat berasal dari sumber yang salah, informasi yang tidak ditemukan, atau aturan bantuan yang belum jelas. Perbaikan harus mengikuti penyebabnya. Menambah larangan umum tanpa memperbaiki dokumen dapat menghasilkan sistem yang lebih sering menolak tetapi tetap tidak memberi bantuan yang benar.

Setelah perubahan, ulangi sampel awal dan beberapa contoh baru yang mirip. Periksa apakah kesalahan berkurang tanpa menghilangkan jawaban yang sebelumnya benar. Saat sudah berjalan, ambil sampel percakapan dengan aturan akses yang sesuai dan pantau keluhan yang berulang. Jangan memakai satu nilai rata-rata untuk menutupi kesalahan kritis. Audit yang berguna menghasilkan daftar perbaikan, pemilik tugas, dan alasan penerimaan. Bantuan AI tetap mempunyai keterbatasan, sehingga hasil pemeriksaan perlu menunjukkan kasus yang harus dialihkan kepada manusia atau belum layak dijawab otomatis.

Sumber dan bacaan

• NIST: pengukuran dan pengelolaan risiko pada sistem AI.