Human-in-the-Loop: Merancang Persetujuan Manusia untuk AI Agent di Proses Bisnis

Ketika perusahaan mulai memakai AI agent untuk mengerjakan tugas nyata, seperti membalas pelanggan, menyusun pesanan, mencocokkan faktur, atau mengubah data di sistem, pertanyaan yang segera muncul bukan lagi apakah AI mampu, melainkan seberapa jauh ia boleh bertindak sendiri. Terlalu longgar, satu kesalahan dapat menghapus data, mengirim pesan keliru ke pelanggan, atau menyetujui pembayaran yang seharusnya tidak. Terlalu ketat, setiap langkah menunggu manusia sehingga otomatisasi kehilangan manfaatnya.

Human-in-the-loop (HITL) adalah pendekatan merancang titik-titik di mana manusia meninjau, menyetujui, atau mengoreksi pekerjaan AI. Bukan sekadar tombol setuju di akhir, melainkan desain yang menentukan kapan manusia perlu terlibat, apa yang ditampilkan agar keputusan cepat dan tepat, dan bagaimana koreksi manusia dipakai memperbaiki sistem. Artikel ini membahas cara menentukan tingkat otonomi, merancang antarmuka persetujuan, mengelola antrean tinjauan, dan mengukur apakah kontrol manusia benar-benar efektif.

Ringkasan

• Tingkat otonomi sebaiknya ditentukan per jenis tindakan berdasarkan risiko dan dapat dibatalkannya, bukan satu pengaturan untuk seluruh agen
• Tindakan yang tidak dapat dibatalkan atau berdampak keuangan, hukum, dan reputasi layak mendapat persetujuan manusia
• Antarmuka persetujuan harus menampilkan konteks, alasan, dan sumber agar peninjau bisa memutuskan dengan cepat
• Persetujuan yang dilakukan tanpa membaca bukan kontrol; ukur kualitas tinjauan, bukan hanya jumlahnya
• Koreksi manusia adalah data berharga untuk memperbaiki prompt, aturan, dan evaluasi

Mengapa HITL penting

AI modern sangat mampu, tetapi tidak sempurna. Ia dapat salah membaca dokumen, mengarang detail yang tidak ada, mengikuti instruksi tersembunyi dalam teks yang diproses, atau memilih tindakan yang masuk akal secara bahasa tetapi keliru secara bisnis. Risiko ini dibahas lebih lanjut di risiko AI dalam operasional dan keamanan aplikasi AI: prompt injection dan kebocoran data.

Kontrol manusia membantu dalam tiga hal:

• **Mencegah kerugian.** Kesalahan berisiko tinggi tertangkap sebelum berdampak.
• **Membangun kepercayaan.** Tim lebih mau mengadopsi otomatisasi bila mereka memegang kendali pada tahap awal.
• **Menghasilkan data pembelajaran.** Setiap koreksi menunjukkan di mana AI lemah dan bagaimana memperbaikinya.

Menentukan tingkat otonomi

Tidak semua tindakan sama. Cara praktis: nilai setiap tindakan pada dua sumbu, yaitu seberapa besar dampak kesalahan dan seberapa mudah dibatalkan.

Tingkat 1: otomatis penuh

Tindakan berisiko rendah dan mudah dibatalkan, misalnya mengklasifikasikan tiket, memberi label pada dokumen, atau menyusun ringkasan internal. AI bertindak, hasil dicatat, dan sampling berkala memeriksa kualitas.

Tingkat 2: otomatis dengan pemberitahuan dan hak batal

AI bertindak, manusia diberi tahu dan dapat membatalkan dalam jangka waktu tertentu. Cocok untuk tindakan berdampak sedang yang bisa dikembalikan, seperti menjadwalkan ulang janji atau memperbarui data kontak.

Tingkat 3: AI mengusulkan, manusia menyetujui

AI menyiapkan draf, misalnya balasan pelanggan, pesanan pembelian, atau jurnal, dan manusia meninjau sebelum dieksekusi. Ini pola paling umum untuk tindakan yang keluar ke pihak eksternal atau memengaruhi keuangan.

Tingkat 4: manusia memutuskan, AI membantu

Untuk keputusan berisiko tinggi, seperti persetujuan kredit besar, perubahan harga massal, atau tindakan hukum, AI hanya menyajikan analisis dan opsi, sedangkan keputusan dan eksekusi dilakukan manusia.

Tingkat dapat naik seiring bukti kinerja. Mulailah konservatif dan longgarkan setelah data menunjukkan tingkat kesalahan yang dapat diterima. Kerangka tata kelola yang lebih luas ada di kebijakan penggunaan AI dan tata kelola AI di perusahaan.

Tindakan yang hampir selalu perlu persetujuan

• Pengiriman pesan atau surel ke pelanggan, pemasok, atau publik
• Pembayaran, transfer, pengembalian dana, dan perubahan rekening
• Penghapusan atau perubahan massal data
• Perubahan harga, diskon, atau syarat kontrak
• Pemberian atau pencabutan hak akses
• Tindakan yang berdampak pada karyawan, seperti keputusan SDM
• Tindakan di lingkungan produksi yang sulit dipulihkan

Sebagai pembanding, alur persetujuan konvensional dibahas di alur approval pembelian. Prinsipnya sama: batas nilai dan jenis tindakan menentukan siapa yang harus menyetujui.

Merancang antarmuka persetujuan yang efektif

Persetujuan hanya berguna bila peninjau benar-benar memahami apa yang disetujui. Antarmuka yang buruk membuat orang menekan setuju secara refleks.

Tampilkan konteks yang cukup

Sertakan permintaan asli, data sumber, tindakan yang diusulkan, dan dampaknya. Peninjau tidak boleh perlu membuka lima tab lain untuk memahami konteks.

Tampilkan alasan dan sumber

Jelaskan mengapa AI mengusulkan tindakan itu dan dokumen atau data mana yang mendasarinya. Rujukan sumber memudahkan verifikasi cepat, sebagaimana pada chatbot AI berbasis pengetahuan perusahaan dengan RAG.

Tandai keyakinan dan anomali

Tampilkan tingkat keyakinan atau tanda peringatan bila ada hal tidak biasa, misalnya jumlah jauh di atas rata-rata atau pemasok baru. Arahkan perhatian peninjau ke tempat yang paling berisiko.

Izinkan koreksi, bukan hanya setuju atau tolak

Peninjau harus bisa mengedit draf, memberi alasan penolakan, atau meminta AI mencoba lagi dengan petunjuk. Koreksi yang terstruktur menjadi data belajar.

Buat tindakan kecil mudah, tindakan besar disengaja

Persetujuan massal untuk item berisiko rendah mempercepat kerja, sedangkan tindakan berisiko tinggi sebaiknya meminta konfirmasi eksplisit atau persetujuan dua orang.

Mengelola antrean tinjauan

Bila AI menghasilkan ratusan item per hari, antrean tinjauan bisa menjadi hambatan baru.

• **Prioritas.** Urutkan berdasarkan risiko dan tenggat, bukan waktu masuk saja
• **Penugasan.** Arahkan item ke orang yang berwenang dan kompeten, dengan cadangan saat ada yang absen
• **Batas waktu.** Tetapkan apa yang terjadi bila tidak ada respons: eskalasi, bukan eksekusi otomatis untuk tindakan berisiko
• **Beban kerja.** Pantau jumlah dan umur antrean; antrean yang menumpuk adalah sinyal bahwa tingkat otonomi atau kualitas AI perlu ditinjau
• **Sampling.** Untuk tindakan otomatis penuh, tinjau sampel acak secara berkala untuk menangkap penurunan kualitas

Mengukur efektivitas kontrol manusia

Kontrol yang hanya formalitas memberi rasa aman palsu. Ukurlah:

• **Tingkat persetujuan tanpa perubahan.** Bila hampir 100 persen disetujui dalam hitungan detik, peninjau mungkin tidak membaca, atau AI memang sangat baik; selidiki lewat audit sampel
• **Tingkat koreksi dan penolakan.** Tren menurun menunjukkan AI membaik
• **Waktu tinjauan.** Terlalu cepat atau terlalu lama sama-sama sinyal
• **Kesalahan yang lolos.** Kejadian setelah persetujuan yang ternyata salah
• **Waktu siklus.** Apakah otomatisasi dengan HITL tetap lebih cepat daripada proses manual

Metode evaluasi kualitas keluaran dibahas di evaluasi kualitas output AI dan LLM untuk aplikasi bisnis.

Jejak audit dan akuntabilitas

Setiap tindakan AI dan keputusan manusia perlu tercatat: apa yang diusulkan, apa yang dilihat peninjau, siapa menyetujui, kapan, dan apa hasilnya. Jejak ini penting untuk investigasi insiden, audit, dan perbaikan. Prinsipnya sama dengan jejak audit dan pengendalian internal di sistem ERP. Tegaskan juga bahwa akuntabilitas akhir tetap pada manusia atau fungsi yang menyetujui, bukan pada AI.

Pola penerapan yang umum

Pemrosesan dokumen

AI mengekstrak data dari faktur atau kontrak, dan hanya item dengan keyakinan rendah atau nilai besar dikirim ke peninjau. Pembahasan lebih jauh di otomatisasi input data dari dokumen.

Layanan pelanggan

AI menyusun balasan, agen manusia menyetujui untuk kasus sensitif seperti keluhan, pengembalian dana, atau ancaman hukum, sedangkan pertanyaan rutin dijawab otomatis. Untuk kanal suara, lihat agen suara AI untuk layanan pelanggan.

Keuangan dan pengadaan

AI mencocokkan faktur, pesanan, dan penerimaan barang, lalu hanya selisih yang memerlukan keputusan manusia. Ini sejalan dengan otomatisasi utang usaha dan pencocokan tiga arah di ERP.

Operasi dan integrasi sistem

Agen yang memanggil alat dan API perlu batas izin yang jelas; lihat Model Context Protocol (MCP) dan AI agent untuk otomatisasi proses bisnis. Memilih pendekatan yang tepat juga dibahas di RPA, API, atau AI agent.

Contoh ilustrasi: draf pesanan pembelian oleh AI

Bayangkan sebuah agen yang memantau stok, lalu menyusun draf pesanan pembelian ke pemasok. Untuk barang rutin dengan nilai di bawah batas kecil dan pemasok yang sudah lama dipakai, draf dapat langsung dikirim dan manusia hanya diberi tahu. Untuk pesanan di atas batas nilai tertentu, pemasok baru, atau harga yang menyimpang jauh dari riwayat, draf masuk antrean persetujuan. Peninjau melihat riwayat harga, stok saat ini, alasan AI mengusulkan jumlah tersebut, dan pemasok alternatif. Bila peninjau mengubah jumlah, alasan perubahan dicatat dan dipakai untuk menyempurnakan aturan berikutnya.

Dalam beberapa bulan, pola koreksi biasanya memperlihatkan titik lemah yang konkret, misalnya AI selalu terlalu rendah memperkirakan lonjakan musiman. Perbaikan atas titik itu mengurangi koreksi, dan batas nilai untuk pengiriman otomatis dapat dinaikkan secara bertahap dengan dasar data, bukan keyakinan. Pola yang sama berlaku untuk balasan pelanggan, penjadwalan, dan pencocokan faktur.

Kesalahan yang sering terjadi

• Menempatkan persetujuan hanya di akhir sehingga peninjau tidak punya konteks
• Membuat semua tindakan wajib disetujui sehingga antrean macet dan tim menolak sistem
• Membiarkan batas waktu menyetujui otomatis tindakan berisiko
• Tidak mencatat koreksi manusia sehingga AI tidak pernah membaik
• Menganggap persetujuan manusia otomatis efektif tanpa mengukur
• Memberi satu orang beban meninjau terlalu banyak item tanpa prioritas
• Tidak membatasi izin agen pada hal yang diperlukan

Pertanyaan yang sering diajukan

Apakah HITL membuat otomatisasi menjadi lambat?

Tidak bila dirancang baik. Otomatisasi penuh untuk tugas berisiko rendah dan tinjauan hanya untuk kasus berisiko atau berkeyakinan rendah sering tetap jauh lebih cepat daripada proses manual.

Kapan tingkat otonomi boleh dinaikkan?

Setelah ada data cukup, misalnya beberapa minggu atau ratusan kasus, yang menunjukkan tingkat kesalahan dapat diterima, dan setelah ada mekanisme untuk membatalkan atau memulihkan bila terjadi masalah.

Siapa yang sebaiknya menjadi peninjau?

Orang yang memahami proses bisnisnya dan berwenang atas keputusan tersebut, bukan sekadar staf yang kebetulan tersedia. Bekali mereka dengan pelatihan tentang jenis kesalahan khas AI.

Apakah regulasi mewajibkan pengawasan manusia?

Tergantung sektor dan jenis keputusan. Untuk keputusan yang berdampak signifikan pada individu, banyak kerangka tata kelola menganjurkan pengawasan manusia. Konsultasikan dengan penasihat hukum untuk kasus Anda.

Kesimpulan

Human-in-the-loop bukan tanda bahwa AI belum siap, melainkan cara membangun otomatisasi yang dapat dipercaya. Tentukan tingkat otonomi per jenis tindakan, rancang antarmuka persetujuan yang memberi konteks, kelola antrean agar tidak menjadi hambatan, dan ukur apakah kontrol manusia benar-benar bekerja. Dengan koreksi yang terus dipakai untuk memperbaiki sistem, ruang otonomi AI dapat diperluas secara bertahap dan aman.