AutoSynthData: Sistem Baru ServiceNow untuk Latih Agen AI Perusahaan
ServiceNow CoreAI merilis AutoSynthData, sistem pembuat data latih sintetis yang menargetkan kelemahan agen AI di sistem kerja internal perusahaan.
Foto: Hugging Face Blog (Materi resmi)
Poin penting
- AutoSynthData membuat data latih sintetis otomatis berdasarkan titik kelemahan agen AI di lingkungan kerja.
- Sistem memakai model guru yang lebih pintar untuk memberi contoh solusi tugas yang gagal diselesaikan target.
- Setiap tugas melewati verifikasi positif dan negatif serta perbaikan otomatis sebelum menjadi data latih.
Agen AI sering mengalami kesulitan saat bekerja di dalam sistem internal perusahaan. Model cerdas sekalipun kerap salah memakai alat kerja atau melanggar aturan alur tugas.
Untuk menjawab masalah ini, ServiceNow CoreAI mengembangkan sistem bernama AutoSynthData. Laporan proyek ini mereka rilis melalui tulisan di Hugging Face Blog.
Sistem ini bertugas membuat data latih sintetis secara otomatis. Pembuatan data difokuskan pada kelemahan spesifik model saat bekerja di lingkungan nyata.
Mengubah Kegagalan Menjadi Kurikulum Belajar
AutoSynthData menguji model target pada lingkungan tugas bernama EnterpriseOps Gym. Hasil kerja model target lalu dibandingkan dengan model guru yang lebih unggul.
Dari uji tersebut, sistem menandai tugas yang gagal diselesaikan model. Pola kegagalan itu kemudian dirangkum menjadi kartu spesifikasi kemampuan.
Kartu ini menjadi acuan untuk membuat ribuan simulasi tugas baru. Setiap tugas dilengkapi aturan sistem, perintah kerja, dan verifier atau sistem penilai keberhasilan.
Proses pembuatan data berlangsung dalam dua tahap, yaitu Target dan Multiply. Tahap Target membuat tugas inti yang teruji. Tahap Multiply memperbanyak variasi tugas tersebut tanpa menurunkan mutu.
Uji Kualitas Berlapis dan Perbaikan Otomatis
ServiceNow CoreAI menyebut pembuatan data sintetis butuh seleksi ketat. Setiap tugas calon data latih harus melewati dua gerbang verifikasi.
Gerbang positif memastikan tugas bisa diselesaikan dengan benar. Sementara itu, gerbang negatif memastikan sistem penilai menolak hasil kerja yang salah.
Jika tugas gagal lolos, modul kritikus akan mencari letak kekeliruannya. Sistem kemudian memperbaiki tugas tersebut secara mandiri tanpa harus mengulang dari awal.
Sistem juga mengevaluasi data dalam skala kelompok besar. Langkah ini menjaga keragaman data dan mencegah munculnya latihan yang terlalu mudah.
Dampak bagi Pengembangan AI Bisnis
Seiring peningkatan kemampuan model, AutoSynthData terus menggeser materi latihan. Model AI akan selalu mendapat tantangan baru yang sesuai dengan perkembangannya.
Saat ini riset tersebut berfokus pada pelatihan lanjutan berbasis contoh demonstrasi. Namun, ServiceNow CoreAI menyatakan alur yang sama bisa mendukung metode pembelajaran berbasis penguatan.
Bagi pelaku usaha, metode ini mempermudah penyesuaian agen AI mandiri. Perusahaan dapat melatih asisten digital sesuai sistem kerja internal tanpa harus mengumpulkan data kegagalan secara manual.
- Hugging Face Blog: AutoSynthData: Generating Training Data for Enterprise Agents
Lihat hasil pemeriksaan (9 klaim)
| Klaim | Putusan | Dasar di sumber |
|---|---|---|
| ServiceNow CoreAI mengembangkan AutoSynthData untuk membuat data latih sintetis bagi agen AI perusahaan. | Didukung | “At ServiceNow CoreAI, we built AutoSynthData to turn those capability gaps into training data.” Hugging Face Blog menyatakan ServiceNow CoreAI membangun AutoSynthData untuk mengubah celah kemampuan model menjadi data latih. |
| AutoSynthData menggunakan kegagalan model target dan keberhasilan model guru (teacher) untuk menentukan kurikulum belajar. | Didukung | “It uses a target model’s failures and a stronger teacher’s successes to decide what the model should learn next, then generates and validates new tasks that exercise those capabilities.” Hugging Face Blog menjelaskan sistem memanfaatkan kegagalan target dan keberhasilan guru untuk menentukan tugas pembelajaran berikutnya. |
| Eksperimen alur kerja diilustrasikan dengan EnterpriseOps Gym. | Didukung | “We illustrate the pipeline with EnterpriseOps Gym (Malay et al., 2026), using the released dataset.” Hugging Face Blog mengonfirmasi penggunaan lingkungan EnterpriseOps Gym dalam uji coba. |
| Temuan evaluasi disarikan menjadi kartu spesifikasi kemampuan yang memandu pembuatan tugas baru. | Didukung | “We distill these findings into sanitized capability specification cards.” Hugging Face Blog menerangkan temuan dirangkum ke dalam capability specification cards. |
| Setiap tugas terdiri dari spesifikasi sistem, prompt pengguna, dan verifier. | Didukung | “task = (system specification, user prompt, verifier)” Hugging Face Blog mendefinisikan abstraksi tugas atas tiga elemen tersebut. |
| Proses pembuatan data berlangsung dalam dua tahap, yaitu Target dan Multiply. | Didukung | “AutoSynthData builds the dataset in two phases: first generating and validating core samples, then expanding them into novel variants.” Hugging Face Blog menguraikan dua fase pembentukan dataset: Target dan Multiply. |
| Kandidat tugas diuji melalui verifikasi positif dan negatif serta modul kritik/perbaikan. | Didukung | “Candidates also undergo positive and negative verification and a bounded repair process.” Hugging Face Blog menjelaskan alur uji mencakup gerbang verifikasi positif, negatif, dan proses perbaikan terpandu. |
| Peninjauan tingkat batch dilakukan untuk menjaga keragaman dan cakupan dataset. | Didukung | “A meta-review examines accepted samples, rejected samples, and generation behavior across each batch.” Hugging Face Blog menyebut adanya meta-review pada tingkat batch untuk memantau distribusi dan keanekaragaman data. |
| Riset berfokus pada SFT namun mekanismenya dapat mendukung pembelajaran penguatan (RL). | Didukung | “Our experiments focus on SFT, but the same mechanism could support reinforcement learning (RL)” Hugging Face Blog menyatakan eksperimen saat ini berfokus pada SFT dan berpotensi mendukung RL. |
Video AI terbaru
API credits, now in ChatGPT Pro and Business plans
Tanya jawab
Apa itu AutoSynthData dari ServiceNow?
AutoSynthData adalah sistem buatan ServiceNow CoreAI yang memproduksi data latih sintetis secara otomatis untuk menargetkan kelemahan spesifik agen AI di sistem internal perusahaan.
Bagaimana cara kerja AutoSynthData dalam membuat data latih?
AutoSynthData menguji model pada lingkungan EnterpriseOps Gym dan membandingkannya dengan model guru, lalu merangkum kegagalan menjadi simulasi tugas baru melalui tahap Target dan Multiply.
Bagaimana AutoSynthData menjaga kualitas data sintetis?
Setiap tugas harus lolos gerbang verifikasi positif dan negatif, serta dapat diperbaiki secara mandiri oleh modul kritikus jika ditemukan kekeliruan.
