Ernst & Young (EY) memperkenalkan pendekatan baru dalam penerapan retrieval-augmented generation (RAG) yang memanfaatkan multimodal knowledge graphs. Metode ini dirancang untuk mengatasi keterbatasan sistem RAG konvensional yang selama ini hanya berfokus pada pengambilan data berbentuk teks.
Dalam praktiknya, dokumen perusahaan sering kali menyimpan informasi penting di dalam diagram, tabel, dan visualisasi lainnya. Pendekatan EY memungkinkan model bahasa besar (LLM) mengakses dan memproses berbagai format data tersebut secara terintegrasi melalui struktur knowledge graph yang multimodal.
Penelitian EY menunjukkan bahwa integrasi ini dapat meningkatkan akurasi jawaban yang dihasilkan LLM, terutama dalam konteks analisis data bisnis yang kompleks. Dengan menghubungkan entitas lintas modalitas, sistem mampu menangkap hubungan yang sebelumnya terlewatkan oleh pipeline RAG berbasis teks semata.
Dari perspektif industri jasa profesional, penerapan teknologi ini berpotensi mempercepat proses audit dan konsultasi yang membutuhkan verifikasi data dari berbagai sumber visual. Hal ini relevan karena perusahaan klien EY kerap mengelola laporan keuangan dan operasional yang kaya akan elemen non-teks.
Selain itu, pendekatan multimodal ini dapat mengurangi risiko ketidakakuratan yang muncul ketika LLM hanya mengandalkan potongan teks tanpa konteks struktural yang lebih luas. Knowledge graph berperan sebagai lapisan semantik yang membantu model memahami keterkaitan antar data secara lebih utuh.
Implementasi semacam ini juga membuka peluang bagi organisasi untuk membangun sistem analitik yang lebih andal. Dengan memanfaatkan seluruh bentuk data yang tersedia, perusahaan dapat memperoleh insight yang lebih komprehensif tanpa harus melakukan konversi manual ke format teks.
Meskipun demikian, penerapan multimodal knowledge graphs memerlukan infrastruktur data yang matang serta keahlian dalam pemodelan graf. EY menekankan bahwa keberhasilan pendekatan ini bergantung pada kualitas data yang diintegrasikan ke dalam graph tersebut.
Secara keseluruhan, inisiatif EY mencerminkan tren yang lebih luas di mana organisasi berupaya meningkatkan keandalan generative AI melalui grounding yang lebih kaya dan beragam.
