Các nhà nghiên cứu ở Trung Quốc đã phát triển công cụ điều chỉnh ảo giác cho mô hình AI

Theo nghiên cứu, hệ thống điều chỉnh ảo giác “Woodpecker” có thể được áp dụng cho bất kỳ mô hình ngôn ngữ lớn đa phương thức nào.

Một nhóm các nhà khoa học đến từ Đại học Khoa học và Công nghệ Trung Quốc và YouTu Lab của Tencent đã phát triển một công cụ chống “ảo giác” bằng mô hình trí tuệ nhân tạo (AI). 

Ảo giác là xu hướng mô hình AI tạo ra kết quả đầu ra với mức độ tin cậy cao không xuất hiện dựa trên thông tin có trong dữ liệu đào tạo của nó. Vấn đề này xuyên suốt nghiên cứu mô hình ngôn ngữ lớn (LLM) và tác động của nó có thể được nhìn thấy trong các mô hình như ChatGPT của OpenAI và Claude của Anthropic.

Nhóm USTC/Tencent đã phát triển một công cụ có tên là “Woodpecker” mà họ cho rằng có khả năng điều chỉnh ảo giác trong các mô hình ngôn ngữ lớn đa phương thức (MLLM). 

Tập hợp con AI này bao gồm các mô hình như GPT-4 (đặc biệt là biến thể trực quan của nó, GPT-4V) và các hệ thống khác đưa tầm nhìn và/hoặc quá trình xử lý khác vào phương thức AI tổng quát cùng với mô hình hóa ngôn ngữ dựa trên văn bản. 

Theo tài liệu nghiên cứu chưa in của nhóm, Woodpecker sử dụng ba mô hình AI riêng biệt, ngoài MLLM được sửa chữa ảo giác, để thực hiện hiệu chỉnh ảo giác. 

Chúng bao gồm GPT-3.5 turbo, DINO nối đất và BLIP-2-FlanT5. Cùng với nhau, các mô hình này hoạt động như những người đánh giá để xác định ảo giác và hướng dẫn mô hình đang được sửa chữa để tái tạo đầu ra theo dữ liệu của nó. 

Để điều chỉnh ảo giác, các mô hình AI hỗ trợ Woodpecker sử dụng quy trình gồm 5 giai đoạn bao gồm “trích xuất khái niệm chính, xây dựng câu hỏi, xác thực kiến ​​thức bằng hình ảnh, tạo xác nhận bằng hình ảnh và chỉnh sửa ảo giác”.

Các nhà nghiên cứu khẳng định những kỹ thuật này cung cấp thêm tính minh bạch và “cải thiện độ chính xác 30,66%/24,33% so với MiniGPT-4/mPLUG-Owl cơ bản”. Họ đã đánh giá nhiều MLLM “có sẵn” bằng phương pháp của họ và kết luận rằng Woodpecker có thể “dễ dàng tích hợp vào các MLLM khác”.