Apabila model-model unggulan tiga gergasi AI iaitu OpenAI, Anthropic dan Google bertembung di pentas yang sama, siapakah yang lebih mahir mengendalikan robot?
Pada 20 Oktober, RoboColiseum, sebuah gelanggang embodied yang ditubuhkan bersama oleh hampir 20 universiti, syarikat dan institusi penyelidikan global termasuk Mifeng Technology, Hugging Face, NVIDIA dan Universiti Tsinghua, telah mengumumkan keputusan penilaian pusingan ini: Claude Opus 5.5 menduduki tempat pertama keseluruhan dalam kalangan empat model unggulan, diikuti rapat oleh GPT-6 Astra.
Dari segi pecahan, dalam kalangan empat model unggulan, GPT-6 Astra mendahului dalam pematuhan arahan dan penyesuaian gangguan keseluruhan, dengan skor pematuhan arahan mencapai 99.35; Opus menunjukkan prestasi yang lebih baik dalam pemahaman spatial dan operasi umum, dan meraih tempat pertama keseluruhan dalam kumpulan unggulan dengan penggunaan token penilaian penuh pusingan yang paling minimum. Dalam ujian yang melibatkan gangguan kualiti imej, GPT-6.1 Sol jelas ketinggalan berbanding tiga model lain, menunjukkan perbezaan kestabilan antara model yang berbeza ketika menghadapi perubahan maklumat visual.
Namun dua kedudukan teratas dalam ranking keseluruhan pusingan ini masih diduduki oleh model strategi embodied, terutamanya mengekalkan kelebihan dalam dimensi operasi umum.
Pertembungan di pentas yang sama ini memberikan rujukan intuitif kepada industri untuk melihat dengan jelas kelebihan dan kelemahan kemampuan model besar umum dan model strategi embodied.
RoboColiseum menumpukan pada pematuhan arahan, pemahaman spatial, penyesuaian gangguan dan operasi umum, serta melancarkan empat kategori sub-ranking kemampuan dan 78 tugas penilaian simulasi berketepatan tinggi, yang bukan sahaja memaparkan prestasi pecahan model, malah merekodkan langkah penyelesaian tugas dan lokasi kegagalan, membantu pembangun mengenal pasti kelemahan kemampuan model dengan pantas.
Sebagai rakan penubuh bersama, Mifeng menyediakan aset objek berketepatan tinggi dan senario simulasi untuk RoboColiseum, menyokong pembinaan persekitaran penilaian untuk tugas operasi robot yang kompleks, serta menyediakan sumber asas untuk ujian kemampuan model di bawah interaksi objek, susun atur spatial dan keadaan persekitaran yang berbeza.
Sama ada keputusan model dalam simulasi dapat mencerminkan prestasi operasi sebenar juga merupakan kunci penilaian. Berdasarkan keputusan ujian sebenar yang diumumkan oleh platform, korelasi antara penilaian simulasi RoboColiseum dan penggunaan mesin sebenar mencapai 89.5%, dengan perbezaan penilaian model yang sama antara simulasi dan dunia sebenar kurang daripada 10%, yang boleh menjadi rujukan kepada pembangun untuk penyaringan model dan pengenalpastian masalah sebelum memasuki ujian mesin sebenar.
Mifeng Technology menyediakan sistem bekalan data yang "lengkap, berkualiti dan pantas", merangkumi tiga paradigma data utama iaitu mesin sebenar, simulasi dan tanpa badan. Dalam aspek simulasi, Mifeng menyediakan dua jenis sumber iaitu aset objek dan aset persekitaran, merangkumi pelbagai barangan harian dan senario dalaman, serta menyediakan keupayaan pembinaan semula senario, pemerolehan data trajektori pakar dan visualisasi keputusan penilaian, membantu pasukan model menjalankan latihan dan penilaian yang pelbagai.
Coliseum pada asalnya merujuk kepada gelanggang amphitheater Rom purba, dan RoboColiseum menggunakan imej ini untuk membina sistem penilaian bersepadu pelbagai dimensi, dengan penilaian simulasi yang sangat konsisten dengan prestasi mesin sebenar, membina "gelanggang" dan "gelanggang latihan" yang terbuka, neutral dan boleh dihasilkan semula untuk model kecerdasan embodied. Mana-mana universiti, institusi penyelidikan atau pembangun perusahaan boleh menyerahkan model mereka untuk menerima satu set "peperiksaan" piawai. Sejak dilancarkan pada bulan Ogos, lebih daripada 100 pasukan dari dalam dan luar negara telah menjalankan latihan dan penilaian model di platform ini.
RoboColiseum kini terbuka kepada pembangun global, dan pasukan model dialu-alukan untuk menyertai penilaian.
