Langsung ke konten
Model Wayfinder
Metodologi

Bagaimana cara kerja rekomendasi tersebut

Rekomendasi dibuat berdasarkan aturan tetap. Tidak ada AI yang mengambil keputusan, dan tidak ada posisi iklan berbayar.

01 · Pengecualian

Pertama, model yang tidak memenuhi persyaratan akan dihilangkan: jendela konteks yang terlalu kecil untuk panjang teks yang dipilih (8.000 / 32.000 / 200.000 token), tidak adanya fitur masukan gambar untuk analisis gambar, tidak adanya proses pemrosesan di wilayah yang diminta, atau tidak adanya berat model yang dapat digunakan secara lokal.

Untuk penggunaan lokal, kami juga memeriksa apakah model tersebut cocok dengan memori perangkat keras Anda. Estimasinya untuk versi yang terkompresi (Q4): 0,6 GB per miliar parameter ditambah 1,5 GB ruang cadangan.

Untuk keperluan kerja atau tim, model yang lisensinya melarang penggunaan komersial akan dikecualikan.

02 · Penilaian Skor

Setiap model yang terdaftar memiliki tingkatan kualitas dari 1 hingga 3 untuk setiap tugas. Tingkatan tersebut berasal dari peringkat publik: sepertiga bagian atas peringkat merupakan tingkatan 3, sepertiga bagian tengah tingkatan 2, dan sepertiga bagian bawah tingkatan 1. Untuk setiap tugas kami menggunakan peringkat yang paling spesifik yang tersedia.

Tugas Peringkat (cadangan)
Menulis teks LMArena Creative Writing (Text)
Merangkum dokumen LMAArena Document (Longer Query, Text)
Chatbot LMAArena Text
Pemrograman LMArena Coding (WebDev)
Menerjemahkan LMAArena Non-English (Text)
Matematika LMAArena Math
Menganalisis gambar LMAArena Vision
Menganalisis video LMAArena Vision – karena belum ada peringkat publik untuk pemahaman video, pemahaman gambar digunakan sebagai perkiraan
Membuat/mengedit gambar LMAArena Text-to-Image / Image Edit
Membuat video/foto menjadi video LMAArena Text-to-Video / Image-to-Video
Menyalin teks audio Hugging Face Open ASR Leaderboard (rata-rata posisi bahasa Inggris dan multibahasa)

Peringkat LMArena didasarkan pada jutaan perbandingan tanpa pengetahuan awal oleh pengguna sebenarnya. Peringkat Open ASR mengukur tingkat kesalahan kata pada rekaman uji yang tetap (semakin rendah semakin baik). Jika Anda memilih bidang spesialisasi (hukum, kedokteran, bisnis, sains), peringkat subjek LMAArena yang sesuai dihitung sebagai tingkatan tambahan dalam rata-rata. Model yang tidak muncul di peringkat mana pun tetap tidak memiliki peringkat. Kami memperbaiki tingkatan tertentu secara manual jika memiliki sumber yang lebih baik, dan akan mencantumkannya di halaman model. Harga permintaan biasa ditampilkan dalam skala logaritmik karena perbedaan harganya mencapai ribuan kali. Keduanya diberi bobot sesuai prioritas Anda.

Prioritas Kualitas Harga
Murah 30 % 70 %
Seimbang 50 % 50 %
Kualitas terbaik 80 % 20 %

Mulai dari 10.000 permintaan per bulan, bobot penilaian bergeser 10 poin persentase ke arah harga karena perbedaan harga yang kecil mulai berpengaruh. Jika masih imbang, yang menentukan adalah harga yang lebih rendah, lalu ukuran jendela konteks yang lebih besar.

03 · Melakukan beberapa tugas sekaligus

Anda dapat memilih beberapa tugas sekaligus. Tugas teks dan analisis dijawab oleh satu model yang harus menangani semua tugas tersebut; kualitasnya adalah rata-rata tingkatan model untuk tugas-tugas itu. Gambar, video, dan transkripsi masing-masing memiliki penilaian tersendiri karena hampir tidak ada model yang bisa melakukan semuanya. Harga gambar dihitung per gambar, video per klip 10 detik, dan transkripsi per menit audio. Harga-harga ini diambil dari daftar harga publik LiteLLM; jika ada beberapa penyedia atau tingkat kualitas yang tercantum, kami menggunakan harga tengah (yang umum), bukan yang termurah. Model pengenalan suara terbuka tanpa layanan cloud hanya direkomendasikan untuk penggunaan lokal.

04 · Standar Pengukuran

Skor benchmark menggunakan skala yang berbeda (persentase, poin Elo, tingkat kesalahan), sehingga tidak bisa langsung dihitung rata-ratanya. Kami mengonversi setiap skor menjadi posisi dari 0 hingga 100 di antara semua model yang terdaftar di sini yang mengikuti benchmark yang sama (100 = terbaik; untuk tingkat kesalahan, nilai terendah adalah yang terbaik). Posisi hanya ditampilkan jika ada setidaknya 3 model yang dapat dibandingkan. Rata-rata benchmark adalah nilai rata-rata dari posisi-posisi tersebut. “Kekuatan” adalah area dengan posisi rata-rata 75 atau lebih, sedangkan “kelemahan” adalah area dengan posisi rata-rata 30 atau kurang. Benchmark tidak digunakan dalam rekomendasi; rekomendasi didasarkan pada tingkatan kualitas yang telah kami tentukan.

05 · Sumber data

Model dan harganya: OpenRouter. Berat model terbuka dan penyedia hosting (untuk berbagai wilayah): models.dev. Lisensi dan ukuran model terbuka: Hugging Face. Peringkat model: LMArena dan Open ASR Leaderboard. Harga per gambar, per detik video, dan per menit audio: LiteLLM. Kurs mata uang: Bank Sentral Eropa. Semua data diperbarui secara otomatis setiap hari; jika sumbernya tidak tersedia, nilai terakhir yang ada akan tetap digunakan.

06 · Iklan

Jika kami menampilkan iklan, iklan tersebut akan ditandai dengan jelas, hanya muncul di area terpisah, dan tidak pernah memengaruhi peringkat atau rekomendasi.

07 · Batasan

Tingkatan kualitas hanyalah penyederhanaan. Harga diambil dari OpenRouter dan bisa berbeda bila dibeli langsung dari penyedia atau di wilayah lain. Angka memori merupakan perkiraan. Model yang tidak memiliki peringkat dari kami muncul dalam perbandingan, tetapi tidak dalam rekomendasi.

Beberapa jenis AI belum tercakup, misalnya generasi musik, model 3D dan CAD, atau output suara (text-to-speech). Untuk hal tersebut saat ini belum ada peringkat publik berbasis data terbuka yang dapat kami gunakan. Kami lebih memilih untuk tidak menyertakannya daripada memberikan rekomendasi tanpa sumber.

Catatan privasi bukanlah nasihat hukum. Periksa kontrak (seperti perjanjian pemrosesan data) dengan penyedia secara langsung.