Przejdź do treści
Model Wayfinder
Metodologia

Jak działają zalecenia

Zalecenia są ustalane według określonych zasad. Żaden AI nie podejmuje decyzji, a nie ma żadnych płatnych pozycji.

01 · Wykluczenie

Najpierw usuwane są modele, które nie spełniają określonych wymagań: zbyt małe okno kontekstowe dla wybranej długości tekstu (8 000 / 32 000 / 200 000 tokenów), brak możliwości wprowadzania obrazów do analizy, brak obsługi w wybranej dziedzinie lub brak dostępnych wag do użycia lokalnego.

Aby móc używać modelu lokalnie, sprawdzamy również, czy mieści się on w pamięci twojego sprzętu. Szacunkowy zużycie dla wersji skompresowanej (Q4): 0,6 GB na miliard parametrów plus 1,5 GB zapasu pamięci.

W przypadku użytku w pracy lub w zespole odrzucane są modele, których licencja zabrania wykorzystania komercyjnego.

02 · Ocena wyników

Każdy oceniony model ma poziom jakości od 1 do 3 dla danej zadania. Poziomy te pochodzą z publicznych rankingów: górna jedna trzecia rankingu to poziom 3, środkowa jedna trzecia poziom 2, a dolna jedna trzecia poziom 1. Do każdego zadania używamy najbardziej szczegółowego dostępnego rankingu.

Zadanie Ranking (alternatywny)
Pisanie tekstów LMArena Creative Writing (Text)
Streszczanie dokumentów LMArena Document (Longer Query, Text)
Chatbot LMAArena Text
Programowanie LMArena Coding (WebDev)
Tłumaczenie LMArena Non-English (Text)
Matematyka LMArena Math
Analiza obrazów LMArena Vision
Analiza filmów LMAArena Vision – na razie nie ma publicznego rankingu dla rozumienia filmów, więc używa się rankingu rozumienia obrazów jako przybliżenia
Tworzenie/modyfikacja obrazów LMArena Text-to-Image / Image Edit
Tworzenie filmów/foto → film LMArena Text-to-Video / Image-to-Video
Transkrypcja dźwięku Hugging Face Open ASR Leaderboard (średnia pozycji w kategorii angielskiej i wielojęzycznej)

Rankingi LMArena opierają się na milionach bezstronnych porównań przeprowadzonych przez prawdziwych użytkowników. Tabela liderów Open ASR mierzy wskaźnik błędów słownych w ustalonych nagraniach testowych – im niższy wynik, tym lepiej. Jeśli wybierzesz specjalistyczną dziedzinę (prawo, medycyna, biznes, nauka), ranking tematyczny LMArena jest uwzględniany jako dodatkowy element w obliczaniu średniej. Modele, które nie pojawiają się w żadnym z tych rankingów, pozostają bez oceny. Poszczególne elementy oceny korygujemy ręcznie, gdy mamy lepsze źródła, i informujemy o tym na stronie modelu. Cena typowego zapytania jest przedstawiona w skali logarytmicznej, ponieważ ceny mogą się różnić o tysiąc razy. Obie te wartości są dostosowywane pod kątem twojej priorytetu.

Priorytet Jakość Cena
Tani 30 % 70 %
Zrównoważony 50 % 50 %
Najlepsza jakość 80 % 20 %

Gdy liczba zapytań wynosi 10 000 miesięcznie, waga przesuwa się o 10 punktów procentowych na korzyść ceny, ponieważ niewielkie różnice cenowe zaczynają się sumować. W przypadku remisu decyduje niższa cena, a potem większe okno kontekstowe.

03 · Wykonywanie kilku zadań jednocześnie

Możesz wybrać kilka zadań. Zadania tekstowe i analityczne są rozwiązywane przez jeden model, który musi poradzić sobie z wszystkimi nimi; jego jakość to średnia wartości jego poziomów dla tych zadań. Obrazy, filmy i transkrypcja mają osobne ceny, ponieważ niewiele modeli potrafi robić wszystko. Obrazy kosztują tyle, ile kosztuje jeden obraz, filmy tyle, ile kosztuje 10-sekundowy klip, a transkrypcja tyle, ile kosztuje jedna minuta nagrania. Te ceny pochodzą z publicznej listy cen LiteLLM; gdy podana jest kilka dostawców lub poziomów jakości, używamy ceny średniej (typowej), a nie najtańszej. Modele rozpoznawania mowy bez usługi chmurowej zaleca się tylko do użytku lokalnego.

04 · Wskaźniki referencyjne

Wyniki testów bazowych używają różnych skali (procentów, punktów Elo, wskaźników błędów), więc nie można ich po prostu średnić. Przekształcamy każdy wynik na pozycję od 0 do 100 wśród wszystkich modeli tutaj wymienionych, które przeszły ten sam test (100 oznacza najlepszy wynik; w przypadku wskaźników błędów najlepsza jest najniższa wartość). Pozycja jest pokazywana tylko wtedy, gdy można porównać co najmniej 3 modele. Średnia z wyników testów to średnia tych pozycji. „Mocne strony” to obszary, w których średnia pozycja wynosi 75 lub więcej, a „słabe strony” – 30 lub mniej. Wyniki testów nie wpływają na rekomendacje – one opierają się na naszych ustalonych poziomach jakości.

05 · Źródła danych

Modele i ceny: OpenRouter. Otwarte wagi i dostawcy hostingu (dla poszczególnych regionów): models.dev. Licencja i rozmiar modeli otwartych: Hugging Face. Ranki: LMArena oraz Open ASR Leaderboard. Ceny za obraz, sekundę wideo i minutę audio: LiteLLM. Kurs walut: Bank Centralny Europy. Wszystkie dane są automatycznie aktualizowane codziennie; jeśli źródło jest niedostępne, pozostają ostatnie znane wartości.

06 · Reklamy

Jeśli pokazujemy reklamy, są one wyraźnie oznaczone, pojawiają się tylko w oddzielnych sekcjach i w żaden sposób nie wpływają na rankingi ani rekomendacje.

07 · Ograniczenia

Poziomy jakości to uproszczenie. Ceny pochodzą z OpenRouter i mogą się różnić przy zakupie bezpośrednio u dostawcy lub w innych regionach. Wartości pamięci to szacunki. Modele bez naszej oceny pojawiają się w porównaniu, ale nie w rekomendacjach.

Niektóre rodzaje sztucznej inteligencji nie są jeszcze objęte, np. generowanie muzyki, modele 3D i CAD oraz wyświetlanie tekstu głosowo (text-to-speech): obecnie nie ma dla nich publicznego rankingu opartego na otwartych danych, który moglibyśmy wykorzystać. Wolimy je pominąć, zamiast polecać je bez źródeł.

Uwagi dotyczące prywatności nie stanowią porady prawniczej. Sprawdź sam umowy (np. umowy przetwarzania danych) z dostawcą.