Uploaded January 2026 | Updated September 2026, 2 weeks ago
Since 2023, W&B has been conducting comprehensive performance evaluations of large language models (LLMs), continuously publishing the results as the “Nejumi LLM Leaderboard.” This leaderboard has been updated repeatedly to align with advancements in evaluation techniques and model design, serving as Japan's largest evaluation platform and a guiding reference for researchers and companies. This presentation will review the development process from the initial version to the latest version 4, sharing insights gained through actual operation and future prospects.
Summarize this data
--
W&Bでは、2023年よりLLMの網羅的な性能評価に取り組み、その成果を「Nejumi LLMリーダーボード」として継続的に公開しています。本リーダーボードは、評価技術やモデル設計の進化に合わせてアップデートを重ね、国内最大級の評価基盤として研究者や企業の指針となってきました。本講演では、初期から最新バージョン4に至る開発過程を振り返り、実際の運営を通じて得られた知見と今後の展望を共有します。
Since 2023, W&B has been conducting comprehensive performance evaluations of large language models (LLMs), continuously publishing the results as the “Nejumi LLM Leaderboard.” This leaderboard has been updated repeatedly to align with advancements in evaluation techniques and model design, serving as Japan's largest evaluation platform and a guiding reference for researchers and companies. This presentation will review the development process from the initial version to the latest version 4, sharing insights gained through actual operation and future prospects.
Summarize this data
--
W&Bでは、2023年よりLLMの網羅的な性能評価に取り組み、その成果を「Nejumi LLMリーダーボード」として継続的に公開しています。本リーダーボードは、評価技術やモデル設計の進化に合わせてアップデートを重ね、国内最大級の評価基盤として研究者や企業の指針となってきました。本講演では、初期から最新バージョン4に至る開発過程を振り返り、実際の運営を通じて得られた知見と今後の展望を共有します。
