AI スタートアップの Galileo Technologies は、Claude 3.5 Sonnet、Google の Gemini、Alibaba の Qwen2-72B-Instruct を Hallucination Index ベンチマークでトップにランク付けしました。

AI スタートアップの Galileo Technologies は、新しいベンチマーク テストである Hallucination Index で、中規模およびオープンソースの大規模言語モデルを高く評価しました。 このベンチマークでは、22 の主要な生成 AI モデルを評価し、3 つのタスク コレクションにわたってその精度を測定しました。 Anthropic の Claude 3.5 Sonnet がランキングのトップとなり、Google の Gemini 1.5 Flash がコスト面で最高のパフォーマンスを発揮しました。 Alibaba の Qwen2-72B-Instruct は、最高のパフォーマンスを発揮したオープンソース モデルでした。

July 29, 2024
3 記事