Meta は、HumanEval ベンチマークで GPT-3.5 を上回る 70B パラメータのオープンソース AI コーディング アシスタント Code Llama を発表しました。 Meta unveils 70B-parameter open-source AI coding assistant, Code Llama, outperforming GPT-3.5 on HumanEval benchmark.

Meta は、AI コード生成モデルの更新バージョンである Code Llama 70B をリリースしました。 Meta has released an updated version of its AI code generation model, Code Llama 70B. このモデルはさまざまなプログラミング言語でコードを作成でき、Code Llama ファミリの中で最大かつ最高のパフォーマンスのモデルとみなされます。 The model, which can write code in various programming languages, is considered the largest and best-performing model in the Code Llama family. 以前のバージョンよりも多くのクエリを処理でき、HumanEval ベンチマークで 53% の精度を誇り、GPT-3.5 の 48.1% を上回り、GPT-4 の 67% に近づいています。 It can handle more queries than previous versions and boasts an accuracy of 53% on the HumanEval benchmark, surpassing GPT-3.5's 48.1% and coming closer to GPT-4's 67%.