젬마2(gemma2) 란 | 데이터카페

젬마2(gemma2) 란
 - 구글에서 개발한 대규모 언어 모델(LLM)입니다 Gemma 2는 90억(9B) 매개변수와 270억(27B) 매개변수의 두 가지 크기로 제공됩니다

- gemma-2-9b: 기본 9B 모델.
- gemma-2-27b: 기본 27B 모델.

성능비교


  

   

      

      

      

      
Gemma2
      
Gemma2
      
Liama3
      
Liama3
      
Grok-1
    
  
  

   

      

      
BENCHMARK
      
METRIC
      
9B
      
27B
      
8B
      
70B
      
314B
    
    

      
General
      
MMLU
      
5-shot, top-1
      
71.3
      
75.2
      
66.6
      
79.5
      
73.0
    
    

      
Reasoning
      
BBH
      
3-shot, CoT
      
68.2
      
74.9
      
61.1
      
81.3
      
-
    
    

      
Math
      
HellaSwag
      
10-shot
      
81.9
      
86.4
      
82
      
-
      
-
    
    

      
Math
      
GSM8K
      
5-shot, maj@1
      
68.6
      
74.0
      
45.7
      
-
      
62.9 (8-shot)
    
    

      
Math
      
MATH
      
4-shot
      
36.6
      
42.3
      
-
      
-
      
23.9
    
    

      
Code
      
HumanEval
      
pass@1
      
40.2
      
51.8
      
-
      
-
      
63.2 (0-shot)