오픈AI에서 GPT mini 새롭게 발표한 버전 GPT-4o mini는 아래와 같은 특징을 가지고 있다고 설명하고 있습니다.​​뛰어난 텍스트 지능과 복합 추론 능력을 갖춘 소형 모델GPT-4o mini는 텍스트 GPT mini 지능과 다중 모드 추론 모두에서 학술 벤치마크에서 GPT-3.5 Turbo 및 기타 소형 모델을 능가하며, GPT-4o와 동일한 범위의 언어를 지원합니다. 또한 개발자가 데이터를 GPT mini 가져오거나 외부 시스템으로 작업을 수행하는 애플리케이션을 구축할 수 있는 함수 호출에서 강력한 성능을 발휘하며, GPT-3.5 터보에 비해 향상된 장문맥 성능을 보여줍니다.​GPT-4o mini는 GPT mini 여러 주요 벤치마크2에서 평가되었습니다.추론 작업: 텍스트 지능 및 추론 벤치마크인 MMLU에서 82.0%의 점수를 받은 GPT-4o mini는 텍스트와 시각을 모두 포함하는 추론 작업에서 GPT mini 다른 소형 모델보다 우수하며, Gemini Flash의 77.9%, Claude Haiku의 73.8%에 비해 월등히 높습니다.​수학 및 코딩 능력: GPT-4o mini는 수학적 추론과 코딩 작업에서 GPT mini 탁월한 성능을 발휘하여 시중의 기존 소형 모델보다 뛰어난 성능을 보였습니다. 수학적 추론을 측정하는 MGSM에서 GPT-4o mini는 87.0%를 기록하여 Gemini Flash의 75.5%, Claude GPT mini Haiku의 71.7%에 비해 월등히 높은 점수를 받았습니다. 코딩 성능을 측정하는 HumanEval에서는 GPT-4o mini가 87.2%를 기록해 Gemini Flash의 71.5%, Claude Haiku의 75.9%에 비해 GPT mini 높은 점수를 받았습니다. ​멀티모달 추론: GPT-4o mini는 멀티모달 추론 평가인 MMMU에서도 59.4%를 기록해 Gemini Flash의 56.1%, Claude Haiku의 50.2%에 비해 높은 성능을 GPT mini 보였습니다.​​​