--- license: apache-2.0 tags: - merge - evolutionary-merge - darwin - darwin-v5 - model-mri - reasoning - advanced-reasoning - chain-of-thought - thinking - qwen3.5 - qwen - claude-opus - distillation - multilingual - benchmark - open-source - apache-2.0 - layer-wise-merge - coding-agent - tool-calling - long-context - mlx - quantized language: - en - zh - ko - ja - de - fr - es - ru - ar - multilingual pipeline_tag: text-generation library_name: mlx base_model: FINAL-Bench/Darwin-9B-Opus quantized_by: cudo528 bits: 4 model-index: - name: Darwin-9B-Opus results: - task: type: question-answering name: Question Answering dataset: name: GPQA Diamond type: Idavidrein/gpqa config: gpqa_diamond metrics: - type: accuracy value: 82.5 name: Accuracy --- # Darwin-9B-Opus (MLX 4-bit Optimized) This repository provides an **MLX-optimized 4-bit quantized** version of **`FINAL-Bench/Darwin-9B-Opus`**, an ultra-efficient advanced reasoning model. 진화적 머지(Evolutionary Merge) 및 레이어별 머지(Layer-wise Merge) 기법이 적용된 9B 체급의 강력한 모델을 Apple Silicon(Mac) 환경에서 하드웨어 리소스를 최소화하며 구동할 수 있도록 **4-bit**로 양자화 및 포맷 변환을 완료한 버전입니다. > ⚠️ **Hugging Face View Note**: 허깅페이스 시스템이 MLX 4비트 패킹 포맷(`U32/BF16`)을 파싱하는 과정에서 파라미터 수 및 텐서 타입이 일시적으로 다르게 표기될 수 있으나, 실제 4비트 양자화 가중치가 정상 적용된 파일입니다. 맥북 로컬 환경에서 정상적인 메모리 점유율로 구동됩니다. ## 🚀 Key Features - **Extreme Efficiency (4-bit)**: 9B 체급의 가중치를 4비트로 정교하게 압축하여, VRAM(통합 메모리)이 적은 Mac 기기에서도 가볍고 빠르게 추론(Inference)을 수행합니다. - **Top-Tier 9B Reasoning**: 하드코어 박사급 추론 테스트인 **GPQA Diamond에서 82.5%**라는 체급 파괴 수준의 고득점을 기록했습니다. 깊은 사고 과정(``)을 통한 고난도 논리 추론이 가능합니다. - **Agentic Capabilities**: 코딩 에이전트(Coding Agent) 성능과 정교한 도구 호출(Tool Calling) 인터페이스를 기본 내장하고 있습니다. - **Global Multilingual**: 한국어, 영어, 중국어, 일본어, 프랑스어, 독일어 등 10개 이상의 다국어 환경을 완벽하게 지원합니다. ## 🛠️ Installation 이 모델을 로컬 환경에서 구동하려면 최신 버전의 `mlx-lm` 라이브러리가 필요합니다. ```bash pip install -U mlx-lm ``` ## 💻 How to Use ### 1. Python API를 이용한 추론 코드 ```python from mlx_lm import load, generate # 본인의 허깅페이스 저장소 아이디/이름으로 수정하여 사용하세요. model, tokenizer = load("cudo528/Darwin-9B-Opus-mlx-4bit") prompt = "수학적 귀납법의 원리를 중학생도 이해할 수 있게 쉬운 비유를 들어 한국어로 설명해줘." response = generate( model, tokenizer, prompt=prompt, max_tokens=2048, verbose=True # 모델의 심층 사고 과정()을 터미널에서 실시간으로 보려면 True ) print(response) ``` ### 2. 터미널(CLI) 환경에서 즉시 실행 ```bash mlx_lm.generate --model cudo528/Darwin-9B-Opus-mlx-4bit --prompt "Write a Python script for a simple custom neural network layer." --max-tokens 1024 ``` ## 📂 Architecture & Lineage - **Original Base Model**: [FINAL-Bench/Darwin-9B-Opus](https://huggingface.co/FINAL-Bench/Darwin-9B-Opus) - **Quantization Bit**: 4-bit - **Format**: MLX Formatted (`.safetensors` packed) - **License**: Apache-2.0