Instructions to use cudo528/Darwin-9B-Opus-mlx-4bit with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- MLX
How to use cudo528/Darwin-9B-Opus-mlx-4bit with MLX:
# Make sure mlx-lm is installed # pip install --upgrade mlx-lm # if on a CUDA device, also pip install mlx[cuda] # Generate text with mlx-lm from mlx_lm import load, generate model, tokenizer = load("cudo528/Darwin-9B-Opus-mlx-4bit") prompt = "Once upon a time in" text = generate(model, tokenizer, prompt=prompt, verbose=True) - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- LM Studio
- MLX LM
How to use cudo528/Darwin-9B-Opus-mlx-4bit with MLX LM:
Generate or start a chat session
# Install MLX LM uv tool install mlx-lm # Generate some text mlx_lm.generate --model "cudo528/Darwin-9B-Opus-mlx-4bit" --prompt "Once upon a time"
- Atomic Chat
Download README.md from cudo528/Darwin-9B-Opus-mlx-4bit: direct link, hf CLI and curl.
- Browser
- Download file 3.74 kB
-
https://huggingface.co/cudo528/Darwin-9B-Opus-mlx-4bit/resolve/main/README.md
- Command line
-
hf download hf://cudo528/Darwin-9B-Opus-mlx-4bit/README.md
-
curl -L -o README.md https://huggingface.co/cudo528/Darwin-9B-Opus-mlx-4bit/resolve/main/README.md
license: apache-2.0
tags:
- merge
- evolutionary-merge
- darwin
- darwin-v5
- model-mri
- reasoning
- advanced-reasoning
- chain-of-thought
- thinking
- qwen3.5
- qwen
- claude-opus
- distillation
- multilingual
- benchmark
- open-source
- apache-2.0
- layer-wise-merge
- coding-agent
- tool-calling
- long-context
- mlx
- quantized
language:
- en
- zh
- ko
- ja
- de
- fr
- es
- ru
- ar
- multilingual
pipeline_tag: text-generation
library_name: mlx
base_model: FINAL-Bench/Darwin-9B-Opus
quantized_by: cudo528
bits: 4
model-index:
- name: Darwin-9B-Opus
results:
- task:
type: question-answering
name: Question Answering
dataset:
name: GPQA Diamond
type: Idavidrein/gpqa
config: gpqa_diamond
metrics:
- type: accuracy
value: 82.5
name: Accuracy
Darwin-9B-Opus (MLX 4-bit Optimized)
This repository provides an MLX-optimized 4-bit quantized version of FINAL-Bench/Darwin-9B-Opus, an ultra-efficient advanced reasoning model.
์งํ์ ๋จธ์ง(Evolutionary Merge) ๋ฐ ๋ ์ด์ด๋ณ ๋จธ์ง(Layer-wise Merge) ๊ธฐ๋ฒ์ด ์ ์ฉ๋ 9B ์ฒด๊ธ์ ๊ฐ๋ ฅํ ๋ชจ๋ธ์ Apple Silicon(Mac) ํ๊ฒฝ์์ ํ๋์จ์ด ๋ฆฌ์์ค๋ฅผ ์ต์ํํ๋ฉฐ ๊ตฌ๋ํ ์ ์๋๋ก 4-bit๋ก ์์ํ ๋ฐ ํฌ๋งท ๋ณํ์ ์๋ฃํ ๋ฒ์ ์ ๋๋ค.
โ ๏ธ Hugging Face View Note: ํ๊น ํ์ด์ค ์์คํ ์ด MLX 4๋นํธ ํจํน ํฌ๋งท(
U32/BF16)์ ํ์ฑํ๋ ๊ณผ์ ์์ ํ๋ผ๋ฏธํฐ ์ ๋ฐ ํ ์ ํ์ ์ด ์ผ์์ ์ผ๋ก ๋ค๋ฅด๊ฒ ํ๊ธฐ๋ ์ ์์ผ๋, ์ค์ 4๋นํธ ์์ํ ๊ฐ์ค์น๊ฐ ์ ์ ์ ์ฉ๋ ํ์ผ์ ๋๋ค. ๋งฅ๋ถ ๋ก์ปฌ ํ๊ฒฝ์์ ์ ์์ ์ธ ๋ฉ๋ชจ๋ฆฌ ์ ์ ์จ๋ก ๊ตฌ๋๋ฉ๋๋ค.
๐ Key Features
- Extreme Efficiency (4-bit): 9B ์ฒด๊ธ์ ๊ฐ์ค์น๋ฅผ 4๋นํธ๋ก ์ ๊ตํ๊ฒ ์์ถํ์ฌ, VRAM(ํตํฉ ๋ฉ๋ชจ๋ฆฌ)์ด ์ ์ Mac ๊ธฐ๊ธฐ์์๋ ๊ฐ๋ณ๊ณ ๋น ๋ฅด๊ฒ ์ถ๋ก (Inference)์ ์ํํฉ๋๋ค.
- Top-Tier 9B Reasoning: ํ๋์ฝ์ด ๋ฐ์ฌ๊ธ ์ถ๋ก ํ
์คํธ์ธ **GPQA Diamond์์ 82.5%**๋ผ๋ ์ฒด๊ธ ํ๊ดด ์์ค์ ๊ณ ๋์ ์ ๊ธฐ๋กํ์ต๋๋ค. ๊น์ ์ฌ๊ณ ๊ณผ์ (
<thought>)์ ํตํ ๊ณ ๋๋ ๋ ผ๋ฆฌ ์ถ๋ก ์ด ๊ฐ๋ฅํฉ๋๋ค. - Agentic Capabilities: ์ฝ๋ฉ ์์ด์ ํธ(Coding Agent) ์ฑ๋ฅ๊ณผ ์ ๊ตํ ๋๊ตฌ ํธ์ถ(Tool Calling) ์ธํฐํ์ด์ค๋ฅผ ๊ธฐ๋ณธ ๋ด์ฅํ๊ณ ์์ต๋๋ค.
- Global Multilingual: ํ๊ตญ์ด, ์์ด, ์ค๊ตญ์ด, ์ผ๋ณธ์ด, ํ๋์ค์ด, ๋ ์ผ์ด ๋ฑ 10๊ฐ ์ด์์ ๋ค๊ตญ์ด ํ๊ฒฝ์ ์๋ฒฝํ๊ฒ ์ง์ํฉ๋๋ค.
๐ ๏ธ Installation
์ด ๋ชจ๋ธ์ ๋ก์ปฌ ํ๊ฒฝ์์ ๊ตฌ๋ํ๋ ค๋ฉด ์ต์ ๋ฒ์ ์ mlx-lm ๋ผ์ด๋ธ๋ฌ๋ฆฌ๊ฐ ํ์ํฉ๋๋ค.
pip install -U mlx-lm
๐ป How to Use
1. Python API๋ฅผ ์ด์ฉํ ์ถ๋ก ์ฝ๋
from mlx_lm import load, generate
# ๋ณธ์ธ์ ํ๊น
ํ์ด์ค ์ ์ฅ์ ์์ด๋/์ด๋ฆ์ผ๋ก ์์ ํ์ฌ ์ฌ์ฉํ์ธ์.
model, tokenizer = load("cudo528/Darwin-9B-Opus-mlx-4bit")
prompt = "์ํ์ ๊ท๋ฉ๋ฒ์ ์๋ฆฌ๋ฅผ ์คํ์๋ ์ดํดํ ์ ์๊ฒ ์ฌ์ด ๋น์ ๋ฅผ ๋ค์ด ํ๊ตญ์ด๋ก ์ค๋ช
ํด์ค."
response = generate(
model,
tokenizer,
prompt=prompt,
max_tokens=2048,
verbose=True # ๋ชจ๋ธ์ ์ฌ์ธต ์ฌ๊ณ ๊ณผ์ (<thought>)์ ํฐ๋ฏธ๋์์ ์ค์๊ฐ์ผ๋ก ๋ณด๋ ค๋ฉด True
)
print(response)
2. ํฐ๋ฏธ๋(CLI) ํ๊ฒฝ์์ ์ฆ์ ์คํ
mlx_lm.generate --model cudo528/Darwin-9B-Opus-mlx-4bit --prompt "Write a Python script for a simple custom neural network layer." --max-tokens 1024
๐ Architecture & Lineage
- Original Base Model: FINAL-Bench/Darwin-9B-Opus
- Quantization Bit: 4-bit
- Format: MLX Formatted (
.safetensorspacked) - License: Apache-2.0