跳到正文

微调主流开源模型。

在 Qwen 和 Llama 基础模型上做 LoRA 微调,任务 API 采用 OpenAI 格式。训练完成后,下载你的适配器。

主流开源基础模型。

  • Qwen 阿里通义千问的开源模型,多种规模。
  • Llama Meta 的开源模型,多种规模。

Llama 基础模型的微调:Built with Llama。

三步完成。

  1. 上传你的数据。

    JSONL 格式的对话样本,和 OpenAI 微调用的格式一样。

  2. 创建任务。

    一次调用:基础模型、训练文件、方法。用 OpenAI 的 SDK 就行。

  3. 下载你的适配器。

    LoRA 权重归你,拿去在任何地方使用。

每个训练任务同时也在挖矿。

训练在计算之中和步骤之间的空隙里挖 $PEARL。同一份算力,GPU 拿两份收入。

OpenAI 格式的任务 API。

用 OpenAI 的 SDK 和熟悉的调用:换上我们的 base URL 和你的密钥。

import osfrom openai import OpenAI client = OpenAI(base_url="https://api.peryn.ai/v1",api_key=os.environ["PERYN_API_KEY"],) data = client.files.create(file=open("train.jsonl", "rb"), purpose="fine-tune")job = client.fine_tuning.jobs.create(model="llama-3.1-8b-instruct",training_file=data.id,method={"type": "supervised"},)print(job.id, job.status)