Перейти к содержимому

Дообучайте ведущие открытые модели.

LoRA на базовых моделях Qwen и Llama через API задач в формате OpenAI. Когда задача завершится, скачайте свой адаптер.

Ведущие открытые базовые модели.

  • Qwen Открытые модели Alibaba, в нескольких размерах.
  • Llama Открытые модели Meta, в нескольких размерах.

Дообученные модели на базе Llama: Built with Llama.

Три шага.

  1. Загрузите данные.

    Примеры диалогов в JSONL, в том же формате, что и для дообучения OpenAI.

  2. Создайте задачу.

    Один вызов: базовая модель, обучающий файл, метод. OpenAI SDK работает как есть.

  3. Скачайте адаптер.

    Веса LoRA принадлежат вам: запускайте их где угодно.

Каждая задача обучения ещё и майнит.

Обучение майнит $PEARL внутри вычислений и в паузах между шагами. GPU зарабатывают дважды на одних и тех же вычислениях.

API задач в формате OpenAI.

OpenAI SDK и знакомые вызовы: укажите наш базовый URL и свой ключ.

import osfrom openai import OpenAI client = OpenAI(base_url="https://api.peryn.ai/v1",api_key=os.environ["PERYN_API_KEY"],) data = client.files.create(file=open("train.jsonl", "rb"), purpose="fine-tune")job = client.fine_tuning.jobs.create(model="llama-3.1-8b-instruct",training_file=data.id,method={"type": "supervised"},)print(job.id, job.status)