EN 登录提升 GPU 收益开始挖矿

以更低成本运行大任务。

一个文件提交大量请求。它们在 24 小时内利用空闲 GPU 时间运行，token 单价更低。

开始批量任务使用 API

批量任务的 token 单价更低：在同样请求实时发送的价格上减去固定折扣。

每个文件的请求数: 10,000; 个请求为上限，使用 OpenAI 批量格式。
时间窗口: 24 小时; 内跑完每个请求，使用空闲 GPU 时间。
保留期: 7 天; 后删除文件及其回答。从不用于训练。

批量任务如何运行。

一个文件

每行一个请求，用的就是你的 OpenAI SDK 已经会写的批量格式。
24 小时内完成

请求在空闲 GPU 时间运行，所以比实时发送更便宜。
回答汇成一个文件

从控制台或 API 下载回答，以及记录出错请求的文件。

同一个 API，多一次调用。

requests.jsonl（一行）

{"custom_id": "q-1", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Summarise this ticket: ..."}]}}

上传并开始

curl https://api.peryn.ai/v1/files -H "Authorization: Bearer $PERYN_API_KEY" -F purpose=batch -F file=@requests.jsonlcurl https://api.peryn.ai/v1/batches -H "Authorization: Bearer $PERYN_API_KEY" -H "Content-Type: application/json" \-d '{"input_file_id": "file-...", "endpoint": "/v1/chat/completions", "completion_window": "24h"}'

批量任务运行在 Standard 层级。你的文件和回答加密存储，在批量任务结束 7 天后删除，你删除时则立即删除。它们从不用于训练。