CLI — 모델 및 언어
check-models
개요: ai-i18n-tools check-models
활성 공급자의 GET /models 목록(멤버십 및 expiration_date)에 대해 구성된 각 모델 ID의 유효성을 검사합니다. 해당 공급자의 API 키가 필요합니다(Ollama와 같은 키 없는 공급자의 경우 필요 없음). 구성된 ID가 누락되었거나 만료된 경우 0이 아닌 값으로 종료되며, 확인된 요청 시간 초과(공급자의 requestTimeout 또는 requestTimeoutMs, 그렇지 않으면 최상위 값)를 따릅니다. 공급자가 가격 정보를 반환하는 경우(예: OpenRouter), 프롬프트/완성에 대해 100만 토큰당 USD도 표시합니다. providers.cheaperinference.zeroDataRetention가 true인 경우, 검사는 GET /v1/models?zdr=true를 사용하고 카탈로그에서 제외된 ID는 실패 처리합니다.
list-models
개요: ai-i18n-tools list-models
활성 공급자가 해당 GET /models 목록을 통해 광고하는 모든 모델을 나열합니다(ID별로 정렬; 활성 공급자는 구성 provider 키를 따르며, -P / --provider로 재정의 가능). 해당 공급자의 API 키가 필요합니다(Ollama와 같은 키 없는 공급자의 경우 필요 없음). 공급자가 가격 정보를 반환하는 경우(예: OpenRouter), 프롬프트/완성에 대해 100만 토큰당 USD도 표시하고, expiration_date를 초과하는 항목에 태그를 지정합니다. providers.cheaperinference.zeroDataRetention가 true인 경우, 목록은 GET /v1/models?zdr=true입니다.
주요 옵션: -P / --provider
suggest-models
개요: ai-i18n-tools suggest-models [--quality | --price] [--top <n>] [--json] [--apply] [--list] [--max-price <usd>] [--min-delta <points>] [--refresh]
활성 공급자의 채팅 모델 순위를 매기고 상위 모델(기본값 8개)을 출력합니다. 테이블 열은 순서대로 순위, 모델 ID, 인덱스(품질 점수 * 100, 소수점 이하 한 자리), 측정된 languagebench ChrF, 측정된 Arena 점수, 입력 가격, 출력 가격, 100만 토큰당 USD 혼합 가격, 프론티어 티어입니다. 누락된 측정값은 —입니다. 이 명령에는 해당 공급자의 API 키가 필요합니다(Ollama와 같이 키가 필요 없는 공급자는 제외). 활성 공급자는 구성 provider을 따릅니다. -P / --provider으로 재정의할 수 있습니다.
후보는 공급자의 GET /models 목록에서 가져옵니다. providers.cheaperinference.zeroDataRetention이 true인 경우, 해당 요청은 GET /v1/models?zdr=true입니다. 만료된 행과 비채팅 행(임베딩, 음성, 이미지, 비디오, 중재, 리랭커)은 제외됩니다. 해당 카탈로그 요청이 실패하면 명령은 1로 종료됩니다.
인덱스는 품질만 반영합니다. 즉, languagebench ChrF 및 Arena 점수입니다. 가격은 인덱스에 포함되지 않습니다. --quality이 기본값입니다. 두 모델이 동일한 인덱스를 보일 때 인덱스별로 정렬한 다음 더 저렴한 혼합 가격으로 정렬합니다. --price은 품질-가격 파레토 프론티어를 가장 저렴한 순서대로 나열합니다. 모델은 다른 모델이 비용이 더 들지 않고 최소한 동일한 인덱스를 가지며, 엄격하게 더 저렴하거나 인덱스에서 엄격하게 더 높을 때 지배됩니다. 혼합 가격과 인덱스가 정확히 일치하면 티어를 공유합니다. 지배되지 않는 모델은 티어 1, 그 다음 티어 2 등으로 분류됩니다. 티어는 그 깊이이며, 최고 인덱스와의 거리가 아닙니다. 가격이 없는 모델, 그 다음 품질 하한선 미만의 모델이 프론티어를 따릅니다. 두 플래그를 모두 전달하면 오류입니다. 둘 다 전달하지 않으면 품질을 의미합니다. 구성의 선택적 modelSuggestion 가중치는 두 프로필의 ChrF/Arena 혼합 및 품질 하한선을 대체합니다. 구성을 참조하십시오. 동일한 순위는 대시보드 모델 탭에서 사용됩니다.
ChrF는 메트릭이 chrf인 languagebench translation_from 및 translation_to 행의 평균이며, 이 프로젝트의 sourceLocale 및 targetLocales로 제한됩니다. 로케일은 languagebench 언어 코드(기본 하위 태그이며, pt-BR를 pt으로, zh-Hant을 zh으로, 그리고 yue와 같은 몇 가지 별칭이 있습니다)로 매핑됩니다. 빈 세트는 en을 사용합니다. Arena는 LMArena 전체 Arena 점수이며, Elo가 아닙니다.
혼합 가격은 100만 토큰당 (3 × input + output) / 4 USD입니다. 그 출처는 다음 순서로 결정됩니다. 0이 아닌 카탈로그 요율, 그 다음 models.dev 입력 및 출력 요율, 그 다음 languagebench의 단일 비용 수치입니다. 0의 카탈로그 가격은 가격이 책정되지 않은 것이지 무료가 아닙니다. 알 수 없는 가격은 인덱스를 변경하지 않습니다. --quality에서는 동일한 인덱스 중에서 마지막으로 정렬됩니다. --price에서는 하한선을 통과한 가격이 책정되지 않은 모델이 모든 프론티어 티어 뒤에 옵니다.
누락된 ChrF는 품질 하한선 아래로 정렬됩니다. ChrF 또는 Arena가 누락되었을 때 사용되는 플레이스홀더 값 0.35 및 0.45은 인덱스에만 영향을 미칩니다. 테이블에는 대신 —가 출력됩니다. frontier 열은 하한선을 통과한 지배되지 않는 가격 책정 모델의 경우 1이고, 다음 티어의 경우 2이며, 모델에 가격이 없거나, 하한선 미만이거나, 별칭인 경우 —입니다. ChrF, Arena 점수, 입력 가격 및 출력 가격을 공유하는 두 ID는 별칭입니다. 더 짧은 ID가 유지되며, 날짜가 없는 ID가 날짜가 있는 ID보다 우선합니다(preview-06-05, 20241022). 별칭 행은 전체 순위에 남아 있으며 테이블, --json 및 --apply에서는 제외됩니다. --list은 여전히 이를 표시합니다. 출력된 행에 지배된 모델이 포함된 경우, 테이블 아래의 줄은 이를 능가하는 티어 1 모델의 이름을 지정합니다.
--quality는 하한선을 통과한 모델을 먼저 배치하고, 그 다음 더 높은 인덱스, 그 다음 더 저렴한 혼합 가격을 배치합니다. --top(기본값 8, 1 이상의 정수)는 아래 필터 적용 후 테이블, --json 조각, --apply를 함께 제한합니다.
--list은 활성 공급자의 구성된 translationModels에 대해 동일한 열을 해당 순서대로 출력하며 --top는 무시합니다. 순위 열은 여전히 전체 순위에서의 각 모델 위치를 나타냅니다. 카탈로그에서 누락되었거나, 만료되었거나, 채팅 모델이 아닌 구성된 ID도 측정값에 —을 표시하며 나열됩니다. --list는 --apply와 결합할 수 없습니다.
--list을 제외하고 별칭 행이 먼저 제거됩니다. 그 다음 --max-price은 100만 토큰당 혼합 가격이 해당 USD 이하인 모델을 유지합니다. 혼합 가격이 없는 모델은 제외됩니다. 그 다음 --min-delta는 나머지 행을 탐색하고 인덱스가 이전에 유지된 모델과 최소한 해당 점수만큼 다를 때만 모델을 유지합니다. 첫 번째 남은 모델은 항상 유지됩니다. 0의 델타는 행을 삭제하지 않습니다. 델타가 0보다 클 때 인덱스가 없는 행은 제외됩니다. 순위 번호는 전체 목록의 번호를 유지합니다. --list를 사용하면 탐색은 translationModels 순서를 따르고 별칭을 유지합니다. 두 필터 모두 --json 및 --apply에도 적용됩니다. 적용될 품질 목록의 경우, --max-price는 예산 내에서 대체 항목을 유지하고 --min-delta은 작은 인덱스 단계를 삭제합니다. 상한선 미만의 지배된 행은 남아 있을 수 있습니다. 프론티어 열과 테이블 아래의 줄이 이를 보여줍니다. 모델 탭에는 동일한 두 가지 컨트롤이 있으며 별칭도 생략합니다.
--json은 이 객체를 stdout에 기록하고(공급자 블록 내에 붙여넣기), 테이블과 속성 바닥글을 stderr로 보냅니다:
{
"translationModels": ["model-a", "model-b"]
}--apply는 현재 구성을 형제 ai-i18n-tools.config.{timestamp}.backup.json로 복사합니다(또는 -c이 다른 파일의 이름을 지정하는 경우 {name}.{timestamp}.backup.json로 복사). 그런 다음 providers.<active>.translationModels를 해당 ID로 바꿉니다. 이름 충돌이 발생하면 .backup.json 앞에 -2, -3 등이 추가됩니다. 복사에 실패하면 구성 파일은 변경되지 않은 상태로 유지됩니다. uiModels 및 localeModels는 변경되지 않은 상태로 유지됩니다. 점수는 구성 파일에 기록되지 않습니다. 대시보드의 구성 업데이트 버튼은 동일한 백업을 기록합니다.
벤치마크 데이터는 <cacheDir>/benchmark-scores.json(일반적으로 .translation-cache/benchmark-scores.json)에 7일 동안 캐시됩니다. 원시 데이터 세트는 런타임에 다운로드되며 패키지에 포함되어 제공되지 않습니다. --refresh는 languagebench, Arena 및 models.dev를 다시 다운로드합니다. --refresh 중에 실패한 소스는 이전 캐시에서 채워지지 않습니다. --refresh가 없으면 실패한 다운로드는 캐시된 슬라이스를 재사용합니다. languagebench 또는 Arena 중 하나가 실패하면, 명령은 다른 하나로 순위를 매기고 어떤 소스가 실패했는지 알려줍니다. 둘 다 실패하면 1로 종료됩니다. models.dev 실패는 카탈로그 가격을 그대로 유지합니다. 대시보드에는 새로 고침 제어가 없습니다. CLI에서 --refresh를 실행한 다음 모델 탭을 다시 로드하십시오.
바닥글은 languagebench(CC BY-SA 4.0), LMArena Arena 점수(CC BY 4.0) 및 models.dev(MIT)의 출처를 밝힙니다.
주요 옵션: --quality, --price, --top, --json, --apply, --list, --max-price, --min-delta, --refresh, -P / --provider
bench-models
개요: ai-i18n-tools bench-models [--model <ids>] [--text <text> | --file <path>] [--source <locale>] [--target <locale>]
하나의 샘플을 격리 상태에서 번역하여 구성된 각 모델을 벤치마크합니다(단일 모델 클라이언트, 폴백 체인 없음). 모델 ID, 입력/출력 토큰, 실제 번역 시간, USD 비용(비용을 보고하지 않는 프로바이더의 경우 —)의 표를 출력하며, 합계 행과 모델별 실패도 함께 표시합니다.
모델은 기본적으로 활성 프로바이더의 translationModels, uiModels, localeModels ID의 합집합입니다(--model로 재정의 가능); 샘플은 기본적으로 내장 영어 마크다운 블록입니다(--text / --file로 재정의 가능); 소스/타겟은 기본적으로 구성 sourceLocale 및 첫 번째 docs[] 타겟 로케일이며, 최상위 targetLocales로 폴백합니다(--source / --target로 재정의 가능). 모델을 병렬로 실행하며, 구성 concurrency(기본값 4)에 의해 제한됩니다; 각 모델은 여전히 개별적으로 시간이 측정됩니다. 활성 프로바이더의 API 키가 필요합니다.
주요 옵션: --model, --text, --file, --source, --target
참고: AI 모델
list-languages
개요: ai-i18n-tools list-languages [search]
번들된 UI 언어 카탈로그(data/ui-languages-complete.json)를 사람이 읽을 수 있는 표(코드, 텍스트 방향, 영어 이름, 원어 이름)로 나열합니다. 구성이나 API 키가 필요하지 않습니다. 선택적 search 용어를 전달하여 코드, 원어 이름, 영어 이름 또는 방향에 해당 용어가 포함된 항목만 유지합니다(대소문자 구분 안 함)(예: list-languages portuguese, list-languages rtl, list-languages zh).