Scraps 最終更新 2026/11/07 17:01

原文著者: @y_abe_bc /

SLMを作ってみる

AIで作成し、掲載基準に基づいて自動選定した要約です。

  • Ollamaで動く小さな言語モデルをゼロから作成し、5,800パラメータで動作確認
  • Llama互換アーキテクチャでGGUF形式に直接出力、トークナイザは文字単位+バイトフォールバック
  • トークナイザのバイト単位設定で文字化けが発生するため、学習データにない文字に対応するための特別な処理が必要
SLMを作ってみる - Qiita

Qiita / 原文を読む