Sallowは東工大と産総研による大規模言語モデル(LLM)です。
Sallowを動かしてみたいという高校生の依頼により調べてみたところ、有料のGoogle Colab Proを使ってGPUが十分に利用できるようにしておく必要があるようでした。
しかしながら、やはり無料で試してみたいということで動くかどうかやってみました。
Colabの無料枠ではT4というGPUが選択されますが、最小モデルである7b-instructというモデルを使えば、サンプルは無事動きました。
コードはDr.(Shirai)Hakase しらいはかせ による以下のコードを利用させて頂きました。
https://github.com/aicuai/GenAI-Steam/blob/main/20231220_SwallowLLM.ipynb
githubのトップにあるOpen in Colabでノートブックを開きます。
Step.1でパッケージのインストールを行います。
Step.2でモデルのダウンロードをします。
このとき、13bがプリセットされていますが、最小モデルである7b-instructを選びます。
RAM容量は1.56GB/12.67GB
ディスク容量は41.60GB/78.19GB
で余裕のようです。
Step.3で問いを入力します。
サンプルの東工大キャンパスの食堂についての問いを入力すると、応答として食堂の説明が戻ってきました。
以上のようにColabの無料枠でも最小モデルである7b-instructというモデルを使えば、サンプルは無事動くことがわかりました。
中学生・高校生でも簡単に試してみることができそうです。
ちなみに13bのモデルを使うとダウンロードは可能でしたが、応答に30分以上かかりました。
