Large Language Model(LLM)用のプログラムをまとめたパッケージです．なるべく簡単にLLMを使用，モデルの追加実装ができる環境を目指します． gradioを用いたLLMとのchatbot機能を使用できます．
- Python 3.11.7
- transformers
- gradio
- パッケージ直下のディレクトリにてローカルのPythonのバージョンを設定します．
pyenv local 3.11.7
- 仮想環境を構築します．実行は同じパッケージ直下のディレクトリにて実施します．
python -m venv env
- 仮想環境を起動します．
.\env\Scripts\activate
- Macの場合は，以下の通りです．
source .\env\Scripts\activate
- 必要なパッケージをインストールします．
- Windowsの場合は，以下の通りです．なお，pytorchのインストールは別途pytorch_install_command.txtの中身を実行させます．
pip install -r requirements_win.txt
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
- Macの場合は，以下の通りです．
pip install -r requirements_apple_silicon.txt
- ターミナル起動直後は，仮想環境が起動していないため，最初にパッケージ直下のディレクトリにて，次を実行する必要があります．
- Windowsの場合は，以下の通りです．
.\env\Scripts\activate
- Macの場合は，以下の通りです．
source .\env\Scripts\activate
- mainのディレクトリへ移動し，以下のプログラムを実行します．うまく起動できれば，使用するモデルの条件設定画面が表示されますので，指示通り条件設定をしてください．
cd main
python gradio_main.py
- pyenv+venvのコマンドは次の記事に整理しています．https://zenn.dev/topo/scraps/d5076b05f5283d
- Hugging Faceのダウンロードされたモデルのcacheは，models/cache/に保存されます．非常に容量が大きいため，PCの容量が問題なった場合は，このcacheを消去してください．
This project is released under the MIT License, see LICENSE file. However portions of the project are available under separate license terms: Pytorch is licensed under the BSD license.