Jan

2024-09-28

AILocalLLMJan

AI, Jan, LocalLLM

メモ
参考

メモ

LLMプラットフォームの「JAN」、様々なモデルでチャットAIを作れるを参考に、 Janを使ってみる。

Janの公式サイトに掲載の通り、パッケージをダウンロードする。ここではUbuntu環境を前提にAppImageを用いる。このとき最新版だった、 jan-linux-x86_64-0.5.4.AppImage をダウンロードした。自分の環境の場合は、 ~/Applications/ 以下にダウンロードした。

Ansibleプレイブックとしてはいかが参考になる。

https://github.com/dobachi/ansible-miscs/blob/master/playbooks/conf/linux/jan.yml
https://github.com/dobachi/ansible-miscs/blob/master/roles/jan/tasks/main.yml

環境が整ったら実行。

1	$ ~/Applications/jan/default/jan-linux-x86_64-0.5.4.AppImage

初回起動時はインストールするかどうかを聞かれるのでYesとする。

GUIからひとまず lama3.1-8b-instruct を試すことにした。

続いて、 LLMプラットフォームの「JAN」、様々なモデルでチャットAIを作れるの記事でも用いられている、huggingfaceからモデルを探して試す。 Huggingfaceについては、 Hugging Faceとは？Hugging Face Hubの機能や使い方・ライブラリをわかりやすく解説！を参照。