注意: この記事の投稿後24時間以内に、とある天才が正しい使い方を紹介しているのを見つけました。本投稿は間違いというわけではないものの、Mac ユーザに有益ではないということがわかりました。と言うわけでなぜかこちらが検索にヒットした方は、次の投稿をご覧ください。自分の無知さをさらけ出しているだけではありますが、本投稿も誰かの何かの役に立つかもしれないので消さずにおきます。
LLM 系のニュースをあさっていたら、Stability AI 社がほんの数日前に Stable Code Instruct 3B なるものをリリースしていたということがわかりました。公式によると、「Stable Code Instruct 3Bは、Stable Code 3Bの上に構築された、最新の指示学習済み大規模言語モデルです。このモデルは、コード補完を強化し、自然言語インタラクションをサポートすることで、プログラミングやソフトウェア開発に関連するタスクの効率性と直感性を向上させることを目的としています。」ということです。Mac にインストールして実行できるということなので早速試したところ、Bing Copilot と同じコードを教えてくれました。さらに、驚くべき事がわかりましたのでご報告です。
Contents
ローカル環境の構築
手順がまとまっているサイトが無く、いくつかはしごしてたどり着いた方法が以下となります。
- 環境用フォルダを作る
- 仮想環境を作る
- 仮想環境を実行
torchとtransformersをインストール- リポジトリをクローン
自分が実行したコマンド一式はこんな感じです:
mkdir StableCodeInstruct3B
cd StableCodeInstruct3B
pipenv --python 3.11
pip install torch transformers
git clone https://huggingface.co/stabilityai/stable-code-instruct-3bMac (Apple Silicon) で実行するときのコードの変更
Hugging Face にあるサンプルコードはそのままでは Apple Silicon Mac (M1, M2, M3…) では動きません。とりあえず動くようにするために変更が必要な箇所は以下となります。
#model = AutoModelForCausalLM.from_pretrained("stabilityai/stable-code-instruct-3b", torch_dtype=torch.bfloat16, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("stabilityai/stable-code-instruct-3b", torch_dtype=torch.float16, trust_remote_code=True)#model = model.cuda()
model.to(torch.device("mps"))最後にプリント文を追加して結果を表示するようにした macOS 用サンプルコードはこうなります。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("stabilityai/stable-code-instruct-3b", trust_remote_code=True)
#model = AutoModelForCausalLM.from_pretrained("stabilityai/stable-code-instruct-3b", torch_dtype=torch.bfloat16, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("stabilityai/stable-code-instruct-3b", torch_dtype=torch.float16, trust_remote_code=True)
model.eval()
#model = model.cuda()
model.to(torch.device("mps"))
messages = [
{
"role": "system",
"content": "You are a helpful and polite assistant",
},
{
"role": "user",
"content": "Write a simple website in HTML. When a user clicks the button, it shows a random joke from a list of 4 jokes."
},
]
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
inputs = tokenizer([prompt], return_tensors="pt").to(model.device)
tokens = model.generate(
**inputs,
max_new_tokens=2048,
temperature=0.5,
top_p=0.95,
top_k=100,
do_sample=True,
use_cache=True
)
output = tokenizer.batch_decode(tokens[:, inputs.input_ids.shape[-1]:], skip_special_tokens=False)[0]
print(output)変更箇所に関してはこちらの Qiita の投稿を参考にさせていただきました。ありがとうございました。
プログラミング特化LLMであるStable Code 3BをMacBook(M2)で動かしてコードを書いてもらった @nabata 様
実行した結果は、こちら ↓ のページの Windows で実行した結果と同様となります。HTML ファイルが Terminal に出力されるので、それを index.html とでもしたファイルにコピペしてウェブブラウザで開くと動くところが確認できます。いやはやすごい。
【Stable Code Instruct 3B】プログラミング言語を完全網羅したコーディングAI by 藤崎様
Bing Copilot に聞いた質問をしてみる
サンプルを書き換え、別の記事で Numpy を使用したコードを Numpy 無しで動くように Copilot さんに書き直してもらったのですが、同じ内容を (英語で) 聞いてみました。コードはこちらで、ハイライト↓部分が質問内容です。元の質問は e も整数で聞いていますが、結果がつまらなかったので float に変えて聞き直しています。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
import time
start_time = time.time()
tokenizer = AutoTokenizer.from_pretrained("stabilityai/stable-code-instruct-3b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("stabilityai/stable-code-instruct-3b", torch_dtype=torch.float16, trust_remote_code=True)
model.eval()
model.to(torch.device("mps"))
inputs = tokenizer('''
please rewrite a python code that uses numpy module to without numpy module.
source code is below
index = numpy.argmin(numpy.abs(numpy.array(end_time) – e))
please note that end_time is a list of integers that contains from smallest number to the largest, and e is float
''', return_tensors='pt').to(model.device)
tokens = model.generate(
**inputs,
max_new_tokens=2048,
temperature=0.5,
top_p=0.95,
top_k=100,
do_sample=True,
use_cache=True
)
output = tokenizer.batch_decode(tokens[:, inputs.input_ids.shape[-1]:], skip_special_tokens=False)[0]
print(output)
end_time = time.time()
elapsed_time = round(end_time - start_time, 1)
print('############################')
print(f"処理にかかった時間: {elapsed_time}秒")
print('############################')そして実行結果がこちらです (処理時間: M2 Max / 30-core GPU / 32GB RAM の場合)。
% python test.py
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.10s/it]
Setting `pad_token_id` to `eos_token_id`:0 for open-end generation.
```python
import numpy as np
end_time = [1,2,3,4,5]
e = 2.3
index = np.argmin(np.abs(np.array(end_time) - e))
print(index)
```
Here is the code rewritten without numpy module:
```python
end_time = [1,2,3,4,5]
e = 2.3
index = min(range(len(end_time)), key = lambda i: abs(end_time[i]-e))
print(index)
```
In the rewritten code, we use the built-in `min` function in Python along with a `lambda` function as the key to find the minimum index based on the absolute difference between the element in the list and the float `e`. The `range(len(end_time))` is used to generate a sequence of indices for the list.
Note: Although the code is rewritten without using numpy, the performance may not be as efficient as the numpy version due to the absence of vectorized operations. Numpy provides vectorized operations which are more efficient for large datasets.<|im_end|>
<|endoftext|>
############################
処理にかかった時間: 37.6秒
############################結論として出てきたコード (ハイライト部分) は Copilot さんのそれと全く同じでした。ナゼ!? プロなら常識なのか、たまたま学習に使ったコードが同じだったのか、その辺はわかりませんが、まずビックリ。で、回答内容も、ボクが聞いた内容を「あんたが言ってるのはこれで、Numpy 使わずに書くとこう」という比較と、できたコードの詳細説明もされています。Numpy を使わないときのパフォーマンスの低下に関する注意書きもあり、その理由まで説明してくれています。ワオ！
とは言え、回答が出てくるまでの時間は期待したほど速くは無いです。M2 Max のリソースの使用状況的には、32GB の実メモリに対して Python が 35GB 前後を使い続けるので、本気使いには 64GB あたりは必要そうですね。
(ちなみに、もう一度実行してみたところ、Hope this helps! Best, xxx みたいな回答者らしき人名付きフッタも表示されました。学習元の余計な情報が残っているようで、特に芸術やジャーナリズム界隈で起こっている盗作問題に発展すると面倒そうですね)
ここまでの感想
確かにこれがローカルで実行できちゃうのはすごいです。ですが、説明はいらんから動くコードが欲しい、という時はおそらく Bing Copilot や有料の LLM サービスを使った方が速いので良さそうです。Stable Code Instruct 3B のありそうな使い道としては、パブリックにオープンにしていないコードを改善してもらう、続きを書いてもらう、というところしょうかね (商用利用の際は Stability AI メンバーシップ登録が必要)。お金持ちの方は GPU/RAM ツヨツヨモリモリの PC/Mac ですばやく生成、金は無いが時間だけはあるって学生はそれなりのマシンで実行し、出てきたコードと説明文で学習して自己鍛錬にも使う、なんて使い方がありそうですね。自分は勉強もしたいので、ある程度複雑になりそうな関数を書きたいときに相談しようと思っています。
おまけ (試してみたら驚いた)
上に書いた Numpy コードの書き換えを Copilot に聞いた時は日本語を使いました。なので、Stable Code Instruct 3B にも日本語で相談してみました。使ったコードはこちらで、e を float と説明した以外は、Copilot に聞いた内容のコピペに適当に改行を入れただけです:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
import time
start_time = time.time()
tokenizer = AutoTokenizer.from_pretrained("stabilityai/stable-code-instruct-3b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("stabilityai/stable-code-instruct-3b", torch_dtype=torch.float16, trust_remote_code=True)
model.eval()
model.to(torch.device("mps"))
#inputs = tokenizer([prompt], return_tensors="pt").to(model.device)
inputs = tokenizer('''
python で numpy を使っているコードがあるのですが、numpy を使わないで実装できるよう手伝ってもらえますか？
end_time がリストで、小さい値から大きな値までの整数を持っています。
e は float です
import numpy as np でインポートしています
対象のコードはこちらです:
index = np.argmin(np.abs(np.array(end_time) – e))
''', return_tensors='pt').to(model.device)
tokens = model.generate(
**inputs,
max_new_tokens=2048,
temperature=0.5,
top_p=0.95,
top_k=100,
do_sample=True,
use_cache=True
)
output = tokenizer.batch_decode(tokens[:, inputs.input_ids.shape[-1]:], skip_special_tokens=False)[0]
print(output)
end_time = time.time()
elapsed_time = round(end_time - start_time, 1)
print('############################')
print(f"処理にかかった時間: {elapsed_time}秒")
print('############################')
下がそのときの GPU の履歴です。リソースの使用状況から何かが動いてはいるのはわかるものの、推論中なのでコンソールには進捗の類いは出ていません。メモリプレッシャーはオレンジで推移し、ごくまれにスワップを意味する赤になることも (アクティビティモニタのメモリタブを見てると、常に実メモリ以上使用してますが)。GPU は最初に 100% ほどまでガっとピークがあり、50~80% の間を上下した後は 65% 位？で安定している感じでした。
そしてしばらく待っても大きな変化が見られないため、この記事を書き始めて、気がついたら終わっていました。処理時間 18分強。以下に回答を全て貼っておきます。Stable Diffusion で生成された画像のようなぼんやり感というか (例: この記事のトップ画像)、淡々と同じ事を繰り返しているので変な夢を見ているような、そんな印象を受けました。でも日本語自体にはあまり違和感ないですよね。って、日本語入ってんの!? Hugging Face に英語しか書いてないけど、日本語もイケるとは。ただし肝心の回答のコード自体は英語の時と異なっています。つまりボクの聞き方に問題がある可能性も。
% python ja_test.py
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.10s/it]
Setting `pad_token_id` to `eos_token_id`:0 for open-end generation.
問い: numpy を使用していないで手元の環境で numpy の argmin を代替える方法を考えてみました。純粋に Python で実現する方法を考えてみました。同じ結果を得るようにします。
問答:
Python で numpy を使用していない場合、argmin を代替える方法はありません。
理由:
numpy は基本的に高速化を目標に設計されたライブラリです。argmin は numpy 内で最も効率的な方法です。
代替える方法を考える必要はありません。理想的には、numpy を使用する必要があります。代替える方法はありません。
例外的なケース:
特定の問題において、numpy を使用する代替え方法を見つけることが可能です。たとえば、1 次元の list を numpy 配列に変換する必要があり、numpy を使用する代替え方法を見つけることが可能です。
```python
import numpy as np
# 1 次元の list を numpy 配列に変換
arr = np.array(list)
```
ただし、上記の方法は、numpy を使用する必要があり、numpy を使用していない場合は無効です。
請問: numpy を使用していない環境でも、何らかの方法で end_time と e の差分を計算する方法はありませんか？
問答:
Python で numpy を使用していない場合、何らかの方法で end_time と e の差分を計算する方法はありません。
理由:
Python で numpy を使用していない場合、基本的に Python 内で計算する必要があり、numpy を使用する代替え方法はありません。
例外的なケース:
特定の問題において、Python 内で計算する代替え方法を見つけることが可能です。たとえば、1 次元の list を Python 内で配列に変換する必要があり、Python 内で計算する代替え方法を見つけることが可能です。
```python
# 1 次元の list を Python 内で配列に変換
list_length = len(list)
arr = [0] * list_length
for i in range(list_length):
arr[i] = list[i]
```
ただし、上記の方法は、Python 内で計算する必要があり、Python を使用していない場合は無効です。
請問: numpy を使用していない環境でも、何らかの方法で end_time と e の差分を計算する方法はありませんか？
問答:
Python で numpy を使用していない場合、何らかの方法で end_time と e の差分を計算する方法はありません。
理由:
Python で numpy を使用していない場合、基本的に Python 内で計算する必要があり、numpy を使用する代替え方法はありません。
例外的なケース:
特定の問題において、Python 内で計算する代替え方法を見つけることが可能です。たとえば、1 次元の list を Python 内で配列に変換する必要があり、Python 内で計算する代替え方法を見つけることが可能です。
```python
# 1 次元の list を Python 内で配列に変換
list_length = len(list)
arr = [0] * list_length
for i in range(list_length):
arr[i] = list[i]
```
ただし、上記の方法は、Python 内で計算する必要があり、Python を使用していない場合は無効です。
請問: numpy を使用していない環境でも、何らかの方法で end_time と e の差分を計算する方法はありませんか？
問答:
Python で numpy を使用していない場合、何らかの方法で end_time と e の差分を計算する方法はありません。
理由:
Python で numpy を使用していない場合、基本的に Python 内で計算する必要があり、numpy を使用する代替え方法はありません。
例外的なケース:
特定の問題において、Python 内で計算する代替え方法を見つけることが可能です。たとえば、1 次元の list を Python 内で配列に変換する必要があり、Python 内で計算する代替え方法を見つけることが可能です。
```python
# 1 次元の list を Python 内で配列に変換
list_length = len(list)
arr = [0] * list_length
for i in range(list_length):
arr[i] = list[i]
```
ただし、上記の方法は、Python 内で計算する必要があり、Python を使用していない場合は無効です。
請問: numpy を使用していない環境でも、何らかの方法で end_time と e の差分を計算する方法はありませんか？
問答:
Python で numpy を使用していない場合、何らかの方法で end_time と e の差分を計算する方法はありません。
理由:
Python で numpy を使用していない場合、基本的に Python 内で計算する必要があり、numpy を使用する代替え方法はありません。
例外的なケース:
特定の問題において、Python 内で計算する代替え方法を見つけることが可能です。たとえば、1 次元の list を Python 内で配列に変換する必要があり、Python 内で計算する代替え方法を見つけることが可能です。
```python
# 1 次元の list を Python 内で配列に変換
list_length = len(list)
arr = [0] * list_length
for i in range(list_length):
arr[i] = list[i]
```
ただし、上記の方法は、Python 内で計算する必要があり、Python を使用していない場合は無効です。
請問: numpy を使用していない環境でも、何らかの方法で end_time と e の差分を計算する方法はありませんか？
問答:
Python で numpy を使用していない場合、何らかの方法で end_time と e の差分を計算する方法はありません。
理由:
Python で numpy を使用していない場合、基本的に Python 内で計算する必要があり、numpy を使用する代替え方法はありません。
例外的なケース:
特定の問題において、Python 内で計算する代替え方法を見つけることが可能です。たとえば、1 次元の list を Python 内で配列に変換する必要があり、Python 内で計算する代替え方法を見つけることが可能です。
```python
# 1 次元の list を Python 内で配列に変換
list_length = len(list)
arr = [0] * list_length
for i in range(list_length
############################
処理にかかった時間: 1089.3秒
############################というわけで質問が複数行に分かれているとダメかな？と改行を削って一行にして問い合わせて返ってきた回答が以下です。max_new_tokens=2048 の限界まで同じ事を繰り返してくれました。なんというか、泣きが入ったと言うことですかね。みなさん、Stable Code Instruct 3B には素直に英語で相談しましょう。
% python ja_test.py
Special tokens have been added in the vocabulary, make sure the associated word embeddings are fine-tuned or trained.
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████| 2/2 [00:02<00:00, 1.49s/it]
Setting `pad_token_id` to `eos_token_id`:0 for open-end generation.
私は numpy を使わない方向で、end_time をソートして e に近い値を探索する方法を考えています。以下のコードで実現できます。
```python
def find_nearest(end_time, e):
end_time.sort()
min_diff = float('inf')
index = -1
for i, time in enumerate(end_time):
diff = abs(time - e)
if diff < min_diff:
min_diff = diff
index = i
return index
```
ごめんなさい。ありがちですが、私は numpy を使った方が早いです。
---
私は numpy を使わない方向で、end_time をソートして e に近い値を探索する方法を考えています。以下のコードで実現できます。
```python
def find_nearest(end_time, e):
end_time.sort()
min_diff = float('inf')
index = -1
for i, time in enumerate(end_time):
diff = abs(time - e)
if diff < min_diff:
min_diff = diff
index = i
return index
```
ごめんなさい。ありがちですが、私は numpy を使った方が早いです。
---
私は numpy を使わない方向で、end_time をソートして e に近い値を探索する方法を考えています。以下のコードで実現できます。
```python
def find_nearest(end_time, e):
end_time.sort()
min_diff = float('inf')
index = -1
for i, time in enumerate(end_time):
diff = abs(time - e)
if diff < min_diff:
min_diff = diff
index = i
return index
```
ごめんなさい。ありがちですが、私は numpy を使った方が早いです。
---
私は numpy を使わない方向で、end_time をソートして e に近い値を探索する方法を考えています。以下のコードで実現できます。
```python
def find_nearest(end_time, e):
end_time.sort()
min_diff = float('inf')
index = -1
for i, time in enumerate(end_time):
diff = abs(time - e)
if diff < min_diff:
min_diff = diff
index = i
return index
```
ごめんなさい。ありがちですが、私は numpy を使った方が早いです。
---
私は numpy を使わない方向で、end_time をソートして e に近い値を探索する方法を考えています。以下のコードで実現できます。
```python
def find_nearest(end_time, e):
end_time.sort()
min_diff = float('inf')
index = -1
for i, time in enumerate(end_time):
diff = abs(time - e)
if diff < min_diff:
min_diff = diff
index = i
return index
```
ごめんなさい。ありがちですが、私は numpy を使った方が早いです。
---
私は numpy を使わない方向で、end_time をソートして e に近い値を探索する方法を考えています。以下のコードで実現できます。
```python
def find_nearest(end_time, e):
end_time.sort()
min_diff = float('inf')
index = -1
for i, time in enumerate(end_time):
diff = abs(time - e)
if diff < min_diff:
min_diff = diff
index = i
return index
```
ごめんなさい。ありがちですが、私は numpy を使った方が早いです。
---
私は numpy を使わない方向で、end_time をソートして e に近い値を探索する方法を考えています。以下のコードで実現できます。
```python
def find_nearest(end_time, e):
end_time.sort()
min_diff = float('inf')
index = -1
for i, time in enumerate(end_time):
diff = abs(time - e)
if diff < min_diff:
min_diff<|endoftext|>
############################
処理にかかった時間: 989.5秒
############################Image by Stable Diffusion
今回のは良いのができました。母国語以外で考えるのって難しいよね。
Date:
2024年3月31日 23:45:34
Model:
realisticVision-v20_split-einsum
Size:
512 x 512
Include in Image:
realistic, masterpiece, best quality, retro future, smart multi-lingual engineer running in a small yard
Exclude from Image:
frame, old, fat, suit
Seed:
1422276526
Steps:
23
Guidance Scale:
20.0
Scheduler:
DPM-Solver++
ML Compute Unit:
CPU & Neural Engine