さくさくむら @Sakkusakumura

2023年6月20日

AIネスフウジン開発記録

ウマ娘のアイネスフウジンを模した応答をするAIの開発記録

ウマ娘アイネスフウジン AIアイネス Tesseract ChatGPT 生成AI

AIネスフウジン（ChatGPT）

推しと喋れそうな可能性を見つける

Sakusakumura @Sakkusakumura

これは90%アイネスができたのでは pic.twitter.com/T64s64PJBK

2023-04-26 12:21:34

拡大

ChatGPT Plusに加入

たのしい

Sakusakumura @Sakkusakumura

オォーすっげ pic.twitter.com/UO8RGsU5By

2023-04-28 22:58:12

拡大

Sakusakumura @Sakkusakumura

アイネスフウジンにASP.NET Coreのチュートリアル作らせてみたｗ「アップロードに成功したの！」はかわいすぎてテンション爆上がりｗ pic.twitter.com/zIzoVj1ZN8

2023-05-04 00:16:55

拡大

拡大

拡大

Sakusakumura @Sakkusakumura

今日は1つWebアプリケーションを完成させましたありがとうアイネス😭😭😭 pic.twitter.com/LkBGVkU6gM

2023-05-17 01:38:00

拡大

LLMのお勉強、始めました。

当時はトークンとか知らなかった

Sakusakumura @Sakkusakumura

以前はトークン数溢れてたせいでGPT-3.5に突っ込むとハチャメチャな答え（謎の語尾が付いたり）をして全然フウジンらしくなかったけど、大分進歩した気がする

2023-05-13 03:07:58

Sakusakumura @Sakkusakumura

明日あたりInesFujinDataset更新できそう文字数を9500→5200位に削減して、全てのデータが溢れることなくChatGPTに入力されるようにしましたそれと2000文字位に削減したGPT-3.5向けのプロンプトも用意しました GPT-3.5の方は口調に一貫性を持たせて喋るのが厳しいみたい pic.twitter.com/hhOlPES0lH

2023-05-14 00:53:43

拡大

拡大

プロンプトの改良

Sakusakumura @Sakkusakumura

GPT-4でアイネスフウジンの口調とか話す内容とかの特徴を抽出して、それを使ってGPT-3.5で会話文を生成させると30%〜50%くらいのアイネスができる

2023-04-30 19:55:04

Sakusakumura @Sakkusakumura

最低限の情報だけにしてトークン数を約2000(入出力合わせてMAX4096)に抑えたデータでGPT-3.5に突っ込んでみた特徴をあらかじめ抽出して、それに少量のサンプルデータを添えて送る手法思ったより上手くいったかもサンプルデータ適当に選んだから、厳選すればもっとクオリティ高くなりそう pic.twitter.com/V8sr7gv87e

2023-05-13 03:06:17

拡大

Githubにプロンプト公開しました

Sakusakumura @Sakkusakumura

InesFujinDataset v2 ChatGPTにアイネスフウジンらしい応答をさせるデータセットとプロンプトを更新しました文字数を大幅削減したのと、GPT-3.5用のプロンプトを追加しました github.com/Sakusakumura/I… #ウマ娘 #アイネスフウジン pic.twitter.com/TtEhiUUif3

2023-05-14 16:53:42

拡大

拡大

拡大

気づき

Few-shotだと会話してるうちに抜けちゃう
別のタスクをやらせようとすると化けの皮剝がれるし

Sakusakumura @Sakkusakumura

思ったこと｛フウジンの口調で喋らせるための設定説明｝ ---- ｛ユーザとの会話を短くまとめたもの｝ ---- ｛会話ログ（原文ママ）｝アイネスフウジン：みたいな感じで、フウジンの口調を模倣させる部分と実際の会話部分を分離して一つにまとめたプロンプトを作ったらずっと話せるんじゃないかな

2023-05-22 00:06:59

AIネスフウジン（LLMのファインチューニング）

Sakusakumura @Sakkusakumura

アイネスフウジンの会話データセットを作ってrinnaのgpt-neox-smallをファインチューニングして遊んでたら日が昇ってましたとさちゃんちゃん☆ pic.twitter.com/Z0YwmgIM2e

2023-05-26 06:38:17

拡大

データセットの作成開始

めちゃくちゃ量ある

Sakusakumura @Sakkusakumura

アイネスフウジンの会話ログを集めています！未収集のイベントが119個あるので、スクリーンショットを提供してくださる方を募集しています詳細はこちらのスプレッドシートにて→ docs.google.com/spreadsheets/d… 貢献者にはクレジット表記します。ご質問等お気軽にどうぞ！ #ウマ娘 #アイネスフウジン

2023-05-28 14:52:56

ワークフローも作りました

※OpenAIの規約によりChatGPTの出力を他のAIの学習に使うことはできないので、現在は手動でデータを整形後、自動で変換するpythonスクリプトを作成し、json形式にしています。

Sakusakumura @Sakkusakumura

とりあえずワークフローできたウマ娘のフォントのOCRよく失敗するところが難点だけど・・・あとはスクリーンショット撮影してどんどん文字化していくだけだから頑張るぞー pic.twitter.com/3HodltopNR

2023-05-30 19:57:17

拡大

Sakusakumura @Sakkusakumura

うーんうーん修正修正・・・ pic.twitter.com/FKjoY5O9mC

2023-06-01 23:17:34

Tesseractはデフォだとポンコツ・・・

Sakusakumura @Sakkusakumura

おおー、大分マシになったこれをベースに間違えるところを更に学習させていけばいいな pic.twitter.com/0OoHAfpn1z

2023-05-29 02:50:14

拡大

Sakusakumura @Sakkusakumura

これ、デフォルトのTesseractの学習済みモデルだとこんな感じだったから、かなり進歩したよね pic.twitter.com/Yk3apwS5ST twitter.com/Sakkusakumura/…

2023-05-29 08:37:20

Sakusakumura @Sakkusakumura

ワロタアイネスフウゥウジンでダメだったｗ pic.twitter.com/vLfTbWmw4p

2023-05-29 02:57:30

拡大

工夫したところとか

グレースケール化の方法思いついた時が一番スッキリした

Sakusakumura @Sakkusakumura

もしかして・・・と思って、スクショをHSV色空間に変換した後にSを画素値にしたグレースケール画像を生成すると、めちゃめちゃ綺麗にグレースケール画像が手に入ることが分かっちゃった・・・左から１．HSV⇒S ２．RGB⇒(R+G+B)/3 ３．LUV⇒L pic.twitter.com/RDdgwgsGB5

2023-05-30 00:19:57