【ChatGPT4o】
自分の絵をまねさせる【漫画活用】
記事作成25年4月5日
ChatGPT４o Imagegeneratorで自分の絵を学習できるのか
何枚必要か、どんな出力になったか、そもそもGPTが絵の学習するって何なのかを試しながらどんな結果になるかの記録
🐰結論：GPTは絵を学習しない
Lora（という絵生成のモデル）的な数学的ベクトルではなく、GPTは自然言語で絵を置き換えて絵の特徴をつかむ。そのせいで失われる情報がとてつもなく多い。チャットスレッドが変わると学んだ絵を忘れる。同一チャットスレッド内でも、チャットを重ねていくと忘れる。よって、学習っぽいことはできるけど実用性が低い。
🧬【やったこと】
① 全身人物
３人のキャラ立ち絵１0枚をGPTにアップロードして「学習して」というセッションを七回行った。
🎨10枚ごとの出力工程
１０枚目
20枚目
30枚目
40枚目
５0枚目
６0枚目
70枚目
60枚目でかなり好きな線質になった。線質やニュアンスは枚数が増えるたびによくなってるように見える
けど、70枚目を学習したあとの絵が崩れる。おそらく原因は
①別のチャットスレッドを立ち上げて別のことについてチャットしたあと、戻って学習を続けたので連続性が崩れた
②トークンの限界が来て精度が落ちた
🌸同一チャットスレッドで学習したものを別のスレッドに持ち越す方法の模索
チャットのセッションが変わると学習したものを忘れる。画風の引継ぎのため、画風の特徴を自然言語で出力させて、別のチャットスレッドで「こんな画風で描いて」といって出てきた画像
結局GPTがやってることは「画風プロンプトの改善」だとする。なら自然言語で出力できるはず。といってGPTが出したプロンプトでは自分の絵にはならなかった。
ふりだし。もうつかれた
🐬学習って気のせいじゃない？
「一枚目の絵を、二枚画風参考にレタッチして」といったら学習４０枚目ぐらいの絵のテイストででてきた。
学習してない状態でこの画像を
「この画風参考に
レタッチして」
出てきた画像
４０～５０枚目くらいの学習後の出力が、一枚直接参考にさせただけで出てくる。学習させた気になってただけ？
🐳現状の結論
画像出力する際に、毎回この画風で描いて。といって自分の絵を添付するのが効率がいい。それ普通のDallEと一緒じゃない。
🐬課題
・背景でも試す。どれぐらい自分っぽい絵が描けるのか
・顔は顔だけで１００枚程度入力しないと学習しないとGPTがいってるので試す。
🐡改善案
・Assistants API をつかうとGPTがサーバーのURLを参照できるので毎回アップロードしなくていいらしい。
・Base64で画像をテキスト化したものをJson形式で大量に流し込む方法がないかもっと探す。
・画像をテキスト化しては結局TXTデータ一つに一画像分しかいれることが現状できない。トークンが爆発しちゃう
・4oの画像生成方法はわかってないっぽい（上記リンク参照）。DallEは使ってるけどGPTオリジナルの動きもしてるっぽい。画像作ってておんなじチャットの中だと前に作った絵の影響を受けすぎる。さらにそれはGPTに出力させた絵のスタイルを表現した言葉では持ち越せない。ってことを考えると、同一チャット内では画像をベクトルにした学習（癖の積み重ねによる方向性の収斂）がある。それは数値的なものなんだけどGPTはそのまま答えてくれない。
って考えたほうが体感にあってる。よって、効率的な学習を毎回やって画風を安定して再現できるかチェックする。
現在は、GPT4o o3, o4シリーズでどれが漫画作成に向いてるのかを実験中