相談する

LEARN

知識ゼロから完全に理解するLLM

全100回の動画シリーズに連動した学習ページです。動画を見たあとに、同じ仕組みを自分の手で動かし、自分の言葉を書きこんで確かめられます。

第1部全体像をつかむ

  1. #1LLM(大規模言語モデル)とは?次の単語を予測する仕組み公開中
  2. #2LLMの文章生成の仕組み:自己回帰で1トークンずつ書く公開中
  3. #3LLMの出力は確率分布:次トークン予測の正体公開中
  4. #4バイグラム言語モデル:数えるだけで作る最小の言語モデル公開中
  5. #5n-gram言語モデルの限界:なぜニューラルネットが必要か公開中
  6. #6LLMは文字をどう数値にするのか:トークンIDの基礎公開中
  7. #7LLMのパラメータとは?モデルは巨大な関数公開中
  8. #8LLMの全体像:トークン化からTransformer、生成まで公開中

第2部文字をトークンにする

  1. #9トークン化とは?文字・単語・サブワードの違い公開中
  2. #10BPE(バイトペアエンコーディング)入門①:ペアをマージする公開中
  3. #11BPE入門②:トークナイザーの語彙を学習する公開中
  4. #12トークナイザーのエンコードとデコード:文章をトークンIDに準備中
  5. #13日本語のトークン数はなぜ多い?LLMと言語ごとのトークン化公開中
  6. #14特殊トークンとチャットテンプレート:LLMが会話を読む形式準備中
  7. #15コンテキストウィンドウとは?LLMが一度に読める長さ準備中
  8. #16LLMが文字数や計算を間違える理由:トークン化の落とし穴準備中

第3部意味を数の並びにする

  1. #17ベクトルとは?LLMが言葉を表す数の並び準備中
  2. #18内積とコサイン類似度:LLMが意味の近さを測る方法準備中
  3. #19one-hotベクトルとその限界:埋め込みが必要な理由準備中
  4. #20埋め込み(Embedding)とは?トークン埋め込み表の仕組み準備中
  5. #21単語埋め込みの意味空間:似た言葉が近くに集まる理由準備中
  6. #22単語ベクトルの足し算:王−男+女=女王(word2vec)準備中
  7. #23行列とは?LLMの計算を支える線形変換準備中
  8. #24高次元ベクトル空間:LLMの埋め込みが何百次元もある理由準備中
  9. #25LLMは語順をどう知るのか:位置情報の問題準備中

第4部学習する仕組み

  1. #26ニューロンとは?ニューラルネットワークの重みとバイアス準備中
  2. #27活性化関数(ReLU・GELU):ニューラルネットに非線形を入れる準備中
  3. #28多層パーセプトロン(MLP):層を重ねるニューラルネットワーク準備中
  4. #29ソフトマックス関数:ロジットを確率に変える準備中
  5. #30損失関数と交差エントロピー:LLMの間違いを測る準備中
  6. #31勾配とは?ニューラルネットワーク学習の方向準備中
  7. #32勾配降下法を手で計算する:機械学習の基本アルゴリズム準備中
  8. #33誤差逆伝播法(バックプロパゲーション)①:連鎖律準備中
  9. #34誤差逆伝播法②:計算グラフと自動微分準備中
  10. #35ミニバッチと学習率:ニューラルネット学習の歩幅準備中
  11. #36過学習と汎化:機械学習モデルが丸暗記する問題準備中
  12. #37ニューラル言語モデルを作る:埋め込み+MLPで次トークン予測準備中

第5部アテンション

  1. #38アテンションとは?LLMが文脈を読む仕組み準備中
  2. #39Query・Key・Value:アテンション機構の3つの役割準備中
  3. #40アテンションを手で計算する:Scaled Dot-Product Attention準備中
  4. #41アテンションのスケーリング:√dで割る理由とソフトマックス準備中
  5. #42因果マスク(Causal Mask):GPTが未来のトークンを見ない仕組み準備中
  6. #43自己アテンション(Self-Attention)を行列で計算する準備中
  7. #44マルチヘッドアテンション:複数の視点で文脈を読む準備中
  8. #45アテンションヘッドは何を見ているか:LLMの注意の可視化準備中
  9. #46位置エンコーディング(Positional Encoding):Transformerがsinとcosで位置を表す準備中
  10. #47RoPE(回転位置埋め込み):最新LLMの位置表現準備中
  11. #48アテンションの計算量:長い文脈でLLMが重くなる理由準備中
  12. #49アテンションだけの言語モデルを作る:1層Transformer準備中

第6部Transformer を組み立てる

  1. #50残差接続(Residual Connection):深いTransformerが学習できる理由準備中
  2. #51レイヤー正規化(Layer Normalization):Transformerを安定させる準備中
  3. #52フィードフォワード層(MLP層):Transformerのもう半分準備中
  4. #53Transformerブロックを組み立てる:アテンション+MLP+残差準備中
  5. #54Transformerの層を積む:LLMの深さは何を生むか準備中
  6. #55残差ストリーム:Transformerの中を流れる情報準備中
  7. #56ロジットと出力層(Unembedding):ベクトルを次のトークンに戻す準備中
  8. #57LLMのパラメータ数を数える:GPTの重みはどこにあるか準備中
  9. #58GPTの仕組みを一周する:入力から次トークン予測まで準備中

第7部学習させる

  1. #59LLMの学習データ:自己教師あり学習と次トークン予測準備中
  2. #60損失曲線(Loss Curve)の読み方:LLMの学習を診断する準備中
  3. #61最適化アルゴリズム:SGDからAdam・AdamWへ(LLMの学習)準備中
  4. #62学習率スケジュールとウォームアップ:LLM学習の定番準備中
  5. #63重みの初期化:ニューラルネットの勾配消失と勾配爆発を防ぐ準備中
  6. #64ドロップアウトと重み減衰:ニューラルネットの正則化準備中
  7. #65ブラウザでミニGPTを学習する:Transformerをゼロから訓練準備中
  8. #66LLMは学習中に何を覚えるのか:訓練の進み方準備中
  9. #67スケーリング則:LLMはなぜ大きいほど賢いのか準備中
  10. #68パープレキシティ(Perplexity):言語モデルの性能を測る準備中

第8部文章を生成する

  1. #69貪欲法(Greedy Decoding):LLMのテキスト生成の基本準備中
  2. #70Temperature(温度)とは?LLMのランダムさを調整する準備中
  3. #71top-kとtop-p(Nucleus Sampling):LLMのサンプリング手法準備中
  4. #72Repetition Penalty:LLMの繰り返しを防ぐ準備中
  5. #73ビームサーチ(Beam Search):先読みするLLMのテキスト生成準備中
  6. #74KVキャッシュ:LLMの推論を高速化する仕組み準備中
  7. #75EOSトークンとmax tokens:LLMはいつ生成をやめるか準備中
  8. #76構造化出力とJSONモード:LLMの出力を文法で制約する準備中

第9部予測機からアシスタントへ

  1. #77事前学習(Pre-training)とは?LLMの基盤モデルができるまで準備中
  2. #78ファインチューニングとは?LLMを追加学習する準備中
  3. #79指示チューニング:LLMがチャットAIになる仕組み準備中
  4. #80RLHF(人間のフィードバックによる強化学習)とLLMのアライメント準備中
  5. #81LoRAとは?少ないパラメータでLLMをファインチューニング準備中
  6. #82システムプロンプトと文脈内学習(In-Context Learning):LLMの指示準備中
  7. #83few-shotプロンプト:プロンプトエンジニアリングの仕組み準備中
  8. #84Chain of Thoughtと推論モデル:LLMが考えてから答える準備中

第10部中身をのぞく

  1. #85ロジットレンズ:LLMの途中の層を読む(機械論的解釈可能性)準備中
  2. #86アテンションの可視化はどこまで信じられるか:LLMの解釈可能性準備中
  3. #87重ね合わせ(Superposition)と特徴:LLMとスパースオートエンコーダ準備中
  4. #88LLMの回路(Circuits):機械論的解釈可能性で計算をたどる準備中
  5. #89ハルシネーション(幻覚)はなぜ起きるのか:LLMの仕組みから準備中
  6. #90LLMの記憶と汎化:Grokkingで見る丸暗記と理解準備中

第11部速く・小さく・実用へ

  1. #91量子化(Quantization)とは?LLMを小さく軽くする準備中
  2. #92知識蒸留(Distillation):小型言語モデル(SLM)の作り方準備中
  3. #93ローカルLLMをCPUで動かす:llama.cppとGGUFの仕組み準備中
  4. #94RAG(検索拡張生成)の仕組み:LLMに知識を渡す準備中
  5. #95AIエージェントとツール呼び出し(Function Calling):LLMが道具を使う準備中
  6. #96マルチモーダルLLM:画像と音声をトークンにする準備中
  7. #97ロングコンテキスト:LLMが長い文章を扱う工夫準備中

第12部総まとめ

  1. #98LLMの評価とベンチマーク:性能の測り方と読み方準備中
  2. #99LLMの限界とAI安全性:仕組みからわかる注意点準備中
  3. #100ゼロからGPTを作る総まとめ:LLMの全工程を自分の手で準備中