«—- До головної сторінки		Передмова —->

Маленька книга про глибоке навчання

François Fleuret

This book is licensed under the Creative Commons BY-NC-SA 4.0 International License. Preprint–June 11, 2023

У даному розділі міститься конспект, який створений на базі вільного перекладу книги The Little Book of Deep Learning, яку можна завантажити за цим посиланням. Конспект містить усі перекладені розділи з моїми доповненнями.

• Обговорення даної версії конспекту та посиланням. Ліцензія дозволяє змінювати, перекладати та поширювати книгу.
• Словник термінів за цим посиланням
• Група в Телеграм з обговоренням за цим посиланням

François Fleuret is a professor of computer sci- ence at the University of Geneva, Switzerland. The cover illustration is a schematic of the Neocognitron by Fukushima [1980], a key ancestor of deep neural networks.

Франсуа Флере — професор комп’ютерних наук Женевського університету, Швейцарія. Ілюстрація обкладинки — це схема Неокогнітрона Фукусіми [1980], основного прабатька глибоких нейронних мереж.

Зміст

Передмова

I Foundations

• 1 Машинне навчання
  • 1.1 Learning from data
  • 1.2 Basis function regression
  • 1.3 Under and overfitting
  • 1.4 Categories of models
• 2 Efficient computation
  • 2.1 GPUs, TPUs, and batches
  • 2.2 Tensors
• 3 Training
  • 3.1 Losses
  • 3.2 Autoregressive models
  • 3.3 Gradient descent
  • 3.4 Backpropagation
  • 3.5 Training protocols
  • 3.6 The benefits of scale

II Deep models

• 4 Model components
  • 4.1 The notion of layer
  • 4.2 Linear layers
  • 4.3 Activation functions
  • 4.4 Pooling
  • 4.5 Dropout
  • 4.6 Normalizing layers
  • 4.7 Skip connections
  • 4.8 Attention layers
  • 4.9 Token embedding
  • 4.10 Positional encoding
• 5 Architectures
  • 5.1 Multi-Layer Perceptrons
  • 5.2 Convolutional networks
  • 5.3 Attention models

III Applications

• 6 Prediction
  • 6.1 Image denoising
  • 6.2 Image classification
  • 6.3 Object detection
  • 6.4 Semantic segmentation
  • 6.5 Speech recognition
  • 6.6 Text-image representations
• 7 Synthesis
  • 7.1 Text generation
  • 7.2 Image generation

The missing bits

Afterword

Bibliography