Модель

Моделлю (predictive model) називається параметричне сімейство відображень $$ A = \{g(x, \theta) \mid \theta \in \Theta \}, $$ де $g: X \times \Theta \to Y$ -- деяка фіксована функція, $\Theta$ - множина допустимих значень параметра $\theta$, яка називається простором параметрів, або простором пошуку(search space).

Тут $\theta$ -- шуканий вектор параметрів нашої моделі.

Процес знаходження оптимального параметра моделі $\theta$ по навчальній вибірці $X^{l}$ називають налаштуванням (fitting) або навчанням (training, learning) алгоритму $a \in A.$

Метод навчання це відображення $\mu: (X \times Y)^l \to A$ яке довільній вибірці $X^l= (x_i,y_i)_{i=1}^l$ ставить у відповідність деякий алгоритм $a \in A.$

Задача машинного навчання розбивається на два етапи -- на першому етапі ( етап навчання) відбувається навчання моделі, в результаті якого будується алгоритм $a=\mu(X^l)$. На другому етапі ( етап застосування), алгоритм на нових об'єктах $y$ видає відповіді $y=a(x).$