Градиент (от лат.gradientis — шагающий). Это характеристика показывающая направление наискорейшего возрастания некоторой величины значение которой меняется от одной точки пространства к другой. Например, если взять высоту поверхности Земли над уровнем моря (двумерное пространство), то ее градиент в каждой точке поверхности будет показывать вверх. Оператор градиента обычно обозначается как grad или (читается «набла»). Обучение градиентным методом обеспечивает нахождение, только локального минимума, для нахождения глобального минимума вводиться понятие момента: