TensorFlow - 优化器

• 

  简述

  优化器是扩展类，包括用于训练特定模型的附加信息。优化器类使用给定的参数进行初始化，但重要的是要记住不需要张量。优化器用于提高训练特定模型的速度和性能。

  TensorFlow 的基本优化器是 -

  
  tf.train.Optimizer
  

  该类定义在tensorflow/python/training/optimizer.py的指定路径中。

  以下是 Tensorflow 中的一些优化器 -

  • Stochastic Gradient descent
  • Stochastic Gradient descent with gradient clipping
  • Momentum
  • Nesterov momentum
  • Adagrad
  • Adadelta
  • RMSProp
  • Adam
  • Adamax
  • SMORMS3

  我们将专注于随机梯度下降。下面提到了为其创建优化器的说明 -

  
  def sgd(cost, params, lr = np.float32(0.01)):
     g_params = tf.gradients(cost, params)
     updates = []
     
     for param, g_param in zip(params, g_params):
        updates.append(param.assign(param - lr*g_param))
     return updates
  

  基本参数在特定函数中定义。在我们的后续章节中，我们将重点介绍带有优化器实现的梯度下降优化。