TensorFlow:RMSprop 的实际实现在哪里?

用户6952886

在“rmsprop.py”(在 TensorFlow 中)中有一个对方法apply_rms_prop的调用此方法在“gen_training_ops.py”中定义。在此方法的定义中,有一条注释描述了它应该做什么:

ms <- rho * ms_{t-1} + (1-rho) * grad * grad
mom <- momentum * mom_{t-1} + lr * grad / sqrt(ms + epsilon)
var <- var - mom

但是我似乎找不到上面伪代码的实际python实现在哪里。我的猜测是它是在 cpython 中实现的,因为我能够找到文件“__pycache__/rmsprop.cpython-36.pyc”。但同样,执行上述伪代码的 cpython 实现在哪里?

我的目标是实现自己的梯度更新方法,所以需要看一些具体的实现例子(比如rmsprop、adam等)。任何帮助将非常感激!

伊山特先生

您可以从Optimizer类中实现自己的优化器您必须实现至少一种方法_apply_dense_apply_sparse

adamax使用纯已可用的 tensorflow ops优化器的完整实现

class AdamaxOptimizer(optimizer.Optimizer):
..
   you can create slot variables implementing slot fucntion
   def _create_slots(self, var_list):
       ...
   def _apply_dense(self, grad, var):
        implement your logic for gradient updates here.

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

TensorFlow 中 math_ops 三角函数的实现在哪里?

来自分类Dev

glibc的套接字实现在哪里?

来自分类Dev

ConcurrentQueue TryDequeue实现在哪里

来自分类Dev

这些接口方法的实现在哪里?

来自分类Dev

Tensorflow:tf.nn.conv2d实际在哪里执行?

来自分类Dev

头文件如何知道函数原型的实现在哪里?

来自分类Dev

cryptsetup中的dm_task_create的实现在哪里?

来自分类Dev

Stream <T>接口中的filter()方法的实现在哪里?

来自分类Dev

Go中func append的实现在哪里?

来自分类Dev

int.dart类中isEven的实现在哪里?

来自分类Dev

Jenkinsfile管道方法的api文档/实现在哪里?

来自分类Dev

cryptsetup中的dm_task_create的实现在哪里?

来自分类Dev

包含的C ++ / C头文件的实现在哪里?

来自分类Dev

每个 Tensorflow GPU 内核的测试在哪里?

来自分类Dev

javakey现在在哪里?

来自分类Dev

javakey现在在哪里?

来自分类Dev

C ++-std :: list标头中_List_node_base成员函数的实现在哪里

来自分类Dev

Scala微风中转置(DenseMatrix或DenseVector)的低级实现在哪里?

来自分类Dev

<pe:exporter>展示柜中的#{exporterController.customExporter}的实现在哪里

来自分类Dev

<type_traits>头文件中的某些实现在哪里?

来自分类Dev

JDBC中使用的Java中的“连接接口”的“ prepareStatement”的实现在哪里?

来自分类Dev

.net核心中Int32的真正实现在哪里?

来自分类Dev

ASP.NET 5源代码中AuthenticationManager的具体实现在哪里?

来自分类Dev

当路径名太长时,glibc的syscall实现在哪里打开集ENAMETOOLONG errno?

来自分类Dev

<type_traits>头文件中的某些实现在哪里?

来自分类Dev

JDBC中使用的Java中的“连接接口”的“ prepareStatement”的实现在哪里?

来自分类Dev

.net核心中Int32的真正实现在哪里

来自分类Dev

在 angular4 中,@angular/core 中组件的实现在哪里?

来自分类Dev

该TrySZBinarySearch在哪里实现?

Related 相关文章

  1. 1

    TensorFlow 中 math_ops 三角函数的实现在哪里?

  2. 2

    glibc的套接字实现在哪里?

  3. 3

    ConcurrentQueue TryDequeue实现在哪里

  4. 4

    这些接口方法的实现在哪里?

  5. 5

    Tensorflow:tf.nn.conv2d实际在哪里执行?

  6. 6

    头文件如何知道函数原型的实现在哪里?

  7. 7

    cryptsetup中的dm_task_create的实现在哪里?

  8. 8

    Stream <T>接口中的filter()方法的实现在哪里?

  9. 9

    Go中func append的实现在哪里?

  10. 10

    int.dart类中isEven的实现在哪里?

  11. 11

    Jenkinsfile管道方法的api文档/实现在哪里?

  12. 12

    cryptsetup中的dm_task_create的实现在哪里?

  13. 13

    包含的C ++ / C头文件的实现在哪里?

  14. 14

    每个 Tensorflow GPU 内核的测试在哪里?

  15. 15

    javakey现在在哪里?

  16. 16

    javakey现在在哪里?

  17. 17

    C ++-std :: list标头中_List_node_base成员函数的实现在哪里

  18. 18

    Scala微风中转置(DenseMatrix或DenseVector)的低级实现在哪里?

  19. 19

    <pe:exporter>展示柜中的#{exporterController.customExporter}的实现在哪里

  20. 20

    <type_traits>头文件中的某些实现在哪里?

  21. 21

    JDBC中使用的Java中的“连接接口”的“ prepareStatement”的实现在哪里?

  22. 22

    .net核心中Int32的真正实现在哪里?

  23. 23

    ASP.NET 5源代码中AuthenticationManager的具体实现在哪里?

  24. 24

    当路径名太长时,glibc的syscall实现在哪里打开集ENAMETOOLONG errno?

  25. 25

    <type_traits>头文件中的某些实现在哪里?

  26. 26

    JDBC中使用的Java中的“连接接口”的“ prepareStatement”的实现在哪里?

  27. 27

    .net核心中Int32的真正实现在哪里

  28. 28

    在 angular4 中,@angular/core 中组件的实现在哪里?

  29. 29

    该TrySZBinarySearch在哪里实现?

热门标签

归档