最好结果
所做工作
主要对chatbot.py的network options和training options部分的参数进行了修改。
-
每个参数都调过,最后numLayers从2调为10,learningRate为0.0001,其他的都还是原来的值。
-
感觉对结果影响较大的是learningRate和dropout,随着loss越来越小,learningRate也要跟着减小,dropout原来是0.9,改小的话loss会变大,所以没怎么改它。
-
不过最有效的还是多跑几个小时,我一共跑了4万多个step,大概花了一整天的时间,Loss从5点几降到0点几。
-
据说把embedding_rnn_seq2seq改为 embedding_attention_seq2seq会很有效,但是我一改就会OOM,暂时没找到解决办法。。。