start_sql_small_fast_13B.out

[2023-08-07 17:07:08,445] [INFO] [real_accelerator.py:158:get_accelerator] Setting ds_accelerator to cuda (auto detect)
[2023-08-07 17:07:10,263] [INFO] [comm.py:631:init_distributed] cdb=None
[2023-08-07 17:07:10,263] [INFO] [comm.py:662:init_distributed] Initializing TorchBackend in DeepSpeed with backend nccl
[2023-08-07 17:07:30,998] [INFO] [partition_parameters.py:332:__exit__] finished initializing model - num_params = 363, num_elems = 13.02B
Installed CUDA version 11.4 does not match the version torch was compiled with 11.7 but since the APIs are compatible, accepting this combination
Installed CUDA version 11.4 does not match the version torch was compiled with 11.7 but since the APIs are compatible, accepting this combination
ninja: no work to do.
Time to load cpu_adam op: 2.925562620162964 seconds
Parameter Offload: Total persistent parameters: 414720 in 81 params
{'loss': 0.5703, 'learning_rate': 0.0, 'epoch': 0.02}
{'loss': 0.4776, 'learning_rate': 1e-05, 'epoch': 0.04}
{'loss': 0.5055, 'learning_rate': 1e-05, 'epoch': 0.07}
{'loss': 0.243, 'learning_rate': 9.9851411589896e-06, 'epoch': 0.09}
{'loss': 0.1443, 'learning_rate': 9.970282317979198e-06, 'epoch': 0.11}
{'loss': 0.2352, 'learning_rate': 9.955423476968797e-06, 'epoch': 0.13}
{'loss': 0.1664, 'learning_rate': 9.940564635958396e-06, 'epoch': 0.16}
{'loss': 0.1418, 'learning_rate': 9.925705794947994e-06, 'epoch': 0.18}
{'loss': 0.1511, 'learning_rate': 9.910846953937595e-06, 'epoch': 0.2}
{'loss': 0.1342, 'learning_rate': 9.895988112927193e-06, 'epoch': 0.22}
{'loss': 0.1482, 'learning_rate': 9.881129271916792e-06, 'epoch': 0.24}
{'loss': 0.1172, 'learning_rate': 9.866270430906391e-06, 'epoch': 0.27}
{'loss': 0.1386, 'learning_rate': 9.85141158989599e-06, 'epoch': 0.29}
{'loss': 0.1517, 'learning_rate': 9.836552748885587e-06, 'epoch': 0.31}
{'loss': 0.1117, 'learning_rate': 9.821693907875185e-06, 'epoch': 0.33}
{'loss': 0.129, 'learning_rate': 9.806835066864786e-06, 'epoch': 0.35}
{'loss': 0.0988, 'learning_rate': 9.791976225854384e-06, 'epoch': 0.38}
{'loss': 0.1073, 'learning_rate': 9.777117384843983e-06, 'epoch': 0.4}
{'loss': 0.1075, 'learning_rate': 9.762258543833582e-06, 'epoch': 0.42}
{'loss': 0.1131, 'learning_rate': 9.74739970282318e-06, 'epoch': 0.44}
{'loss': 0.1097, 'learning_rate': 9.73254086181278e-06, 'epoch': 0.47}
{'loss': 0.098, 'learning_rate': 9.717682020802378e-06, 'epoch': 0.49}
{'loss': 0.0825, 'learning_rate': 9.702823179791977e-06, 'epoch': 0.51}
{'loss': 0.0905, 'learning_rate': 9.687964338781575e-06, 'epoch': 0.53}
{'loss': 0.0976, 'learning_rate': 9.673105497771174e-06, 'epoch': 0.55}
{'loss': 0.09, 'learning_rate': 9.658246656760773e-06, 'epoch': 0.58}
{'loss': 0.1067, 'learning_rate': 9.643387815750373e-06, 'epoch': 0.6}
{'loss': 0.1119, 'learning_rate': 9.628528974739972e-06, 'epoch': 0.62}
{'loss': 0.0722, 'learning_rate': 9.61367013372957e-06, 'epoch': 0.64}
{'loss': 0.069, 'learning_rate': 9.59881129271917e-06, 'epoch': 0.66}
{'loss': 0.097, 'learning_rate': 9.583952451708768e-06, 'epoch': 0.69}
{'loss': 0.0785, 'learning_rate': 9.569093610698367e-06, 'epoch': 0.71}
{'loss': 0.0882, 'learning_rate': 9.554234769687965e-06, 'epoch': 0.73}
{'loss': 0.0932, 'learning_rate': 9.539375928677564e-06, 'epoch': 0.75}
{'loss': 0.1097, 'learning_rate': 9.524517087667163e-06, 'epoch': 0.78}
{'loss': 0.1158, 'learning_rate': 9.509658246656762e-06, 'epoch': 0.8}
{'loss': 0.1102, 'learning_rate': 9.49479940564636e-06, 'epoch': 0.82}
{'loss': 0.0972, 'learning_rate': 9.479940564635959e-06, 'epoch': 0.84}
{'loss': 0.0689, 'learning_rate': 9.465081723625558e-06, 'epoch': 0.86}
{'loss': 0.0872, 'learning_rate': 9.450222882615156e-06, 'epoch': 0.89}
{'loss': 0.1043, 'learning_rate': 9.435364041604755e-06, 'epoch': 0.91}
{'loss': 0.0497, 'learning_rate': 9.420505200594354e-06, 'epoch': 0.93}
{'loss': 0.0744, 'learning_rate': 9.405646359583952e-06, 'epoch': 0.95}
{'loss': 0.0935, 'learning_rate': 9.390787518573551e-06, 'epoch': 0.98}
{'loss': 0.0797, 'learning_rate': 9.375928677563152e-06, 'epoch': 1.0}
{'loss': 0.0491, 'learning_rate': 9.36106983655275e-06, 'epoch': 1.02}
{'loss': 0.0377, 'learning_rate': 9.346210995542349e-06, 'epoch': 1.04}
{'loss': 0.0472, 'learning_rate': 9.331352154531948e-06, 'epoch': 1.06}
{'loss': 0.0583, 'learning_rate': 9.316493313521546e-06, 'epoch': 1.09}
{'loss': 0.0525, 'learning_rate': 9.301634472511145e-06, 'epoch': 1.11}
{'loss': 0.0582, 'learning_rate': 9.286775631500744e-06, 'epoch': 1.13}
{'loss': 0.0592, 'learning_rate': 9.271916790490343e-06, 'epoch': 1.15}
{'loss': 0.0652, 'learning_rate': 9.257057949479941e-06, 'epoch': 1.17}
{'loss': 0.043, 'learning_rate': 9.24219910846954e-06, 'epoch': 1.2}
{'loss': 0.0579, 'learning_rate': 9.227340267459139e-06, 'epoch': 1.22}
{'loss': 0.0485, 'learning_rate': 9.212481426448737e-06, 'epoch': 1.24}
{'loss': 0.034, 'learning_rate': 9.197622585438336e-06, 'epoch': 1.26}
{'loss': 0.0352, 'learning_rate': 9.182763744427935e-06, 'epoch': 1.29}
{'loss': 0.0524, 'learning_rate': 9.167904903417533e-06, 'epoch': 1.31}
{'loss': 0.0482, 'learning_rate': 9.153046062407132e-06, 'epoch': 1.33}
{'loss': 0.0538, 'learning_rate': 9.138187221396731e-06, 'epoch': 1.35}
{'loss': 0.0442, 'learning_rate': 9.12332838038633e-06, 'epoch': 1.37}
{'loss': 0.0491, 'learning_rate': 9.10846953937593e-06, 'epoch': 1.4}
{'loss': 0.0479, 'learning_rate': 9.093610698365529e-06, 'epoch': 1.42}
{'loss': 0.0476, 'learning_rate': 9.078751857355127e-06, 'epoch': 1.44}
{'loss': 0.0388, 'learning_rate': 9.063893016344726e-06, 'epoch': 1.46}
{'loss': 0.0445, 'learning_rate': 9.049034175334325e-06, 'epoch': 1.48}
{'loss': 0.0484, 'learning_rate': 9.034175334323924e-06, 'epoch': 1.51}
{'loss': 0.0515, 'learning_rate': 9.019316493313522e-06, 'epoch': 1.53}
{'loss': 0.0449, 'learning_rate': 9.004457652303121e-06, 'epoch': 1.55}
{'loss': 0.0326, 'learning_rate': 8.98959881129272e-06, 'epoch': 1.57}
{'loss': 0.0548, 'learning_rate': 8.974739970282318e-06, 'epoch': 1.6}
{'loss': 0.0364, 'learning_rate': 8.959881129271917e-06, 'epoch': 1.62}
{'loss': 0.0423, 'learning_rate': 8.945022288261517e-06, 'epoch': 1.64}
{'loss': 0.046, 'learning_rate': 8.930163447251116e-06, 'epoch': 1.66}
{'loss': 0.0428, 'learning_rate': 8.915304606240715e-06, 'epoch': 1.68}
{'loss': 0.0504, 'learning_rate': 8.900445765230312e-06, 'epoch': 1.71}
{'loss': 0.0492, 'learning_rate': 8.88558692421991e-06, 'epoch': 1.73}
{'loss': 0.04, 'learning_rate': 8.87072808320951e-06, 'epoch': 1.75}
{'loss': 0.0455, 'learning_rate': 8.855869242199108e-06, 'epoch': 1.77}
{'loss': 0.0415, 'learning_rate': 8.841010401188708e-06, 'epoch': 1.8}
{'loss': 0.0395, 'learning_rate': 8.826151560178307e-06, 'epoch': 1.82}
{'loss': 0.0568, 'learning_rate': 8.811292719167906e-06, 'epoch': 1.84}
{'loss': 0.0525, 'learning_rate': 8.796433878157505e-06, 'epoch': 1.86}
{'loss': 0.052, 'learning_rate': 8.781575037147103e-06, 'epoch': 1.88}
{'loss': 0.0382, 'learning_rate': 8.766716196136702e-06, 'epoch': 1.91}
{'loss': 0.0438, 'learning_rate': 8.7518573551263e-06, 'epoch': 1.93}
{'loss': 0.0347, 'learning_rate': 8.7369985141159e-06, 'epoch': 1.95}
{'loss': 0.0569, 'learning_rate': 8.722139673105498e-06, 'epoch': 1.97}
{'loss': 0.0375, 'learning_rate': 8.707280832095097e-06, 'epoch': 1.99}
{'loss': 0.0425, 'learning_rate': 8.692421991084695e-06, 'epoch': 2.02}
{'loss': 0.0299, 'learning_rate': 8.677563150074296e-06, 'epoch': 2.04}
{'loss': 0.0249, 'learning_rate': 8.662704309063895e-06, 'epoch': 2.06}
{'loss': 0.0266, 'learning_rate': 8.647845468053493e-06, 'epoch': 2.08}
{'loss': 0.0353, 'learning_rate': 8.632986627043092e-06, 'epoch': 2.11}
{'loss': 0.0238, 'learning_rate': 8.61812778603269e-06, 'epoch': 2.13}
{'loss': 0.0361, 'learning_rate': 8.60326894502229e-06, 'epoch': 2.15}
{'loss': 0.0271, 'learning_rate': 8.588410104011886e-06, 'epoch': 2.17}
{'loss': 0.0249, 'learning_rate': 8.573551263001487e-06, 'epoch': 2.19}
{'loss': 0.0235, 'learning_rate': 8.558692421991086e-06, 'epoch': 2.22}
{'loss': 0.0251, 'learning_rate': 8.543833580980684e-06, 'epoch': 2.24}
{'loss': 0.028, 'learning_rate': 8.528974739970283e-06, 'epoch': 2.26}
{'loss': 0.0157, 'learning_rate': 8.514115898959882e-06, 'epoch': 2.28}
{'loss': 0.0324, 'learning_rate': 8.49925705794948e-06, 'epoch': 2.3}
{'loss': 0.0175, 'learning_rate': 8.484398216939079e-06, 'epoch': 2.33}
{'loss': 0.0272, 'learning_rate': 8.469539375928678e-06, 'epoch': 2.35}
{'loss': 0.0207, 'learning_rate': 8.454680534918276e-06, 'epoch': 2.37}
{'loss': 0.0232, 'learning_rate': 8.439821693907875e-06, 'epoch': 2.39}
{'loss': 0.0188, 'learning_rate': 8.424962852897474e-06, 'epoch': 2.42}
{'loss': 0.0326, 'learning_rate': 8.410104011887074e-06, 'epoch': 2.44}
{'loss': 0.0238, 'learning_rate': 8.395245170876673e-06, 'epoch': 2.46}
{'loss': 0.026, 'learning_rate': 8.380386329866272e-06, 'epoch': 2.48}
{'loss': 0.0206, 'learning_rate': 8.36552748885587e-06, 'epoch': 2.5}
{'loss': 0.034, 'learning_rate': 8.350668647845469e-06, 'epoch': 2.53}
{'loss': 0.0242, 'learning_rate': 8.335809806835068e-06, 'epoch': 2.55}
{'loss': 0.0415, 'learning_rate': 8.320950965824667e-06, 'epoch': 2.57}
{'loss': 0.0263, 'learning_rate': 8.306092124814265e-06, 'epoch': 2.59}
{'loss': 0.0242, 'learning_rate': 8.291233283803864e-06, 'epoch': 2.61}
{'loss': 0.0204, 'learning_rate': 8.276374442793463e-06, 'epoch': 2.64}
{'loss': 0.0329, 'learning_rate': 8.261515601783061e-06, 'epoch': 2.66}
{'loss': 0.0464, 'learning_rate': 8.24665676077266e-06, 'epoch': 2.68}
{'loss': 0.0218, 'learning_rate': 8.231797919762259e-06, 'epoch': 2.7}
{'loss': 0.0248, 'learning_rate': 8.216939078751858e-06, 'epoch': 2.73}
{'loss': 0.0239, 'learning_rate': 8.202080237741456e-06, 'epoch': 2.75}
{'loss': 0.0289, 'learning_rate': 8.187221396731055e-06, 'epoch': 2.77}
{'loss': 0.0428, 'learning_rate': 8.172362555720654e-06, 'epoch': 2.79}
{'loss': 0.0234, 'learning_rate': 8.157503714710252e-06, 'epoch': 2.81}
{'loss': 0.0237, 'learning_rate': 8.142644873699853e-06, 'epoch': 2.84}
{'loss': 0.0339, 'learning_rate': 8.127786032689451e-06, 'epoch': 2.86}
{'loss': 0.0266, 'learning_rate': 8.11292719167905e-06, 'epoch': 2.88}
{'loss': 0.0311, 'learning_rate': 8.098068350668649e-06, 'epoch': 2.9}
{'loss': 0.0359, 'learning_rate': 8.083209509658248e-06, 'epoch': 2.93}
{'loss': 0.0197, 'learning_rate': 8.068350668647846e-06, 'epoch': 2.95}
{'loss': 0.0271, 'learning_rate': 8.053491827637445e-06, 'epoch': 2.97}
{'loss': 0.0248, 'learning_rate': 8.038632986627044e-06, 'epoch': 2.99}
{'loss': 0.0198, 'learning_rate': 8.023774145616642e-06, 'epoch': 3.01}
{'loss': 0.0129, 'learning_rate': 8.008915304606241e-06, 'epoch': 3.04}
{'loss': 0.0153, 'learning_rate': 7.99405646359584e-06, 'epoch': 3.06}
{'loss': 0.0214, 'learning_rate': 7.97919762258544e-06, 'epoch': 3.08}
{'loss': 0.0143, 'learning_rate': 7.964338781575037e-06, 'epoch': 3.1}
{'loss': 0.0136, 'learning_rate': 7.949479940564636e-06, 'epoch': 3.12}
{'loss': 0.0148, 'learning_rate': 7.934621099554235e-06, 'epoch': 3.15}
{'loss': 0.0161, 'learning_rate': 7.919762258543833e-06, 'epoch': 3.17}
{'loss': 0.021, 'learning_rate': 7.904903417533432e-06, 'epoch': 3.19}
{'loss': 0.0132, 'learning_rate': 7.89004457652303e-06, 'epoch': 3.21}
{'loss': 0.0135, 'learning_rate': 7.875185735512631e-06, 'epoch': 3.24}
{'loss': 0.0064, 'learning_rate': 7.86032689450223e-06, 'epoch': 3.26}
{'loss': 0.0146, 'learning_rate': 7.845468053491829e-06, 'epoch': 3.28}
{'loss': 0.0134, 'learning_rate': 7.830609212481427e-06, 'epoch': 3.3}
{'loss': 0.0151, 'learning_rate': 7.815750371471026e-06, 'epoch': 3.32}
{'loss': 0.0118, 'learning_rate': 7.800891530460625e-06, 'epoch': 3.35}
{'loss': 0.0124, 'learning_rate': 7.786032689450223e-06, 'epoch': 3.37}
{'loss': 0.0093, 'learning_rate': 7.771173848439822e-06, 'epoch': 3.39}
{'loss': 0.0143, 'learning_rate': 7.75631500742942e-06, 'epoch': 3.41}
{'loss': 0.0209, 'learning_rate': 7.74145616641902e-06, 'epoch': 3.43}
{'loss': 0.0182, 'learning_rate': 7.72659732540862e-06, 'epoch': 3.46}
{'loss': 0.0336, 'learning_rate': 7.711738484398219e-06, 'epoch': 3.48}
{'loss': 0.0122, 'learning_rate': 7.696879643387817e-06, 'epoch': 3.5}
{'loss': 0.0142, 'learning_rate': 7.682020802377416e-06, 'epoch': 3.52}
{'loss': 0.0114, 'learning_rate': 7.667161961367015e-06, 'epoch': 3.55}
{'loss': 0.0219, 'learning_rate': 7.652303120356612e-06, 'epoch': 3.57}
{'loss': 0.0205, 'learning_rate': 7.63744427934621e-06, 'epoch': 3.59}
{'loss': 0.0172, 'learning_rate': 7.62258543833581e-06, 'epoch': 3.61}
{'loss': 0.0131, 'learning_rate': 7.607726597325409e-06, 'epoch': 3.63}
{'loss': 0.0162, 'learning_rate': 7.5928677563150074e-06, 'epoch': 3.66}
{'loss': 0.0159, 'learning_rate': 7.578008915304607e-06, 'epoch': 3.68}
{'loss': 0.0151, 'learning_rate': 7.563150074294206e-06, 'epoch': 3.7}
{'loss': 0.0127, 'learning_rate': 7.548291233283804e-06, 'epoch': 3.72}
{'loss': 0.0124, 'learning_rate': 7.533432392273403e-06, 'epoch': 3.75}
{'loss': 0.0156, 'learning_rate': 7.518573551263002e-06, 'epoch': 3.77}
{'loss': 0.0171, 'learning_rate': 7.5037147102526005e-06, 'epoch': 3.79}
{'loss': 0.0252, 'learning_rate': 7.4888558692422e-06, 'epoch': 3.81}
{'loss': 0.0193, 'learning_rate': 7.473997028231799e-06, 'epoch': 3.83}
{'loss': 0.0125, 'learning_rate': 7.4591381872213975e-06, 'epoch': 3.86}
{'loss': 0.016, 'learning_rate': 7.444279346210996e-06, 'epoch': 3.88}
{'loss': 0.0103, 'learning_rate': 7.429420505200595e-06, 'epoch': 3.9}
{'loss': 0.0143, 'learning_rate': 7.4145616641901944e-06, 'epoch': 3.92}
{'loss': 0.0202, 'learning_rate': 7.399702823179793e-06, 'epoch': 3.94}
{'loss': 0.026, 'learning_rate': 7.384843982169392e-06, 'epoch': 3.97}
{'loss': 0.0117, 'learning_rate': 7.3699851411589906e-06, 'epoch': 3.99}
{'loss': 0.0078, 'learning_rate': 7.355126300148589e-06, 'epoch': 4.01}
{'loss': 0.005, 'learning_rate': 7.340267459138187e-06, 'epoch': 4.03}
{'loss': 0.007, 'learning_rate': 7.325408618127786e-06, 'epoch': 4.06}
{'loss': 0.0093, 'learning_rate': 7.310549777117385e-06, 'epoch': 4.08}
{'loss': 0.0053, 'learning_rate': 7.295690936106984e-06, 'epoch': 4.1}
{'loss': 0.0037, 'learning_rate': 7.280832095096583e-06, 'epoch': 4.12}
{'loss': 0.0036, 'learning_rate': 7.2659732540861815e-06, 'epoch': 4.14}
{'loss': 0.0034, 'learning_rate': 7.25111441307578e-06, 'epoch': 4.17}
{'loss': 0.0072, 'learning_rate': 7.236255572065379e-06, 'epoch': 4.19}
{'loss': 0.0066, 'learning_rate': 7.2213967310549785e-06, 'epoch': 4.21}
{'loss': 0.0117, 'learning_rate': 7.206537890044577e-06, 'epoch': 4.23}
{'loss': 0.0031, 'learning_rate': 7.191679049034176e-06, 'epoch': 4.25}
{'loss': 0.0039, 'learning_rate': 7.176820208023775e-06, 'epoch': 4.28}
{'loss': 0.0039, 'learning_rate': 7.161961367013373e-06, 'epoch': 4.3}
{'loss': 0.0022, 'learning_rate': 7.147102526002973e-06, 'epoch': 4.32}
{'loss': 0.0039, 'learning_rate': 7.1322436849925716e-06, 'epoch': 4.34}
{'loss': 0.0068, 'learning_rate': 7.11738484398217e-06, 'epoch': 4.37}
{'loss': 0.0009, 'learning_rate': 7.102526002971769e-06, 'epoch': 4.39}
{'loss': 0.0097, 'learning_rate': 7.087667161961368e-06, 'epoch': 4.41}
{'loss': 0.0107, 'learning_rate': 7.072808320950966e-06, 'epoch': 4.43}
{'loss': 0.0137, 'learning_rate': 7.057949479940566e-06, 'epoch': 4.45}
{'loss': 0.0085, 'learning_rate': 7.043090638930165e-06, 'epoch': 4.48}
{'loss': 0.0021, 'learning_rate': 7.0282317979197625e-06, 'epoch': 4.5}
{'loss': 0.007, 'learning_rate': 7.013372956909361e-06, 'epoch': 4.52}
{'loss': 0.0083, 'learning_rate': 6.99851411589896e-06, 'epoch': 4.54}
{'loss': 0.005, 'learning_rate': 6.983655274888559e-06, 'epoch': 4.57}
{'loss': 0.0062, 'learning_rate': 6.968796433878157e-06, 'epoch': 4.59}
{'loss': 0.0114, 'learning_rate': 6.953937592867757e-06, 'epoch': 4.61}
{'loss': 0.0051, 'learning_rate': 6.939078751857356e-06, 'epoch': 4.63}
{'loss': 0.0029, 'learning_rate': 6.924219910846954e-06, 'epoch': 4.65}
{'loss': 0.0088, 'learning_rate': 6.909361069836553e-06, 'epoch': 4.68}
{'loss': 0.0063, 'learning_rate': 6.894502228826152e-06, 'epoch': 4.7}
{'loss': 0.0113, 'learning_rate': 6.879643387815751e-06, 'epoch': 4.72}
{'loss': 0.0067, 'learning_rate': 6.86478454680535e-06, 'epoch': 4.74}
{'loss': 0.0049, 'learning_rate': 6.849925705794949e-06, 'epoch': 4.76}
{'loss': 0.0052, 'learning_rate': 6.835066864784547e-06, 'epoch': 4.79}
{'loss': 0.0071, 'learning_rate': 6.820208023774146e-06, 'epoch': 4.81}
{'loss': 0.0105, 'learning_rate': 6.805349182763745e-06, 'epoch': 4.83}
{'loss': 0.0084, 'learning_rate': 6.790490341753344e-06, 'epoch': 4.85}
{'loss': 0.0047, 'learning_rate': 6.775631500742943e-06, 'epoch': 4.88}
{'loss': 0.0074, 'learning_rate': 6.760772659732542e-06, 'epoch': 4.9}
{'loss': 0.007, 'learning_rate': 6.7459138187221405e-06, 'epoch': 4.92}
{'loss': 0.0093, 'learning_rate': 6.731054977711739e-06, 'epoch': 4.94}
{'loss': 0.0062, 'learning_rate': 6.716196136701337e-06, 'epoch': 4.96}
{'loss': 0.0103, 'learning_rate': 6.701337295690936e-06, 'epoch': 4.99}
{'loss': 0.0069, 'learning_rate': 6.686478454680535e-06, 'epoch': 5.01}
{'loss': 0.0019, 'learning_rate': 6.671619613670134e-06, 'epoch': 5.03}
{'loss': 0.0079, 'learning_rate': 6.656760772659733e-06, 'epoch': 5.05}
{'loss': 0.0018, 'learning_rate': 6.6419019316493314e-06, 'epoch': 5.07}
{'loss': 0.006, 'learning_rate': 6.62704309063893e-06, 'epoch': 5.1}
{'loss': 0.0027, 'learning_rate': 6.61218424962853e-06, 'epoch': 5.12}
{'loss': 0.0098, 'learning_rate': 6.597325408618128e-06, 'epoch': 5.14}
{'loss': 0.0052, 'learning_rate': 6.582466567607727e-06, 'epoch': 5.16}
{'loss': 0.0016, 'learning_rate': 6.567607726597326e-06, 'epoch': 5.19}
{'loss': 0.0006, 'learning_rate': 6.5527488855869245e-06, 'epoch': 5.21}
{'loss': 0.0029, 'learning_rate': 6.537890044576523e-06, 'epoch': 5.23}
{'loss': 0.0026, 'learning_rate': 6.523031203566123e-06, 'epoch': 5.25}
{'loss': 0.007, 'learning_rate': 6.5081723625557215e-06, 'epoch': 5.27}
{'loss': 0.0045, 'learning_rate': 6.49331352154532e-06, 'epoch': 5.3}
{'loss': 0.0083, 'learning_rate': 6.478454680534919e-06, 'epoch': 5.32}
{'loss': 0.01, 'learning_rate': 6.463595839524518e-06, 'epoch': 5.34}
{'loss': 0.0018, 'learning_rate': 6.448736998514117e-06, 'epoch': 5.36}
{'loss': 0.0005, 'learning_rate': 6.433878157503716e-06, 'epoch': 5.39}
{'loss': 0.0009, 'learning_rate': 6.419019316493315e-06, 'epoch': 5.41}
{'loss': 0.0057, 'learning_rate': 6.4041604754829124e-06, 'epoch': 5.43}
{'loss': 0.0045, 'learning_rate': 6.389301634472511e-06, 'epoch': 5.45}
{'loss': 0.0057, 'learning_rate': 6.37444279346211e-06, 'epoch': 5.47}
{'loss': 0.0064, 'learning_rate': 6.3595839524517086e-06, 'epoch': 5.5}
{'loss': 0.0023, 'learning_rate': 6.344725111441308e-06, 'epoch': 5.52}
{'loss': 0.0113, 'learning_rate': 6.329866270430907e-06, 'epoch': 5.54}
{'loss': 0.0025, 'learning_rate': 6.3150074294205055e-06, 'epoch': 5.56}
{'loss': 0.004, 'learning_rate': 6.300148588410104e-06, 'epoch': 5.58}
{'loss': 0.0057, 'learning_rate': 6.285289747399703e-06, 'epoch': 5.61}
{'loss': 0.0013, 'learning_rate': 6.270430906389302e-06, 'epoch': 5.63}
{'loss': 0.0165, 'learning_rate': 6.255572065378901e-06, 'epoch': 5.65}
{'loss': 0.0092, 'learning_rate': 6.2407132243685e-06, 'epoch': 5.67}
{'loss': 0.0075, 'learning_rate': 6.225854383358099e-06, 'epoch': 5.7}
{'loss': 0.001, 'learning_rate': 6.210995542347697e-06, 'epoch': 5.72}
{'loss': 0.0037, 'learning_rate': 6.196136701337296e-06, 'epoch': 5.74}
{'loss': 0.0056, 'learning_rate': 6.181277860326896e-06, 'epoch': 5.76}
{'loss': 0.0107, 'learning_rate': 6.166419019316494e-06, 'epoch': 5.78}
{'loss': 0.0075, 'learning_rate': 6.151560178306093e-06, 'epoch': 5.81}
{'loss': 0.0016, 'learning_rate': 6.136701337295692e-06, 'epoch': 5.83}
{'loss': 0.0036, 'learning_rate': 6.12184249628529e-06, 'epoch': 5.85}
{'loss': 0.0088, 'learning_rate': 6.10698365527489e-06, 'epoch': 5.87}
{'loss': 0.0077, 'learning_rate': 6.092124814264487e-06, 'epoch': 5.89}
{'loss': 0.0048, 'learning_rate': 6.0772659732540865e-06, 'epoch': 5.92}
{'loss': 0.0035, 'learning_rate': 6.062407132243685e-06, 'epoch': 5.94}
{'loss': 0.0026, 'learning_rate': 6.047548291233284e-06, 'epoch': 5.96}
{'loss': 0.0058, 'learning_rate': 6.032689450222883e-06, 'epoch': 5.98}
{'loss': 0.0059, 'learning_rate': 6.017830609212481e-06, 'epoch': 6.01}
{'loss': 0.0046, 'learning_rate': 6.002971768202081e-06, 'epoch': 6.03}
{'loss': 0.0017, 'learning_rate': 5.98811292719168e-06, 'epoch': 6.05}
{'loss': 0.0049, 'learning_rate': 5.973254086181278e-06, 'epoch': 6.07}
{'loss': 0.004, 'learning_rate': 5.958395245170877e-06, 'epoch': 6.09}
{'loss': 0.0011, 'learning_rate': 5.943536404160476e-06, 'epoch': 6.12}
{'loss': 0.0034, 'learning_rate': 5.9286775631500745e-06, 'epoch': 6.14}
{'loss': 0.0014, 'learning_rate': 5.913818722139674e-06, 'epoch': 6.16}
{'loss': 0.0026, 'learning_rate': 5.898959881129273e-06, 'epoch': 6.18}
{'loss': 0.0064, 'learning_rate': 5.884101040118871e-06, 'epoch': 6.2}
{'loss': 0.0033, 'learning_rate': 5.86924219910847e-06, 'epoch': 6.23}
{'loss': 0.0054, 'learning_rate': 5.854383358098069e-06, 'epoch': 6.25}
{'loss': 0.0053, 'learning_rate': 5.839524517087668e-06, 'epoch': 6.27}
{'loss': 0.0031, 'learning_rate': 5.824665676077267e-06, 'epoch': 6.29}
{'loss': 0.0015, 'learning_rate': 5.809806835066866e-06, 'epoch': 6.32}
{'loss': 0.0016, 'learning_rate': 5.7949479940564645e-06, 'epoch': 6.34}
{'loss': 0.0018, 'learning_rate': 5.780089153046062e-06, 'epoch': 6.36}
{'loss': 0.0005, 'learning_rate': 5.765230312035661e-06, 'epoch': 6.38}
{'loss': 0.0058, 'learning_rate': 5.75037147102526e-06, 'epoch': 6.4}
{'loss': 0.0023, 'learning_rate': 5.735512630014859e-06, 'epoch': 6.43}
{'loss': 0.0047, 'learning_rate': 5.720653789004458e-06, 'epoch': 6.45}
{'loss': 0.0011, 'learning_rate': 5.705794947994057e-06, 'epoch': 6.47}
{'loss': 0.0018, 'learning_rate': 5.6909361069836555e-06, 'epoch': 6.49}
{'loss': 0.0049, 'learning_rate': 5.676077265973254e-06, 'epoch': 6.52}
{'loss': 0.0006, 'learning_rate': 5.661218424962853e-06, 'epoch': 6.54}
{'loss': 0.0018, 'learning_rate': 5.6463595839524524e-06, 'epoch': 6.56}
{'loss': 0.0036, 'learning_rate': 5.631500742942051e-06, 'epoch': 6.58}
{'loss': 0.0068, 'learning_rate': 5.61664190193165e-06, 'epoch': 6.6}
{'loss': 0.0033, 'learning_rate': 5.6017830609212485e-06, 'epoch': 6.63}
{'loss': 0.0175, 'learning_rate': 5.586924219910847e-06, 'epoch': 6.65}
{'loss': 0.0004, 'learning_rate': 5.572065378900447e-06, 'epoch': 6.67}
{'loss': 0.0014, 'learning_rate': 5.5572065378900455e-06, 'epoch': 6.69}
{'loss': 0.0077, 'learning_rate': 5.542347696879644e-06, 'epoch': 6.71}
{'loss': 0.0021, 'learning_rate': 5.527488855869243e-06, 'epoch': 6.74}
{'loss': 0.006, 'learning_rate': 5.512630014858842e-06, 'epoch': 6.76}
{'loss': 0.0063, 'learning_rate': 5.49777117384844e-06, 'epoch': 6.78}
{'loss': 0.002, 'learning_rate': 5.48291233283804e-06, 'epoch': 6.8}
{'loss': 0.0025, 'learning_rate': 5.468053491827638e-06, 'epoch': 6.83}
{'loss': 0.0019, 'learning_rate': 5.4531946508172365e-06, 'epoch': 6.85}
{'loss': 0.002, 'learning_rate': 5.438335809806835e-06, 'epoch': 6.87}
{'loss': 0.0034, 'learning_rate': 5.423476968796434e-06, 'epoch': 6.89}
{'loss': 0.0019, 'learning_rate': 5.408618127786033e-06, 'epoch': 6.91}
{'loss': 0.0021, 'learning_rate': 5.393759286775631e-06, 'epoch': 6.94}
{'loss': 0.0025, 'learning_rate': 5.378900445765231e-06, 'epoch': 6.96}
{'loss': 0.0026, 'learning_rate': 5.3640416047548295e-06, 'epoch': 6.98}
{'loss': 0.0018, 'learning_rate': 5.349182763744428e-06, 'epoch': 7.0}
{'loss': 0.004, 'learning_rate': 5.334323922734027e-06, 'epoch': 7.02}
{'loss': 0.0003, 'learning_rate': 5.319465081723626e-06, 'epoch': 7.05}
{'loss': 0.0003, 'learning_rate': 5.304606240713225e-06, 'epoch': 7.07}
{'loss': 0.0029, 'learning_rate': 5.289747399702824e-06, 'epoch': 7.09}
{'loss': 0.0042, 'learning_rate': 5.274888558692423e-06, 'epoch': 7.11}
{'loss': 0.0023, 'learning_rate': 5.260029717682021e-06, 'epoch': 7.14}
{'loss': 0.0042, 'learning_rate': 5.24517087667162e-06, 'epoch': 7.16}
{'loss': 0.0023, 'learning_rate': 5.230312035661219e-06, 'epoch': 7.18}
{'loss': 0.0037, 'learning_rate': 5.215453194650818e-06, 'epoch': 7.2}
{'loss': 0.0075, 'learning_rate': 5.200594353640417e-06, 'epoch': 7.22}
{'loss': 0.0019, 'learning_rate': 5.185735512630016e-06, 'epoch': 7.25}
{'loss': 0.0006, 'learning_rate': 5.1708766716196144e-06, 'epoch': 7.27}
{'loss': 0.0013, 'learning_rate': 5.156017830609212e-06, 'epoch': 7.29}
{'loss': 0.0003, 'learning_rate': 5.141158989598811e-06, 'epoch': 7.31}
{'loss': 0.0003, 'learning_rate': 5.12630014858841e-06, 'epoch': 7.34}
{'loss': 0.0004, 'learning_rate': 5.111441307578009e-06, 'epoch': 7.36}
{'loss': 0.0004, 'learning_rate': 5.096582466567608e-06, 'epoch': 7.38}
{'loss': 0.0012, 'learning_rate': 5.081723625557207e-06, 'epoch': 7.4}
{'loss': 0.0014, 'learning_rate': 5.066864784546805e-06, 'epoch': 7.42}
{'loss': 0.0007, 'learning_rate': 5.052005943536404e-06, 'epoch': 7.45}
{'loss': 0.0009, 'learning_rate': 5.037147102526004e-06, 'epoch': 7.47}
{'loss': 0.0009, 'learning_rate': 5.022288261515602e-06, 'epoch': 7.49}
{'loss': 0.0021, 'learning_rate': 5.007429420505201e-06, 'epoch': 7.51}
{'loss': 0.0018, 'learning_rate': 4.9925705794948e-06, 'epoch': 7.53}
{'loss': 0.001, 'learning_rate': 4.9777117384843985e-06, 'epoch': 7.56}
{'loss': 0.0021, 'learning_rate': 4.962852897473997e-06, 'epoch': 7.58}
{'loss': 0.0007, 'learning_rate': 4.947994056463597e-06, 'epoch': 7.6}
{'loss': 0.0016, 'learning_rate': 4.9331352154531954e-06, 'epoch': 7.62}
{'loss': 0.0011, 'learning_rate': 4.918276374442793e-06, 'epoch': 7.65}
{'loss': 0.0007, 'learning_rate': 4.903417533432393e-06, 'epoch': 7.67}
{'loss': 0.0002, 'learning_rate': 4.8885586924219916e-06, 'epoch': 7.69}
{'loss': 0.0005, 'learning_rate': 4.87369985141159e-06, 'epoch': 7.71}
{'loss': 0.004, 'learning_rate': 4.858841010401189e-06, 'epoch': 7.73}
{'loss': 0.0028, 'learning_rate': 4.843982169390788e-06, 'epoch': 7.76}
{'loss': 0.0015, 'learning_rate': 4.829123328380386e-06, 'epoch': 7.78}
{'loss': 0.0007, 'learning_rate': 4.814264487369986e-06, 'epoch': 7.8}
{'loss': 0.0002, 'learning_rate': 4.799405646359585e-06, 'epoch': 7.82}
{'loss': 0.0003, 'learning_rate': 4.784546805349183e-06, 'epoch': 7.84}
{'loss': 0.0003, 'learning_rate': 4.769687964338782e-06, 'epoch': 7.87}
{'loss': 0.0005, 'learning_rate': 4.754829123328381e-06, 'epoch': 7.89}
{'loss': 0.0005, 'learning_rate': 4.7399702823179795e-06, 'epoch': 7.91}
{'loss': 0.0041, 'learning_rate': 4.725111441307578e-06, 'epoch': 7.93}
{'loss': 0.0022, 'learning_rate': 4.710252600297177e-06, 'epoch': 7.96}
{'loss': 0.0002, 'learning_rate': 4.695393759286776e-06, 'epoch': 7.98}
{'loss': 0.0014, 'learning_rate': 4.680534918276375e-06, 'epoch': 8.0}
{'loss': 0.0003, 'learning_rate': 4.665676077265974e-06, 'epoch': 8.02}
{'loss': 0.0003, 'learning_rate': 4.6508172362555726e-06, 'epoch': 8.04}
{'loss': 0.0001, 'learning_rate': 4.635958395245171e-06, 'epoch': 8.07}
{'loss': 0.0006, 'learning_rate': 4.62109955423477e-06, 'epoch': 8.09}
{'loss': 0.0001, 'learning_rate': 4.606240713224369e-06, 'epoch': 8.11}
{'loss': 0.0014, 'learning_rate': 4.591381872213967e-06, 'epoch': 8.13}
{'loss': 0.0002, 'learning_rate': 4.576523031203566e-06, 'epoch': 8.16}
{'loss': 0.0002, 'learning_rate': 4.561664190193165e-06, 'epoch': 8.18}
{'loss': 0.0001, 'learning_rate': 4.546805349182764e-06, 'epoch': 8.2}
{'loss': 0.0002, 'learning_rate': 4.531946508172363e-06, 'epoch': 8.22}
{'loss': 0.0008, 'learning_rate': 4.517087667161962e-06, 'epoch': 8.24}
{'loss': 0.0003, 'learning_rate': 4.5022288261515605e-06, 'epoch': 8.27}
{'loss': 0.0003, 'learning_rate': 4.487369985141159e-06, 'epoch': 8.29}
{'loss': 0.0001, 'learning_rate': 4.472511144130759e-06, 'epoch': 8.31}
{'loss': 0.0003, 'learning_rate': 4.4576523031203574e-06, 'epoch': 8.33}
{'loss': 0.0003, 'learning_rate': 4.442793462109955e-06, 'epoch': 8.35}
{'loss': 0.0004, 'learning_rate': 4.427934621099554e-06, 'epoch': 8.38}
{'loss': 0.0003, 'learning_rate': 4.4130757800891536e-06, 'epoch': 8.4}
{'loss': 0.0004, 'learning_rate': 4.398216939078752e-06, 'epoch': 8.42}
{'loss': 0.0002, 'learning_rate': 4.383358098068351e-06, 'epoch': 8.44}
{'loss': 0.0001, 'learning_rate': 4.36849925705795e-06, 'epoch': 8.47}
{'loss': 0.0006, 'learning_rate': 4.353640416047548e-06, 'epoch': 8.49}
{'loss': 0.0001, 'learning_rate': 4.338781575037148e-06, 'epoch': 8.51}
{'loss': 0.0005, 'learning_rate': 4.323922734026747e-06, 'epoch': 8.53}
{'loss': 0.0034, 'learning_rate': 4.309063893016345e-06, 'epoch': 8.55}
{'loss': 0.0014, 'learning_rate': 4.294205052005943e-06, 'epoch': 8.58}
{'loss': 0.0008, 'learning_rate': 4.279346210995543e-06, 'epoch': 8.6}
{'loss': 0.0003, 'learning_rate': 4.2644873699851415e-06, 'epoch': 8.62}
{'loss': 0.0007, 'learning_rate': 4.24962852897474e-06, 'epoch': 8.64}
{'loss': 0.0002, 'learning_rate': 4.234769687964339e-06, 'epoch': 8.66}
{'loss': 0.0007, 'learning_rate': 4.219910846953938e-06, 'epoch': 8.69}
{'loss': 0.0028, 'learning_rate': 4.205052005943537e-06, 'epoch': 8.71}
{'loss': 0.0004, 'learning_rate': 4.190193164933136e-06, 'epoch': 8.73}
{'loss': 0.0004, 'learning_rate': 4.1753343239227346e-06, 'epoch': 8.75}
{'loss': 0.0001, 'learning_rate': 4.160475482912333e-06, 'epoch': 8.78}
{'loss': 0.0002, 'learning_rate': 4.145616641901932e-06, 'epoch': 8.8}
{'loss': 0.0001, 'learning_rate': 4.130757800891531e-06, 'epoch': 8.82}
{'loss': 0.0003, 'learning_rate': 4.115898959881129e-06, 'epoch': 8.84}
{'loss': 0.0002, 'learning_rate': 4.101040118870728e-06, 'epoch': 8.86}
{'loss': 0.0026, 'learning_rate': 4.086181277860327e-06, 'epoch': 8.89}
{'loss': 0.0002, 'learning_rate': 4.071322436849926e-06, 'epoch': 8.91}
{'loss': 0.0002, 'learning_rate': 4.056463595839525e-06, 'epoch': 8.93}
{'loss': 0.0024, 'learning_rate': 4.041604754829124e-06, 'epoch': 8.95}
{'loss': 0.0018, 'learning_rate': 4.0267459138187225e-06, 'epoch': 8.98}
{'loss': 0.0011, 'learning_rate': 4.011887072808321e-06, 'epoch': 9.0}
{'loss': 0.0007, 'learning_rate': 3.99702823179792e-06, 'epoch': 9.02}
{'loss': 0.0001, 'learning_rate': 3.982169390787519e-06, 'epoch': 9.04}
{'loss': 0.0002, 'learning_rate': 3.967310549777117e-06, 'epoch': 9.06}
{'loss': 0.0003, 'learning_rate': 3.952451708766716e-06, 'epoch': 9.09}
{'loss': 0.0001, 'learning_rate': 3.9375928677563156e-06, 'epoch': 9.11}
{'loss': 0.0023, 'learning_rate': 3.922734026745914e-06, 'epoch': 9.13}
{'loss': 0.002, 'learning_rate': 3.907875185735513e-06, 'epoch': 9.15}
{'loss': 0.0001, 'learning_rate': 3.893016344725112e-06, 'epoch': 9.17}
{'loss': 0.0008, 'learning_rate': 3.87815750371471e-06, 'epoch': 9.2}
{'loss': 0.0001, 'learning_rate': 3.86329866270431e-06, 'epoch': 9.22}
{'loss': 0.0001, 'learning_rate': 3.848439821693909e-06, 'epoch': 9.24}
{'loss': 0.0001, 'learning_rate': 3.833580980683507e-06, 'epoch': 9.26}
{'loss': 0.0059, 'learning_rate': 3.818722139673105e-06, 'epoch': 9.29}
{'loss': 0.0004, 'learning_rate': 3.8038632986627044e-06, 'epoch': 9.31}
{'loss': 0.0001, 'learning_rate': 3.7890044576523035e-06, 'epoch': 9.33}
{'loss': 0.0001, 'learning_rate': 3.774145616641902e-06, 'epoch': 9.35}
{'loss': 0.0021, 'learning_rate': 3.759286775631501e-06, 'epoch': 9.37}
{'loss': 0.0002, 'learning_rate': 3.7444279346211e-06, 'epoch': 9.4}
{'loss': 0.0003, 'learning_rate': 3.7295690936106987e-06, 'epoch': 9.42}
{'loss': 0.0001, 'learning_rate': 3.7147102526002974e-06, 'epoch': 9.44}
{'loss': 0.0002, 'learning_rate': 3.6998514115898966e-06, 'epoch': 9.46}
{'loss': 0.0001, 'learning_rate': 3.6849925705794953e-06, 'epoch': 9.48}
{'loss': 0.0001, 'learning_rate': 3.6701337295690936e-06, 'epoch': 9.51}
{'loss': 0.0001, 'learning_rate': 3.6552748885586927e-06, 'epoch': 9.53}
{'loss': 0.0001, 'learning_rate': 3.6404160475482914e-06, 'epoch': 9.55}
{'loss': 0.0002, 'learning_rate': 3.62555720653789e-06, 'epoch': 9.57}
{'loss': 0.0001, 'learning_rate': 3.6106983655274892e-06, 'epoch': 9.6}
{'loss': 0.0004, 'learning_rate': 3.595839524517088e-06, 'epoch': 9.62}
{'loss': 0.0007, 'learning_rate': 3.5809806835066867e-06, 'epoch': 9.64}
{'loss': 0.0001, 'learning_rate': 3.5661218424962858e-06, 'epoch': 9.66}
{'loss': 0.0001, 'learning_rate': 3.5512630014858845e-06, 'epoch': 9.68}
{'loss': 0.0002, 'learning_rate': 3.536404160475483e-06, 'epoch': 9.71}
{'loss': 0.0001, 'learning_rate': 3.5215453194650823e-06, 'epoch': 9.73}
{'loss': 0.0009, 'learning_rate': 3.5066864784546806e-06, 'epoch': 9.75}
{'loss': 0.0001, 'learning_rate': 3.4918276374442793e-06, 'epoch': 9.77}
{'loss': 0.0012, 'learning_rate': 3.4769687964338785e-06, 'epoch': 9.8}
{'loss': 0.0001, 'learning_rate': 3.462109955423477e-06, 'epoch': 9.82}
{'loss': 0.0001, 'learning_rate': 3.447251114413076e-06, 'epoch': 9.84}
{'loss': 0.0001, 'learning_rate': 3.432392273402675e-06, 'epoch': 9.86}
{'loss': 0.0001, 'learning_rate': 3.4175334323922737e-06, 'epoch': 9.88}
{'loss': 0.0001, 'learning_rate': 3.4026745913818724e-06, 'epoch': 9.91}
{'loss': 0.0001, 'learning_rate': 3.3878157503714715e-06, 'epoch': 9.93}
{'loss': 0.0001, 'learning_rate': 3.3729569093610702e-06, 'epoch': 9.95}
{'loss': 0.0002, 'learning_rate': 3.3580980683506685e-06, 'epoch': 9.97}
{'loss': 0.0002, 'learning_rate': 3.3432392273402677e-06, 'epoch': 9.99}
{'loss': 0.0001, 'learning_rate': 3.3283803863298664e-06, 'epoch': 10.02}
{'loss': 0.0001, 'learning_rate': 3.313521545319465e-06, 'epoch': 10.04}
{'loss': 0.0001, 'learning_rate': 3.298662704309064e-06, 'epoch': 10.06}
{'loss': 0.0001, 'learning_rate': 3.283803863298663e-06, 'epoch': 10.08}
{'loss': 0.0001, 'learning_rate': 3.2689450222882616e-06, 'epoch': 10.11}
{'loss': 0.0001, 'learning_rate': 3.2540861812778607e-06, 'epoch': 10.13}
{'loss': 0.0, 'learning_rate': 3.2392273402674595e-06, 'epoch': 10.15}
{'loss': 0.0, 'learning_rate': 3.2243684992570586e-06, 'epoch': 10.17}
{'loss': 0.0001, 'learning_rate': 3.2095096582466573e-06, 'epoch': 10.19}
{'loss': 0.0001, 'learning_rate': 3.1946508172362556e-06, 'epoch': 10.22}
{'loss': 0.0001, 'learning_rate': 3.1797919762258543e-06, 'epoch': 10.24}
{'loss': 0.0001, 'learning_rate': 3.1649331352154534e-06, 'epoch': 10.26}
{'loss': 0.0003, 'learning_rate': 3.150074294205052e-06, 'epoch': 10.28}
{'loss': 0.0, 'learning_rate': 3.135215453194651e-06, 'epoch': 10.3}
{'loss': 0.0002, 'learning_rate': 3.12035661218425e-06, 'epoch': 10.33}
{'loss': 0.0, 'learning_rate': 3.1054977711738487e-06, 'epoch': 10.35}
{'loss': 0.0, 'learning_rate': 3.090638930163448e-06, 'epoch': 10.37}
{'loss': 0.0002, 'learning_rate': 3.0757800891530465e-06, 'epoch': 10.39}
{'loss': 0.0001, 'learning_rate': 3.060921248142645e-06, 'epoch': 10.42}
{'loss': 0.0001, 'learning_rate': 3.0460624071322435e-06, 'epoch': 10.44}
{'loss': 0.0, 'learning_rate': 3.0312035661218426e-06, 'epoch': 10.46}
{'loss': 0.0, 'learning_rate': 3.0163447251114413e-06, 'epoch': 10.48}
{'loss': 0.0, 'learning_rate': 3.0014858841010405e-06, 'epoch': 10.5}
{'loss': 0.0, 'learning_rate': 2.986627043090639e-06, 'epoch': 10.53}
{'loss': 0.0, 'learning_rate': 2.971768202080238e-06, 'epoch': 10.55}
{'loss': 0.0005, 'learning_rate': 2.956909361069837e-06, 'epoch': 10.57}
{'loss': 0.0, 'learning_rate': 2.9420505200594357e-06, 'epoch': 10.59}
{'loss': 0.0001, 'learning_rate': 2.9271916790490344e-06, 'epoch': 10.61}
{'loss': 0.0, 'learning_rate': 2.9123328380386335e-06, 'epoch': 10.64}
{'loss': 0.0, 'learning_rate': 2.8974739970282323e-06, 'epoch': 10.66}
{'loss': 0.0001, 'learning_rate': 2.8826151560178305e-06, 'epoch': 10.68}
{'loss': 0.0001, 'learning_rate': 2.8677563150074297e-06, 'epoch': 10.7}
{'loss': 0.0001, 'learning_rate': 2.8528974739970284e-06, 'epoch': 10.73}
{'loss': 0.0043, 'learning_rate': 2.838038632986627e-06, 'epoch': 10.75}
{'loss': 0.0001, 'learning_rate': 2.8231797919762262e-06, 'epoch': 10.77}
{'loss': 0.0, 'learning_rate': 2.808320950965825e-06, 'epoch': 10.79}
{'loss': 0.0019, 'learning_rate': 2.7934621099554236e-06, 'epoch': 10.81}
{'loss': 0.0, 'learning_rate': 2.7786032689450228e-06, 'epoch': 10.84}
{'loss': 0.0001, 'learning_rate': 2.7637444279346215e-06, 'epoch': 10.86}
{'loss': 0.0, 'learning_rate': 2.74888558692422e-06, 'epoch': 10.88}
{'loss': 0.0001, 'learning_rate': 2.734026745913819e-06, 'epoch': 10.9}
{'loss': 0.0, 'learning_rate': 2.7191679049034176e-06, 'epoch': 10.93}
{'loss': 0.0008, 'learning_rate': 2.7043090638930163e-06, 'epoch': 10.95}
{'loss': 0.0004, 'learning_rate': 2.6894502228826154e-06, 'epoch': 10.97}
{'loss': 0.0002, 'learning_rate': 2.674591381872214e-06, 'epoch': 10.99}
{'loss': 0.0, 'learning_rate': 2.659732540861813e-06, 'epoch': 11.01}
{'loss': 0.0001, 'learning_rate': 2.644873699851412e-06, 'epoch': 11.04}
{'loss': 0.0002, 'learning_rate': 2.6300148588410107e-06, 'epoch': 11.06}
{'loss': 0.0, 'learning_rate': 2.6151560178306094e-06, 'epoch': 11.08}
{'loss': 0.0, 'learning_rate': 2.6002971768202085e-06, 'epoch': 11.1}
{'loss': 0.0, 'learning_rate': 2.5854383358098072e-06, 'epoch': 11.12}
{'loss': 0.0, 'learning_rate': 2.5705794947994055e-06, 'epoch': 11.15}
{'loss': 0.0, 'learning_rate': 2.5557206537890046e-06, 'epoch': 11.17}
{'loss': 0.0, 'learning_rate': 2.5408618127786033e-06, 'epoch': 11.19}
{'loss': 0.0001, 'learning_rate': 2.526002971768202e-06, 'epoch': 11.21}
{'loss': 0.0, 'learning_rate': 2.511144130757801e-06, 'epoch': 11.24}
{'loss': 0.0013, 'learning_rate': 2.4962852897474e-06, 'epoch': 11.26}
{'loss': 0.0, 'learning_rate': 2.4814264487369986e-06, 'epoch': 11.28}
{'loss': 0.0001, 'learning_rate': 2.4665676077265977e-06, 'epoch': 11.3}
{'loss': 0.0, 'learning_rate': 2.4517087667161964e-06, 'epoch': 11.32}
{'loss': 0.0003, 'learning_rate': 2.436849925705795e-06, 'epoch': 11.35}
{'loss': 0.0001, 'learning_rate': 2.421991084695394e-06, 'epoch': 11.37}
{'loss': 0.0, 'learning_rate': 2.407132243684993e-06, 'epoch': 11.39}
{'loss': 0.0, 'learning_rate': 2.3922734026745917e-06, 'epoch': 11.41}
{'loss': 0.0, 'learning_rate': 2.3774145616641904e-06, 'epoch': 11.43}
{'loss': 0.0001, 'learning_rate': 2.362555720653789e-06, 'epoch': 11.46}
{'loss': 0.0, 'learning_rate': 2.347696879643388e-06, 'epoch': 11.48}
{'loss': 0.0002, 'learning_rate': 2.332838038632987e-06, 'epoch': 11.5}
{'loss': 0.0, 'learning_rate': 2.3179791976225856e-06, 'epoch': 11.52}
{'loss': 0.0, 'learning_rate': 2.3031203566121843e-06, 'epoch': 11.55}
{'loss': 0.0, 'learning_rate': 2.288261515601783e-06, 'epoch': 11.57}
{'loss': 0.0, 'learning_rate': 2.273402674591382e-06, 'epoch': 11.59}
{'loss': 0.0001, 'learning_rate': 2.258543833580981e-06, 'epoch': 11.61}
{'loss': 0.0001, 'learning_rate': 2.2436849925705796e-06, 'epoch': 11.63}
{'loss': 0.0, 'learning_rate': 2.2288261515601787e-06, 'epoch': 11.66}
{'loss': 0.0005, 'learning_rate': 2.213967310549777e-06, 'epoch': 11.68}
{'loss': 0.0, 'learning_rate': 2.199108469539376e-06, 'epoch': 11.7}
{'loss': 0.0, 'learning_rate': 2.184249628528975e-06, 'epoch': 11.72}
{'loss': 0.0, 'learning_rate': 2.169390787518574e-06, 'epoch': 11.75}
{'loss': 0.0, 'learning_rate': 2.1545319465081727e-06, 'epoch': 11.77}
{'loss': 0.0001, 'learning_rate': 2.1396731054977714e-06, 'epoch': 11.79}
{'loss': 0.0, 'learning_rate': 2.12481426448737e-06, 'epoch': 11.81}
{'loss': 0.0001, 'learning_rate': 2.109955423476969e-06, 'epoch': 11.83}
{'loss': 0.0, 'learning_rate': 2.095096582466568e-06, 'epoch': 11.86}
{'loss': 0.0, 'learning_rate': 2.0802377414561666e-06, 'epoch': 11.88}
{'loss': 0.0003, 'learning_rate': 2.0653789004457653e-06, 'epoch': 11.9}
{'loss': 0.0012, 'learning_rate': 2.050520059435364e-06, 'epoch': 11.92}
{'loss': 0.003, 'learning_rate': 2.035661218424963e-06, 'epoch': 11.94}
{'loss': 0.0, 'learning_rate': 2.020802377414562e-06, 'epoch': 11.97}
{'loss': 0.0, 'learning_rate': 2.0059435364041606e-06, 'epoch': 11.99}
{'loss': 0.0, 'learning_rate': 1.9910846953937593e-06, 'epoch': 12.01}
{'loss': 0.0, 'learning_rate': 1.976225854383358e-06, 'epoch': 12.03}
{'loss': 0.0001, 'learning_rate': 1.961367013372957e-06, 'epoch': 12.06}
{'loss': 0.0, 'learning_rate': 1.946508172362556e-06, 'epoch': 12.08}
{'loss': 0.0001, 'learning_rate': 1.931649331352155e-06, 'epoch': 12.1}
{'loss': 0.0002, 'learning_rate': 1.9167904903417537e-06, 'epoch': 12.12}
{'loss': 0.0, 'learning_rate': 1.9019316493313522e-06, 'epoch': 12.14}
{'loss': 0.0, 'learning_rate': 1.887072808320951e-06, 'epoch': 12.17}
{'loss': 0.0, 'learning_rate': 1.87221396731055e-06, 'epoch': 12.19}
{'loss': 0.0, 'learning_rate': 1.8573551263001487e-06, 'epoch': 12.21}
{'loss': 0.0, 'learning_rate': 1.8424962852897476e-06, 'epoch': 12.23}
{'loss': 0.0, 'learning_rate': 1.8276374442793463e-06, 'epoch': 12.25}
{'loss': 0.0, 'learning_rate': 1.812778603268945e-06, 'epoch': 12.28}
{'loss': 0.0, 'learning_rate': 1.797919762258544e-06, 'epoch': 12.3}
{'loss': 0.0, 'learning_rate': 1.7830609212481429e-06, 'epoch': 12.32}
{'loss': 0.0, 'learning_rate': 1.7682020802377416e-06, 'epoch': 12.34}
{'loss': 0.0, 'learning_rate': 1.7533432392273403e-06, 'epoch': 12.37}
{'loss': 0.0, 'learning_rate': 1.7384843982169392e-06, 'epoch': 12.39}
{'loss': 0.0, 'learning_rate': 1.723625557206538e-06, 'epoch': 12.41}
{'loss': 0.0, 'learning_rate': 1.7087667161961369e-06, 'epoch': 12.43}
{'loss': 0.0, 'learning_rate': 1.6939078751857358e-06, 'epoch': 12.45}
{'loss': 0.0, 'learning_rate': 1.6790490341753343e-06, 'epoch': 12.48}
{'loss': 0.0, 'learning_rate': 1.6641901931649332e-06, 'epoch': 12.5}
{'loss': 0.0001, 'learning_rate': 1.649331352154532e-06, 'epoch': 12.52}
{'loss': 0.0, 'learning_rate': 1.6344725111441308e-06, 'epoch': 12.54}
{'loss': 0.0, 'learning_rate': 1.6196136701337297e-06, 'epoch': 12.57}
{'loss': 0.0, 'learning_rate': 1.6047548291233286e-06, 'epoch': 12.59}
{'loss': 0.0002, 'learning_rate': 1.5898959881129271e-06, 'epoch': 12.61}
{'loss': 0.0, 'learning_rate': 1.575037147102526e-06, 'epoch': 12.63}
{'loss': 0.0, 'learning_rate': 1.560178306092125e-06, 'epoch': 12.65}
{'loss': 0.0, 'learning_rate': 1.545319465081724e-06, 'epoch': 12.68}
{'loss': 0.0, 'learning_rate': 1.5304606240713226e-06, 'epoch': 12.7}
{'loss': 0.0, 'learning_rate': 1.5156017830609213e-06, 'epoch': 12.72}
{'loss': 0.0, 'learning_rate': 1.5007429420505202e-06, 'epoch': 12.74}
{'loss': 0.0, 'learning_rate': 1.485884101040119e-06, 'epoch': 12.76}
{'loss': 0.0001, 'learning_rate': 1.4710252600297179e-06, 'epoch': 12.79}
{'loss': 0.0, 'learning_rate': 1.4561664190193168e-06, 'epoch': 12.81}
{'loss': 0.0, 'learning_rate': 1.4413075780089153e-06, 'epoch': 12.83}
{'loss': 0.0, 'learning_rate': 1.4264487369985142e-06, 'epoch': 12.85}
{'loss': 0.0, 'learning_rate': 1.4115898959881131e-06, 'epoch': 12.88}
{'loss': 0.0, 'learning_rate': 1.3967310549777118e-06, 'epoch': 12.9}
{'loss': 0.0, 'learning_rate': 1.3818722139673107e-06, 'epoch': 12.92}
{'loss': 0.0, 'learning_rate': 1.3670133729569094e-06, 'epoch': 12.94}
{'loss': 0.0, 'learning_rate': 1.3521545319465081e-06, 'epoch': 12.96}
{'loss': 0.0, 'learning_rate': 1.337295690936107e-06, 'epoch': 12.99}
{'loss': 0.0001, 'learning_rate': 1.322436849925706e-06, 'epoch': 13.01}
{'loss': 0.0, 'learning_rate': 1.3075780089153047e-06, 'epoch': 13.03}
{'loss': 0.0, 'learning_rate': 1.2927191679049036e-06, 'epoch': 13.05}
{'loss': 0.0, 'learning_rate': 1.2778603268945023e-06, 'epoch': 13.07}
{'loss': 0.0, 'learning_rate': 1.263001485884101e-06, 'epoch': 13.1}
{'loss': 0.0001, 'learning_rate': 1.2481426448737e-06, 'epoch': 13.12}
{'loss': 0.0001, 'learning_rate': 1.2332838038632989e-06, 'epoch': 13.14}
{'loss': 0.0, 'learning_rate': 1.2184249628528976e-06, 'epoch': 13.16}
{'loss': 0.0, 'learning_rate': 1.2035661218424965e-06, 'epoch': 13.19}
{'loss': 0.0, 'learning_rate': 1.1887072808320952e-06, 'epoch': 13.21}
{'loss': 0.0, 'learning_rate': 1.173848439821694e-06, 'epoch': 13.23}
{'loss': 0.0, 'learning_rate': 1.1589895988112928e-06, 'epoch': 13.25}
{'loss': 0.0, 'learning_rate': 1.1441307578008915e-06, 'epoch': 13.27}
{'loss': 0.0, 'learning_rate': 1.1292719167904904e-06, 'epoch': 13.3}
{'loss': 0.0, 'learning_rate': 1.1144130757800894e-06, 'epoch': 13.32}
{'loss': 0.0, 'learning_rate': 1.099554234769688e-06, 'epoch': 13.34}
{'loss': 0.0, 'learning_rate': 1.084695393759287e-06, 'epoch': 13.36}
{'loss': 0.0, 'learning_rate': 1.0698365527488857e-06, 'epoch': 13.39}
{'loss': 0.0, 'learning_rate': 1.0549777117384844e-06, 'epoch': 13.41}
{'loss': 0.0, 'learning_rate': 1.0401188707280833e-06, 'epoch': 13.43}
{'loss': 0.0, 'learning_rate': 1.025260029717682e-06, 'epoch': 13.45}
{'loss': 0.0, 'learning_rate': 1.010401188707281e-06, 'epoch': 13.47}
{'loss': 0.0, 'learning_rate': 9.955423476968797e-07, 'epoch': 13.5}
{'loss': 0.0, 'learning_rate': 9.806835066864786e-07, 'epoch': 13.52}
{'loss': 0.0001, 'learning_rate': 9.658246656760775e-07, 'epoch': 13.54}
{'loss': 0.0, 'learning_rate': 9.509658246656761e-07, 'epoch': 13.56}
{'loss': 0.0, 'learning_rate': 9.36106983655275e-07, 'epoch': 13.58}
{'loss': 0.0, 'learning_rate': 9.212481426448738e-07, 'epoch': 13.61}
{'loss': 0.0, 'learning_rate': 9.063893016344725e-07, 'epoch': 13.63}
{'loss': 0.0, 'learning_rate': 8.915304606240714e-07, 'epoch': 13.65}
{'loss': 0.0002, 'learning_rate': 8.766716196136702e-07, 'epoch': 13.67}
{'loss': 0.0, 'learning_rate': 8.61812778603269e-07, 'epoch': 13.7}
{'loss': 0.0, 'learning_rate': 8.469539375928679e-07, 'epoch': 13.72}
{'loss': 0.0, 'learning_rate': 8.320950965824666e-07, 'epoch': 13.74}
{'loss': 0.0, 'learning_rate': 8.172362555720654e-07, 'epoch': 13.76}
{'loss': 0.0, 'learning_rate': 8.023774145616643e-07, 'epoch': 13.78}
{'loss': 0.0, 'learning_rate': 7.87518573551263e-07, 'epoch': 13.81}
{'loss': 0.0, 'learning_rate': 7.72659732540862e-07, 'epoch': 13.83}
{'loss': 0.0, 'learning_rate': 7.578008915304607e-07, 'epoch': 13.85}
{'loss': 0.0, 'learning_rate': 7.429420505200595e-07, 'epoch': 13.87}
{'loss': 0.0, 'learning_rate': 7.280832095096584e-07, 'epoch': 13.89}
{'loss': 0.0001, 'learning_rate': 7.132243684992571e-07, 'epoch': 13.92}
{'loss': 0.0, 'learning_rate': 6.983655274888559e-07, 'epoch': 13.94}
{'loss': 0.0, 'learning_rate': 6.835066864784547e-07, 'epoch': 13.96}
{'loss': 0.0, 'learning_rate': 6.686478454680535e-07, 'epoch': 13.98}
{'loss': 0.0, 'learning_rate': 6.537890044576523e-07, 'epoch': 14.01}
{'loss': 0.0, 'learning_rate': 6.389301634472512e-07, 'epoch': 14.03}
{'loss': 0.0, 'learning_rate': 6.2407132243685e-07, 'epoch': 14.05}
{'loss': 0.0, 'learning_rate': 6.092124814264488e-07, 'epoch': 14.07}
{'loss': 0.0, 'learning_rate': 5.943536404160476e-07, 'epoch': 14.09}
{'loss': 0.0, 'learning_rate': 5.794947994056464e-07, 'epoch': 14.12}
{'loss': 0.0, 'learning_rate': 5.646359583952452e-07, 'epoch': 14.14}
{'loss': 0.0, 'learning_rate': 5.49777117384844e-07, 'epoch': 14.16}
{'loss': 0.0, 'learning_rate': 5.349182763744428e-07, 'epoch': 14.18}
{'loss': 0.0, 'learning_rate': 5.200594353640417e-07, 'epoch': 14.2}
{'loss': 0.0, 'learning_rate': 5.052005943536405e-07, 'epoch': 14.23}
{'loss': 0.0, 'learning_rate': 4.903417533432393e-07, 'epoch': 14.25}
{'loss': 0.0, 'learning_rate': 4.7548291233283804e-07, 'epoch': 14.27}
{'loss': 0.0, 'learning_rate': 4.606240713224369e-07, 'epoch': 14.29}
{'loss': 0.0001, 'learning_rate': 4.457652303120357e-07, 'epoch': 14.32}
{'loss': 0.0, 'learning_rate': 4.309063893016345e-07, 'epoch': 14.34}
{'loss': 0.0, 'learning_rate': 4.160475482912333e-07, 'epoch': 14.36}
{'loss': 0.0, 'learning_rate': 4.0118870728083216e-07, 'epoch': 14.38}
{'loss': 0.0, 'learning_rate': 3.86329866270431e-07, 'epoch': 14.4}
{'loss': 0.0, 'learning_rate': 3.7147102526002973e-07, 'epoch': 14.43}
{'loss': 0.0, 'learning_rate': 3.5661218424962855e-07, 'epoch': 14.45}
{'loss': 0.0, 'learning_rate': 3.4175334323922736e-07, 'epoch': 14.47}
{'loss': 0.0, 'learning_rate': 3.2689450222882617e-07, 'epoch': 14.49}
{'loss': 0.0, 'learning_rate': 3.12035661218425e-07, 'epoch': 14.52}
{'loss': 0.0, 'learning_rate': 2.971768202080238e-07, 'epoch': 14.54}
{'loss': 0.0, 'learning_rate': 2.823179791976226e-07, 'epoch': 14.56}
{'loss': 0.0001, 'learning_rate': 2.674591381872214e-07, 'epoch': 14.58}
{'loss': 0.0, 'learning_rate': 2.5260029717682024e-07, 'epoch': 14.6}
{'loss': 0.0001, 'learning_rate': 2.3774145616641902e-07, 'epoch': 14.63}
{'loss': 0.0, 'learning_rate': 2.2288261515601786e-07, 'epoch': 14.65}
{'loss': 0.0, 'learning_rate': 2.0802377414561665e-07, 'epoch': 14.67}
{'loss': 0.0, 'learning_rate': 1.931649331352155e-07, 'epoch': 14.69}
{'loss': 0.0, 'learning_rate': 1.7830609212481427e-07, 'epoch': 14.71}
{'loss': 0.0001, 'learning_rate': 1.6344725111441309e-07, 'epoch': 14.74}
{'loss': 0.0, 'learning_rate': 1.485884101040119e-07, 'epoch': 14.76}
{'loss': 0.0, 'learning_rate': 1.337295690936107e-07, 'epoch': 14.78}
{'loss': 0.0001, 'learning_rate': 1.1887072808320951e-07, 'epoch': 14.8}
{'loss': 0.0, 'learning_rate': 1.0401188707280832e-07, 'epoch': 14.83}
{'loss': 0.0, 'learning_rate': 8.915304606240714e-08, 'epoch': 14.85}
{'loss': 0.0, 'learning_rate': 7.429420505200595e-08, 'epoch': 14.87}
{'loss': 0.0, 'learning_rate': 5.9435364041604756e-08, 'epoch': 14.89}
{'loss': 0.0, 'learning_rate': 4.457652303120357e-08, 'epoch': 14.91}
{'loss': 0.0, 'learning_rate': 2.9717682020802378e-08, 'epoch': 14.94}
{'loss': 0.0, 'learning_rate': 1.4858841010401189e-08, 'epoch': 14.96}
{'train_runtime': 41052.0063, 'train_samples_per_second': 0.527, 'train_steps_per_second': 0.016, 'train_loss': 0.01656169807199654, 'epoch': 14.96}