Nichtlineare Regression: Warum lernt das Modell nicht? - maschinelles Lernen, Keras, Regression, nichtlineare Regression

Ich habe gerade angefangen, Keras zu lernen. Ich versuche, ein nichtlineares Regressionsmodell in Keras zu trainieren, aber das Modell scheint nicht viel zu lernen.

#datapoints
X = np.arange(0.0, 5.0, 0.1, dtype="float32").reshape(-1,1)
y = 5 * np.power(X,2) + np.power(np.random.randn(50).reshape(-1,1),3)

#model
model = Sequential()
model.add(Dense(50, activation="relu", input_dim=1))
model.add(Dense(30, activation="relu", init="uniform"))
model.add(Dense(output_dim=1, activation="linear"))

#training
sgd = SGD(lr=0.1);
model.compile(loss="mse", optimizer=sgd, metrics=["accuracy"])
model.fit(X, y, nb_epoch=1000)

#predictions
predictions = model.predict(X)

#plot
plt.scatter(X, y,edgecolors="g")
plt.plot(X, predictions,"r")
plt.legend([ "Predictated Y" ,"Actual Y"])
plt.show()

Was mache ich falsch?

Antworten:

Ihre Lernrate ist viel zu hoch.

Auch irrelevant für Ihr Problem, aber Sie sollten nicht danach fragen metrics=["accuracy"], da dies eine Regression ist und Genauigkeit ist bedeutungslos.

Also mit diesen Änderungen:

sgd = SGD(lr=0.001);
model.compile(loss="mse", optimizer=sgd)

plt.legend([ "Predicted Y" ,"Actual Y"]) # typo in legend :)

Hier sind einige Ausgaben (die Ergebnisse unterscheiden sich zwischen den Läufen aufgrund des Zufallselements Ihrer y):