Übung - Logistische Regression

Implementieren Sie die univariate logistische Regression mit Tensorflow, d.h. folgendes Modell

Modell

Input (Merkmale): $$ \vec x^T = (x_1, x_2, \dots x_n) $$

Output $h$ des Neurons: $$ h = \sigma(\sum_{i=1}^n w_i x_i + b) = \sigma(\vec x^T \cdot \vec w + b) $$

• $\sigma(z) = 1/(1+\exp(-z))$: logistische Funktion
• $w_i$: Neuronengewichte
• $b$: Bias

1. Implemantieren Sie das Modell mit Tensorflow
2. Stellen Sie die Kostenfunktion mit L2-Regularisierung
3. Optimieren Sie die Kosten (cross-Entropy) mit Tensorflow, verwenden Sie hierzu den tf.train.GradientDescentOptimizer. Verwenden Sie die unten gegebenen Trainingsdaten. Zeichen Sie einen Plot des den Fortschittes (Abnahme der Kosten über den Iterationen).
4. Geben Sie die gefundenen Parameter aus (einfaches print)
5. Zeichen Sie die Daten zusammen mit der Entscheidungsgrenze.

Trainings Daten

# class 0:
# covariance matrix and mean
cov0 = np.array([[5,-4],[-4,4]])
mean0 = np.array([2.,3])
# number of data points
m0 = 100

# class 1
# covariance matrix
cov1 = np.array([[5,-3],[-3,3]])
mean1 = np.array([1.,1])
m1 = 100

# generate m0 gaussian distributed data points with
# mean0 and cov0.
r0 = np.random.multivariate_normal(mean0, cov0, m0)
r1 = np.random.multivariate_normal(mean1, cov1, m1)

def plot_data(r0, r1):
    plt.figure(figsize=(7.,7.))
    plt.scatter(r0[...,0], r0[...,1], c='b', marker='o', label="Klasse 0")
    plt.scatter(r1[...,0], r1[...,1], c='r', marker='x', label="Klasse 1")
    plt.xlabel("$x_0$")
    plt.ylabel("$x_1$")

Cost of classification:

Cross entropy plus L2-regularization:

$$ J(\vec w, b) = - \frac{1}{m} \left ( y \log(h_{\vec w, b} (\vec x) + (1-y) \log(1 - h_{\vec w, b} (\vec x) \right) + \lambda \sum_i w_i^2 $$

plt.plot(range(nb_epochs), cost_)
plt.xlabel('# of iterations')
plt.ylabel('cost')
plt.title('Learning Progress')

<matplotlib.text.Text at 0x118983320>

plot_data(r0,r1)
plt.plot(x0,x1,'g-')
plt.title("Decision Boundary")

<matplotlib.text.Text at 0x1189d33c8>