Ich habe keine Berechnung der Parameter (Gewichte + Verzerrungen) von AlexNet , also habe ich versucht, es zu berechnen, aber ich bin mir nicht sicher, ob es korrekt ist:
conv1: (11 * 11) * 3 * 96 + 96 = 34944
conv2: (5 * 5) * 96 * 256 + 256 = 614656
conv3: (3 * 3) * 256 * 384 + 384 = 885120
conv4: (3 * 3) * 384 * 384 + 384 = 1327488
conv5: (3 * 3) * 384 * 256 + 256 = 884992
fc1: (6 * 6) * 256 * 4096 + 4096 = 37752832
fc2: 4096 * 4096 + 4096 = 16781312
fc3: 4096 * 1000 + 1000 = 4097000
Dies ergibt insgesamt 62378344 Parameter. Ist diese Berechnung richtig?
Folie 8 in dieser Präsentation sagt, dass es 60M Parameter hat, also denke ich, dass Sie zumindest im Ballpark sind. Ссылка
Gemäß dem Diagramm in ihrer Arbeit verwenden einige der Schichten Gruppierungen. Daher kommunizieren nicht alle Features einer Ebene mit der nächsten. Dies bedeutet z.B. Für conv2 sollten Sie nur (5 * 5) * 48 * 256 + 256 = 307.456 Features haben.
Ich bin nicht sicher, ob alle neueren Implementierungen die Gruppierung enthalten. Es war eine Optimierung, die sie verwendet haben, um das Netzwerk parallel auf zwei GPUs trainieren zu lassen, aber moderne GPUs haben mehr Ressourcen für das Training und passen das Netzwerk bequem ohne Gruppierung an.
Tags und Links computer-vision conv-neural-network