Sie haben auf dieser Plattform unterschiedliche Methoden und Modelle kennengelernt. Darunter sehr komplexe und sehr einfache Modelle. Auf der einen Seite stehen Verfahren wie die Support Vector Machine, tiefe faltende neuronale Netzwerke oder random forests und auf der anderen Seite stehen Suchalgorithmen oder Naive Bayes Classifier.
In diesem Beitrag zeigen wir unterschiedliche Rechenhardware für unterschiedliche Anwendungen. An dieser Stelle sollte erwähnt werden, dass Nachhaltigkeit in diesem Zusammenhang während der Verfassung dieses Artikels noch ein wenig erforschtes Thema ist – der Energieverbrauch von adäquater Hardware ist aber bekannt. Wir beginnen diese Diskussion zunächst mit der Analyse bekannter und auf dieser Plattform bereits diskutierten Modelle und deren Parameter.
Die Support Vector Machine (SVM) ist eines der komplexeren mathematischen Modelle, welches wir diskutiert haben. Wie Sie bereits wissen, nutzt dieses Modell die Beispiele am „Rand“ zur Formulierung der Klassifizierungsfunktion – die sogenannten Stützvektoren. Wie viele Stützvektoren genutzt werden ist unbekannt und wird während des Lernprozesses ermittelt. Hinzu kommen Parameter des Kernels. Je nach Größe des Datensatzes und Komplexität des Problems ändern sich also die Parameter. Für einfache Probleme reichen vielleicht wenige Stützvektoren – für komplexere Probleme brauchen wir vielleicht hunderte Stützvektoren. Es ist also gar nicht so einfach herauszufinden, wie rechenintensiv das Modell schlussendlich sein wird. Schlussendlich können wir die Verarbeitung basierend auf den Stützvektoren auf mehrere Prozessorkerne aufteilen. Dennoch ist eine Aussage, wie viele Prozessoren in der Anwendung wie stark ausgelastet sind, nicht im Vorfeld definierbar.
Ein CNN (convolutional neural network, faltendes neuronales Netzwerk) hat immer die gleiche Anzahl an Parametern. Sehen wir uns das erste groß publizierte CNN an – Alexnet. Alexnet hat ca. 62 Millionen Parameter, die während der Lernprozedur adaptiert werden. Sie sehen schon: Im Gegensatz zur SVM sind das wesentlich mehr Parameter. Die hohe Flexibilität und hohe Genauigkeit (zumindest nach der Veröffentlichung) hat einen Preis hinsichtlich Performance. CNNs basieren auf mathematischen Strukturen, die sehr gut auf Grafikprozessoren (GPU) implementiert werden können. Sie haben sicherlich während der Covid-19 Pandemie von der Halbleiter- bzw. GPU-Knappheit gelesen. Der Fortschritt im Bereich deep learning führt dazu, dass GPUs neben Gaming auch intensiv für AI-Anwendungen eingesetzt werden.
Nun stellen Sie sich zurecht die Frage: Welche Hardware für welches Problem? Wie Sie gesehen haben, ist das keine leicht zu beantwortende Frage und hängt stark vom Modell und der Komplexität des Problems ab. Damit Sie eine grobe Übersicht über Entscheidungskriterien bekommen, sehen Sie im folgenden Video die grundlegen Kriterien hinsichtlich Hardwareauswahl für AI-Modelle und Methoden.