Wir haben alle ungeschickt aussehende Websites gesehen, auf denen Kunst und Kopie nicht ineinander greifen. Der Text verbirgt ein wichtiges Stück eines Bildes, die visuellen Stile kollidieren oder die Komposition scheint nur unausgewogen zu sein.

Salesforce scheint jedoch kurz vor einer automatisierten Lösung zu stehen. In einer Studie mit 20.000 urheberrechtsfreien Bildern von Unsplash stellte das UX-Forschungs- und Designteam fest, dass proprietäre Objekterkennungssoftware subtile Unterschiede in Medien, Vektorgrafiken und formatiertem Text isolieren und kategorisieren kann.

Diese Forschung könnte eine breite Anwendung für die Branche haben, sagte Sönke Rohde, eine Vizepräsidentin, die das Team leitet, insbesondere für Unternehmen und interne Abteilungen, die keine internen Grafik- oder UX-Designer haben.

“Wir können damit beginnen, den kreativen Prozess zu verstärken”, sagte Rohde. „Anstatt manuell eine Reihe von Designvarianten zu erstellen, um einen multivariaten Test durchzuführen oder eine vollständige Personalisierung durchzuführen, können Sie sogenannte generative Designvarianten nutzen, um den Prozess zu transformieren.“

Die Autoren eines intern veröffentlichten Berichts, “Copyspace: Wo man auf Bilder schreibt” schlagen vor, Objekterkennungsmodelle mit den Deep-Learning-Funktionen des generativen Design-Systems von Salesfore zu kombinieren Einstein Designer um Unternehmen beim Rendern personalisierter E-Mail-Banner, Heldenseiten und Handlungsaufforderungen zu unterstützen. Darüber hinaus könnten diese Assets angepasst werden, um Markenidentitäten, Geschäftsziele und die Erwartungen bestimmter Benutzer widerzuspiegeln.

“Eine sehr häufige Designbehandlung besteht darin, Inhalte auf einem Bild zu positionieren”, sagte Rhode. „Möglicherweise haben Sie eine Überschrift – normalerweise haben Sie eine Schaltfläche mit einem Aufruf zum Handeln. Und um die Erstellung dieser zu automatisieren, müssen Sie den besten Ort oder die besten Orte finden, um den Inhalt zu platzieren. “

Mehr zu generativem DesignFolgendes lehren uns AI-fähige Design-Frameworks

* * *

Diese Geschichte ist die erste in Built InIn der Reihe „Designer’s Playbook“ werden die wichtigsten aufkommenden Trends und Fähigkeiten für Design- und UX-Profis im Jahr 2021 untersucht.

Eine Szene aus einem Tom & Jerry Cartoon Das vom Salesforce Design-Forschungs- und Entwicklungsteam kommentierte Beispiel zeigt kurz, wie die Technologie funktioniert. Als Tom empört wird und ein Paar Billardkugeln auf Jerrys Gesicht wirft, schlägt die unerschrockene Maus sie mit einem Baseballschläger zurück und steckt sie direkt in die Augenhöhlen der Katze. Die Szene endet damit, dass Tom in einen Kaltgetränkeautomaten gestoßen wird, wo er verdichtet und in Form einer Limo-Flasche ausgespuckt wird. Erinnern Sie sich an die unbeschwerte Leichtfertigkeit früherer Cartoons?

Es ist frech, wenn auch makaber, Cartoon-Spaß, aber es ist auch ein Blick darauf, wo die “besten Orte” für Fernsehkredite sein könnten. Während sich der Cartoon entfaltet, erscheinen Begrenzungsrahmen in Grün und Magenta im negativen oder latenten Raum. Diese Felder werden in vier Klassen eingeteilt, basierend auf der Schwierigkeit, die die Software hat, sie als optimale Orte zum Hinzufügen von Wörtern zu identifizieren. Es ist eine schwierigere Aufgabe als die einfache Trennung von Vordergrund und Hintergrund.

„Anstelle des Objekts suchen wir also nach dem Nicht-Objekt. Und genau darum ging es in dem Artikel “, sagte Jessica Lundin, Hauptdatenwissenschaftlerin im UX R & D-Team und Hauptautorin des Papiers.

Eine genaue Betrachtung zeigt, dass einfache, monochrome Oberflächen – wie die schwarze Rinne des Cartoons – für die Software relativ einfach als erstklassige sprachliche Immobilie zu erkennen sind. Reich geschichtete Räume sowie solche in der Nähe von Tom und Jerry sind schwieriger zu isolieren.

Bild: Salesforce

Das Versprechen und die Grenzen der Kopierraumerkennung

Deep-Learning-Modelle, einschließlich des auf Regression basierenden Yolo (Sie sehen nur einmal) und des Regionsvorschlagsnetzwerks Faster R-CNN, bilden den Kern des Projekts. Mit der Zeit lernen diese Modelle vorherzusagen, wo die Kopie am besten platziert ist.

Zunächst müssen sie jedoch geschult werden. Um Platzhalter festzulegen, bei denen die Kopie am besten aussieht, arbeitete Lundin mit dem UX-Forschungs- und Entwicklungsteam zusammen, um die von Unsplash gesammelten Bilder zu kommentieren. Wie in der obigen Abbildung gezeigt, werden rechteckige Begrenzungsrahmen verwendet, die an kompositorisch wünschenswerten Stellen angeordnet sind, um die Software zu trainieren.

“Das Modell macht natürlich nur das, was es gesagt hat, aber es lernt im Wesentlichen: ‘Wo ist der energiearme Raum auf dem Bild?'”, Sagte Lundin zu mir.

“Das Modell macht natürlich nur das, was es gesagt hat, aber es lernt im Wesentlichen: ‘Wo ist der energiearme Raum auf dem Bild?'”

Von den fünf getesteten Modellen hatte Yolo Version 5 den höchsten mAP-Wert (Mean Average Precision). Einfach ausgedrückt war es in der Lage, Kopierorte für Bilder mit 407 Ebenen mit einer Auflösung von 640 x 640 Pixel zuverlässig vorherzusagen.

Es gibt noch viel zu tun.

„Ein Problem, das wir beim Anwenden dieser Objekterkennungsmodelle auf den Kopierbereich haben, ist, dass unsere Modelle häufig eine haben, wenn es kein genau definiertes Objekt gibt – es gibt keine Katze oder keinen Baseball, um den man ordentlich eine Linie ziehen kann Eine absolut plausible Lösung für den Kopierbereich, die jedoch nicht mit der Anmerkung übereinstimmt “, sagte Lundin.

Mit anderen Worten, das Modell fand latenten Raum – die grünen Begrenzungsrahmen – nur nicht den Raum, den die Forscher finden wollten – die rosa Begrenzungsrahmen. Mit mehr Zeit und Trainingsdaten wird sich die Präzision des Systems wahrscheinlich verbessern.

Mehr zur Typografie Was macht eine Schrift für die Programmierung gut?

Bild: Salesforce

Ein weiteres Problem, wie in diesem Raster von Regenjackenanzeigen zu sehen ist, ist, dass Kopien innerhalb eines Begrenzungsrahmens auf vielfältige Weise dargestellt werden können. Die Größe und relative Position von Überschriften, Text und Schaltflächen ist für die Benutzerinteraktion wichtig und muss im Rahmen des Designs noch getestet und verfeinert werden.

“Dieses Papier war wirklich wie: ‘Können wir es tun?’ Und die Antwort war: “Ja, selbst mit sehr wenigen Bildern konnten wir einen ziemlich guten Job machen.” Aber um dies als Produkt zu beenden, müssen noch weitere Dinge getan werden. Zum Beispiel die genaue Platzierung des Textes in diesem Kopierbereich. “

Die Bilder werden in vier Klassen eingeteilt, basierend auf der Schwierigkeit, mit der die Objekterkennungssoftware die beste Textplatzierung ermittelt.Bild: Salesforce

Eine benutzerdefinierte Schnittstelle für alle

Um die Bedeutung der Studie und ihre möglichen Auswirkungen zu verstehen, müssen Sie die umfassenderen Pläne von Salesforce für Einstein Designer berücksichtigen, ein AI-gestütztes generatives Designtool, das verwendet Deep-Learning-UX und vorausschauende Personalisierung, um benutzerdefinierte Schnittstellen zu erstellen.

Das Projekt, das in Schnelle Unternehmen Die 2020 Innovation by Design Awards beinhalten eine funktionsübergreifende Zusammenarbeit von Datenwissenschaftlern, Full-Stack-Ingenieuren und Designern. Als Rohde schreibt zu seinen hohen Ambitionen: „Stellen Sie sich eine benutzerdefinierte Benutzeroberfläche für jede Person vor, die eine Website besucht. Warte was?”

In der Praxis, sagte er mir, bedeutet dies, dass Designaspekte wie Farbe, Schriftstile und -größen sowie typografische Hierarchien für bestimmte Branchen optimiert werden können. Eine Salesforce-Datenvisualisierung zeigt anDa beispielsweise Softwareunternehmen die Farbe Blau bevorzugen, bevorzugt Big Pharma helle, durchsetzungsfähige Farben, und Autohersteller tendieren zu Bildern mit geringer Farbsättigung.

„Die Forschung hat gezeigt, dass Menschen unterschiedliche Interessen haben. Insgesamt möchten einige Leute den Preis eines Produkts sehen. Andere Leute interessieren sich für Funktionen. Andere möchten eine bestimmte Produktaufnahme haben. “

Ähnliche ästhetische Vorlieben finden sich bei Marken und – wie diese herrlich geeky Video von der Brillenmarke Warby Parker illustriert – Menschen mit diskriminierendem Geschmack. Laut Rohde besteht die große Idee darin, dass Unternehmen durch die Automatisierung von Assets Produktseiten und digitale Schaufenster personalisieren können, um das Engagement zu optimieren.

“Die Forschung hat gezeigt, dass Menschen unterschiedliche Interessen haben”, sagte Rohde. „Einige Leute sehen insgesamt gerne den Preis eines Produkts. Andere Leute interessieren sich für Funktionen. Andere möchten eine bestimmte Produktaufnahme haben. “

In der Regel erstellt ein Designer manuell einen Satz von drei oder vier Modellen und führt diese durch multivariate Tests, um die beste Wahl zu ermitteln. Zeit- und Ressourcenbeschränkungen beschränken die verfügbaren Optionen.

“Aber mit generativem Design”, sagte Rohde, “können Sie Dutzende verschiedener Permutationen generieren, die alle unterschiedliche Aspekte eines Produkts hervorheben, und dann mithilfe Ihrer Personalisierungs-Engine herausfinden, welche Übereinstimmung zwischen Verbraucher- und Präsentationsschicht am besten besteht.”

Mit der Expansion von Unternehmen in neue Branchen und der Erweiterung ihres Publikums werden die potenziellen Vorteile personalisierter Schnittstellen immer größer. Designer haben jedoch nicht die Zeit, für jede Situation, der sie begegnen, einzigartige Modelle zu erstellen. Und das setzt voraus, dass ein Designer derjenige ist, der die Assets erstellt, nicht beispielsweise ein Digital Merchandiser oder Marketing-Spezialist, der versucht, ein Layout für eine sich schnell bewegende Kampagne zu beschleunigen.

“Design ist einer der wenigen Aspekte des Internets, die noch nicht wirklich personalisiert sind”, sagte Rohde. “Jede Website, die Sie sehen, hat möglicherweise unterschiedliche Inhalte, aber das Erscheinungsbild ist für jeden Benutzer gleich.”

Zumindest dasZeig ess historisch gewesen.

Eine wichtige ethische Überlegung ist, ob die Automatisierung Konstruktionsaufträge gefährden könnte.Bild: Salesforce

Die Ethik des generativen Designs

Salesforce hat die Software zur Erkennung des Kopierbereichs intern und mit ausgewählten Kunden getestet, die die E-Commerce-Plattform verwenden. Commerce Cloud. Diese Liste enthält Marken wie Kellogg’s, Louis Vuitton, Ralph Lauren, Yeti und Adidas, obwohl diese Unternehmen nicht unbedingt Teil der Tests sind, sagte Rohde. Während er sich weigerte, spezifische Ergebnisdaten zu teilen, sagte er, dass die experimentellen Ergebnisse ermutigend waren.

“Am Anfang wussten wir nicht, ob sich die Personalisierung des Designs tatsächlich auf die Geschäfts-KPIs auswirken würde”, sagte er. Jetzt ist Rohde mehr überzeugt. In frühen Pilotversuchen „führte die Personalisierung des Designs zu positiven Ergebnissen für die KPIs, nach denen unsere Kunden suchen“, sagte er.

„Wenn Sie sich das Website-Design ansehen, werden viele Vorlagentechnologien angewendet. Ich denke, wir werden interessantere Ergebnisse erzielen, weil wir das beste Design für die tatsächliche Größe und Zielauflösung des Inhalts finden werden. “

Man könnte sich fragen, ob Kopierraumerkennungssysteme die Arbeitsplätze von Designern gefährden könnten, die Webschnittstellen und Werbung erstellen. Aber Rohde bestand darauf, dass dies nicht der Fall ist.

“Wir arbeiten sehr eng mit unserem Büro für ethischen und humanen Gebrauch zusammen, um sicherzustellen, dass wir etwas tun, das unseren Kunden tatsächlich hilft”, sagte er. „Ziel ist es, die langwierigeren Teile des Prozesses zu automatisieren und die Rolle von Fachleuten zu verbessern, damit sich Designer auf übergeordnete Aufgaben konzentrieren können.“

Vorausgesetzt, das stimmt – und das gibt es auch Gründe dafür Vorsicht ist geboten – eine weitere Überlegung ist, ob maschinengenerierte Designs das Risiko eingehen, steril oder zu auf der Nase zu wirken, ohne die Persönlichkeit und Verspieltheit menschlicher Designs.

Aber das ist vielleicht weniger ein Problem, als Sie sich vorstellen können. In der Tat können personalisierte Layouts, die aus Deep-Learning-Systemen generiert werden, für eine Branche, die sich immer mehr auf Bildmaterial und Vorlagen verlässt, ein überfälliger Weckruf sein.

“Wenn Sie sich das Website-Design ansehen, werden viele Vorlagentechnologien angewendet”, sagte Rohde. “Ich denke, wir werden interessantere Ergebnisse erzielen, weil wir das beste Design für die tatsächliche Größe und Zielauflösung des Inhalts finden werden.”

“Wenn es nicht teuer ist, 10 einzigartige Variationen zu generieren”, fuhr er fort, “müssen Sie keine Kompromisse eingehen, um eine skalierbare Lösung zu finden.”

Mehr zu datengesteuertem DesignEntwerfen, Daten treffen