Imaginile generate de AI au avansat într-un ritm vertiginos şi au aplicaţii comerciale evidente, cum ar fi traducerea fotorealistă a limbilor în realitate augmentată (RA). Dar construirea unui sistem suficient de flexibil pentru a înţelege nuanţele textului şi scrisului de mână este o provocare dificilă, deoarece înseamnă înţelegerea stilurilor nu doar pentru tipografie şi caligrafie, ci şi pentru transformări precum rotaţii, text curbat, deformări etc.
TextStyleBrush funcţionează la fel ca instrumentele de scriere din programele de text, numai că, în acest caz, se redă stilul textului din imagini, potrivit Facebook.
După cum observă Facebook, sistemele de training precum TextStyleBrush implică de obicei date adnotate care învaţă sistemul să clasifice pixeli individuali fie ca obiecte „în prim plan”, fie în „fundal”. Scrierea de mână poate avea o lăţime de un pixel sau mai puţin, iar colectarea datelor de formare de înaltă calitate necesită etichetarea prim-planurilor şi fundalurilor, potrivit VB.
Deşi ocazional se luptă cu textul scris în obiecte metalice şi caractere în culori diferite, Facebook spune că TextStyleBrush dovedeşte că este posibil să construiască sisteme care pot învăţa să transfere estetica textului cu mai multă flexibilitate decât era posibil înainte.
„Sperăm că acest proiect va continua să reducă barierele în calea traducerii fotorealiste [şi] a autoexprimării creative”, a scris Facebook într-o postare pe site. „În timp ce această tehnologie este o cercetare, poate alimenta o varietate de aplicaţii utile în viitor, cum ar fi traducerea textului din imagini în diferite limbi, crearea de mesaje şi subtitrări personalizate şi poate facilita într-o zi traducerea reală a semnelor stradale folosind reaşitatea augumentată”.