У овој ери, трансформатори су најмоћнији модели који су дали најбоље резултате у вишеструким НЛП (обрада природног језика) операцијама. У почетку је коришћен за задатке моделирања језика, укључујући генерисање текста, као и класификацију, машинско превођење и још много тога. Али сада се такође користи за препознавање објеката, класификацију слика и више других задатака компјутерског вида.
У овом туторијалу ћемо дати процедуру за извођење класификације текста помоћу трансформатора.
Како извршити класификацију текста помоћу трансформатора?
Да бисте извршили класификацију текста користећи Трансформерс, пре свега, инсталирајте „ трансформатори ” библиотеку извршавањем наведене команде:
! пип инсталирај трансформатори
Као што видите, наведена библиотека је успешно инсталирана:
Затим увезите „ цевовод ' од ' трансформатори ” библиотека:
из увозног цевовода трансформатора
Овде, „ цевовод ” ће укључити НЛП задатак који треба да извршимо и жељени модел трансформатора за ову операцију заједно са токенизером.
Белешка: Токенизер се користи за обављање обраде текста који треба да буде унет у модел одвајањем текста у токене.
Након тога, користите „ цевовод() ” функцију и проследите је „ зеро-схот-класификација ” као аргумент. Затим пренесите још један параметар који је наш модел. Користимо Фејсбук „ БАРТ ” модел трансформатора. Овде не користимо токенизер јер се може аутоматски закључити према наведеном моделу:
тект_цлассифиер = цевовод ( 'нула-схот-класификација' , модел = 'фацебоок/барт-ларге-мнли' )
Сада, прогласите „ сек ” променљива која садржи наш улазни текст који треба класификовати. Затим дајемо категорије у које желимо да класификујемо текст и да их сачувамо у „ лаб ” који је познат као ознаке:
лаб = [ 'ажурирање' , 'грешка' , 'важно' , 'верификација' ]
Коначно, покрените цевовод заједно са улазом:
Након извршења цевовода, као што можете видети, модел је предвидео да наш обезбеђени низ буде класификован:
Додатне Информације: Ако желите да убрзате перформансе модела, потребно је да користите ГПУ. Ако јесте, онда, у ту сврху, можете навести аргумент уређаја за цевовод и поставити га на „ 0 ” да бисте користили ГПУ.
Ако желите да класификујете текст на више од једне наредбе секвенце/улазног текста, онда можете да их додате на листу и проследите као улаз у цевоводе. У ту сврху погледајте исечак кода:
сек = [ „Лектура и лекторисање су неопходне компоненте да би се обезбедила јасноћа, кохерентност и садржај без грешака“ ,„У овој модерној ери, СЕО оптимизација је неопходна да би се чланци добро рангирали и досегли ширу публику“ ]
тект_цлассифиер ( сек , лаб )
Излаз
То је то! Саставили смо најлакши начин за обављање класификације текста користећи Трансформерс.
Закључак
Трансформатори се користе за обављање задатака моделирања језика, као што су генерисање текста, класификација текста и машинско превођење, као и задатке компјутерског вида укључујући препознавање објеката и класификацију слика. У овом туторијалу илустровали смо процес за обављање класификације текста помоћу трансформатора.