Функција пипелине() је саставни део Трансформер библиотеке. Потребно је неколико улаза у којима можемо дефинисати задатак закључивања, моделе, механизам токенизације, итд. Функција пипелине() се углавном користи за обављање НЛП задатака на једном или више текстова. Он врши претходну обраду на улазу и накнадну обраду на основу модела да би генерисала читљив излаз и тачно предвиђање са максималном тачношћу.
Овај чланак покрива следеће аспекте:
Шта је библиотека скупова података за грљење?
Библиотека скупова података Хуггинг Фаце је АПИ који садржи неколико јавних скупова података и пружа једноставан начин за њихово преузимање. Ова библиотека се може увести и инсталирати у апликацију коришћењем „ пип ” команда. За практичну демонстрацију преузимања и инсталирања скупова података библиотеке Хуггинг Фаце, посетите ово Гоогле Цолаб линк. Можете преузети више скупова података са Хуггинг Фаце Датасет Хуб.
Сазнајте више о функционисању функције пипелине() позивајући се на овај чланак “ Како користити функцију Пипелине() у трансформаторима? ”.
Како применити цевоводе на скуп података у грлу лица?
Хуггинг Фаце пружа неколико различитих јавних скупова података који се лако могу инсталирати коришћењем једнолинијског кода. У овом чланку ћемо видети практичну демонстрацију примене цевовода на ове скупове података. Постоје два начина на која се цевоводи могу имплементирати у скуп података.
Метод 1: Коришћење методе итерације
Функција пипелине() се такође може поновити преко скупа података и модела. У ту сврху следите доле наведене кораке:
Корак 1: Инсталирајте библиотеку Трансформер
Да бисте инсталирали библиотеку Трансформер, обезбедите следећу команду:
!пип инсталирајте трансформаторе
Корак 2: Увоз цевовода
Можемо да увеземо цевовод из Трансформер библиотеке. У ту сврху наведите следећу команду:
из увозног цевовода трансформатора 
Корак 3: Имплементирајте цевовод
Овде је функција пипелине() имплементирана на моделу “ гпт2 ”. Моделе можете преузети са Хуггинг Фаце Модел Хуб:
деф имп_пипелине():за к у опсегу (1000):
ииелд ф'Сет података за имплементацију{к}'
генерате_пипелине= пипелине(модел='гпт2', девице=0)
ген_цхар= 0
за излаз у генерате_пипелине(имп_пипелине()):
ген_цхар += лен(излаз[0]['генерисани_текст'])
У овом коду, „ генерате_пипелине ” је променљива која садржи функцију пипелине() са моделом “ гпт2 ”. Када се зове са „ имп_пипелине() “, аутоматски препознаје податке који се повећавају са опсегом наведеним на 1000:
Ово ће потрајати неко време за обуку. Веза до Гоогле Цо је такође дато.
Метод 2: Коришћење библиотеке скупова података
У овој методи ћемо демонстрирати имплементацију цевовода користећи библиотеку „сетови података“:
Корак 1: Инсталирајте Трансформер
Да бисте инсталирали библиотеку Трансформер, обезбедите следећу команду:
!пип инсталирајте трансформаторе 
Корак 2: Инсталирајте библиотеку скупова података
Као што је „ скупови података ” библиотека садржи све јавне скупове података, можемо је инсталирати коришћењем следеће команде. Инсталирањем „ скупови података “, можемо директно да увеземо било који скуп података тако што ћемо дати његово име:
!пип скупови података за инсталацију 
Корак 3: Цевовод скупа података
Да бисте изградили цевовод на скупу података, користите следећи код. КеиДатасет је функција која даје само оне вредности које интересују корисника:
из трансформерс.пипелинес.пт_утилс импорт КеиДатасетиз увозног цевовода трансформатора
из скупова података импорт лоад_датасет
ген_пипелине = пипелине(модел='хф-интернал-тестинг/тини-рандом-вав2вец2', девице=0)
лоаддатасет = лоад_датасет('хф-интернал-тестинг/либриспеецх_аср_думми', 'цлеан', сплит='валидатион[:10]')за излаз у ген_пипелине(КеиДатасет(лоаддатасет, 'аудио')):
принт('Штампање излаза сада')
штампа ('----------------')
штампа (излаз)
Излаз горњег кода је дат у наставку:
То је све из овог водича. Веза до Гоогле Цо се такође помиње у овом чланку
Закључак
Да бисмо применили цевоводе на скуп података, можемо или да пређемо преко скупа података помоћу функције пипелине() или да користимо „ скупови података ” библиотека. Хуггинг Фаце својим корисницима пружа везу ГитХуб репозиторија за скупове података и моделе који се могу користити на основу захтева. Овај чланак је пружио свеобухватан водич за примену цевовода на скуп података у Трансформерс-у.