ЛангЦхаин је оквир за изградњу великих језичких модела помоћу вештачке интелигенције тако да може да генерише текст и комуницира са људима. Асинцио је библиотека која се може користити за позивање модела као што је ЛЛМ више пута користећи исту команду или упит. Такође обезбеђује повећање брзине рада нашег ЛЛМ модела за ефикасно генерисање текста.
Овај чланак показује како да користите библиотеку „асинцио“ у ЛангЦхаин-у.
Како користити/извршити „асинцио“ библиотеку у ЛангЦхаин-у?
Асинц АПИ се може користити као подршка за ЛЛМ, тако да за коришћење асинцио библиотеке у ЛангЦхаин-у, једноставно следите овај водич:
Инсталирајте предуслове
Инсталирајте ЛангЦхаин модул да бисте почели да користите асинцио библиотеку у ЛангЦхаин-у за истовремено позивање ЛЛМ-ова:
пип инсталирај лангцхаин
ОпенАИ модул је такође потребан за прављење ЛЛМ-ова користећи ОпенАИЕмбеддингс:
пип инсталирај опенаи
Након инсталације, једноставно конфигуришите ОпенАИ АПИ кључ користећи следећи код:
увози насимпорт гетпасс
ос.енвирон [ „ОПЕНАИ_АПИ_КЕИ“ ] = гетпасс.гетпасс ( „ОпенАИ АПИ кључ:“ )
Коришћење асинцио-а за изградњу ЛЛМ-а
Асинцио библиотека се може користити за подршку ЛЛМ-овима јер је следећи код користи у ЛангЦхаин-у:
увоз времеимпорт асинцио
#Увоз асинцио библиотека из ЛангЦхаин-а да бисте га користили
из лангцхаин.ллмс импорт ОпенАИ
#дефинишите функцију за добијање временске ознаке серијског генерисања
деф генерате_сериалли ( ) :
ллм = ОпенАИ ( температура = 0.9 )
за _ ин домет ( 5 ) :
респ = ллм.генерисати ( [ 'Шта радиш?' ] )
принт ( одн.генерације [ 0 ] [ 0 ] .текст )
#дефиниши функцију за добијање временске ознаке синхроног генерисања
асинц деф асинц_генерате ( ллм ) :
респ = чекати ллм.генерисати ( [ 'Шта радиш?' ] )
принт ( одн.генерације [ 0 ] [ 0 ] .текст )
#дефиниши функцију за добијање временске ознаке истовременог генерисања података
асинц деф генерате_цонцуррентли ( ) :
ллм = ОпенАИ ( температура = 0.9 )
задаци = [ асинц_генерате ( ллм ) за _ ин домет ( 10 ) ]
чекати асинцио.сакупити ( * задатака )
#конфигуришите резултујући излаз користећи асинцио да бисте добили истовремени излаз
с = тиме.перф_цоунтер ( )
аваит генерате_цонцуррентли ( )
протекло = време.перф_цоунтер ( ) - с
принт ( '\033[1м' + ф „Истовремено извршено за {елапсед:0.2ф} секунди.“ + '\033[0м' )
#конфигуришите временску ознаку за резултујући излаз да бисте добили серијски излаз
с = тиме.перф_цоунтер ( )
генерате_сериалли ( )
протекло = време.перф_цоунтер ( ) - с
принт ( '\033[1м' + ф „Серијско извршење за {елапсед:0.2ф} секунди.“ + '\033[0м' )
Горњи код користи асинцио библиотеку за мерење времена за генерисање текстова користећи две различите функције као што су генерирај серијски() и гене_цонцуррентли() :
Излаз
Следећи снимак екрана показује да је временска сложеност и за функције и за временску сложеност истовременог генерисања текста боља од генерисања серијског текста:
То је све о коришћењу библиотеке „асинцио“ за прављење ЛЛМ-а у ЛангЦхаин-у.
Закључак
Да бисте користили асинцио библиотеку у ЛангЦхаин-у, једноставно инсталирајте ЛангЦхаин и ОпенАИ модуле да бисте започели са процесом. Асинц АПИ може бити од помоћи приликом изградње ЛЛМ модела за креирање цхатботова за учење из претходних разговора. Овај водич је објаснио процес коришћења асинцио библиотеке за подршку ЛЛМ-овима користећи ЛангЦхаин оквир.