LangChain LLM ir pilsētas karstā runa. Iegūstiet pārskatu par to, kas tas ir un kā ar to sākt strādāt.

Līdz ar lielo valodu modeļu (LLM) ieviešanu dabiskās valodas apstrāde ir kļuvusi par interneta plašumu. Jaunas lietojumprogrammas tiek izstrādātas katru dienu, pateicoties LLM, piemēram, ChatGPT un LangChain.

LangChain ir atvērtā koda Python ietvars, kas ļauj izstrādātājiem izstrādāt lietojumprogrammas, kuras darbina lieli valodu modeļi. Tās lietojumprogrammas ir tērzēšanas roboti, kopsavilkums, ģeneratīva jautāšana un atbilžu sniegšana un daudzas citas.

Šis raksts sniegs ievadu LangChain LLM. Tajā tiks apskatīti pamatjēdzieni, to salīdzinājums ar citiem valodu modeļiem un to, kā ar to sākt strādāt.

Izpratne par LangChain LLM

Pirms paskaidrot, kā darbojas LangChain, vispirms ir jāsaprot kā darbojas lielie valodu modeļi. Liels valodas modelis ir mākslīgā intelekta (AI) veids, kas izmanto dziļo mācīšanos lai apmācītu mašīnmācīšanās modeļus lielos datos, kas sastāv no teksta, skaitliskiem un koda datiem.

Lielais datu apjoms ļauj modelim apgūt esošos modeļus un attiecības starp vārdiem, skaitļiem un simboliem. Šī funkcija ļauj modelim veikt virkni uzdevumu, piemēram:

  • Teksta ģenerēšana, valodas tulkošana, radoša, tehniska un akadēmiska satura rakstīšana, kā arī precīza un atbilstoša jautājumu atbildēšana.
  • Objektu noteikšana attēlos.
  • Grāmatu, rakstu un pētniecisko darbu apkopojums.

LLM būtiskākais ierobežojums ir tas, ka modeļi ir ļoti vispārīgi. Šī funkcija nozīmē, ka, neskatoties uz to spēju efektīvi veikt vairākus uzdevumus, tie dažkārt var nodrošināt vispārīgas atbildes uz jautājumiem vai uzvednēm, kurām nepieciešamas zināšanas un dziļas jomas zināšanas, nevis specifiskas atbildes.

LangChain ietvars, ko 2022. gada beigās izstrādāja Harisons Čeiss, piedāvā novatorisku pieeju LLM. Process sākas ar datu kopas tekstu priekšapstrādi, sadalot to mazākās daļās vai kopsavilkumi. Pēc tam kopsavilkumi tiek iegulti vektoru telpā. Modelis saņem jautājumu, meklē kopsavilkumus un sniedz atbilstošu atbildi.

LangChain priekšapstrādes metode ir būtiska iezīme, kas ir neizbēgama, jo LLM kļūst jaudīgāki un patērē vairāk datu. Šo metodi galvenokārt izmanto koda un semantiskās meklēšanas gadījumos, jo tā nodrošina reāllaika vākšanu un mijiedarbību ar LLM.

LangChain LLM vs. Citi valodu modeļi

Šī salīdzinošā pārskata mērķis ir izcelt unikālās funkcijas un iespējas, kas izceļ LangChain LLM no citiem tirgū esošajiem valodu modeļiem.

  • Atmiņa: vairākiem LLM ir īsa atmiņa, kas parasti izraisa konteksta zudumu, ja uzvednes pārsniedz atmiņas ierobežojumu. Tomēr LangChain nodrošina iepriekšējās tērzēšanas uzvednes un atbildes, atrisinot atmiņas ierobežojumu problēmu. Ziņojumu vēsture ļauj lietotājam atkārtot iepriekšējos ziņojumus LLM, lai apkopotu iepriekšējo kontekstu.
  • LLM pārslēgšana: Salīdzinot ar citiem LLM, kas bloķē jūsu programmatūru ar viena modeļa API, LangChain nodrošina abstrakciju, kas vienkāršo LLM maiņu vai vairāku LLM integrēšanu jūsu lietojumprogrammā. Tas ir noderīgi, ja vēlaties uzlabot savas programmatūras iespējas, izmantojot kompaktu modeli, piemēram, Stability AI StableLM no OpenAI GPT-3.5.
  • Integrācija: LangChain integrēšana lietojumprogrammā ir vienkārša, salīdzinot ar citiem LLM. Tas nodrošina cauruļvadu darbplūsmas cauri ķēdes un aģenti, kas ļauj ātri iekļaut LangChain savā lietojumprogrammā. Runājot par lineārajiem cauruļvadiem, ķēdes ir objekti, kas būtībā savieno daudzas daļas. Aģenti ir uzlaboti, ļaujot izvēlēties, kā komponentiem vajadzētu mijiedarboties, izmantojot biznesa loģiku. Piemēram, iespējams, vēlēsities izmantot nosacījumu loģiku, lai noteiktu nākamo darbību, pamatojoties uz LLM rezultātiem.
  • Datu nodošana: Tā kā LLM parasti ir uz tekstu, parasti ir sarežģīti nosūtīt datus modelim. LangChain atrisina šo problēmu, izmantojot indeksi. Indeksi ļauj lietojumprogrammai importēt datus mainīgos formātos un saglabāt tos tādā veidā, kas ļauj tos apkalpot pa rindiņām LLM.
  • Atbildes: LangChain nodrošina izvades parsēšanas rīkus, lai sniegtu atbildes piemērotā formātā, atšķirībā no citiem LLM, kuru modeļa atbilde sastāv no vispārīga teksta. Lietojot AI lietojumprogrammā, vēlams, lai būtu strukturēta atbilde, pret kuru varat ieprogrammēt.

Darba sākšana ar LangChain LLM

Tagad jūs uzzināsit, kā ieviest LangChain reālā lietošanas gadījuma scenārijā, lai saprastu, kā tas darbojas. Pirms izstrādes uzsākšanas ir jāiestata izstrādes vide.

Jūsu attīstības vides iestatīšana

Pirmkārt, izveidot virtuālo vidi un instalējiet tālāk norādītās atkarības:

  • OpenAI: lai integrētu GPT-3 API savā lietojumprogrammā.
  • LangChain: lai integrētu LangChain savā lietojumprogrammā.

Izmantojot pip, palaidiet tālāk norādīto komandu, lai instalētu atkarības:

 pipenv instalēt langchain openai

Iepriekš minētā komanda instalē pakotnes un izveido virtuālo vidi.

Importējiet instalētās atkarības

Pirmkārt, importējiet nepieciešamās klases, piemēram, LLMChain, OpenAI, Sarunu ķēde, un PromptTemplate no langchain iepakojums.

no langchain imports ConversationChain, OpenAI, PromptTemplate, LLMChain
no langchain.atmiņa imports ConversationBufferWindowMemory

LangChain klases izklāsta un izpilda valodas modeļu ķēdes.

Piekļūstiet OpenAI API atslēgai

Pēc tam iegūstiet OpenAI API atslēgu. Lai piekļūtu OpenAI API atslēgai, jums ir jābūt OpenAI kontam un pēc tam pārejiet uz OpenAI API platforma.

Informācijas panelī noklikšķiniet uz ikonas Profils. Pēc tam noklikšķiniet uz Skatīt API atslēgas pogu.

Pēc tam noklikšķiniet uz Izveidojiet jaunu slepeno atslēgu pogu, lai iegūtu jaunu API atslēgu.

Ievadiet pieprasīto API atslēgas nosaukumu.

Jūs saņemsiet a slepenā atslēga pamudināt.

Kopējiet un glabājiet API atslēgu drošā vietā turpmākai lietošanai.

Lietojumprogrammas izstrāde, izmantojot LangChain LLM

Tagad jūs turpināsit izstrādāt vienkāršu tērzēšanas lietojumprogrammu, kā norādīts tālāk.

# Pielāgojiet LLM veidni 
veidne = Asistents ir liels valodas modelis, ko apmācījis OpenAI.
{vēsture}
Cilvēks: {human_input}
Asistents:
prompt = PromptTemplate (input_variables=["vēsture", "cilvēka_ievade"], veidne=veidne)

Pēc tam jūs ielādēsit ChatGPT ķēdi, izmantojot iepriekš saglabāto API atslēgu.

chatgpt_chain = LLMChain(
 llm=OpenAI(openai_api_key="OPENAI_API_KEY",temperatūra=0),
 uzvedne=prompt,
 verbose=Taisnība,
 atmiņa=ConversationBufferWindowMemory (k=2),
 )
# Paredzēt teikumu, izmantojot chatgpt ķēdi
output = chatgpt_chain.predict(
 human_input="Kas ir MakeUseOf?"
 )
# Parādīt modeļa atbildi
drukāt (izvadīt)

Šis kods ielādē LLM ķēdi ar OpenAI API atslēgu un uzvednes veidni. Pēc tam tiek nodrošināta lietotāja ievade, un tiek parādīta tā izvade.

Iepriekš ir norādīta paredzamā izlaide.

LLM pieaugošā ietekme

LLM patēriņš strauji pieaug un maina cilvēku mijiedarbību ar zināšanu iekārtām. Tādi ietvari kā LangChain ir priekšplānā, nodrošinot izstrādātājiem vienmērīgu un vienkāršu veidu, kā nodrošināt LLM lietojumprogrammām. Ģeneratīvie AI modeļi, piemēram, ChatGPT, Bard un Hugging Face, netiek atstāti arī LLM lietojumprogrammu izstrādē.