లామా 2ని స్థానికంగా డౌన్‌లోడ్ చేసి, ఇన్‌స్టాల్ చేయడం ఎలా

మీలాంటి పాఠకులు MUOకి మద్దతు ఇవ్వడానికి సహాయం చేస్తారు. మీరు మా సైట్‌లోని లింక్‌లను ఉపయోగించి కొనుగోలు చేసినప్పుడు, మేము అనుబంధ కమీషన్‌ను సంపాదించవచ్చు. ఇంకా చదవండి.

మెటా 2023 వేసవిలో లామా 2ని విడుదల చేసింది. లామా యొక్క కొత్త వెర్షన్ ఒరిజినల్ లామా మోడల్ కంటే 40% ఎక్కువ టోకెన్‌లతో చక్కగా ట్యూన్ చేయబడింది, దాని కాంటెక్స్ట్ నిడివిని రెట్టింపు చేసింది మరియు అందుబాటులో ఉన్న ఇతర ఓపెన్ సోర్స్ మోడల్‌లను గణనీయంగా అధిగమించింది. ఆన్‌లైన్ ప్లాట్‌ఫారమ్ ద్వారా API ద్వారా లామా 2ని యాక్సెస్ చేయడానికి వేగవంతమైన మరియు సులభమైన మార్గం. అయితే, మీకు ఉత్తమ అనుభవం కావాలంటే, మీ కంప్యూటర్‌లో నేరుగా లామా 2ని ఇన్‌స్టాల్ చేసి లోడ్ చేయడం ఉత్తమం.

దీన్ని దృష్టిలో ఉంచుకుని, మేము మీ కంప్యూటర్‌లో స్థానికంగా పరిమాణాత్మక లామా 2 LLMని లోడ్ చేయడానికి టెక్స్ట్-జనరేషన్-వెబ్‌యుఐని ఎలా ఉపయోగించాలో దశల వారీ మార్గదర్శిని సృష్టించాము.

లామా 2ని స్థానికంగా ఎందుకు ఇన్‌స్టాల్ చేయాలి

ప్రజలు లామా 2ని నేరుగా అమలు చేయడానికి ఎంచుకోవడానికి అనేక కారణాలు ఉన్నాయి. కొందరు గోప్యతా సమస్యల కోసం, కొందరు అనుకూలీకరణ కోసం మరియు ఇతరులు ఆఫ్‌లైన్ సామర్థ్యాల కోసం చేస్తారు. మీరు మీ ప్రాజెక్ట్‌ల కోసం లామా 2ని పరిశోధిస్తున్నట్లయితే, ఫైన్-ట్యూనింగ్ చేస్తుంటే లేదా ఇంటిగ్రేట్ చేస్తుంటే, API ద్వారా లామా 2ని యాక్సెస్ చేయడం మీ కోసం కాకపోవచ్చు. మీ PCలో స్థానికంగా LLMని అమలు చేయడం అనేది ఆధారపడటాన్ని తగ్గించడం మూడవ పక్షం AI సాధనాలు మరియు కంపెనీలు మరియు ఇతర సంస్థలకు సంభావ్య సున్నితమైన డేటాను లీక్ చేయడం గురించి చింతించకుండా, ఎప్పుడైనా, ఎక్కడైనా AIని ఉపయోగించండి.

ఇలా చెప్పడంతో, లామా 2ని స్థానికంగా ఇన్‌స్టాల్ చేయడానికి దశల వారీ గైడ్‌తో ప్రారంభిద్దాం.

దశ 1: విజువల్ స్టూడియో 2019 బిల్డ్ టూల్‌ను ఇన్‌స్టాల్ చేయండి

విషయాలను సరళీకృతం చేయడానికి, మేము Text-Generation-WebUI (GUIతో లామా 2ని లోడ్ చేయడానికి ఉపయోగించే ప్రోగ్రామ్) కోసం ఒక-క్లిక్ ఇన్‌స్టాలర్‌ని ఉపయోగిస్తాము. అయితే, ఈ ఇన్‌స్టాలర్ పని చేయడానికి, మీరు విజువల్ స్టూడియో 2019 బిల్డ్ టూల్‌ను డౌన్‌లోడ్ చేసి, అవసరమైన వనరులను ఇన్‌స్టాల్ చేయాలి.

డౌన్‌లోడ్: విజువల్ స్టూడియో 2019 (ఉచిత)

సాఫ్ట్‌వేర్ కమ్యూనిటీ ఎడిషన్‌ను డౌన్‌లోడ్ చేసుకోండి.
ఇప్పుడు విజువల్ స్టూడియో 2019ని ఇన్‌స్టాల్ చేసి, ఆపై సాఫ్ట్‌వేర్‌ను తెరవండి. తెరిచిన తర్వాత, పెట్టెలో టిక్ చేయండి C++తో డెస్క్‌టాప్ అభివృద్ధి మరియు ఇన్స్టాల్ నొక్కండి.

ఇప్పుడు మీరు C++తో డెస్క్‌టాప్ డెవలప్‌మెంట్ ఇన్‌స్టాల్ చేసారు, టెక్స్ట్-జనరేషన్-వెబ్‌యుఐ వన్-క్లిక్ ఇన్‌స్టాలర్‌ను డౌన్‌లోడ్ చేయడానికి ఇది సమయం.

నా ప్రింటర్ ip చిరునామాను ఎలా కనుగొనాలి

దశ 2: టెక్స్ట్-జనరేషన్-వెబ్‌యుఐని ఇన్‌స్టాల్ చేయండి

Text-Generation-WebUI వన్-క్లిక్ ఇన్‌స్టాలర్ అనేది స్వయంచాలకంగా అవసరమైన ఫోల్డర్‌లను సృష్టించే స్క్రిప్ట్ మరియు AI మోడల్‌ను అమలు చేయడానికి అవసరమైన అన్ని అవసరాలు మరియు కొండా వాతావరణాన్ని సెటప్ చేస్తుంది.

స్క్రిప్ట్‌ను ఇన్‌స్టాల్ చేయడానికి, క్లిక్ చేయడం ద్వారా ఒక-క్లిక్ ఇన్‌స్టాలర్‌ను డౌన్‌లోడ్ చేయండి కోడ్ > జిప్‌ని డౌన్‌లోడ్ చేయండి.

డౌన్‌లోడ్: టెక్స్ట్-జనరేషన్-వెబ్‌యుఐ ఇన్‌స్టాలర్ (ఉచిత)

డౌన్‌లోడ్ చేసిన తర్వాత, జిప్ ఫైల్‌ను మీ ప్రాధాన్య స్థానానికి సంగ్రహించి, ఆపై సంగ్రహించిన ఫోల్డర్‌ను తెరవండి.
ఫోల్డర్‌లో, క్రిందికి స్క్రోల్ చేయండి మరియు మీ ఆపరేటింగ్ సిస్టమ్ కోసం తగిన ప్రారంభ ప్రోగ్రామ్ కోసం చూడండి. తగిన స్క్రిప్ట్‌పై డబుల్ క్లిక్ చేయడం ద్వారా ప్రోగ్రామ్‌లను అమలు చేయండి.
- మీరు Windowsలో ఉంటే, ఎంచుకోండి ప్రారంభం_విండోస్ బ్యాచ్ ఫైల్
- MacOS కోసం, ఎంచుకోండి స్టార్ట్_మాకోస్ షెల్ స్క్రిప్
- Linux కోసం, start_linux షెల్ స్క్రిప్ట్.
మీ యాంటీ-వైరస్ హెచ్చరికను సృష్టించవచ్చు; ఇది బాగానే ఉంది. ప్రాంప్ట్ కేవలం ఒక యాంటీవైరస్ తప్పుడు పాజిటివ్ బ్యాచ్ ఫైల్ లేదా స్క్రిప్ట్‌ని అమలు చేయడం కోసం. నొక్కండి ఎలాగైనా పరుగు .
ఒక టెర్మినల్ తెరవబడుతుంది మరియు సెటప్ ప్రారంభమవుతుంది. ప్రారంభంలో, సెటప్ పాజ్ చేయబడుతుంది మరియు మీరు ఏ GPU ఉపయోగిస్తున్నారని అడుగుతుంది. మీ కంప్యూటర్‌లో ఇన్‌స్టాల్ చేయబడిన తగిన GPU రకాన్ని ఎంచుకుని, ఎంటర్ నొక్కండి. ప్రత్యేక గ్రాఫిక్స్ కార్డ్ లేని వారి కోసం, ఎంచుకోండి ఏదీ లేదు (నేను CPU మోడ్‌లో మోడల్‌లను అమలు చేయాలనుకుంటున్నాను) . ప్రత్యేకమైన GPUతో మోడల్‌ను రన్ చేయడంతో పోలిస్తే CPU మోడ్‌లో రన్ చేయడం చాలా నెమ్మదిగా ఉంటుందని గుర్తుంచుకోండి.
సెటప్ పూర్తయిన తర్వాత, మీరు ఇప్పుడు Text-Generation-WebUIని స్థానికంగా ప్రారంభించవచ్చు. మీరు మీ ప్రాధాన్య వెబ్ బ్రౌజర్‌ని తెరిచి, URLలో అందించిన IP చిరునామాను నమోదు చేయడం ద్వారా అలా చేయవచ్చు.
WebUI ఇప్పుడు ఉపయోగం కోసం సిద్ధంగా ఉంది.

అయితే, ప్రోగ్రామ్ మోడల్ లోడర్ మాత్రమే. లాంచ్ చేయడానికి మోడల్ లోడర్ కోసం లామా 2ని డౌన్‌లోడ్ చేద్దాం.

దశ 3: లామా 2 మోడల్‌ను డౌన్‌లోడ్ చేయండి

మీకు అవసరమైన లామా 2 యొక్క ఏ పునరుక్తిని నిర్ణయించేటప్పుడు పరిగణించవలసిన కొన్ని విషయాలు ఉన్నాయి. వీటిలో పారామితులు, పరిమాణీకరణ, హార్డ్‌వేర్ ఆప్టిమైజేషన్, పరిమాణం మరియు వినియోగం ఉన్నాయి. ఈ సమాచారం మొత్తం మోడల్ పేరులో సూచించబడుతుంది.

పారామితులు: మోడల్‌కు శిక్షణ ఇవ్వడానికి ఉపయోగించే పారామితుల సంఖ్య. పెద్ద పారామితులు మరింత సామర్థ్యం గల మోడళ్లను తయారు చేస్తాయి కానీ పనితీరు ఖర్చుతో ఉంటాయి.
వాడుక: ప్రామాణికం కావచ్చు లేదా చాట్ కావచ్చు. చాట్ మోడల్ చాట్‌జిపిటి వంటి చాట్‌బాట్‌గా ఉపయోగించడానికి ఆప్టిమైజ్ చేయబడింది, అయితే ప్రమాణం డిఫాల్ట్ మోడల్.
హార్డ్‌వేర్ ఆప్టిమైజేషన్: మోడల్‌ను ఏ హార్డ్‌వేర్ ఉత్తమంగా అమలు చేస్తుందో సూచిస్తుంది. GPTQ అంటే మోడల్ డెడికేటెడ్ GPUలో రన్ అయ్యేలా ఆప్టిమైజ్ చేయబడింది, అయితే GGML CPUలో రన్ అయ్యేలా ఆప్టిమైజ్ చేయబడింది.
పరిమాణీకరణ: మోడల్‌లో బరువులు మరియు క్రియాశీలత యొక్క ఖచ్చితత్వాన్ని సూచిస్తుంది. అంచనా కోసం, q4 యొక్క ఖచ్చితత్వం సరైనది.
పరిమాణం: నిర్దిష్ట మోడల్ పరిమాణాన్ని సూచిస్తుంది.

కొన్ని నమూనాలు విభిన్నంగా అమర్చబడి ఉండవచ్చని మరియు ఒకే రకమైన సమాచారాన్ని ప్రదర్శించకపోవచ్చని గమనించండి. అయినప్పటికీ, ఈ రకమైన నామకరణ సమావేశం చాలా సాధారణం హగ్గింగ్ ఫేస్ మోడల్ లైబ్రరీ, కాబట్టి ఇది ఇప్పటికీ అర్థం చేసుకోవడం విలువైనది.

ఈ ఉదాహరణలో, ప్రత్యేకమైన CPUని ఉపయోగించి చాట్ ఇన్ఫరెన్సింగ్ కోసం ఆప్టిమైజ్ చేయబడిన 13 బిలియన్ పారామితులపై శిక్షణ పొందిన మధ్యస్థ-పరిమాణ లామా 2 మోడల్‌గా మోడల్‌ను గుర్తించవచ్చు.

అంకితమైన GPUలో రన్ అవుతున్న వారి కోసం, aని ఎంచుకోండి GPTQ మోడల్, CPUని ఉపయోగిస్తున్న వారి కోసం, ఎంచుకోండి GGML . మీరు ChatGPTతో చేసిన విధంగా మోడల్‌తో చాట్ చేయాలనుకుంటే, ఎంచుకోండి చాట్ , కానీ మీరు మోడల్‌తో దాని పూర్తి సామర్థ్యాలతో ప్రయోగాలు చేయాలనుకుంటే, ఉపయోగించండి ప్రమాణం మోడల్. పారామితుల విషయానికొస్తే, పెద్ద మోడళ్లను ఉపయోగించడం వల్ల పనితీరు యొక్క వ్యయంతో మెరుగైన ఫలితాలు లభిస్తాయని తెలుసుకోండి. మీరు 7B మోడల్‌తో ప్రారంభించాలని నేను వ్యక్తిగతంగా సిఫార్సు చేస్తున్నాను. పరిమాణీకరణ విషయానికొస్తే, q4ని ఉపయోగించండి, ఎందుకంటే ఇది కేవలం అంచనాకు మాత్రమే.

డౌన్‌లోడ్: GGML (ఉచిత)

డౌన్‌లోడ్: GPTQ (ఉచిత)

మీకు లామా 2 యొక్క పునరావృతం ఏమిటో ఇప్పుడు మీకు తెలుసు, ముందుకు సాగండి మరియు మీకు కావలసిన మోడల్‌ను డౌన్‌లోడ్ చేయండి.

నా విషయానికొస్తే, నేను దీన్ని అల్ట్రాబుక్‌లో రన్ చేస్తున్నందున, నేను చాట్ కోసం ఫైన్-ట్యూన్ చేసిన GGML మోడల్‌ని ఉపయోగిస్తాను, కాల్-2-7b-chat-ggmlv3.q4_K_S.bin.

డౌన్‌లోడ్ పూర్తయిన తర్వాత, మోడల్‌ను ఉంచండి text-generation-webui-main > నమూనాలు .

ఇప్పుడు మీరు మీ మోడల్‌ని డౌన్‌లోడ్ చేసి, మోడల్ ఫోల్డర్‌లో ఉంచారు, మోడల్ లోడర్‌ను కాన్ఫిగర్ చేయడానికి ఇది సమయం.

దశ 4: టెక్స్ట్-జనరేషన్-వెబ్‌యుఐని కాన్ఫిగర్ చేయండి

ఇప్పుడు, కాన్ఫిగరేషన్ దశను ప్రారంభిద్దాం.

మరోసారి, రన్ చేయడం ద్వారా Text-Generation-WebUIని తెరవండి ప్రారంభం_(మీ OS) ఫైల్ (పై మునుపటి దశలను చూడండి).
GUI పైన ఉన్న ట్యాబ్‌లపై, క్లిక్ చేయండి మోడల్. మోడల్ డ్రాప్‌డౌన్ మెనులో రిఫ్రెష్ బటన్‌ను క్లిక్ చేసి, మీ మోడల్‌ను ఎంచుకోండి.
ఇప్పుడు యొక్క డ్రాప్‌డౌన్ మెనుపై క్లిక్ చేయండి మోడల్ లోడర్ మరియు ఎంచుకోండి AutoGPTQ GTPQ మోడల్‌ని ఉపయోగిస్తున్న వారికి మరియు ctransformers GGML మోడల్‌ని ఉపయోగించే వారికి. చివరగా, క్లిక్ చేయండి లోడ్ చేయండి మీ మోడల్‌ను లోడ్ చేయడానికి.
మోడల్‌ను ఉపయోగించడానికి, చాట్ ట్యాబ్‌ని తెరిచి, మోడల్‌ను పరీక్షించడం ప్రారంభించండి.

అభినందనలు, మీరు మీ స్థానిక కంప్యూటర్‌లో లామా2ని విజయవంతంగా లోడ్ చేసారు!

ఇతర LLMలను ప్రయత్నించండి

Text-Generation-WebUIని ఉపయోగించి మీ కంప్యూటర్‌లో నేరుగా లామా 2ని ఎలా అమలు చేయాలో ఇప్పుడు మీకు తెలుసు, మీరు లామాతో పాటు ఇతర LLMలను కూడా అమలు చేయగలరు. మోడల్‌ల నామకరణ సంప్రదాయాలను గుర్తుంచుకోండి మరియు మోడల్‌ల యొక్క పరిమాణాత్మక సంస్కరణలు (సాధారణంగా q4 ఖచ్చితత్వం) మాత్రమే సాధారణ PCలలో లోడ్ చేయబడతాయి. హగ్గింగ్‌ఫేస్‌లో అనేక పరిమాణాత్మక LLMలు అందుబాటులో ఉన్నాయి. మీరు ఇతర మోడల్‌లను అన్వేషించాలనుకుంటే, హగ్గింగ్‌ఫేస్ మోడల్ లైబ్రరీలో TheBloke కోసం శోధించండి మరియు మీరు అందుబాటులో ఉన్న అనేక మోడల్‌లను కనుగొనాలి.