Бољи модели од ДеепСеек-а и како их инсталирати локално

Неке АИ моделе можете инсталирати локално

Пре неколико дана мој партнер Паблинукс реци им како локално инсталирати модеран модел вештачке интелигенције. У овом посту ћу навести шта сматрам бољим моделима од ДеепСеек-а и како их инсталирати и покренути на нашем рачунару.

Остављајући по страни било какве политичке симпатије или антипатије, потез кинеске владе био је ремек-дело дипломатског маркетинга достојно Сун Цуа. За разлику од стила Доналда Трампа „Слон у кинеском посуђу“, најавили су модел који бесплатно нуди исте функције као ЦхатГПТ и који троши мање ресурса. То знамо само ми који пратимо тему Постоје многи други модели отвореног кода (неки из северноамеричких компанија као што је Мета) већ дуже време, а перформансе ДеепСеек-а су упоредиве само са ЦхатГПТ-ом у најчешћих 5% коришћења.

Језички модели великих размера

ЦхатГПТ, ДеепСеек и други се називају модели језика великих размера. У основи Они омогућавају кориснику да комуницира са рачунаром на језику сличном оном који се користи за комуникацију са другим људским бићем. Да би то постигли, они су обучени са великим количинама текста и правила која им омогућавају да произведу нове информације од онога што већ имају.
Његова главна употреба је да одговара на питања, сумира текстове, прави преводе и репродукује садржај.

Бољи модели од ДеепСеек-а и како их инсталирати локално

Као и Паблинук, ми ћемо користити Олламу. Ово је алатка која нам омогућава да инсталирамо, деинсталирамо и користимо различите моделе отвореног кода са Линук терминала. У неким случајевима претраживач се може користити као графички интерфејс, али то нећемо разматрати у овом чланку.

Да би Оллама пружила одговарајуће корисничко искуство, најбоље је имати наменски ГПУ.Нарочито код модела са више параметара. Међутим, они мање моћни могу да се користе на Распберри Пи-у и када сам чак тестирао моделе са 7 милијарди параметара на рачунару са 6 гигабајта и без наменског ГПУ-а, рачунар је радио без икаквих проблема. Исто се није десило ни са једном од 13 милијарди.

Параметри су правила која модел користи за изградњу односа и конструисање образаца међу подацима. Што више параметара и података, то ће модел бити моћнији, они са мање параметара говоре шпански као Тарзан.

Можемо да инсталирамо Олламу са командама
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh

Модел можемо инсталирати командом:
ollama pull nombre_del modelo
И покрените га са:
ollama run nombre_del_modelo
Деинсталирамо га користећи:
ollama rm nombre_del_modelo
Можемо видети инсталиране моделе тако што ћемо уписати:
ollama list

Следи мала листа модела који су ми најинтересантнији: Комплетну листу доступних модела можете пронаћи овде овде:

лама2-нецензурисано

Ллама је модел опште намене који је креирала Мета. У овој верзији су уклоњена сва ограничења која су увели програмери оригиналног пројекта из правних или политичких разлога.. Има две верзије, лаку која има 8ГБ и пуну за коју је потребно 64. Може се користити за одговарање на питања, писање текстова или у задацима кодирања.
Инсталира се са:
ollama pull llama2-uncensored
И ради са:
ollama run llama2-uncensored

цодегемма

ЦодеГемма је избор лаганих, али моћних шаблона који вам омогућавају да обављате различите програмерске задатке како довршити код или га написати од нуле. Разуме природни језик, може да прати упутства и математичко расуђивање.

Долази у 3 варијанте:

  • инструкције: Он трансформише природни језик у код и може да прати упутства:
  • kod:  Завршите и генеришите код из делова постојећег кода.
  • КСНУМКСб: Задатак бржег довршавања кода.

Тиниллама

Као што му име каже, то је мања верзија оригиналног Мета модела.. Дакле, неће имати тако добре резултате, али ако желите да видите како модел вештачке интелигенције ради на скромном хардверу, вреди покушати. Има само 1100 милијарду параметара.

Локално коришћење модела има предности приватности и приступа нецензурисаним и непристрасним верзијама које у неким случајевима имају тенденцију да заврше као смешне. Мајкрософтова вештачка интелигенција је одбила да створи слику јазавчара за мене јер је сматрала да је термин „кучка“ увредљив. Највећи недостатак су хардверски захтеви. Биће питање да испробате моделе и пронађете онај који је довољно добар за оно што вам треба и који може да ради на опреми коју имате.


Оставите свој коментар

Ваша емаил адреса неће бити објављена. Обавезна поља су означена са *

*

*

  1. За податке одговоран: Мигуел Ангел Гатон
  2. Сврха података: Контрола нежељене поште, управљање коментарима.
  3. Легитимација: Ваш пристанак
  4. Комуникација података: Подаци се неће преносити трећим лицима, осим по законској обавези.
  5. Похрана података: База података коју хостује Оццентус Нетворкс (ЕУ)
  6. Права: У било ком тренутку можете ограничити, опоравити и избрисати своје податке.