ChatGPT більше не потрібен — тепер кожен може запустити аналогічну нейромережу в себе на комп'ютері, без цензури та жодних обмежень. І так, працюватиме навіть без інтернету.
Що робимо:
1. Завантажуємо файл
koboldcpp.exe з GitHub — це інтерфейс нашого майбутнього чат-бота. Windows може сприйняти файл як вірус, але він так лається на половину продуктів з GitHub.
2. Тепер треба вибрати «мозок» нашого ChatGPT і це трохи важче. Ось тут потрібно обрати підходящу модель формату
ggml:
LLaMA — злита модель від Facebook Meta. Майже не тренована, але не має жодною моралі. Брудні жарти і заборонені інструкції видає на раз;
Alpaca — модель від вчених зі Стенфорду. По факту, та ж LLaMA, але доведена до робочого стану, мораль майже не зачепило. Рекомендую обирати її, бажано версію GPT4xAlpaca;
Vicuna — теж версія LLaMA, але її навчали на відповідях ChatGPT. Найближча до ChatGPT версія, враховуючи мораль.
Біля версій моделей є показних 7В, 13В і т.д. — це кількість параметрів в моделі. Чим їх більше, тим краще і тим довше ШІ буде відповідати (вже не кажучи про навантаження на процессор та оперативку). Якщо у вас менше 16 ГБ оперативки обирайте 13В . Завантажуємо вподобану модель через торрент.
3. А тепер все просто: запускаємо
koboldcpp.exe (Windows знову може лаятися) і вказуємо шлях до завантаженої моделі. Бажано, щоб він складався виключно з латиниці. В консолі буде трохи тексту, а в кінці вас буде чекати адреса «http://localhost:5001/» — вставляємо в браузер та насолоджуємося.
Інтерфейс має декілька режимів роботи, рекомендую спробувати усі, щоб обрати той, що підійде для ваших задач.
ооо нейромережеве
