llama

[sygecom]

Ainda não sei pra que é, por que essas duas ultimas semanas passei viajando, mas me parece ser algo com hardware mais recente.
https://gitflic.ru/project/alkresin/llama_prg

Projeto Original:
https://github.com/ggerganov/llama.cpp

[Itamar M. Lins Jr.]

Olá!
Na primeira pesquisada aqui,entendi que o auto complete! (Salvo engano)
Aquele recurso que os navegadores tem, WhatsApp, etc antes de terminar de digitar a palavra o sistema completa.

Like other large language models, LLaMA works by taking a sequence of words as an input and predicts a next word to recursively generate text.

Não precisa de API... Disse que é mais rápido que os modelos do CHAT-GPT3...(posso está totalmente errado!) Mas é isso que estou entendendo.

Saudações,
Itamar M. Lins Jr.

[Itamar M. Lins Jr.]

Olá!
Parece que mexe com CHAT-GPT... Trazendo respostas quando usado "ON LINE"...
Responde perguntas...

For OpenAI API v1 compatibility, you use the create_chat_completion_openai_v1 method which will return pydantic models instead of dicts.

Muita coisa pra aprender.

Saudações,
Itamar M. Lins Jr.

[Itamar M. Lins Jr.]

Olá!
Aqui uma explicação melhor do que é pelo próprio Kresin.

Oi,
Comecei um novo projeto, llama.prg - as ligações do Harbour para llama.cpp (obrigado a Antonio por apontar este projeto).
No momento permite (ver test1.prg) carregar o modelo local selecionado e dialogar com ele. Os parâmetros de inicialização do modelo podem ser definidos em models.ini.
O contexto do diálogo ainda não foi lembrado - estou descobrindo como fazer isso.
Funciona apenas com compiladores de 64 bits. Para Windows, msvc deve ser usado (eu também o construi com mingw de 64 bits, mas não funciona corretamente). Para Linux o gcc padrão funciona sem problemas.
Para tornar possível trabalhar com modelos locais de IA, usando qualquer compilador C, inclusive de 32 bits, suponho que usarei uma parte do meu projeto guiserver. A ideia é que você se conecte a um programa externo, escrito no Harbour, usando llama.prg, que funciona diretamente com o modelo de IA, envie comandos para lá e obtenha respostas.

É inteligência artificial...xi!!!!! Ai só vendo com "muita hora nessa calma"!

Saudações,
Itamar M. Lins Jr.

[sygecom]

Os cara do Fivewin já tem isso faz um tempo, muito legal
https://forums.fivetechsupport.com/view ... 907564d6eb

[sygecom]

Houve atualizações, esta andando esse projeto

[JoséQuintas]

Sim, fivewin já teve vários diferentes.

Teve um que baixava a DLL pra uso local.
Teve outro, que o Linares comentou que iria aplicar no fórum dele, alimentando com todo fórum pra testar respostas.
Esse llama parece que começou agora, mas se usar serviço de terceiros, vai misturar com "conhecimento" de terceiros.

Pelo que entendi, você pode ter o seu particular, e abastecer com o que quiser, e ele vai responder encima do que aprender.
Quanto mais coletivo, menos personalizado, igual o chatgpt que mistura linguagem de programação, por exemplo.
IAs separadas, por linguagem de programação, dariam respostas mais direcionadas à ela.
É por aí.

Além do que... se alimentar uma IA de terceiros com fontes do seu aplicativo, por exemplo, ele ficaria exposto pra todos que perguntarem algo, já numa IA personalizada não.
Não é igual MySQL, que podem usar um coletivo, e cada um ter sua base de dados.

Também houve comentários sobre isso: aplicar a uma base de dados.
Pra pedir relatórios, estatísticas, etc. e a IA se virar pra responder.

Isso tudo foi antes do llama.

Até cheguei a baixar aqui, mas só estava disponível pra 64 bits, e deixei de lado.