Entendendo Como ChatGPT Funciona – Rodando sua Própria IA

Não, AGI não está próximo de acontecer.

Quais são os limites da atual tecnologia de transformadores generativos pré-treinados, vulgo GPT?
O que são os tais “modelos” que eles usam?
O que são os tais “parâmetros”.
Porque as IAs parecem humanas nas respostas?
IAs vão substituir programadores??
Como é possível conseguir rodar um clone de ChatGPT na sua própria máquina, totalmente offline?

Vamos responder tudo isso e muito mais.

## Capítulos

00:01:07 – CAP 01 – Minha IA PESSOAL e OFFLINE – text-generation-webui
00:06:37 – CAP 02 – Introdução a MODELOS – Como IA Aprende?
00:10:09 – CAP 03 – Auto-Corretor de Teclado de Celular – Cadeias de Markov
00:15:34 – CAP 04 – 170 TRILHÕES de parâmetros – Maior que nosso cérebro?
00:20:28 – CAP 05 – De Markov a IA – O que são Tensors?
00:30:53 – CAP 06 – A Revolução da Auto-Atenção – O que são Transformers?
00:35:24 – CAP 07 – Hardware pra Treinar IA – NVIDIA
00:42:09 – CAP 08 – Parâmetros e Sinapses são equivalentes? – Quantização
00:49:42 – CAP 09 – Estamos próximos de AGI? IAs são Inteligentes?
00:52:10 – CAP 10 – Controlando Criatividade de IAs – Temperatura
01:00:27 – CAP 11 – A Avó do ChatGPT – Eliza
01:04:29 – CAP 12 – IAs que fazem Imagens – Diffusion
01:09:31 – CAP 13 – Discutindo PROMPTs – LangChain
01:13:08 – CAP 14 – IAs vão matar programadores? Quais os Limites?
01:22:15 – CAP 15 – Virando “Programador 10x” com auxílio de IAs – Copilot
01:23:47 – CAP 16 – CONCLUSÃO – O começo da BOLHA
01:28:18 – Bloopers

## Links

* [Introducing LLaMA: A foundational, 65-billion-parameter language model (facebook.com)](https://ai.facebook.com/blog/large-language-model-llama-meta-ai/)
* [NVIDIA/Megatron-LM](https://github.com/NVIDIA/Megatron-LM)
* [oobabooga/text-generation-webui](https://github.com/oobabooga/text-generation-webui)
* [TheBloke/Wizard-Vicuna-30B-Uncensored-GPTQ](https://huggingface.co/TheBloke/Wizard-Vicuna-30B-Uncensored-GPTQ)
* [Neural networks – YouTube](https://www.youtube.com/playlist?list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi)
* [GPT-4 Will Have 100 Trillion Parameters — 500x the Size of GPT-3 | by Alberto Romero | Towards Data Science](https://towardsdatascience.com/gpt-4-will-have-100-trillion-parameters-500x-the-size-of-gpt-3-582b98d82253)
* [MIT Deep Learning 6.S191 (introtodeeplearning.com)](http://introtodeeplearning.com/)
* [DF Direct Special: Starfield Tech Breakdown – 30FPS, Visuals, Rendering Tech + Game Impressions – YouTube](https://www.youtube.com/watch?v=i9ikne_9iEI&t=1646s)
* [NVIDIA Made a CPU.. I’m Holding It. – YouTube](https://www.youtube.com/watch?v=It9D08W8Z7o&t=102s)
* [(2) Artem Andreenko 🇺🇦 on Twitter: “I’ve sucefully runned LLaMA 7B model on my 4GB RAM Raspberry Pi 4. It’s super slow about 10sec/token. But it looks we can run powerful cognitive pipelines on a cheap hardware. https://t.co/XDbvM2U5GY” / Twitter](https://twitter.com/miolini/status/1634982361757790209)
* [Émile Borel and the Infinite Monkey Problem | SciHi Blog](http://scihi.org/emile-borel-infinite-monkey-problem/)
* [GitHub – codeanticode/eliza: The classic Eliza psychologist program, implemented as a Processing library.](https://github.com/codeanticode/eliza)
* [Stories • Instagram](https://www.instagram.com/stories/highlights/18020038894467644/)
* [TheBloke (Tom Jobbins) (huggingface.co)](https://huggingface.co/TheBloke)
* [Introduction | 🦜️🔗 Langchain](https://python.langchain.com/docs/get_started/introduction.html)

* Podcast: https://podcasters.spotify.com/pod/show/akitando/episodes/Akitando-142—Entendendo-COMO-ChatGPT-Funciona—Rodando-sua-Prpria-IA-e25uar9
* Transcript: https://www.akitaonrails.com/2023/06/19/akitando-142-entendendo-como-chatgpt-funciona-rodando-sua-propria-ia