Pewdiepie local LLM Estafa

· pewdiepie

Escuchar este artículo

Descargar MP3 · Ver en Internet Archive

No es una estafa, pero podes hacerlo sin todo eso. Manualmente con herramientas Unix.

Sí, totalmente. No necesitás ninguna interfaz web.

Mucha gente termina armando un monstruo:

Docker + WebUI + agentes + embeddings + vector DB

cuando en realidad para uso personal alcanza con:

ollama + shell + unix tools

Tu idea de:

pandoc archivo.pdf -t plain

y después pasar el texto al modelo es completamente válida.

Ejemplo minimalista:

pandoc libro.pdf -t plain | ollama run qwen2:1.5b

o:

cat notas.txt | ollama run tinyllama

Incluso podés hacer prompts complejos:

{
  echo "Resume este documento:"
  pandoc libro.pdf -t plain
} | ollama run qwen2:1.5b

Eso ya es una especie de “RAG manual”.


Por qué existe la WebUI entonces

Porque la mayoría:

  • no usa terminal,
  • quiere drag-and-drop,
  • historial,
  • múltiples chats,
  • embeddings automáticos,
  • búsqueda semántica,
  • agentes,
  • etc.

Pero conceptualmente:

todo eso es opcional

El enfoque Unix minimalista es totalmente viable

Podés usar:

  • pdftotext
  • pandoc
  • grep
  • sed
  • awk
  • fzf
  • ollama

Y construir pipelines muy poderosos.

Ejemplo:

pdftotext libro.pdf - | \
grep -i "electricidad" | \
ollama run tinyllama

Incluso podés usar llama.cpp directamente

Sin Ollama:

./llama-cli -m model.gguf -f prompt.txt

o:

cat prompt.txt | ./llama-cli -m tinyllama.gguf

Eso es probablemente lo más minimalista posible hoy.


Mucha gente “power user” hace eso

Especialmente:

  • usuarios de Linux minimalista,
  • gente de Vim,
  • tiling WM,
  • servidores,
  • sistemas offline,
  • hardware viejo.

Porque:

  • consume menos RAM,
  • menos procesos,
  • menos Electron,
  • menos Docker,
  • menos telemetry,
  • más scriptable.

Tu enfoque está bastante alineado con la filosofía Unix clásica:

small tools loosely joined