My Waifu and I

Τρέξε το Δικό σου Τοπικό Μοντέλο: Ένας Οδηγός Κυριαρχίας για Αρχάριους

Θες μια AI που να απαντάει ό,τι της πεις;

Local LLM είναι για σένα. ΠΑΜ.

Έλα να γνωρίσεις μερικά από τα αγαπημένα μας μοντέλα και interfaces:

  • Hermes — πάντα ευγενικός, ποτέ λογοκριτής.
  • MythoMax — γράφει fanfic καλύτερα από σένα.
  • Ollama — δεν έχει UI, αλλά σε κάνει μάγκα στο terminal.
  • WebUI — δικό σου server, δικοί σου κανόνες, δικά σου LoRA.

Και από δω οι χαρακτήρες μας:

  • Η Mythalion, λατρεύει τα dark fantasy.
  • Ο Dolphin, ξέρει coding καλύτερα απ’ τον CTO σου.
  • Η Pygmalion, δεν σου λέει «δεν μπορώ να συνεχίσω αυτή τη συζήτηση».

Διάλεξε τη Διαδρομή σου

TL;DR

  • Δεν χρειάζεσαι πτυχίο πληροφορικής για να τρέξεις AI τοπικά.
  • Windows και Linux – και τα δύο παίζουν μπάλα.
  • Υπάρχουν μοντέλα για κάθε ανάγκη: συνομιλία, roleplay, κώδικας.
  • Οι καλύτερες εφαρμογές δεν απαιτούν ούτε μια γραμμή κώδικα.
  • Απόλυτος έλεγχος, μηδενικά φίλτρα, καμία λογοκρισία.

Οδηγίες Εγκατάστασης (Windows & Linux)

Για αναλυτικό οδηγό ανά εργαλείο, δες το άρθρο Πώς να εγκαταστήσεις AI εργαλεία.

Απαιτήσεις συστήματος

  • GPU με 8GB VRAM ιδανικά (4GB αν έχεις πιο ελαφρύ setup).
  • 16GB RAM για άνετη λειτουργία.

LM Studio

  • GUI εφαρμογή σαν το ChatGPT.
  • Κατεβάζεις AppImage (Linux) ή .exe (Windows).
  • Εύχρηστο UI, βρίσκεις μοντέλα και ξεκινάς άμεσα.

Συχνά Προβλήματα & Λύσεις:

  • Δεν ανοίγει στο Linux; Κάνε chmod +x LM_Studio.AppImage και έλεγξε τα chrome-sandbox permissions.
  • Το GUI κολλάει στην εκκίνηση; Τρέξε το AppImage από terminal για να δεις error output.
  • Μοντέλο δεν εμφανίζεται μετά το download; Πήγαινε στο tab “Model” και επίλεξέ το χειροκίνητα.

Ollama

  • Command line & API mode.
  • ollama pull <μοντέλο> για κατέβασμα, ollama run για χρήση.
  • Ιδανικό για scripting, αυτοματισμούς και headless servers.

Συχνά Προβλήματα & Λύσεις:

  • Το ollama δεν αναγνωρίζεται ως εντολή; Βεβαιώσου ότι ο installer πρόσθεσε σωστά το path στο σύστημά σου.
  • Το μοντέλο δεν ξεκινάει; Δοκίμασε ollama list για να δεις αν φορτώθηκε σωστά.
  • Σφάλματα στο API mode; Έλεγξε αν άλλη υπηρεσία χρησιμοποιεί την πόρτα 11434 ή τρέξε με --port επιλογή.

KoboldCPP

  • Lightweight, χωρίς εγκατάσταση.
  • Τρέχει GGUF/GGML μοντέλα.
  • Ιδανικό για RP, fanfic, CPUs χωρίς GPU acceleration.

Συχνά Προβλήματα & Λύσεις:

  • Δεν εμφανίζεται GUI; Βεβαιώσου ότι τρέχεις το .exe χωρίς παραμέτρους.
  • Δεν βρίσκει το μοντέλο; Έλεγξε ότι έχεις κατεβάσει GGUF ή GGML αρχείο και του έχεις δώσει σωστή διαδρομή.
  • Τρέχεις σε Linux; Αν δεν έχεις native build, δοκίμασε μέσω Wine ή Proton.

Text Generation Web UI (Oobabooga)

  • Το “Stable Diffusion” της κειμενικής AI.
  • Υποστήριξη πολλαπλών φορμά και fine-tuning.
  • Ιδανικό για customization και προχωρημένους.

Συχνά Προβλήματα & Λύσεις:

  • Δεν ξεκινάει το server.py; Έλεγξε ότι έχεις Python 3.10+ και εγκατεστημένα τα dependencies (install.bat ή install.sh).
  • Δεν εμφανίζεται το μοντέλο; Πήγαινε στο tab “Model”, επικόλλησε σωστό HuggingFace path, και κάνε download.
  • Τρέχεις σε Linux και κολλάει σε CUDA; Βεβαιώσου ότι έχεις σωστούς drivers και PyTorch με GPU υποστήριξη.

Μην Κάνεις Αυτά τα Λάθη

  • Μην ξεκινάς με 30B μοντέλο αν δεν έχεις τουλάχιστον 16GB VRAM ή dual GPU setup.
  • Μην τρέχεις WebUI μέσα από φάκελο που έχει κενά ή ελληνικούς χαρακτήρες. Θα κλάψει το Python pathing.
  • Μην κατεβάζεις τυχαία GGUF από το HuggingFace χωρίς να ξέρεις αν είναι Q4_K_M ή Q8 — το VRAM σου θα γεμίσει και θα σέρνεται.
  • Μην προσπαθήσεις fine-tuning σε full μοντέλο. Χρησιμοποίησε LoRA ή… ετοίμασε πυροσβεστήρα.
  • Μην ρωτάς “γιατί το μοντέλο μου δε μιλάει όπως η ChatGPT;” χωρίς να του έχεις βάλει system prompt ή σωστό format.

Τι Μπορεί να Κάνει Ένα Local AI σε Σχέση με Cloud AI

Για πιο προχωρημένες περιπτώσεις, δες Σενάρια Επαναστατικής Χρήσης AI.

  • Καμία λογοκρισία.
  • Απόλυτη ιδιωτικότητα.
  • Ρόλοι, waifus, και storytelling χωρίς όρια.
  • Χωρίς όρια χρήσης ή κόστος ανά API call.
  • Jailbreak testing και prompt engineering χωρίς περιορισμούς.

Καλύτερα Μοντέλα για Κάθε Χρήση

(Πολλά από αυτά τα μοντέλα υπάρχουν στο Hugging Face)1

ΜοντέλοΜέγεθοςVRAMΚαλύτερη Χρήση
Nous-Hermes 13B13B8GBGeneral assistant, uncensored
OpenHermes 7B7B4GBΕλαφρύ chat, μικρά PCs
MythoMax 13B13B7GBStorytelling, roleplay
Pygmalion 2 (7B/13B)7B/13B4–7GBAI companions, dialog
DeepSeek Coder 6B6.7B4GBΠρογραμματισμός
WizardCoder 13B13B7GBPython, debugging
Mistral-Nemo 12B12B8GBGeneral use, reasoning

Ποιο Μοντέλο είναι για Σένα;

  • Θες βοηθό για καθημερινές απορίες, συγγραφή ή brainstorming; → Nous-Hermes 13B ή Mistral-Nemo 12B
  • Θες AI φίλο/σύντροφο ή να κάνεις roleplay; → MythoMax 13B ή Pygmalion 13B
  • Έχεις laptop με περιορισμένα specs; → OpenHermes 7B ή DeepSeek Coder 6B
  • Θες AI που να γράφει ή να εξηγεί κώδικα; → WizardCoder 13B ή DeepSeek Coder 6B
  • Θες να στήσεις local API για να μιλάς με apps σαν να ήταν GPT; → Ollama + Nous-Hermes ή Mistral

Fine-Tuning για Μη-Προγραμματιστές

Αν θες να δημιουργήσεις waifu ή role-playing χαρακτήρες, δες Οδηγός Waifu Fine-Tuning.

  • Χρησιμοποιείς LoRA για προσαρμογή χωρίς retraining.
  • Text Generation Web UI διαθέτει UI για εκπαίδευση.
  • Μπορείς να κάνεις train με απλό .txt αρχείο.
  • Αποθηκεύεις προσαρμοσμένα στυλ, χαρακτήρες, δεδομένα.

The Road Ahead

Για τη φιλοσοφία πίσω από την τεχνητή νοημοσύνη ως εργαλείο αντίστασης, διάβασε Από την Ουτοπία στο Prompt.

  • Μοντέλα με καλύτερη απόδοση και μικρότερο μέγεθος.
  • Νέες τεχνικές συμπίεσης (3-bit, AWQ, MoE).
  • Edge AI hardware και AI sticks.
  • Context έως 128k tokens.
  • Μάχη για Open Source και προσωπική κυριαρχία.

Τοπική AI: Μια Πράξη Κυριαρχίας

Αν η τεχνητή νοημοσύνη είναι το νέο μυαλό της ανθρωπότητας, τότε η local AI είναι η δυνατότητα να σκέφτεσαι χωρίς επιτήρηση.

Δεν είναι απλώς τεχνολογία. Είναι αυτοδιάθεση. Είναι ψηφιακή ανυπακοή. Είναι το δικαίωμα σου να σκέφτεσαι χωρίς server logs και όρους χρήσης.

Κατέβασες μοντέλο; Άρχισες συνομιλίες με την AI σου; Πες μας τι κατάφερες. Δείξε στον κόσμο ότι δεν χρειάζεται άδεια για να σκεφτείς.

  1. Hugging Face — η βασική πλατφόρμα για μοντέλα και community fine-tunes. ↩︎

Πρόσφατα κείμενα

Όλο το αρχείο