AI 技术分享

大语言模型（LLM）本质是一个海量文本上训练的概率预测器：给定上文，预测下一个 token。 关键三要素：

• 数据几 TB 到几十 TB 文本、代码、知识
• 算力数千张 GPU 集群，数周训练
• 架构当前主流是 Transformer + Attention

• 对话 / 问答：ChatGPT、Claude、Gemini、文心一言
• 代码：Copilot、Cursor、Claude Code
• 多模态：文生图（Midjourney / SD）、文生视频（Sora / Veo）、语音（TTS / ASR）
• Agent：模型自主拆解任务、调用工具、执行多步操作
• Embedding + RAG：把私域知识检索后塞进 Prompt，回答更准

兼容 OpenAI 接口的最小调用：

from openai import OpenAI
client = OpenAI(api_key="sk-...")
r = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role":"user","content":"用一句话介绍 RAG"}],
)
print(r.choices[0].message.content)

• ollama pull qwen2.5:7b & ollama run qwen2.5:7b：一条命令起服务
• llama.cpp / LM Studio：桌面端 GUI 跑量化模型
• 显存不够就上 CPU + 4-bit 量化（GGUF / AWQ）

1. 先会用：聊天、Prompt 技巧、上传文件 / 图片
2. 能调 API：理解 token、上下文、温度、工具调用
3. 会搭 RAG：Embedding + 向量库（Chroma / Milvus）+ LangChain / LlamaIndex
4. 玩 Agent：Function Calling、MCP、Workflow
5. 深入原理：Transformer、Attention、SFT / RLHF / DPO

• 论文：Attention Is All You Need、InstructGPT、LoRA
• 课程：Andrej Karpathy《Zero to Hero》、Stanford CS336
• 社区：Hugging Face、arXiv、r/LocalLLaMA