机器学习基础知识与常见算法概述与实现方法

# 机器学习基础
## 基础概念
- 定义
  - 让计算机从数据中学习规律
  - 无需明确编程
- 重要性
  - 广泛应用领域
    - 医疗诊断
    - 金融风控
    - 推荐系统
- 术语
  - 样本
  - 特征
  - 标签
  - 训练集
  - 测试集
  - 模型
## 常见机器学习算法
- 线性回归
  - 原理
    - 自变量与因变量线性关系建模
  - 应用
    - 房价预测
    - 股票价格预测
- 决策树
  - 原理
    - 特征递归划分样本
  - 应用
    - 疾病诊断
    - 客户细分
- 随机森林
  - 原理
    - 多个决策树集成
    - 投票或平均决策结果
  - 应用
    - 模型稳定性提升
    - 图像识别
    - 恶意软件检测
- 支持向量机
  - 原理
    - 寻找最优超平面
    - 最大化样本间隔
  - 应用
    - 小样本数据表现良好
    - 文本分类
    - 手写数字识别
- 神经网络
  - 原理
    - 模拟生物神经元结构
    - 多层神经元信息处理
  - 应用
    - 复杂任务
    - 人脸识别
    - 语音合成
## 算法分类
- 监督学习
  - 特点
    - 有标签数据训练
    - 学习输入到输出的映射
  - 示例
    - 线性回归
    - 决策树分类
- 无监督学习
  - 特点
    - 无标签数据训练
    - 发现内在结构和模式
  - 示例
    - 聚类分析
    - 降维
- 半监督学习
  - 特点
    - 结合少量有标签和大量无标签数据
  - 示例
    - 半监督分类
    - 半监督聚类
- 强化学习
  - 特点
    - 智能体与环境交互
    - 奖励机制学习最优策略
  - 示例
    - 机器人控制
    - 游戏
## 流程
- 数据搜集
  - 方法
    - 网络爬虫
    - 数据库查询
    - 传感器采集
  - 注意事项
    - 数据合法性
    - 完整性
    - 多样性
- 数据标准化
  - 清洗
    - 去除噪声
    - 处理重复数据
    - 处理缺失值
  - 预处理
    - 归一化
    - 标准化
    - 特征编码
- 模型选择
  - 依据
    - 问题类型
    - 数据特点
    - 计算资源
  - 策略
    - 经验选择
    - 模型评估比较
- 模型训练
  - 过程
    - 参数调整
    - 最小化损失函数
  - 技术
    - 梯度下降
    - 随机梯度下降
- 性能评估
  - 分类评估指标
    - 准确率
    - 精确率
    - 召回率
    - F1 值
  - 回归评估指标
    - 均方误差
    - 平均绝对误差
## 使用 SKlearn 实现机器学习
- 数据加载与预处理
  - 内置数据集加载
    - 鸢尾花数据集
  - 数据预处理模块
    - StandardScaler归一化
- 模型选择与训练
  - 分类模型
    - KNeighborsClassifier
  - 回归模型
    - LinearRegression
  - 模型训练方法
    - fit方法
- 模型评估
  - 分类模型评估函数
    - accuracy_score
  - 回归模型评估函数
    - mean_squared_error