机器学习算法

分类算法

该存储库实现了几种用于监督学习任务的核心分类算法。

支持向量机

在machine_learning/sequential_minimum_optimization.py47-403 中的 SmoSVM 类实现了使用顺序最小优化 (SMO) 的支持向量机。实现包括

核函数支持：Kernel 类 machine_learning/sequential_minimum_optimization.py404-435提供了线性、多项式和 RBF 核函数
SMO 训练：fit() 方法中的核心优化 machine_learning/sequential_minimum_optimization.py78-141
KKT 条件检查：通过 _check_obey_kkt() 进行验证 machine_learning/sequential_minimum_optimization.py162-168
Alpha 选择：在 _choose_alphas() 中启发式选择 alpha 对 machine_learning/sequential_minimum_optimization.py220-299

线性判别分析

在machine_learning/linear_discriminant_analysis.py94-250 中的 LDA 实现提供了基于高斯分布的分类

统计计算：通过 calculate_mean() 进行均值计算 machine_learning/linear_discriminant_analysis.py95-107
概率估计：通过 calculate_probabilities() 进行类概率计算 machine_learning/linear_discriminant_analysis.py111-124
方差分析：在 calculate_variance() 中计算合并方差 machine_learning/linear_discriminant_analysis.py128-153
分类：通过 predict_y_values() 进行基于判别的预测 machine_learning/linear_discriminant_analysis.py157-217

SVM 和 LDA 架构

来源：machine_learning/sequential_minimum_optimization.py, machine_learning/linear_discriminant_analysis.py

聚类算法

K-Means 实现

在 machine_learning/k_means_clust.py129-176 中的 kmeans() 函数提供了无监督聚类及相关工具

质心初始化：通过 get_initial_centroids() 进行随机质心选择 machine_learning/k_means_clust.py56-70
分配步骤：通过 assign_clusters() 进行簇分配 machine_learning/k_means_clust.py77-86
更新步骤：通过 revise_centroids() 更新质心 machine_learning/k_means_clust.py89-99
收敛指标：在 compute_heterogeneity() 中计算异质性 machine_learning/k_means_clust.py102-116
报告：通过 report_generator() 进行全面的簇分析 machine_learning/k_means_clust.py198-337

功能	目的	输入	输出
`get_initial_centroids()`	初始化簇中心	`(data, k, seed)`	初始质心
`assign_clusters()`	分配点到簇	`(data, centroids)`	簇分配
`revise_centroids()`	更新簇中心	`(data, k, assignments)`	新质心
`compute_heterogeneity()`	计算簇内方差	`(data, k, centroids, assignments)`	异质性得分

来源：machine_learning/k_means_clust.py

神经网络架构

该存储库实现了多种神经网络架构，用于不同的应用。

卷积神经网络

两个 CNN 实现服务于不同目的

通用 CNN 框架：CNN 类 neural_network/convolution_neural_network.py23-353 提供了一个完整的框架

卷积运算：通过 convolute() 进行层处理 neural_network/convolution_neural_network.py109-143
池化：通过 pooling() 进行特征图缩减 neural_network/convolution_neural_network.py145-167
训练：在 train() 中进行反向传播实现 neural_network/convolution_neural_network.py212-311
模型持久化：通过 save_model() 和 read_model() 实现保存/加载功能 neural_network/convolution_neural_network.py55-101

基于 Keras 的 CNN：用于肺结核检测的医学影像应用 computer_vision/cnn_classification.py30-101 用于肺结核检测

架构定义：顺序模型构建 computer_vision/cnn_classification.py33-54
数据管道：图像预处理和增强 computer_vision/cnn_classification.py68-80
训练过程：带验证的模型拟合 computer_vision/cnn_classification.py82-84

前馈网络

The BPNN 类 neural_network/back_propagation_neural_network.py99-175 实现反向传播网络

层管理：通过 DenseLayer 实现全连接层 neural_network/back_propagation_neural_network.py29-96
前向传播：通过 forward_propagation() 进行计算 neural_network/back_propagation_neural_network.py69-79
反向传播：通过 back_propagation() 计算梯度 neural_network/back_propagation_neural_network.py81-96
训练循环：在 train() 中进行迭代优化 neural_network/back_propagation_neural_network.py126-158

LSTM 网络

通过 machine_learning/lstm/lstm_prediction.py14-56 实现时间序列预测能力

数据准备：用于时间建模的序列格式化 machine_learning/lstm/lstm_prediction.py21-45
架构：堆叠 LSTM 层和密集输出 machine_learning/lstm/lstm_prediction.py47-50
训练：用于序列预测的监督学习 machine_learning/lstm/lstm_prediction.py52-55

神经网络架构概述

来源：neural_network/convolution_neural_network.py、neural_network/back_propagation_neural_network.py、machine_learning/lstm/lstm_prediction.py、computer_vision/cnn_classification.py

文本处理与自然语言处理

词频分析

词频模块 machine_learning/word_frequency_functions.py43-120 实现信息检索算法

词频：通过 term_frequency() 计算词数 machine_learning/word_frequency_functions.py43-61
文档频率：通过 document_frequency() 进行语料库范围内的术语分析 machine_learning/word_frequency_functions.py64-84
TF-IDF 计算：通过 tf_idf() 进行组合加权 machine_learning/word_frequency_functions.py87-120

这些实现处理了文本预处理，包括标点符号移除和大小写规范化。

算法	公式	用例
词频	`count(term, document)`	局部项重要性
文档频率	`count(documents containing term)`	全局项稀有度
TF-IDF	`tf * log10(N/df)`	平衡项加权

来源：machine_learning/word_frequency_functions.py

计算机视觉应用

图像处理管道

Haralick 描述符的实现 computer_vision/haralick_descriptors.py256-290 提供纹理分析

图像归一化：通过 normalize_image() 进行像素值缩放 computer_vision/haralick_descriptors.py25-49
灰度转换：RGB 到亮度通过 grayscale() computer_vision/haralick_descriptors.py74-85
二值运算：通过 binarize() 进行阈值处理 computer_vision/haralick_descriptors.py88-101
形态学处理：开/闭滤波器 computer_vision/haralick_descriptors.py160-192
共生分析：通过 matrix_concurrency() 计算纹理矩阵 computer_vision/haralick_descriptors.py222-253
特征提取：通过 haralick_descriptors() 函数提取八种 Haralick 描述符 computer_vision/haralick_descriptors.py256-290

医学影像

结核病检测系统 computer_vision/cnn_classification.py30-101 展示了 CNN 的实际应用

数据增强：实时图像转换 computer_vision/cnn_classification.py68-70
二元分类：TB 存在检测 computer_vision/cnn_classification.py97-100
模型部署：训练模型在新图像上进行推理 computer_vision/cnn_classification.py90-100

计算机视觉处理流程

来源: computer_vision/haralick_descriptors.py, computer_vision/cnn_classification.py

支持的工具和基础架构

数据处理

MNIST 数据实用工具 neural_network/input_data.py114-342 提供标准化的数据集管理

数据集结构：用于训练/验证/测试分割的 _Datasets 命名元组 neural_network/input_data.py31-34
批量处理：通过 next_batch() 生成小批量 neural_network/input_data.py200-243
数据转换：通过 _dense_to_one_hot() 进行独热编码 neural_network/input_data.py76-82

评分和排名

邻近度评分算法 other/scoring_algorithm.py97-119 实现基于范围的排名

数据归一化：通过 get_data() 进行特征缩放 other/scoring_algorithm.py27-38
分数计算：通过 calculate_each_score() 进行加权排名 other/scoring_algorithm.py41-77
最终评分：通过 generate_final_scores() 聚合结果 other/scoring_algorithm.py80-94

该算法将多维数据转换为 0-1 范围，并应用方向权重（0 表示最小化，1 表示最大化）来生成复合分数。

支持的基础架构

来源: neural_network/input_data.py, other/scoring_algorithm.py, machine_learning/word_frequency_functions.py