Golang高性能多线程决策树机器学习插件库CloudForest的使用

CloudForest是一个用纯Go语言实现的高性能、灵活、多线程的决策树集成机器学习库，适用于分类、回归、特征选择等任务。

主要特性

• 支持多种算法：

  • 随机森林分类和回归
  • 自适应提升(AdaBoost)分类
  • 梯度提升树回归和二分类
  • Hellinger距离树分类
  • 基于熵、成本和类别加权的分类
  • L1/绝对偏差决策树回归
  • 通过人工对比改进特征选择(ACE)
  • 不平衡数据的近似平衡装袋

• 设计重点：

  • 训练速度快
  • 处理高维异构数据
  • 核心功能优化
  • 灵活实现新算法
  • 原生处理非数值数据类型和缺失值
  • 多核/多机环境使用

安装

go get github.com/ryanbressler/CloudForest
go install github.com/ryanbressler/CloudForest/growforest
go install github.com/ryanbressler/CloudForest/applyforest

# 可选工具
go install github.com/ryanbressler/CloudForest/leafcount
go install github.com/ryanbressler/CloudForest/utils/nfold
go install github.com/ryanbressler/CloudForest/utils/toafm

快速开始

基本使用示例

package main

import (
	"fmt"
	"github.com/ryanbressler/CloudForest"
)

func main() {
	// 加载训练数据
	fm, err := CloudForest.LoadAFM("train.fm")
	if err != nil {
		panic(err)
	}

	// 配置随机森林
	config := CloudForest.ForestConfig{
		NSamples:    fm.Data[0].Length(), // 使用所有样本
		MTry:        0,                   // 默认sqrt(nFeatures)
		LeafSize:    1,                   // 分类默认叶节点最小样本数
		NTrees:      100,                 // 100棵树
		Progress:    true,                // 显示进度
		CalcOOB:     true,                // 计算袋外误差
		Parallelism: 4,                   // 使用4个CPU核心
	}

	// 指定目标变量
	target := "B:FeatureName" // 布尔型目标变量

	// 训练随机森林
	forest := CloudForest.GrowRandomForest(fm, target, config)

	// 保存模型
	err = CloudForest.WriteForest(forest, "forest.sf")
	if err != nil {
		panic(err)
	}

	// 加载测试数据
	testFm, err := CloudForest.LoadAFM("test.fm")
	if err != nil {
		panic(err)
	}

	// 应用模型预测
	predictions := CloudForest.ApplyForest(forest, testFm)

	// 输出预测结果
	for i, pred := range predictions {
		fmt.Printf("Case %d: Predicted %v\n", i, pred)
	}
}

更复杂的示例

package main

import (
	"fmt"
	"github.com/ryanbressler/CloudForest"
)

func main() {
	// 加载ARFF格式数据
	fm, err := CloudForest.LoadARFF("housing.arff")
	if err != nil {
		panic(err)
	}

	// 配置梯度提升树回归
	config := CloudForest.ForestConfig{
		NSamples:    fm.Data[0].Length(),
		LeafSize:    4,       // 回归默认叶节点最小样本数
		NTrees:      1000,    // 1000棵树
		LearningRate: 0.1,    // 学习率
		GBTree:      true,    // 使用梯度提升
		Parallelism: 8,       // 使用8个CPU核心
	}

	// 指定数值型目标变量
	target := "N:MEDV"

	// 训练模型
	forest := CloudForest.GrowRandomForest(fm, target, config)

	// 特征重要性分析
	importance := CloudForest.FeatureImportance(forest, fm, target)
	
	// 输出重要性排序
	fmt.Println("Feature Importance:")
	for _, imp := range importance {
		fmt.Printf("%s: %.4f\n", imp.Feature, imp.Score)
	}

	// 保存模型
	err = CloudForest.WriteForest(forest, "housing_gbt.sf")
	if err != nil {
		panic(err)
	}
}

命令行工具使用

growforest 训练模型

# 使用默认参数训练模型并保存
growforest -train train.fm -rfpred forest.sf -target B:FeatureName

# 使用1000棵树，16个核心，最小叶节点大小为8
growforest -train train.fm -rfpred forest.sf -target B:FeatureName -oob -nCores 16 -nTrees 1000 -leafSize 8

# 使用加权随机森林
growforest -train train.fm -rfpred forest.sf -target B:FeatureName -rfweights '{"true":2,"false":0.5}'

applyforest 应用模型

# 在测试数据上评估模型
applyforest -fm test.fm -rfpred forest.sf

# 保存预测结果
applyforest -fm test.fm -rfpred forest.sf -preds predictions.tsv

leafcount 计算相似度

# 计算样本相似度和特征使用情况
leafcount -train train.fm -rfpred forest.sf -leaves leaves.tsv -branches branches.tsv

数据格式

CloudForest支持多种数据格式：

注释特征矩阵(.afm)

featureid    case1    case2    case3
N:NumF1    0.0    .1    na
C:CatF2    red    red    green

• 前缀说明：
  • “N:” 数值特征
  • “C:” 分类特征
  • “B:” 布尔特征

ARFF格式

@relation data

@attribute NumF1 numeric
@attribute CatF2 {red,green}

@data
0.0,red
.1,red
?,green

LibSVM格式

24.0 1:0.00632 2:18.00 3:2.310 4:0
21.6 1:0.02731 2:0.00 3:7.070 7:78.90
34.7 1:0.02729 2:0.00 5:0.4690

高级功能

特征重要性

// 计算特征重要性
importance := CloudForest.FeatureImportance(forest, fm, target)

// 按重要性排序
sort.Slice(importance, func(i, j int) bool {
    return importance[i].Score > importance[j].Score
})

// 输出Top 10重要特征
fmt.Println("Top 10 Important Features:")
for i := 0; i < 10 && i < len(importance); i++ {
    fmt.Printf("%d. %s: %.4f\n", i+1, importance[i].Feature, importance[i].Score)
}

处理缺失值

// 配置缺失值处理
config := CloudForest.ForestConfig{
    ImputeMissing: true,  // 在生长前填充缺失值为均值/众数
    SplitMissing:  false, // 是否将缺失值作为第三分支
    // ...其他配置
}

处理不平衡数据

// 配置不平衡数据处理
config := CloudForest.ForestConfig{
    Balance:   true,  // 平衡装袋
    RFWeights: `{"rare":2,"common":0.5}`, // 类别权重
    // ...其他配置
}

性能优化

• 使用更多CPU核心：-nCores 参数
• 调整树的数量和深度
• 使用适当的最小叶节点大小
• 对于大数据集，考虑使用梯度提升树(GBT)

参考

CloudForest实现了许多经典的机器学习算法，包括：

• Leo Breiman和Adele Cutler的随机森林
• Ross Quinlan的ID3决策树
• 梯度提升树
• 自适应提升(AdaBoost)

更多算法细节可以参考原始论文和相关文献。