sklearn-逻辑回归

时间:2024-01-10 01:05:30 标签:  笔记  机器学习  

1 sklearn中的逻辑回归

linear_model.LogisticRegression

class sklearn.linear_model.LogisticRegression (penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’warn’, max_iter=100, multi_class=’warn’, verbose=0, warm_start=False, n_jobs=None)

2 损失函数的概念

我们使用”损失函数“这个评估指标,来衡量参数为 的模型拟合训练集时产生的信息损失的大小,并以此衡 量参数 的优劣。如果用一组参数建模后,模型在训练集上表现良好,那我们就说模型拟合过程中的损失很小,损 失函数的值很小,这一组参数就优秀;相反,如果模型在训练集上表现糟糕,损失函数就会很大,模型就训练不 足,效果较差,这一组参数也就比较差。即是说,我们在求解参数 时,追求损失函数最小,让模型在训练数据上 的拟合效果最优,即预测准确率尽量靠近100%。

 其中, 表示求解出来的一组参数,m是样本的个数, 是样本i上真实的标签, 是样本i上,基于参数 计算 出来的逻辑回归返回值, 是样本i各个特征的取值。我们的目标,就是求解出使 最小的 取值。对逻辑回归中过拟合的控制,通过正则化来实现

3 重要参数penalty & C

正则化是用来防止模型过拟合的过程,常用的有L1正则化和L2正则化两种选项,分别通过在损失函数后加上参数向量 的L1范式和L2范式的倍数来实现。这个增加的范式,被称为“正则项”,也被称为"惩罚项"。损失函数改变,基于损失函数的最优化来求解的参数取值必然改变,我们以此来调节模型拟合的程度。其中L1范式表现为参数向量中的每个参数的绝对值之和,L2范数表现为参数向量中的每个参数的平方和的开方值。

 L1正则化和L2正则化虽然都可以控制过拟合,但它们的效果并不相同。当正则化强度逐渐增大(即C逐渐变小), 参数 的取值会逐渐变小,但L1正则化会将参数压缩为0,L2正则化只会让参数尽量小,不会取到0。

如果 特征量很大,数据维度很高,我们会倾向于使用L1正则化。由

来源:https://blоg.сsdn.nеt/wеixin_58975360/аrtiсlе/dеtаils/123905961

智能推荐

1 sklearn中的逻辑回归

标签:笔记  机器学习  

逻辑回归是一种用于解决分类问题的机器学习方法。它是一种基于概率思想的预测分析技术。分类算法 Logi

标签:数据挖掘  逻辑回归  

回归是一种极易理解的模型,就相

标签:人工智能  线性回归  逻辑回归  回归  

一、逻辑回归 1.什么是逻辑回归

标签:机器学习  逻辑回归  机器学习  人工智能  

 本站原创文章,转载请说明来自

标签:机器学习  # 逻辑回归  逻辑回归  机器学习  

线性回归(Linear Regression)和逻辑回归(

标签:机器学习  回归算法  

入门小菜鸟,希望像做笔记记录

标签:机器学习  逻辑回归  算法  机器学习  数据挖掘  

逻辑回归(Logistic Regression)是一种二分类&#xff

标签:逻辑回归  机器学习  算法  

问题描述 问题1:数据拟合    

标签:逻辑回归  人工智能  

百度的定义: logistic回归又称logistic回归分析,是一种广义的线性回归分

标签:机器学习  逻辑回归  算法  机器学习  

首先介绍一下分类学习,其输出的变量y,是从少量几个可能的值中得出的。

标签:逻辑回归  人工智能  

猜你喜欢

一、引言 逻辑回归(Logistic Regre

标签:机器学习  逻辑回归  人工智能  

逻辑回归算法描述

标签:python  机器学习  课程代码  逻辑回归  学习  机器学习  

对于一个机器学习方法,通常由模型、策略和

标签:机器学习  机器学习  逻辑回归  

前言 从本文开始算是正式进入推荐算法的这一行列了。逻辑回归在推荐算法中有着举足轻

标签:推荐算法  逻辑回归  机器学习  

创建一个包含用于定义逻辑回归的 Python 代码的 Jupyter Notebook&#xff0c

标签:tensorflow  逻辑回归  人工智能  深度学习  机器学习  

相关问题

相关文章

热门文章

推荐文章

相关标签