2021-09-14

WARNING: This article may be obsolete
This post was published in 2021-09-14. Obviously, expired content is less useful to users if it has already pasted its expiration date.
This article is categorized as "Garbage" . It should NEVER be appeared in your search engine's results.


有关mathjax渲染不出来的问题

有关mathjax渲染问题:
有的时候你会发现你的一篇wordpress文章莫名其妙有一两个公式就是无法被mathjax渲染,在编辑器里看起来一切都很正常:

其实里面有一个公式在wordpress数据库里存储成了这个样子,但是它不会被古腾堡编辑器显示出来(因为默认是edit visually)


有关Linear Regression的一些基本概念

有关linear regression

wiki: https://en.wikipedia.org/wiki/Linear_regression

https://www.colorado.edu/amath/sites/default/files/attached-files/ch12_0.pdf 第7页

公式:[mathjax]Y=\beta X+\varepsilon[/mathjax]

random variables是什么?

[mathjax]Y[/mathjax]是random variable,同时[mathjax]\varepsilon[/mathjax]也是random variable .

model parameters有哪些?

有[mathjax]\beta[/mathjax](regression coefficients)

剩下的呢?

[mathjax]x[/mathjax]是固定变量(fixed variable)

-----

要不要考虑其他的linear regression model?

比如最简单的linear regression:

[mathjax]y(x,w)=\omega_0+\omega_1 x +\ldots +\omega_D x_D+\varepsilon[/mathjax]

如果input variable [mathjax]x_i[/mathjax]是fixed variable,那么[mathjax]y[/mathjax]是random variable; [mathjax]\omega[/mathjax]是model parameter;[mathjax]\varepsilon[/mathjax]属于arbitrary quantity.

------

后续:在https://machinelearningmastery.com/linear-regression-for-machine-learning/ 的评论区里搜索可以找到有关random variables的讨论

https://stats.stackexchange.com/questions/485011/what-is-a-random-variable-and-what-isnt-in-regression-models 能够找到有关random variables的深入讨论,但是首先可以看一个更简单的问题:https://stats.stackexchange.com/questions/148522/what-is-a-random-variable-in-the-definition-of-a-linear-regression-model

------

还要考虑polynomial regression


有关linear regression regularization

它的作用是什么?它是如何改变(原始linear regression)训练模型的?这个模型有何不同?

最后的问题有点表述不明,但暂时用这个进行了替代:https://www.youtube.com/watch?v=sO4ZirJh9ds


有关generative model

有关generative model

由于generative model分类众多,先默认为Probabilistic Generative Model

generative model/linear regression model/logistic regression model,它们三者各自的random variable是什么?有什么区别?

搜索关键词:【比较generative model(判别模型)和discriminative model(生成模型)】,然后从里面找出对random variable的比较

首先是wikipedia的区别:

https://home.ttic.edu/~suriya/website-intromlss2018/course_material/Day5a.pdf 这里有一些详细的介绍 不太浅显易懂

可以连带学习朴素贝叶斯,顺便解决这个问题

朴素贝叶斯的简单介绍 https://zhuanlan.zhihu.com/p/26262151,需要后续思考这个评论:

首先写的真的很好,然后就是措辞上可能有点问题,条件独立和事件独立是不一样的,条件独立是conditional independence,和特征之间的independent 不一样,而且conditional independence应该是一种假设,应该无法推导出来。应该写成特征|类别的条件独立(conditional independence),不能写成特征之间独立(independent)。这是我的想法。

https://zhuanlan.zhihu.com/p/26262151

查询关键词【朴素贝叶斯 随机变量】

https://nlp.stanford.edu/IR-book/html/htmledition/properties-of-naive-bayes-1.html 看起来在generative model里,首先输入的[mathjax]X_i[/mathjax]就属于random variable ,这就和linear regression不一样了,因为linear regression将输入的[mathjax]X_i[/mathjax]视为fixed variable. 最后结合wikipedia的definition就可以做出简要对比。

Bayes Nets are a compact way to represent the Joint Distribution of a set of Random Variables.

https://nlp.stanford.edu/IR-book/html/htmledition/properties-of-naive-bayes-1.html

基于朴素贝叶斯的文本分类器

朴素贝叶斯相关:朴素贝叶斯的最根本/最主要假设是什么?

All features/predictors are independent

[mathjax]P(X_1,X_2\ldots X_k|Y)=\prod_{i=1}^k P(X_i|Y)[/mathjax]

有关朴素贝叶斯的文本分类器

如果在计算过程中打乱文本顺序,会不会对后续的MAP estimate造成影响?

大概是不会的,https://alex.smola.org/teaching/cmu2013-10-701/slides/2_Statistics.pdf 第61页

首先先假设这个文本分类器模型为:Bag-of-words model

https://www.cs.cmu.edu/~aarti/Class/10315_Fall19/lecs/Lecture4.pdf

但以上网页都没有100%覆盖【steps】,也就是【为什么map estimate还要在分步步骤里完成?】

https://www.cs.cmu.edu/~10601b/slides/GNBayes.pdf 这个更详细一些



 Last Modified in 2023-07-19 

Leave a Comment Anonymous comment is allowed / 允许匿名评论