2021-09-06

WARNING: This article may be obsolete
This post was published in 2021-09-06. Obviously, expired content is less useful to users if it has already pasted its expiration date.

This article is categorized as "Garbage" . It should NEVER be appeared in your search engine's results.

主要内容：狄利克雷分布/多项式分布/正态分布/各种分布；KL散度

符号∝：https://math.stackexchange.com/questions/652207/what-does-the-sign-propto-mean

𝐴∝𝐵 means that 𝐴 is directly proportional to 𝐵. This means that 𝐴=𝑘𝐵 for some constant 𝑘.

狄利克雷分布的均值和期望https://en.wikipedia.org/wiki/Dirichlet_distribution

多项式分布的均值和期望；https://en.wikipedia.org/wiki/Multinomial_distribution#Expected_value_and_variance

二项式分布的均值和期望；https://en.wikipedia.org/wiki/Bernoulli_distribution#cite_note-:0-2

有一个看起来容易理解的例子：https://www.youtube.com/watch?v=y8XELu_ABl0

结合：http://www.mas.ncl.ac.uk/~nmf16/teaching/mas3301/week6.pdfs

以这个视频为例，首先第一步需要：https://en.wikipedia.org/wiki/Expected_value 其中的 Absolutely continuous case

Normal distribution µ ∼ N (µ, σ2)

定义：https://en.wikipedia.org/wiki/Normal_distribution

根据：https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/lectures/lecture5.pdf

首先Fixed variance (σ2), random mean (µ)是一个最简单的高斯；

根据https://zhuanlan.zhihu.com/p/164377502

这一步看起来需补充：

更详细的计算likelihood的视频：https://www.youtube.com/watch?v=Dn6b9fCIUpM

exponential distribution biased：

推导过程：https://www.statlect.com/fundamentals-of-statistics/exponential-distribution-maximum-likelihood

biased证明1:https://stats.stackexchange.com/questions/489912/showing-bias-of-mle-for-exponential-distribution-is-frac-lambdan-1

biased 证明2:https://math.stackexchange.com/questions/815193/bias-of-maximum-likelihood-estimator-of-an-exponential-distribution，注意这里有【不使用琴生不等式】的强硬证明

exponential distribution在上一个问题里被标记为biased，所以这次要换一种处理方式：

用Gamma distribution作为prior！需要证明为什么用了Gamma distribution以后就变成了conjugate prior，同时求posterior distribution.

发现了一张有趣的图：怎么来理解伽玛（gamma）分布？ - 知之的回答 - 知乎 https://www.zhihu.com/question/34866983/answer/60191363

遗留问题：如何在不求posterior distribution的情况下证明一个prior是conjugate prior？

首先根据https://en.wikipedia.org/wiki/Gamma_distribution，exponential distribution是Gamma distribution的一个特殊类型。那么就可以先证明conjugate了！只需要阐述/转换，把Gamma distribution（一般）变为exponential distribution（特殊）就可以证明conjugate了！然后再计算posterior distribution. （好像又不对了）

https://people.eecs.berkeley.edu/~jordan/courses/260-spring10/other-readings/chapter9.pdf

http://halweb.uc3m.es/esp/Personal/personas/mwiper/docencia/English/PhD_Bayesian_Statistics/ch3_2009.pdf

https://courses.cs.washington.edu/courses/cse312/20su/files/student_drive/7.5.pdf

wordpress: 我给mathjax添加了一个隐藏滑动条代码

wordpress: 我对autosave机制进行了一点改动，现在数据库飞速增长！

youtube给我推的广告：https://calcworkshop.com/pricing/

KL散度：

首先是正态分布的均值公式：https://math.stackexchange.com/questions/99025/what-is-the-expectation-of-x2-where-x-is-distributed-normally

有一个视频比较贴近，但是讲的太烂：https://www.youtube.com/watch?v=TNJwYuKjqVM，而且没有用到E(X) .

这个网页：https://stats.stackexchange.com/questions/66271/kullback-leibler-divergence-of-two-normal-distributions，提问者有提到过使用E(X)来解决问题，在这个网页里引出了另一个问答：https://stats.stackexchange.com/questions/7440/kl-divergence-between-two-univariate-gaussians

在中文搜索引擎里寻找【高斯分布kl散度】能获得更多答案！

https://zhuanlan.zhihu.com/p/55778595

https://blog.csdn.net/HEGSNS/article/details/104857277

但是遇到了一个问题：log(x)看起来有点格格不入，它默认是ln(x)吗？为什么很多答案（包括stackexchange）都不使用ln(x)?

google关键词【kl divergence log or ln】

使用autosave_table以后，.sql到.sql.gz的压缩程度越来越高了，所以需要换个命令导入了：

$  zcat myfile.sql.gz | mysql -u root -ppassword mydb

这样可以避免解压出.sql

同时还可以使用 gzip -l  对压缩文件进行压缩率检验：

$  gzip -l mysql_dump.tar.gz

参考：https://stackoverflow.com/questions/2756585/how-do-i-load-a-sql-gz-file-to-my-database-importing/2756591, https://askubuntu.com/questions/907608/how-do-i-get-a-file-sizeoriginal-file-size-within-tar-gz-without-uncompress-i