零成本搭建网页代理
网页代理是非常简单的一种代理方式, 我们借助 CloudFlare 与 jsproxy 项目可以免费搭建自己的网页代理.准备 首先, 你需要有 Github 和 CloudFlare 账号 (怎么注册就不用我教了吧…) 并登陆.Github fork jsproxy 项目,然后进入到自己 fork 的 jsproxy 项目中, 进入 Settings 并下拉, 拉到 Github Pages 这一项将 Select branch 设置成 gh-pages , 并 Save (这里我已经设置过了所以无法点击), 重新刷新并来到同样的位置, 它会显示大概如下内容Your site is published at https://xxxx.github.io/jsproxy/后面那串网址就是你的 Pages 地址, 记住它.CloudFlare 进入主页, 然后进入 Workers ,并创建 Worker,然后在左侧的 “脚本” 区写下如下代码, 其中第 6 行中 https://xxxx.github.io/jsproxy 需要替换成你的 Pages 地址 (就是我前面叫你记住的 ...
Hexo modify theme butterfly
更新: pjax 魔改已上线! 传送门. 所有魔改均可取消! 配置默认不开启, 因此可以平滑换到魔改 butterfly 主题. 首先推介 butterfly 文档, 这里只介绍魔改部分的配置. 这里的示例仅为合法示例, 即你填了该示例不一定能正确显示, 仅供参考.魔改主题 Github 地址使用主题 & 平滑更换下载并配置 进入主题目录, 下载主题1git clone https://github.com/yunwanjia-cloud/hexo-modify-theme-butterfly.git将下载下来的主题文件夹名字改为 Butterfly , 同时修改hexo配置文件_config.yml，把主題改为Butterfly1theme: Butterfly 如果你没有 pug 以及stylus的渲染器, 请下载安装:1npm install hexo-renderer-pug hexo-renderer-stylus --saveor1yarn add hexo-renderer-pug hexo-renderer-stylus如果你之前不是使用 butterf ...
Hexo modify theme butterfly-pjax
最近两天花时间把 pjax 版 butterfly 主题也魔改了并开源, 其中配置和之前的魔改类似, (没有直达文章, 并且分类折叠魔改与原版合并). 传送门. 通过以下命令下载主题1git clone -b pjax git@github.com:yunwanjia-cloud/hexo-modify-theme-butterfly.git然后对照我之前写的 Hexo modify theme butterfly 写配置就行了 (主要是我懒得再写一遍, 因为偷懒我文章图片都不想再做一张) .
参数优化
推导最简单的策略梯度 我们考虑一个随机的, 参数化的策略\,\pi_{\theta}\,. 我们的目标是最大化期望回报 (还可以称为性能函数, 与损失函数意义相反)\,J(\pi_{\theta})=\mathop{\mathrm{E}}\limits_{\tau\sim \pi_{\theta}}[R(\tau)]\,. 这里使用有限无折损回报 (\,\textrm{finite-horizon undiscounted return}\,) 来推导, 但是无限有折损回报 (\,\textrm{infinite-horizon discounted return}\,) 的推导几乎是完全相同的. 我们会用梯度下降 (\,\textrm{gradient ascent}\,) 来优化策略的参数, 比如\theta_{k+1}=\theta_k+\alpha\nabla_{\theta}J(\pi_{\theta})|_{\theta_k}其中\,\nabla_{\theta}J(\pi_{\theta})|_{\theta_k}\,代表\,\theta\,取值为\,\theta_k ...
《机器学习》 西瓜书习题 第 6 章: 支持向量机
《机器学习》 西瓜书的课后习题参考答案.习题6.1 试证明样本空间中任意点\,\boldsymbol{x}\,到超平面\,(\boldsymbol{w}, b)\,的距离为式\,(6.2)\,. 设超平面为\,\ell(\boldsymbol{w}, b)\,,\,\boldsymbol{x}\,在\,\ell\,上的投影为\,\boldsymbol{x_0}\,, 离超平面的距离为\,r\,. 容易得\boldsymbol{w}\perp \ell\boldsymbol{x} = \boldsymbol{x_0} + r\frac{\boldsymbol{w}}{||\boldsymbol{w}||}\boldsymbol{w}^\mathrm{T}\boldsymbol{x_0} + b = 0则有\boldsymbol{x_0} = \boldsymbol{x} - r\frac{\boldsymbol{w}}{||\boldsymbol{w}||}\begin{aligned} \boldsymbol{w}^\mathrm{T}(\boldsymbol{x} - r\f ...
零成本制作随机图片 API
最近有小伙伴问我 api.yunist.cn 这个 API 是怎么做的, 其实非常简单, 用 LeanCloud 的免费实例做的, 废话不多说, 开干!准备创建账号及应用 先去 LeanCloud 注册个账号 (建议使用国际版, 这样绑定域名的时候不需要备案, 域名已经备案了的请无视) . 然后去控制台创建一个应用, 选择开发版, 名字就叫 image-api 吧.下载命令行工具 详情请看安装命令行工具.登录并初始化项目命令行输入1lean login登录, 然后按照提示选择区域并输入 LeanCloud 用户名和密码完成登录.然后随意创建一个新文件夹, 进入里面执行1lean init然后会输出大概类似下面的信息1234[?] Please select an app: 1) Valine-Admin 2) image-api =>输入 2 , 回车, 然后又会出现1234567[?] Please select a language 1) Node.js 2) Python 3) Java 4) PHP 5) Others =>输入 4 回车, 然后…123[ ...
Spinning Up 研究笔记 (一) - VPG
解决报错 代码文件在 spinup/alogs/pytorch/vpg/vpg.py . 我们尝试运行代码, 然后就报错了…12345678910...usage: ipykernel_launcher.py [-h] [--env_name ENV_NAME] [--render] [--lr LR]ipykernel_launcher.py: error: unrecognized arguments: -f xxxx.jsonAn exception has occurred, use %tb to see the full traceback.SystemExit: 2xxxx/anaconda3/lib/python3.7/site-packages/IPython/core/interactiveshell.py:xxxx: UserWarning: To exit: use 'exit', 'quit', or Ctrl-D. warn("To exit: use 'exit', 'quit', or Ctrl-D.", stacklevel=1)嗯, 先看篇这篇文章 ...
Intro to Policy Optimization 代码详解
本篇文章是 OpenAI Spinnging Up 中 Part 3: Intro to Policy Optimization 中代码的学习笔记, 原文在 https://spinningup.openai.com/en/latest/spinningup/rl_intro3.html , 代码在 https://github.com/openai/spinningup/blob/master/spinup/examples/pytorch/pg_math/1_simple_pg.py . 先给出代码123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117 ...
强化学习入门 Demo
Q Learning12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091import numpy as npimport pandas as pdimport timeimport IPythonlength = 4 # 道路长度epsilon = 0.9 # 贪心值a = [0, 1] # 动作Q_a = np.zeros([length + 1, len(a)]) # Q-a表alpha = 0.1gamma = 0.9game_over = False # 一轮游戏是否结束def print_environment(state): """打印环境""" str = '-' * state str += 'o' str += '-' * (length - s ...
一份 Pytorch API 指南
这份指南会将我遇到的 pytorch api 的作用都记录下来, 因此内容会不断更新. 某些非常常用并且简单的就不会在这里列出, 比如说 torch.tensor .torch.distributionstorch.distributions.categoricaltorch.distributions.categorical.CategoricalCLASS1torch.distributions.categorical.Categorical(probs=None, logits=None, validate_args=None)依据参数 probs 与 logits 来采样.例子:1234567891011m = Categorical(torch.tensor([0.25, 0.25, 0.25, 0.25]))m.sample() # 在 0, 1, 2, 3 中等概率采样输出: tensor(3)m = Categorical(torch.tensor([[0.25, 0.25, 0.25, 0.25], [0.25, 0.25, 0.25, 0.25]])) ...
