起因当然就是, UP 主以前还没当过 UP 主呢, 这会儿想剪个 MAD 啦.

经过是, 写了个简单脚本用 avconv + mencoder 剪出没有任何特效, 只是纯粹拼接原始片段的视频.

教训是 Linux 从来不缺乏图形界面软件, 只是... 缺乏比对应的命令行软件更优秀的图形界面软件.

这次实践, 基本原理是用 avconv (不要吐槽名字啊, 其实这软件很健全的) 对源视频进行分割, 然后用 mencoder 串联起来, 再配上音乐.

Ubuntu 上安装这些东西以及对应的转码器

apt-get install libav-tools libavcodec-extra-53 mencoder

(Windows 上也有 avconv 和 mencoder 和, 理论上也能这么搞)

直接运用上述工具, 跟一般 Linux 命令行软件一样的问题就是, 参数略复杂, 比如用 mencoder 合并视频

mencoder -ovc copy -o OUTPUT_FILE.mp4 INPUT_FILE INPUT_FILE INPUT_FILE ...

而用 avconv 从一个视频源文件中提取一段内容, 转压成 640x360 分辨率的 MP4 文件, 去掉声音, 要这么干

avconv -ss 00:00:10 -i INPUT_VIDEO_FILE -t 00:00:30 -vf "scale=640:360" -f mp4 -vcodec libx264 -an OUTPUT.mp4

上面 -ss 参数后面是开始时间, -t 参数后是剪出的片段长度. (因为视频流压缩的问题, 这两个时间都可能不精确)

对于制 MAD 来说一次要剪出上百个片段, 这么一个个手打再多的爱最后也是死路一条. 所以得换个方式, 选取一些相对容易的工具; 当然如果没有, 就造一个.

这个轮子构想的出发点是尽量简化对视频剪裁参数的编写. 因为制作 MAD 往往是从多个视频中混合剪出片段, 而且顺序不确定, 所以填写文件名还是太麻烦, 可以这么考虑

将所有源视频放在一个目录下, 文件名前面编号 (如果是同一部动画, 那么就是集数了)

由一个文件给出剪取顺序, 信息包括视频顺序编号, 场景开始时间, 场景长度; 为了让这个文件更容易维护, 也允许文件中有注释

剩下的参数只需要指定输入的音频文件路径和输出的最终文件路径即可

中间弄出来的片段都放临时文件目录好了

基于以上指导思想, 实作如下的 Python 函数

Posted at Mar 22 2014 - 13:03:30

Permanent Link: /p/518 Load full text

Post tags:

Python
视频剪辑

索引统计与 Python 字典

最近折腾索引引擎以及数据统计方面的工作比较多, 与 Python 字典频繁打交道, 至此整理一份此方面 API 的用法与坑法备案.

索引引擎的基本工作原理便是倒排索引, 即将一个文档所包含的文字反过来映射至文档; 这方面算法并没有太多花样可言, 为了增加效率, 索引数据尽可往内存里面搬, 此法可效王献之习书法之势, 只要把十八台机器内存全部塞满, 那么基本也就功成名就了. 而基本思路举个简单例子, 现在有以下文档 (分词已经完成) 以及其包含的关键词

doc_a: [word_w, word_x, word_y]
doc_b: [word_x, word_z]
doc_c: [word_y]

将其变换为

word_w -> [doc_a]
word_x -> [doc_a, doc_b]
word_y -> [doc_a, doc_c]
word_z -> [doc_b]

写成 Python 代码, 便是

doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']}
doc_b = {'id': 'b', 'words': ['word_x', 'word_z']}
doc_c = {'id': 'c', 'words': ['word_y']}

docs = [doc_a, doc_b, doc_c]
indices = dict()

for doc in docs:
    for word in doc['words']:
        if word not in indices:
            indices[word] = []
        indices[word].append(doc['id'])

print indices

不过这里有个小技巧, 就是对于判断当前词是否已经在索引字典里的分支

if word not in indices:
    indices[word] = []

可以被 dict 的 setdefault(key, default=None) 接口替换. 此接口的作用是, 如果 key 在字典里, 那么好说, 拿出对应的值来; 否则, 新建此 key, 且设置默认对应值为 default. 但从设计上来说, 我不明白为何 default 有个默认值 None, 看起来并无多大意义, 如果确要使用此接口, 大体都会自带默认值吧, 如下

for doc in docs:
    for word in doc['words']:
        indices.setdefault(word, []).append(doc['id'])

这样就省掉分支了, 代码看起来少很多.
不过在某些情况下, setdefault 用起来并不顺手: 当 default 值构造很复杂时, 或产生 default 值有副作用时, 以及一个之后会说到的情况; 前两种情况一言以蔽之, 就是 setdefault 不适用于 default 需要惰性求值的场景. 换言之, 为了兼顾这种需求, setdefault 可能会设计成

def setdefault(self, key, default_factory):
    if key not in self:
        self[key] = default_factory()
    return self[key]

倘若真如此, 那么上面的代码应改成

for doc in docs:
    for word in doc['words']:
        indices.setdefault(word, list).append(doc['id'])

Posted at Jan 01 2014 - 05:16:40

Permanent Link: /p/517 Load full text

Post tags:

Data Structure
Python

简易配置 gunicorn

引子

单纯 gevent 跟 nodejs 一样有个问题是如果服务器有大的同步计算 (比如压缩一张图片什么的) 需求时, 服务器会很卡. 这也不能怪它们, 因为本来它们的长处是 IO 异步化, 同步计算卡住是缺陷特性之一.
然, 或荐~~基独搅受~~ gunicorn 以解此困. 只是其首页上例子意味不明, 各种文档文章都说要编写一些离奇复杂的配置文件, 然后跑个语焉不详的 hello world, 并没能明示重点问题.

正文

嘛, 一番探索之后配了下面一个用例 (Flask)

import time
import flask

app = flask.Flask(__name__)

@app.route('/<int:n>')
def root(n):
    time.sleep(2)
    i = n / 2
    while 1 < i:
        if n % i == 0:
            return 'not prime'
        i -= 1
    return 'prime'

if __name__ == '__main__':
    app.run(port=8000)

这个例子里面兼顾了长 IO (用睡眠去模拟) 跟大计算 (算请求的数是不是个素数). 把这货在控制台裸着启动起来, 然后用 apache benchmark 来一发 (如果觉得后面请求参数里那个素数不够大, 可以自行算一个大的替换)

ab -n 500 -c 50 localhost:8000/16785407

当然了, -c 50 这个参数纯是卖萌的, 因为上面这代码自身根本异步不起来. 结果自然是惨不忍睹, 重点两行在测试机上表现如下

Time per request:       131417.472 [ms] (mean)
Time per request:       2628.349 [ms] (mean, across all concurrent requests)

平均单个请求耗时 2.6 秒以上, 其中 2 秒是睡过去的, 剩下 0.6 秒是计算. 也就是说 IO 时间与计算时间大概的比例是 3:1.

安装 gunicorn 可以直接通过 pip 安装, 简单容易, 就不废话了. 下面上 gunicorn 平装版, 把上面的文件保存为 test.py, 在控制台中执行

gunicorn -w 4 test:app

这个是说, 开 4 个进程跑 test 模块下的 app (就是文件里全局定义的 app 变量啦). 现在再开 ab 来一炮 (参数完全相同), 结果是

Time per request:       33150.026 [ms] (mean)
Time per request:       663.001 [ms] (mean, across all concurrent requests)

    从结果上来看差不多就是裸跑的 1/4 了, 因为开了 4 个进程一起搅嘛.

    虽然有 4 个进程睡睡醒醒轮番搞, 但没有异步 IO 的支持, 进程睡着就不干事了. 作为要榨干 worker 进程以及 CPU 使用率的系统管理员来说这可不能忍, 于是继续折腾个 gevent 进去好了, 两者互补, 相得益彰.
    不过用 gunicorn 就不需要在文件最开始打猴子补丁了, gunicorn 有个参数直接让 gevent 嵌入进程

gunicorn -w 4 -k gevent test:app

再来一发 ab, 结果是

Time per request:       9724.214 [ms] (mean)
Time per request:       194.484 [ms] (mean, across all concurrent requests)

嘛, 算是还看得过去的数据了.

补充说明

绑定其它端口

Posted at Oct 30 2013 - 07:29:13

Permanent Link: /p/516 Load full text

Post tags:

Python
Flask
Web Server
Gevent
Gunicorn

记一些 (没) 有意义的 reduce 用法

在 Python 或 Javascript 等许多语言中都有 reduce 函数. 其中 Python 中 reduce 作为全局函数出现, 而 Javascript 中则是 Array 的成员函数. 大量的用 reduce 来做累加累乘之类的例子就不说了, 这里探讨一个特殊的用例.
前端经常会需要将页面中用户填写的一些内容打包成 JSON 字典, 比如一个注册页面片段

<div>
    <input id='email' placeholder='Email'>
    <input id='password' placeholder='Password'>
    <input id='conform_password' placeholder='Confirm Password'>
    <input id='address' placeholder='Address'>
    <input id='phonenum' placeholder='Phone Number'>
    <button id='subm'>Submit</button>
</div>

<script>
document.getElementById('subm').onclick = function() {
    var inputValues = {
        email: document.getElementById('email').value,
        password: document.getElementById('password').value,
        address: document.getElementById('address').value,
        phonenum: document.getElementById('phonenum').value
    };
    /* process inputValues */
};
</script>

以后每次这个表单多一项时, 构造 inputValues 时就会多一项, 代码维护会很烦.
如果能这样写的话可能会好一些

var inputValues = {k: document.getElementById(k).value
                   for k in ['email', 'password', 'address', 'phonenum']};

可惜 Javascript 里面没有温暖人心的 dict comprehension... 于是, 就有了下面这种 reduce 替代品 (终于正题了)

var inputValues = ['email', 'password', 'address', 'phonenum'].reduce(
    function(obj, item) {
        obj[item] = document.getElementById(item).value;
        return obj;
    }, {}));

Posted at Sep 30 2013 - 03:26:41

Permanent Link: /p/515 Load full text

Post tags:

Javascript
函数式程序设计
Python

Flask / MongoDB 搭建简易图片服务器

前期准备

通过 pip 或 easy_install 安装了 pymongo 之后, 就能通过 Python 调教 mongodb 了.
接着安装个 flask 用来当 web 服务器.
当然 mongo 也是得安装的. 对于 Ubuntu 用户, 特别是使用 Server 12.04 的同学, 安装最新版要略费些周折, 具体说是

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10 echo 'deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen' | sudo tee /etc/apt/sources.list.d/mongodb.list sudo apt-get update sudo apt-get install mongodb-10gen

如果你跟我一样觉得让通过上传文件名的后缀判别用户上传的什么文件完全是捏着山药当小黄瓜一样欺骗自己, 那么最好还准备个 Pillow 库

pip install Pillow

或 (更适合 Windows 用户)

easy_install Pillow

正片

Flask 文件上传

Flask 官网上那个例子居然分了两截让人无从吐槽. 这里先弄个最简单的, 无论什么文件都先弄上来

import flask

app = flask.Flask(__name__)
app.debug = True

@app.route('/upload', methods=['POST'])
def upload():
    f = flask.request.files['uploaded_file']
    print f.read()
    return flask.redirect('/')

@app.route('/')
def index():
    return '''
    <!doctype html>
    <html>
    <body>
    <form action='/upload' method='post' enctype='multipart/form-data'>
         <input type='file' name='uploaded_file'>
         <input type='submit' value='Upload'>
    </form>
    '''

if __name__ == '__main__':
    app.run(port=7777)

注: 在 upload 函数中, 使用 flask.request.files[KEY] 获取上传文件对象, KEY 为页面 form 中 input 的 name 值

因为是在后台输出内容, 所以测试最好拿纯文本文件来测.

保存到 mongodb

如果不那么讲究的话, 最快速基本的存储方案里只需要

Posted at Sep 07 2013 - 04:10:57

Permanent Link: /p/514 Load full text

Post tags:

Python
Web Server
Flask
Tutorial
MongoDB

PLY 构造词法分析工具

PLY 需要安装一份. 可以直接通过 pip 安装

# pip install ply

这东西并非一个扩展的正则表达式工具, 而是一个完备的编译器构造工具, 不过这篇文章只打算讨论其词法分析器构造部分.

基本例子

PLY 很魔法的一点是它使用到了模块内部反射. 也就是说在产生一个词法分析器时, 并不是把词法规则传递给 PLY 的接口, 而是依次将一些指定名字的变量或函数定义在 py 文件中.
下面给出第一个例子, 从文本中抓出十进制数值.

import ply.lex

tokens = (
    'NUMBER',
)

t_NUMBER = r'\d*[.]?\d+'

def t_error(t):
    t.lexer.skip(1)

ply.lex.lex()
ply.lex.input('''
    The Chinese mathematician Zu Chongzhi, around 480 AD, calculated that
        pi ~= 355/113
    (a fraction that goes by the name Milv in Chinese), using Liu Hui's
    algorithm applied to a 12288-sided polygon. With a correct value for its
    seven first decimal digits, this value of 3.141592920... remained the most
    accurate approximation of pi available for the next 800 years.

    <From Wikipedia:Pi>
''')

for token in iter(ply.lex.token, None):
    print token.type, token.value

输出

NUMBER 480 NUMBER 355 NUMBER 113 NUMBER 12288 NUMBER 3.141592920 NUMBER 800

上面的代码有这么一些要点

文件中定义了 tokens 表示可能的词元类型; 在官方例子中, 其中的取值通常以全大写的形式出现
定义词元规则 t_NUMBER, 其名字是 token 变量中的成员 'NUMBER' 加上前缀 t_; 在构造词法分析器时, PLY 会将以 t_ 开头的所有定义收集起来
词元规则 t_NUMBER 的取值是正则表达式, 用来匹配所有的数值
定义 t_error 函数, 如果什么奇怪的东西混进来, 这个函数会被调用; 不过现在只是抓取数值, 无视其它符号, 所以实现只是跳过一个字符 (skip 的参数是字符数量)
调用 ply.lex.lex 构造词法分析器
调用 ply.lex.input 喂一些输入进去
从 ply.lex.token 获得词法分析的结果

利用分词输出

从这个基本例子迈向一个用于简单表达式计算的词法分析器并不困难. 如果按照之前一篇文章里所演示的那个功能 (请将该文章中最后一段代码保存在 expr_eval.py 中以供这次使用), 需要至少以下这些词元类型

二元算符 */^
二元或一元算符 +-
括号
整数

Posted at Aug 03 2013 - 11:18:01

Permanent Link: /p/513 Load full text

Post tags:

Compiler Construction
Python
Tutorial
PLY

越俎代庖 - 文件系统权限设置与进程的用户身份

首先提一个问题, 为何用 sudo 执行需要 root 权限的程序时, 输入的是当前用户的口令而不是 root 的?

看一下 sudo 的 manpage, 描述是 "execute a command as another user". 注意并不一定是以 root 身份跑程序, 而是可以用任何其他身份. 这做好事不留名干坏事不怕差评利器真是太方便了. 比如, 偷偷输出某个用户的 SSH RSA 私钥之类的. 在桌面机上很少有人会建多个用户, 那么现在创建一个 (建议接下来的试验都新建用户进行, 避免遗留安全隐患; 另外, 当前用户必须已经被添加到 sudo 白名单中)

$ sudo useradd -m furude
$ sudo passwd furude # 这一步最好设置一个与当前用户不同的口令
$ su - furude
furude $

这样切换到试验用户身份, 然后创建 ssh key, 并确认生成的密钥

$ ssh-keygen
Generating public/private rsa key pair.

Enter file in which to save the key (/home/furude/.ssh/id_rsa): Created directory '/home/furude/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/furude/.ssh/id_rsa.
Your public key has been saved in /home/furude/.ssh/id_rsa.pub.
The key fingerprint is:
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
The keys randomart image is:
+--[ RSA 2048]----+
| ............... |
+-----------------+
$ ls .ssh
id_rsa	id_rsa.pub

现在另开一个 shell, 以非 furude 身份登入, 执行

$ ls /home/furude/.ssh

会看到错误, 不允许列举该目录. 这是当然了, 要是连密钥都能随便看, 就没什么安全感了.

下面就轮到 sudo 登场了. 还是当前用户身份登入, 执行

$ sudo ls /home/furude/.ssh
id_rsa	id_rsa.pub
$ sudo -u furude ls /home/furude/.ssh
id_rsa	id_rsa.pub
$ sudo -u `whoami` ls /home/furude/.ssh
ls: cannot open directory /home/furude/.ssh/: Permission denied

第一个是以 root 身份执行, root 最大嘛, 所以当然可以毫无压力偷看一切文件或目录了; 接下来 -u furude 参数则是指定以 furude 这个用户身份执行, 自己当然可以看自己的东西了; 最后一个则仍然是以当前用户身份执行, 所以被驳回了.
在上面试验中, 即使以 furude 的身份使用 sudo, 要求输入的口令仍然是当前用户的口令而不是 furude 用户的 (最好新开一个终端试试, 连续使用 sudo 时口令会被缓存下来). 那么, 开头的问题应该是这样的

为何用 sudo 临时以另一用户身份执行程序时, 要求输入的是当前用户的口令, 而不是被指定的那个用户?

Posted at May 11 2013 - 15:49:33

Permanent Link: /p/512 Load full text

Post tags:

C
文件系统
进程
权限

ASCII Art 字体 Tukasans

Posted at May 11 2013 - 15:38:41

Permanent Link: /p/511 Load full text

Post tags:

ASCII Art
Font

0 Page 1 2 3 4 5 6 7 8 9 10 11 12

就算是 Linux 命令行只要有爱就能剪辑 MAD 了吧起因当然就是, UP 主以前还没当过 UP 主呢, 这会儿想剪个 MAD 啦. 经过是, 写了个简单脚本用 avconv + mencoder 剪出没有任何特效, 只是纯粹拼接原始片段的视频. 教训是 Linux 从来不缺乏图形界面软件, 只是... 缺乏比对应的命令行软件更优秀的图形界面软件. 这次实践, 基本原理是用 avconv (不要吐槽名字啊, 其实这软件很健全的) 对源视频进行分割, 然后用 mencoder 串联起来, 再配上音乐. Ubuntu 上安装这些东西以及对应的转码器 `apt-get install libav-tools libavcodec-extra-53 mencoder` (Windows 上也有 avconv 和 mencoder 和, 理论上也能这么搞) 直接运用上述工具, 跟一般 Linux 命令行软件一样的问题就是, 参数略复杂, 比如用 mencoder 合并视频 `mencoder -ovc copy -o OUTPUT_FILE.mp4 INPUT_FILE INPUT_FILE INPUT_FILE ...` 而用 avconv 从一个视频源文件中提取一段内容, 转压成 640x360 分辨率的 MP4 文件, 去掉声音, 要这么干 `avconv -ss 00:00:10 -i INPUT_VIDEO_FILE -t 00:00:30 -vf "scale=640:360" -f mp4 -vcodec libx264 -an OUTPUT.mp4` 上面 `-ss` 参数后面是开始时间, `-t` 参数后是剪出的片段长度. (因为视频流压缩的问题, 这两个时间都可能不精确) 对于制 MAD 来说一次要剪出上百个片段, 这么一个个手打再多的爱最后也是死路一条. 所以得换个方式, 选取一些相对容易的工具; 当然如果没有, 就造一个. 这个轮子构想的出发点是尽量简化对视频剪裁参数的编写. 因为制作 MAD 往往是从多个视频中混合剪出片段, 而且顺序不确定, 所以填写文件名还是太麻烦, 可以这么考虑将所有源视频放在一个目录下, 文件名前面编号 (如果是同一部动画, 那么就是集数了) 由一个文件给出剪取顺序, 信息包括视频顺序编号, 场景开始时间, 场景长度; 为了让这个文件更容易维护, 也允许文件中有注释剩下的参数只需要指定输入的音频文件路径和输出的最终文件路径即可中间弄出来的片段都放临时文件目录好了基于以上指导思想, 实作如下的 Python 函数 Posted at Mar 22 2014 - 13:03:30 Permanent Link: /p/518 Load full text	Post tags: Python 视频剪辑
索引统计与 Python 字典最近折腾索引引擎以及数据统计方面的工作比较多, 与 Python 字典频繁打交道, 至此整理一份此方面 API 的用法与坑法备案. 索引引擎的基本工作原理便是倒排索引, 即将一个文档所包含的文字反过来映射至文档; 这方面算法并没有太多花样可言, 为了增加效率, 索引数据尽可往内存里面搬, 此法可效王献之习书法之势, 只要把十八台机器内存全部塞满, 那么基本也就功成名就了. 而基本思路举个简单例子, 现在有以下文档 (分词已经完成) 以及其包含的关键词 doc_a: [word_w, word_x, word_y] doc_b: [word_x, word_z] doc_c: [word_y] 将其变换为 word_w -> [doc_a] word_x -> [doc_a, doc_b] word_y -> [doc_a, doc_c] word_z -> [doc_b] 写成 Python 代码, 便是 `doc_a = {'id': 'a', 'words': ['word_w', 'word_x', 'word_y']} doc_b = {'id': 'b', 'words': ['word_x', 'word_z']} doc_c = {'id': 'c', 'words': ['word_y']} docs = [doc_a, doc_b, doc_c] indices = dict() for doc in docs: for word in doc['words']: if word not in indices: indices[word] = [] indices[word].append(doc['id']) print indices` 不过这里有个小技巧, 就是对于判断当前词是否已经在索引字典里的分支 `if word not in indices: indices[word] = []` 可以被 `dict` 的 `setdefault(key, default=None)` 接口替换. 此接口的作用是, 如果 `key` 在字典里, 那么好说, 拿出对应的值来; 否则, 新建此 `key`, 且设置默认对应值为 `default`. 但从设计上来说, 我不明白为何 `default` 有个默认值 `None`, 看起来并无多大意义, 如果确要使用此接口, 大体都会自带默认值吧, 如下 `for doc in docs: for word in doc['words']: indices.setdefault(word, []).append(doc['id'])` 这样就省掉分支了, 代码看起来少很多. 不过在某些情况下, `setdefault` 用起来并不顺手: 当 `default` 值构造很复杂时, 或产生 `default` 值有副作用时, 以及一个之后会说到的情况; 前两种情况一言以蔽之, 就是 `setdefault` 不适用于 `default` 需要惰性求值的场景. 换言之, 为了兼顾这种需求, `setdefault` 可能会设计成 `def setdefault(self, key, default_factory): if key not in self: self[key] = default_factory() return self[key]` 倘若真如此, 那么上面的代码应改成 `for doc in docs: for word in doc['words']: indices.setdefault(word, list).append(doc['id'])` Posted at Jan 01 2014 - 05:16:40 Permanent Link: /p/517 Load full text	Post tags: Data Structure Python
简易配置 gunicorn 引子单纯 gevent 跟 nodejs 一样有个问题是如果服务器有大的同步计算 (比如压缩一张图片什么的) 需求时, 服务器会很卡. 这也不能怪它们, 因为本来它们的长处是 IO 异步化, 同步计算卡住是缺陷特性之一. 然, 或荐~~基独搅受~~ gunicorn 以解此困. 只是其首页上例子意味不明, 各种文档文章都说要编写一些离奇复杂的配置文件, 然后跑个语焉不详的 hello world, 并没能明示重点问题. 正文嘛, 一番探索之后配了下面一个用例 (Flask) `import time import flask app = flask.Flask(__name__) @app.route('/<int:n>') def root(n): time.sleep(2) i = n / 2 while 1 < i: if n % i == 0: return 'not prime' i -= 1 return 'prime' if __name__ == '__main__': app.run(port=8000)` 这个例子里面兼顾了长 IO (用睡眠去模拟) 跟大计算 (算请求的数是不是个素数). 把这货在控制台裸着启动起来, 然后用 apache benchmark 来一发 (如果觉得后面请求参数里那个素数不够大, 可以自行算一个大的替换) `ab -n 500 -c 50 localhost:8000/16785407` 当然了, `-c 50` 这个参数纯是卖萌的, 因为上面这代码自身根本异步不起来. 结果自然是惨不忍睹, 重点两行在测试机上表现如下 `Time per request: 131417.472 [ms] (mean) Time per request: 2628.349 [ms] (mean, across all concurrent requests)` 平均单个请求耗时 2.6 秒以上, 其中 2 秒是睡过去的, 剩下 0.6 秒是计算. 也就是说 IO 时间与计算时间大概的比例是 3:1. 安装 gunicorn 可以直接通过 pip 安装, 简单容易, 就不废话了. 下面上 gunicorn 平装版, 把上面的文件保存为 test.py, 在控制台中执行 `gunicorn -w 4 test:app` 这个是说, 开 4 个进程跑 test 模块下的 `app` (就是文件里全局定义的 `app` 变量啦). 现在再开 ab 来一炮 (参数完全相同), 结果是 `Time per request: 33150.026 [ms] (mean) Time per request: 663.001 [ms] (mean, across all concurrent requests)` 从结果上来看差不多就是裸跑的 1/4 了, 因为开了 4 个进程一起搅嘛. 虽然有 4 个进程睡睡醒醒轮番搞, 但没有异步 IO 的支持, 进程睡着就不干事了. 作为要榨干 worker 进程以及 CPU 使用率的系统管理员来说这可不能忍, 于是继续折腾个 gevent 进去好了, 两者互补, 相得益彰. 不过用 gunicorn 就不需要在文件最开始打猴子补丁了, gunicorn 有个参数直接让 gevent 嵌入进程 `gunicorn -w 4 -k gevent test:app` 再来一发 ab, 结果是 `Time per request: 9724.214 [ms] (mean) Time per request: 194.484 [ms] (mean, across all concurrent requests)` 嘛, 算是还看得过去的数据了. 补充说明绑定其它端口 Posted at Oct 30 2013 - 07:29:13 Permanent Link: /p/516 Load full text	Post tags: Python Flask Web Server Gevent Gunicorn
记一些 (没) 有意义的 `reduce` 用法在 Python 或 Javascript 等许多语言中都有 `reduce` 函数. 其中 Python 中 `reduce` 作为全局函数出现, 而 Javascript 中则是 `Array` 的成员函数. 大量的用 `reduce` 来做累加累乘之类的例子就不说了, 这里探讨一个特殊的用例. 前端经常会需要将页面中用户填写的一些内容打包成 JSON 字典, 比如一个注册页面片段 <div> <input id='email' placeholder='Email'> <input id='password' placeholder='Password'> <input id='conform_password' placeholder='Confirm Password'> <input id='address' placeholder='Address'> <input id='phonenum' placeholder='Phone Number'> <button id='subm'>Submit</button> </div> <script> document.getElementById('subm').onclick = function() { var inputValues = { email: document.getElementById('email').value, password: document.getElementById('password').value, address: document.getElementById('address').value, phonenum: document.getElementById('phonenum').value }; /* process inputValues */ }; </script> 以后每次这个表单多一项时, 构造 `inputValues` 时就会多一项, 代码维护会很烦. 如果能这样写的话可能会好一些 `var inputValues = {k: document.getElementById(k).value for k in ['email', 'password', 'address', 'phonenum']};` 可惜 Javascript 里面没有温暖人心的 dict comprehension... 于是, 就有了下面这种 `reduce` 替代品 (终于正题了) `var inputValues = ['email', 'password', 'address', 'phonenum'].reduce( function(obj, item) { obj[item] = document.getElementById(item).value; return obj; }, {}));` Posted at Sep 30 2013 - 03:26:41 Permanent Link: /p/515 Load full text	Post tags: Javascript 函数式程序设计 Python
Flask / MongoDB 搭建简易图片服务器前期准备通过 pip 或 easy_install 安装了 pymongo 之后, 就能通过 Python 调教 mongodb 了. 接着安装个 flask 用来当 web 服务器. 当然 mongo 也是得安装的. 对于 Ubuntu 用户, 特别是使用 Server 12.04 的同学, 安装最新版要略费些周折, 具体说是 `sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 7F0CEB10 echo 'deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen' \| sudo tee /etc/apt/sources.list.d/mongodb.list sudo apt-get update sudo apt-get install mongodb-10gen` 如果你跟我一样觉得让通过上传文件名的后缀判别用户上传的什么文件完全是捏着山药当小黄瓜一样欺骗自己, 那么最好还准备个 Pillow 库 `pip install Pillow` 或 (更适合 Windows 用户) `easy_install Pillow` 正片 Flask 文件上传 Flask 官网上那个例子居然分了两截让人无从吐槽. 这里先弄个最简单的, 无论什么文件都先弄上来 import flask app = flask.Flask(__name__) app.debug = True @app.route('/upload', methods=['POST']) def upload(): f = flask.request.files['uploaded_file'] print f.read() return flask.redirect('/') @app.route('/') def index(): return ''' <!doctype html> <html> <body> <form action='/upload' method='post' enctype='multipart/form-data'> <input type='file' name='uploaded_file'> <input type='submit' value='Upload'> </form> ''' if __name__ == '__main__': app.run(port=7777) 注: 在 `upload` 函数中, 使用 `flask.request.files[KEY]` 获取上传文件对象, KEY 为页面 form 中 input 的 name 值因为是在后台输出内容, 所以测试最好拿纯文本文件来测. 保存到 mongodb 如果不那么讲究的话, 最快速基本的存储方案里只需要 Posted at Sep 07 2013 - 04:10:57 Permanent Link: /p/514 Load full text	Post tags: Python Web Server Flask Tutorial MongoDB
PLY 构造词法分析工具 PLY 需要安装一份. 可以直接通过 pip 安装 `# pip install ply` 这东西并非一个扩展的正则表达式工具, 而是一个完备的编译器构造工具, 不过这篇文章只打算讨论其词法分析器构造部分. 基本例子 PLY 很魔法的一点是它使用到了模块内部反射. 也就是说在产生一个词法分析器时, 并不是把词法规则传递给 PLY 的接口, 而是依次将一些指定名字的变量或函数定义在 py 文件中. 下面给出第一个例子, 从文本中抓出十进制数值. import ply.lex tokens = ( 'NUMBER', ) t_NUMBER = r'\d[.]?\d+' def t_error(t): t.lexer.skip(1) ply.lex.lex() ply.lex.input(''' The Chinese mathematician Zu Chongzhi, around 480 AD, calculated that pi ~= 355/113 (a fraction that goes by the name Milv in Chinese), using Liu Hui's algorithm applied to a 12288-sided polygon. With a correct value for its seven first decimal digits, this value of 3.141592920... remained the most accurate approximation of pi available for the next 800 years. <From Wikipedia:Pi> ''') for token in iter(ply.lex.token, None): print token.type, token.value 输出 `NUMBER 480 NUMBER 355 NUMBER 113 NUMBER 12288 NUMBER 3.141592920 NUMBER 800` 上面的代码有这么一些要点文件中定义了 `tokens` 表示可能的词元类型; 在官方例子中, 其中的取值通常以全大写的形式出现定义词元规则 `t_NUMBER`, 其名字是 `token` 变量中的成员 `'NUMBER'` 加上前缀 `t_`; 在构造词法分析器时, PLY 会将以 `t_` 开头的所有定义收集起来词元规则 `t_NUMBER` 的取值是正则表达式, 用来匹配所有的数值定义 `t_error` 函数, 如果什么奇怪的东西混进来, 这个函数会被调用; 不过现在只是抓取数值, 无视其它符号, 所以实现只是跳过一个字符 (`skip` 的参数是字符数量) 调用 `ply.lex.lex` 构造词法分析器调用 `ply.lex.input` 喂一些输入进去从 `ply.lex.token` 获得词法分析的结果利用分词输出从这个基本例子迈向一个用于简单表达式计算的词法分析器并不困难. 如果按照之前一篇文章里所演示的那个功能 (请将该文章中最后一段代码保存在 expr_eval.py 中以供这次使用), 需要至少以下这些词元类型二元算符 /^ 二元或一元算符 +- 括号整数 Posted at Aug 03 2013 - 11:18:01 Permanent Link: /p/513 Load full text	Post tags: Compiler Construction Python Tutorial PLY
越俎代庖 - 文件系统权限设置与进程的用户身份首先提一个问题, 为何用 `sudo` 执行需要 root 权限的程序时, 输入的是当前用户的口令而不是 root 的? 看一下 `sudo` 的 manpage, 描述是 "execute a command as another user". 注意并不一定是以 `root` 身份跑程序, 而是可以用任何其他身份. 这做好事不留名干坏事不怕差评利器真是太方便了. 比如, 偷偷输出某个用户的 SSH RSA 私钥之类的. 在桌面机上很少有人会建多个用户, 那么现在创建一个 (建议接下来的试验都新建用户进行, 避免遗留安全隐患; 另外, 当前用户必须已经被添加到 `sudo` 白名单中) `$ sudo useradd -m furude $ sudo passwd furude # 这一步最好设置一个与当前用户不同的口令 $ su - furude furude $` 这样切换到试验用户身份, 然后创建 ssh key, 并确认生成的密钥 $ ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/home/furude/.ssh/id_rsa): Created directory '/home/furude/.ssh'. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/furude/.ssh/id_rsa. Your public key has been saved in /home/furude/.ssh/id_rsa.pub. The key fingerprint is: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx The keys randomart image is: +--[ RSA 2048]----+ \| ............... \| +-----------------+ $ ls .ssh id_rsa id_rsa.pub 现在另开一个 shell, 以非 furude 身份登入, 执行 `$ ls /home/furude/.ssh` 会看到错误, 不允许列举该目录. 这是当然了, 要是连密钥都能随便看, 就没什么安全感了. 下面就轮到 `sudo` 登场了. 还是当前用户身份登入, 执行 $ sudo ls /home/furude/.ssh id_rsa id_rsa.pub $ sudo -u furude ls /home/furude/.ssh id_rsa id_rsa.pub $ sudo -u `whoami` ls /home/furude/.ssh ls: cannot open directory /home/furude/.ssh/: Permission denied 第一个是以 root 身份执行, root 最大嘛, 所以当然可以毫无压力偷看一切文件或目录了; 接下来 `-u furude` 参数则是指定以 furude 这个用户身份执行, 自己当然可以看自己的东西了; 最后一个则仍然是以当前用户身份执行, 所以被驳回了. 在上面试验中, 即使以 furude 的身份使用 `sudo`, 要求输入的口令仍然是当前用户的口令而不是 furude 用户的 (最好新开一个终端试试, 连续使用 `sudo` 时口令会被缓存下来). 那么, 开头的问题应该是这样的为何用 `sudo` 临时以另一用户身份执行程序时, 要求输入的是当前用户的口令, 而不是被指定的那个用户? Posted at May 11 2013 - 15:49:33 Permanent Link: /p/512 Load full text	Post tags: C 文件系统进程权限
ASCII Art 字体 Tukasans Posted at May 11 2013 - 15:38:41 Permanent Link: /p/511 Load full text	Post tags: ASCII Art Font
0 Page 1 2 3 4 5 6 7 8 9 10 11 12

	Back to Bit Focus
	NijiPress - Copyright (C) Neuron Teckid @ Bit Focus
	About this site

Bit Focus

引子

正文

补充说明

绑定其它端口

前期准备

正片

Flask 文件上传

保存到 mongodb

基本例子

利用分词输出