本文通过四点来说明：

1. 搜索引擎需要提前获取数据，并对数据做格式化处理。

搜索引擎不可能在得到搜索指令后，现场从互联网上抓取数据返回给客户，原因如下

1.1 他获取网络资源的方式大概有2类：

• 根据一些种子网址，遍历递归每个url，逐渐扩充网址库。
• 接受每个站长的推送网址，当每个站点的信息增加后，站长可以把这个提交给各个搜索引擎。

当然搜索引擎也不是全面接收的，他们有自己的录入标准。这个过程不能保证URL没有遗漏。

1.2 搜索引擎有了网址库，接下来就要用爬虫爬取了。

由于数量巨大，一般要分地区网口，分机器，分时爬取。经过漫长的爬取，然后保存网页到他们的服务器，如百度快照。

由于有的网站

Read more

场景

厂家需要做一批产品，每个产品有多个指标。为了对比加工过效果，通过不同的渠道或工艺来实现。

每种工艺的质量统计结果保存一个表格，每个表格有多个衡量指标，每个指标放在每一列，第一行是指标名。

厂家根据统计结果来判断产品的性能定位和工艺的选取。

代码

1. 绘图函数

def plot_bar(pdobjs, colname, barnames, bartot, tspace):
    """
    :param pdobjs: pandas的绘图数据 
    :param colname: 绘图指标名
    :param barnames: 不同bar的名

Read more

问题

web应用本地调试无问题。发布后网页加载不全，只能显示一部分元素。

现象

F12查看浏览器后加载的元素后，发现ajax数据加载不全，js部分也没有加载，但有的页面是好的。 逐步筛查到生产环境的nginx。

cat /var/log/nginx/error.log
open() "/var/lib/nginx/tmp/proxy/8/02/0000000028" failed (13: Permission denied) while reading upstream

原因

需要修复权限不足的问题，尝试过在配置文件中使用 代码账号、nginx账号、root账号 代码

Read more

1- 本文基于centos7环境搭建自己的邮箱服务器

2- 基本组件 postfix、dovecot

Postfix是一个标准的MTA服务器，它负责通过SMTP协议管理发送到本机的邮件以及由本机发向外界的邮件

Dovecot是一个优秀的IMAP/POP服务器，用以接收外界发送到本机的邮件。

3- 安装

yum install -y pcre pcre-devel
yum install -y postfix
yum install -y dovecot

4- 配置

4.1 postfix

vim /etc/postfix/main.cf
myhostname = server.mydoma

Read more