利用python——从题库得到得到随机试卷

代码思路:

1、读取 txt 文档,文件基本操作

2、遇到了 编码问题

这里用到了Unidode强制编码函数,将其转化为‘utf_8_sig’格式,经过实践证明可以。

这里说一下编码问题,Python2默认编码方式是ANSII码,遇到中文编码问题,网上解决方法如下:

(1) sys 设置 defaultencode,经过测试 python2.7版本不能用,python3.5可用
(2) 即下面代码的方法,强制编码,txt文件可在sublim/notebook转化为utf8编码的方式。

lis = unicode(lis, encoding='utf_8_sig' )
         lis.encode('utf-8') 

3.接下来,查找题目。

为了出题随机,我们随机提取的行数如下,其中line_start[i]为该部分最开始的行数

 p=random.randint(1,50)+line_start[i]

我们暂定为 往下 15行为文本提取的内容。(为什么是15行呢, 因为最长的题目不超过15行)

这里用到了正则表达式,题目的起始符号为 “ 数字+、”。

正则表达式,这里又遇到一个坑,这个坑是什么呢?大家可以试一试,中文的标点符号正则表达匹配不出来

原因是先要把待匹配的转化为utf8字符,再进行匹配,这里”、”这个符号的UTF8编码是u3001,具体代码如下:

这里 ww.S 即 re.S , 因为 我 import re as ww, 至于为什么这样,因为遇到了我也不知道的bug,说 re 不行,那就as W喽。

    lis = unicode(lis, encoding='utf_8_sig' )
      lis.encode('utf-8')
      lis=ww.findall(u"(\d+[\u3001].*?)\d+[\u3001]",lis,ww.S)

这样我们就得到了提取到的题目

4、题目分配算法

接下来,题目有很多部分,那么怎么划分呢?
按照权重来喽,为了确保

5、出题随机算法

为了确保题目覆盖范围,足够随机,可调整。
line_end是 该部分结束的行数,p是当前行数,counts 是总题目数,time_i是当前的题目数
这里的算法思路是,整体均衡,动态调整 。
p为行数,是决定当前题目的。为了随机,我们让p+随机数。

  imp=get_imp(line_end[i],p,counts[i],time_i)
            p=p+imp

为了均衡, imp 数学期望确保 = 总行数/题目数
那么如何动态调整呢,这里用到了梯度下降算法(这就有点装了,其实不过是一阶龙哥库塔,或者泰勒一阶展开,其实就是 y(t+Δt)=y+y(t)’*Δt,很简单。

ans=int((line_end-p)/counts

为了照顾大题少,小题多,大题靠后,这里稍微倾斜了一下。

def get_imp(line_end,p,counts,time_i):
    ans=int((line_end-p)/counts)
    if ans<3:
        ans=2
    if 1.0*time_i/counts<0.75:
        imp=random.randint(1,5*ans-1)
    else:
        imp=random.randint(1,ans-1)
    return imp

6、保存文件

这里使用时间名字进行保存,为了避免重复。

全部代码如下:


#coding=utf8
import random
import re as ww
import sys
import time
def re(lis):
    try:
       # type(lis)
        lis = unicode(lis, encoding='utf_8_sig' )
        lis.encode('utf-8')
        lis=ww.findall(u"(\d+[\u3001].*?)\d+[\u3001]",lis,ww.S)
        if len(lis)==0:
            for y in range(1,85):
                lis=lis+s[p+y]
            lis = unicode(lis, encoding='utf_8_sig' )
            lis.encode('utf-8')
            lis=ww.findall(u"(\d+[\u3001].*?)\d+[\u3001]",lis,ww.S)
            lis = unicode(lis, encoding='utf_8_sig')
        return lis[0]
    except:
        return "You are so fine that I cannot help missing u" 



def search(p):
    m=""
    if 331271:
        m="第一章 会计管理及反洗钱类 单选题"
    elif 12702147:
        m="第一章 会计管理及反洗钱类 多选题"
    elif 21462595:
        m="第一章 会计管理及反洗钱类 判断题"
    elif 25943086:
        m="第一章 会计管理及反洗钱类 简答题"
    elif 30853508:
        m="第二章 个人金融类 单选题"
    elif 35073772:
        m="第二章 个人金融类 多选题"
    elif 37743881:
        m="第二章 个人金融类 判断题"
    elif 38803953:
        m="第二章 个人金融类 简答题"
    return m
def get_lines():
    line_num=[3053,872,310,440,635]
    line_start=[0,3085,3952,4262,4701]
    line_end=[3086,3953,4263,4702,5333]
    return line_num,line_start,line_end
def get_count(n1,n2,n3,n4,n5,count):
    counts=[]
    sum_n=n1+n2+n3+n4+n5
    sum_n=sum_n*1.0
    counts.append(count-int(count*n2/sum_n)-int(count*n3/sum_n)-int(count*n4/sum_n)-int(count*n5/sum_n))
    counts.append(int(count*n2/sum_n))
    counts.append(int(count*n3/sum_n))
    counts.append(int(count*n4/sum_n))
    counts.append(int(count*n5/sum_n))
    return counts
def xiaohua():
    lisxiaohua=["Wanna to see U","You Guess~How much I miss U","我家慧慧可可爱了","I miss U ,like the sea","Sincerely,yours "]
    xhNum=random.randint(0,len(lisxiaohua)-1)
    xiaohua=lisxiaohua[xhNum]+"\n"
    return xiaohua
def get_imp(line_end,p,counts,time_i):
    ans=int((line_end-p)/counts)
    if ans<3:
        ans=2
    if 1.0*time_i/counts<0.75:
        imp=random.randint(1,5*ans-1)
    else:
        imp=random.randint(1,ans-1)
    return imp
def ma(n1,n2,n3,n4,n5,count,part):
    str1=time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))
    str2=str1.replace(':','_')
    str1="测试时间".decode('utf8')+str2+".txt"
    ff = open(str1,'w')
    ff.close()
    ff = open(str1,'w')
    counts=get_count(n1,n2,n3,n4,n5,count)
    unicode_str = unicode('中文', encoding='utf_8_sig' )
    print unicode_str.encode('utf-8')
    default_encoding = 'utf8'
    if sys.getdefaultencoding() != default_encoding:
        print sys.getdefaultencoding() 
    f=open('TIKU.txt','r')
    s=f.readlines()
    print len(s)
    l=1
    line_num,line_start,line_end=get_lines() 
    for i in range(0,part):
        time_i=0
 #       print "温州银行考试\n"
       # print "************************SECRET*************************\n"
        #print "第"+str(i+1)+"部分"+" 题目数量"+str(counts[i])+"\n"
        #print "************************SECRET*************************\n"
        ff.writelines("************************SECRET*************************\n")
        ff.writelines("第"+str(i+1)+"部分"+" 题目数量"+str(counts[i])+"\n")
        ff.writelines("************************SECRET*************************\n") 
        if i == 0 :
            p=random.randint(28,88)
        else :
            p=random.randint(1,50)+line_start[i]
        lenth=line_end[i]  
        while(pand time_i""
            q=s[p]
            try:
                for y in range(1,20):
                    if p+y>len(s):
                        lis = "天荒地老"
                    else :
                        lis=lis+s[p+y]
            except:
                lis=q
            m=search(p)
            number="\n"+"第"+str(l)+"题"+" "+m+"\n"
            lis=re(lis)
            a=''
            for tt in range(len(lis)):
                a+=str(lis[tt].encode('utf8'))
           # print number
            #print lis
            ff.writelines(number)
            ff.writelines("\n"+a+"\n")
            if l%3==0:
                if random.randint(0,10)>6:     
                    xh=xiaohua()
                   # print xh
                    ff.writelines(xh+"\n")
                if l%30==0:
                   # print "小慧慧,休息一下啦\n"
                    ff.writelines("小慧慧,休息一下啦\n")
            l=l+1  
            #imp=importance(n1,n2,n3,n4,count)
            imp=get_imp(line_end[i],p,counts[i],time_i)
            p=p+imp
            time_i=time_i+1
    ff.close()
def mam(p): 
    for i in range(0,p):
        ma(80,40,30,15,15,100,5)
        time.sleep(1)
        print i
mam(10)

PS.过两天我会上传另外一个版本,是简单的数学问题。希望实现百词斩的算法。如果时间充足,搞一个基于机器学习的简单的分类器。目前计划:

0、提取题目,将题目分类。小包括数字个数,类划分使用特征词汇的方法。

1、将题目存入数据库或者列表。由于比较小,存成csv格式应该差不多足够了。

2、设置一个记录做对/错的记录列表。暂时用列表。

3、针对性对错题 在生成试卷的过程中再出现。

预期目标:输入txt文本文件,能够实现出题/界面程序/猿题库或者百词斩形式,假期用两三天完成吧。有愿意开发的一起哦~

邮箱:[email protected]

你可能感兴趣的:(Python,入门小项目,自动化,文本处理)