字节自然语言处理算法校招面经整理(二)

面经来源:https://zhuanlan.zhihu.com/p/87147047

一面请移步:https://blog.csdn.net/qq_33331424/article/details/109397587

  •  介绍一下CRF

CRF属于概率图中马尔可夫网的一种,是一种无向图,可用来做序列标注或句法分析任务。

  • 介绍交叉熵loss公式
  • 说一下BERT与ELMO的区别
  • pytorch的代码流程(我是这样回答的:预处理数据/词表-写好模型-定义损失和优化器-训练-测试)
  •  Dropout的原理
  • sgd与adam的区别
  • L1 L2正则化
  • 编程题:最快速度最小空间求一个数组的第k小
# 和leetcode 面试题 17.14:最小K个数类似,不过该题返回的是第k小,而不是最小的k个数
class Solution:
    def fast_partition(self, arr, left, right):
        p = arr[left]
        index = left
        while left < right:
            while left < right and arr[left] <= p:
                left += 1
            while left <= right and arr[right] > p:
                right -= 1
            if left < right:
                arr[left], arr[right] = arr[right], arr[left]
        arr[right], arr[index] = arr[index], arr[right]
        return right
    def fast_sort(self, arr, left, right, k):
        if left + 1 <= right:
            mid = self.fast_partition(arr, left, right)
            if k == mid:
                return mid
            elif k > mid:
                return self.fast_sort(arr, mid + 1, right, k)
            else:
                return self.fast_sort(arr, left, mid - 1, k)
    def smallestK(self, arr: List[int], k: int) -> List[int]:
        mid = self.fast_sort(arr, 0, len(arr) - 1, k)
        return arr[k-1]

三面
自我介绍+项目
x, y是独立的随机变量,方差期望已知,那么如何求 xy 的方差
讲一下BERT
SoftMax + CrossEntropy的反向梯度求导

你可能感兴趣的:(面经整理,深度学习,神经网络,机器学习,pytorch)